100字范文 > 云栖大会·杭州峰会：《用户行为分析：基于流式计算的数据处理及应用》之《数

云栖大会·杭州峰会：《用户行为分析：基于流式计算的数据处理及应用》之《数

时间：2019-10-08 22:26:24

实验背景介绍

了解更多云栖大会·杭州峰会 TechInsight & Workshop.

本手册为云栖大会Workshop之《在线用户行为分析：基于流式计算的数据处理及应用》场的《数据可视化：构建实时动态运营数据分析大屏》篇所需。主要帮助现场学员熟悉并掌握DataV数据可视化的操作和使用。

实验涉及大数据产品

DataV数据可视化

前提准备

必备条件：1、已经从云中沙箱中获取了实验所需的阿里云账号和密码。2、安装56版本以上的GOOGLE CHROME浏览器。

实验目标

本实验将会实现如下的实时动态运营数据分析大屏大屏。

创建可视化大屏

经过上述《流数据处理：通过StreamSQL分析视频日志》章节创建的流式任务，我们可以创建酷炫的可视化大屏展示网站实时流量统计情况，为了便于大家快速掌握DataV的使用，请使用事先准备好的RDS数据源。

进入DataV管理控制台

点击进入DataV可视化管理控制台。

添加数据源

step1：进入DataV管理控制台，点击左侧菜单中我的数据。step2：点击+添加数据，跳出新建数据对话框。step3：配置数据类型为RDS for MySQL、名称、域名、用户名/密码、端口和数据库，点击“获取数据列表”，选择“workshop”，并点击测试连接，最后点击“完成”。

具体数据源配置项如下：
数据源类型：RDS for MySQL,内网，华东2名称：workshop_rds域名：rm-uf6t1mym355i3qdsw.mysql.用户名：root密码：Workshop001端口：3306数据库：workshop

创建DataV可视化大屏

step1：点击左侧我的可视化，进入配置大屏操作；再点击_WORKSHOP_HZ进入大屏编辑界面。step2：此处大屏模板为此次Workshop量身定制，大家直接进入配置界面即可。DATAV功能布局见图示。

配置DataV数据图表

依次配置实时在线人数（数字翻牌器）、热门房间排名（轮播列表柱状图）、在线人数变化趋势（折线图）、用户卡顿率趋势（折线图）、访问设备比例（饼图）、用户故障地理分布（点热力图）。

配置实时在线人数（数字翻牌器）

step1：点击数字翻牌器，进入配置实时在线人数（数字翻牌器）页面。step2：点击数字翻牌器左侧“数据“选项卡，进入数据配置面板。

数据类型选择数据库，选择数据库为workshop_rds（刚创建的数据源名称）在SQL底部勾选自动更新，设置每5秒请求一次。
因为数据表包含了多条数据，需要获取最新的在线人数数据，故编写SQL如下：

附：SQL说明

SELECT sum(count_value) as value FROM online_num

配置热门房间排名（轮播列表柱状图）

点击轮播列表在右侧进行配置数据。统一选择数据类型为数据库，且选择数据库为之前所配置的workshop_rds。

附：SQL说明

SELECT sum(count_value) as value, roomid as content FROM hot_room_num where start_time < unix_timestamp()*1000 and start_time > (unix_timestamp()-100)*1000 group by content order by value DESC limit 5

配置在线人数变化趋势（折线图）

step1：同样点击在线人数变化趋势（折线图），进入数据配置页面。step2：配置数据源。

数据类型选择数据库，选择数据库为workshop_rds（刚创建的数据源名称）在SQL底部勾选自动更新，设置每5秒请求一次。

附：SQL说明

SELECT count_value as y, substring(start_time, 1, 19) as xFROM online_numorder by start_time DESClimit 10

配置用户卡顿率变化趋势（折线图）

step1：同样点击用户卡顿率变化趋势（折线图），进入数据配置页面。step2：配置数据源。

数据类型选择数据库，选择数据库为workshop_rds（刚创建的数据源名称）在SQL底部勾选自动更新，设置每5秒请求一次。

附：SQL说明

SELECT block as y, substring(start_time, 1, 19) as x FROM block_min order by start_time DESC limit 10

配置访问设备比例（饼图）

step1：同样点击配置访问设备比例（饼图），进入数据配置页面。step2：配置数据源。

数据类型选择数据库，选择数据库为workshop_rds（刚创建的数据源名称）在SQL底部勾选自动更新，设置每5秒请求一次。
编写SQL如下：
附：SQL说明

SELECT sum(count_value) as value, agent as type, max(start_time) as date_time FROM access_device where start_time < unix_timestamp()*1000 and start_time > (unix_timestamp()-100)*1000group by agent

配置播放故障率（点热力图）

step1：点击地图组件，再选择点热力图层子组件。

step2：进入数据配置页面，配置数据源。

数据类型选择数据库，选择数据库为workshop_rds（刚创建的数据源名称）在SQL底部勾选自动更新，设置每5秒请求一次。
我们需要的数据包括经度、纬度和故障率，但是原始数据中，经度、纬度在一个字段中，且该字段包含空数据等脏数据；同时，故障率为0的数据我们不需要，因为对绘制热力图不起作用。这就需要我们用DATAV数据过滤器处理。先用SQL查询10000条数据，保证充足的数据量进行下一步过滤。
附：SQL说明

SELECT * FROM region_failure_rate limit 10000

step3.1 添加数据过滤器step3.2 将新建数据过滤器命名为“getVideoFaultValue”step3.3 编写数据过滤器

step3.4 选择应用数据过滤器“getVideoFaultValue”

附：数据过滤器代码说明

var processedData = [];data.forEach(function(d, i) {if(d.remoteip && +d.fault_video > 0) {var dataObj = {};var latLngArray = d.remoteip.split(',');dataObj.lat = latLngArray[0];dataObj.lng = latLngArray[1];dataObj.value = +d.fault_video;processedData.push(dataObj);}})return processedData;