100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > BI工具Superset的数据可视化分析平台搭建

BI工具Superset的数据可视化分析平台搭建

时间:2019-11-16 06:10:02

相关推荐

BI工具Superset的数据可视化分析平台搭建

文章目录

1. Superset简介2. Superset环境搭建步骤2.1 Anaconda的安装2.2 Superset安装 3. 连接Hbase、Hive和MySQL3.1 通过Phoenix连接Hbase3.2 连接Hive3.3 连接MySQL 4. Superset dashboard 示例5. Superset总结6. 参考

1. Superset简介

Superset由 Airbnb 开源,Apache 基金会孵化中的企业级 BI 工具,提供了一个基于 Web 的 BI 数据分析和可视化环境,并可连接多种不同数据源。这篇文档当中主要介绍:1)Superset的环境搭建;2)连接Hbase、Hive和MySQL数据仓储;3)Superset 使用中的一些基本概念;

2. Superset环境搭建步骤

版本:Python 3.7 + Superset 2.8.0 + Anaconda虚拟环境

2.1 Anaconda的安装

/anaconda/install/

2.2 Superset安装

# 创建Anaconda虚拟环境 conda create --name supersetEnv python=3 # 进入Anaconda虚拟环境 conda activate supersetEnv # 安装Superset pip install futures==3.1.1 -i /simple pip install SQLAlchemy==1.2.12 -i /simple pip install pandas==0.23.4 -i /simple pip install superset -i /simple

安装过程中容易报错,一般是版本和依赖问题,具体问题具体分析,也可参考官网docker环境下安装https://superset./installation.html

开启Superset server

fabmanager create-admin --app superset superset db upgrade superset init superset runserver -p 8088

浏览器打开http://10.18.222.74:8088 即可登录(账号密码admin)

3. 连接Hbase、Hive和MySQL

3.1 通过Phoenix连接Hbase

Superset 无法直接访问 HBase,但是可以通过 Phoenix 来与 HBase 做交互,步骤如下:

1)开启Phoenix Query Server,Phoenix安装目录运行(如果已开启则忽略):

bin/queryserver.py

2)安装phoenixdb 和pyphoenix

pip install phoenixdb pip install pyphoenix

3)进入网页,数据源-数据库,输入连接,测试连接OK,点击保存

4)报错如下

原因:Phoenix view中没有Schema,Superset加载的时候出现None type

解决办法:修改源码

打开/root/anaconda2/envs/supersetEnv/lib/python3.7/site-packages/superset/models/core.py,return的时候去掉sorted函数,也就是不排序,因为None没法参与排序

5)重复步骤3)

6)打开SQL工具箱—SQL编辑器,测试如下,然后就可以可视化了

3.2 连接Hive

首先开启10.18.222.71节点Hive服务器端的HiveServer2

hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10002

1)进入网页,数据源-数据库,输入如下链接,测试OK

2)打开SQL工具箱—SQL编辑器,测试如下,然后就可以可视化了

3.3 连接MySQL

首先需要安装pymysql

pip install pymysql

1)进入网页,数据源-数据库,输入如下链接,测试OK

2)打开SQL工具箱—SQL编辑器,测试如下,然后就可以可视化了

4. Superset dashboard 示例

5. Superset总结

作为一个轻量级的BI工具,Superset的功能还是很强大的,但是不像其他BI工具譬如Tableau等傻瓜式的操作,Superset的使用需要一定基础开发能力,特别是对SQL的能力要求较高,主要适用于数据科学家、数据分析师和开发人员等,不太适用不懂SQL的业务人员。

Superset 目前仍然是一个快速发展中的孵化项目,未来变化也难预料。相比其他 BI 软件,坑较多

6. 参考

【1】 使用开源数据 BI 工具 Superset 对 Hive 仓储数据进行可视化分析

【2】 superset 配置连接 hbase

【3】 Superset 通过 Phoenix 连接 HBase

【4】 Superset官网

【5】 Phoenix官网

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。