如何使用Superset可无缝对接MRS进行自助分析-低调大师

如何使用Superset可无缝对接MRS进行自助分析

2022-06-08 495

摘要：本文主要介绍如何在MRS之上使用Superset进行数据分析。

本文分享自华为云社区《使用商业智能软件Superset分析MRS数据之最佳实践》，作者：啊喔YeYe 。

1. 概要

Superset

Apache Superset是一个现代的数据探索和可视化平台。具有功能强大、支持数据种类多、使用简单、易扩展、可视化能力丰富等诸多优势，在github上也有4.6w+的star.

MRS

MRS是华为云提供的一站式大数据平台，基本覆盖了Hadoop生态中常用的基本组件，免去我们运维、搭建的烦恼。

本文主要介绍如何在MRS之上使用Superset进行数据分析。

2.环境准备

在华为云购买创建弹性云服务器ECS（公共镜像建议选择CentOS 8.2 64bit），用于安装运行Superset，并绑定弹性公网IP，用于访问公网安装依赖包和Superset服务。
MRS服务开通，选择MRS 3.1.0版本的普通集群模式。注意网络与superset打通

3. superset安装

3.1 登录已购买的Linux弹性云服务器，执行以下命令安装Superset运行依赖包

yum install gcc gcc-c++ libffi-devel openssl-devel cyrus-sasl-devel openldap-devel python36-devel cyrus-sasl-plain

3.2 执行以下命令升级pip版本

pip3 install --upgrade pip

3.3 执行以下命令安装python虚拟环境

pip install virtualenv

3.4 执行以下命令创建，并进入python虚拟环境

python3 -m venv venv
. venv/bin/activate

3.5 执行以下命令安装python依赖包

pip install dataclasses
pip install pyhive[hive]
pip install pyhive[presto]

3.6 执行以下命令安装Superset

pip install apache-superset

3.7 执行以下命令初始化database

superset db upgrade

3.8 执行以下命令创建admin用户。需要输入用户名、FirstName、LastName和电子邮箱地址和密码

export FLASK_APP=superset
superset fab create-admin

3.9 执行以下命令初始化角色和用户信息

superset init

3.10 执行以下命令启动superset服务

superset run -p 8088 -h 0.0.0.0 --with-threads --reload --debugger

3.11 选择“服务列表 > 弹性云服务器ECS > 待操作弹性云服务器名称 > 安全组”，单击“配置规则”。在配置规则界面，选择“入方向规则 > 添加规则”，将协议端口设置为8088，源地址设置为访问Supereset页面的机器的IP。

3.12 访问http://ECS弹性IP:8088，并以admin用户登录，开始使用Superset

4. MRS Hive对接

MRS HiveServer通过ZooKeeper实现高可用，Superset直接使用pyhive连接HiveServer，无法通过ZooKeeper进行服务发现，因此只配置连接一个HiveServer。

4.1 登录MRS管理控制台，在现有集群页面，单击集群名称进入MRS Manager页面。选择“组件管理 > Hive > 实例”，查看HiveServer实例所在节点IP

4.2 在Superset界面，选择“Data > Databases”，单击右侧的“+”按钮进入创建Database页面

4.3 在Add Database页面填写Database和SQL Alchemy URI。SQL Alchemy URI的填写内容为“hive://{HiveServer实例ip}:端口/{hive database名字}?auth=NONE”，其中，{HiveServer实例ip}为HiveServer实例的业务IP，{hive database名字}为要连接的Hive Database，例如default。勾选“Expose in SQL Lab”，单击“Save”保存配置.

MRS 普通集群hiveserver2默认端口为10000。查看方式：登录manager，点击hive服务，点击全部配置，搜索hive.server2.thrift.port

superset配置：

4.4 选择“SQL Lab > SQL Editor”，进入Untitled Query页面。在左侧“Database”下拉菜单中选择创建好的Database，在“Select a schema”下拉菜单中选择要查询的Schema（即Hive的databse，如default），在中间SQL编辑框内输入SQL语句。然后单击“RUN”按钮执行SQL，在下方Result页签中查看执行结果。

5. MRS SparkJDBC对接使用

5.1 参考hive对接方式获取SparkJDBC实例ip与端口（默认22550，配置项：hive.server2.thrift.port），然后在Superset添加database。

5.2 执行SQL验证

6. Superset中使用MRS PrestoSQL

6.1 在Manager界面，选择“集群 > 服务 > Presto > 配置 > 全部配置” ，搜索配置项PRESTO_COORDINATOR_FLOAT_IP ，获取Presto Coordinator浮动IP

端口：默认7520

6.2 添加Presto database

SQL Alchemy URI填写内容为“presto://{Presto Coordinator浮动IP}:{port}/{catalog名称}/{schema名称}”，其中{Presto Coordinator浮动IP}为1中获取的Presto Coordinator浮动IP，{catalog名称}为要连接的Presto catalog，{schema名称}为catalog对应的schema名字，例如hive/default.

6.3 执行Presto SQL验证

华为伙伴暨开发者大会2022火热来袭，重磅内容不容错过！

【精彩活动】

勇往直前·做全能开发者→12场技术直播前瞻，8大技术宝典高能输出，还有代码密室、知识竞赛等多轮神秘任务等你来挑战。即刻闯关，开启终极大奖！点击踏上全能开发者晋级之路吧！

【技术专题】

未来已来，2022技术探秘→华为各领域的前沿技术、重磅开源项目、创新的应用实践，站在智能世界的入口，探索未来如何照进现实，干货满满点击了解

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/5535956

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

TICS端到端实践：企业积分查询作业开发

摘要：本次TICS端到端体验，将以一个“小微企业信用评分”的场景为例。本文分享自华为云社区《基于华为隐私计算产品TICS实现端到端的企业积分查询作业【玩转华为云】》，作者：breakDawn 。本次TICS端到端体验，将以一个“小微企业信用评分”的场景为例。社保、水电气和资助金等数据统一存储在某某政务云，由不同的局进行管理，机构想单独申请进行企业相关评分的计算会非常困难。因此可以由某市政数局出面，统一制定隐私规则，审批数据提供方的数据使用申请，并通过华为Tics可信智能计算平台进行安全计算。数据准备企业税收和资助金情况表tax（partner_gov，属于政府信息提供方，部署在用户计算节点agent_gov上）企业政府资助金数据表support（partner_gov，属于政府信息提供方，部署在用户计算节点agent_gov上）企业水电情况表power（partner_power，能源信息提供方，部署在用户计算节点agent_pow上）注意以上数据和表结构是根据场景进行模拟的数据，并非真实数据。从业务角度考虑，我安排了五个阶段，来对TICS系统进行验证和测试。阶...

2022-06-07

479

持续坚持原创输出，点击蓝字关注我吧作者：小傅哥博客：https://bugstack.cn ❝ 沉淀、分享、成长，让自己和他人都能有所收获！😜 ❞ 目录一、前言二、目标三、设计四、实现 1. 工程结构 2. 出参参数处理 3. 查询结果封装五、测试 1. 事先准备 2. 单元测试六、总结一、前言码农，如何为自己的职业生涯续期？上班就像打怪升级，拿着一把西瓜刀，从南天门砍到北天门。但时间长了，怪越来越凶了，西瓜刀也不得手了。咋办，在游戏里大家肯定是想办法换装备了、买武器了、学技能了，这样才能有机会打通更多的关卡。其实我们作为程序员上班也是一样的，如果一直都以为这点技术够写写CRUD就够了，反正现在还能应付的了。但3年后呢、5年后呢，总有一天你的技术根本没法满足公司对你现阶段的要求，最简单的CRUD也早已交给了曾经年轻的另外的你。有人说：“程序员不是技术牛就能一直行！” 但其实技术牛就是行，当你牛到一定的阶段，解决别人解决不了的问题，处理别人处理的不了的方案，蝎子粑粑独一份，谁又能拦得住你呢。在哪里工作都是你自己来定的，你只管技术牛，就能横着走。二、目标延续着...

2022-06-07

330

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。