使用Zeppelin代替spark-shell-低调大师

使用Zeppelin代替spark-shell

2017-03-10 654

部署

把下载的bin-all.tgz上传到服务器，解压放到自己常用的目录下。
为了使用spark.read.jdbc功能，需要上传一份mysql connector jar到lib/interpreter下，否则spark执行会报错。

启动

使用bin/zeppelin-daemon.sh start启动后台服务
然后使用bin/zeppelin.sh启动web端

这样在服务器的8080端口就可以看见应用界面

设置

我们需要设置到spark的连接，通过右上方的下拉菜单“Interpreter”进入适配器管理界面，设置好到spark集群的连接，然后把这个适配器重启一下。

使用

通过“Create new note”建立一个便签，便签的执行单位是段，每段的右上角都有执行、展示隐藏代码、展示隐藏输出，更多操作的工具条。这里每段的代码就和写在spark-shell里面的一样。

最后输出的时候需要注意，为了使用zeppelin的数据可视化功能，推荐以table形式输出，同时组织好输出数据的关系，以便直接展示。现在数据可视化的功能还不是太强大，只可以在settings里面调整数据展示的逻辑。

最后效果展示，这是某系统中各个地点的重量级别发生次数的分布图。

图示略有交互性，可以选择展示的和隐藏的groups，通过图示上方的小圆圈选中与否控制，为了保护数据隐私，这里不作展示。

安全

zeppelin默认任何人都可以访问，这样太不安全了，所以需要加上一点保障，一方面是用户登录权限，一方面是文档的读写权限。
官方的说明页面在此：登录权限,文档权限
首先在zeppelin/conf目录下，把zeppelin-site.xml.template复制成zeppelin-site.xml，把shiro.ini.template复制成shiro.ini。
修改zeppelin-site.xml，把zeppelin.anonymous.allowed的值改成false

保存退出。
然后修改shiro.ini。在[users]段中，按照登录名=密码，角色1，角色2，...角色N的格式添加登录账户，保存退出。
终端里面执行脚本，重启后台服务：
zeppelin-daemon.sh restart
然后刷新网页就可以看到需要登录了。
文档的权限是进入zeppeline后在文档的编辑界面上设置的，参见官方文档的图示，非常简单。

微信关注我们

原文链接：https://yq.aliyun.com/articles/72190

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ElasticSearch

简介开始学es，我习惯边学边记，总结出现的问题和解决方法。本文是在两台Linux虚拟机下，安装了三个节点。本次搭建es同时实践了两种模式——单机模式和分布式模式。条件允许的话，可以在多台机器上配置es节点，如果你机器性能有限，那么可以在一台虚拟机上完成多节点的配置。如图，是本次3个节点的分布。虚拟机主机名 IP es节点 master 192.168.137.100 node1、node3 slave 192.168.137.101 node2 一、下载及配置 1.几个基本名词 index:es里的index相当于一个数据库。type:相当于数据库里的一个表。id：唯一，相当于主键。node:节点是es实例，一台机器可以运行多个实例，但是同一台机器上的实例在配置文件中要确保http和tcp端口不同（下面有讲）。cluster:代表一个集群，集群中有多个节点，其中有一个会被选为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，构成分布式搜索...

2017-03-09

723

在实际的项目环境中，成熟的技术体系对关系型数据库的依赖远远超过hdfs，而且对大数据运算的结果，实践中也倾向于保存到数据库中，以便进行多种方式的可视化。所以本次实践主要完成spark从mysql中读取和写入数据。一般这个操作有两种方式，一种是自己建立jdbc连接，像一般数据库操作一样的写法，一种就是利用spark自带的jdbc操作函数。首先要把mysql jdbc connector的jar包上传到集群中每台机器的spark/jars目录，这是一个讨巧的办法，因为spark运行之前一定把这里面所有的jar都加到CALSS_PATH里面去了。通过spark.read.jdbc读取出来的返回值是DataFrame，如下代码所示。` val rfidCardMap = spark.read.jdbc(mysqlHelper.DB_URL_R,"t_rfid_card",Array("org_id="+ ORG_ID), mysqlHelper.PROPERTIES).map(row => { (row.getAs[String]("card_id"), row.getAs[Stri...

2017-03-10

656

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。