【公共云支持】MaxCompute Spark支持交互式Zeppelin
由于安全原因,用户无法触达生产集群的网络,所以MaxCompute Spark一直没有放开 yarn-client
的支持,也就是Spark-Shell
,Spark-SQL
以及PYSPARK
等交互式功能一直无法支持。最近调研了Zeppelin框架,配合MaxCompute Spark的相关特性以及组件,开发支持了Zeppelin on MaxCompute Spark来支持相对应的交互式探索需求。
步骤说明
- 因为配置以及启动比较繁琐,用户未必会对这方面的事情感兴趣,所以我封装了一个一键启动的脚本,见 spark-zeppelin-public.sh
下载脚本到本地后,运行
sh spark-zeppelin-public.sh
后,会自动下载相关组件如下- spark-zeppelin-public.conf
- spark-zeppelin-pu
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
spark支持2.4.3版本
信息摘要: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3适用客户: 企业客户/个人开发者版本/规格功能: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3: 1、Spark connectors:目前已经支持NoSQL系列:HBase&Phoenix、MongoDB、Redis、TableStore、ElasticSearch等;OLTP数据库:POLARDB、RDS、DRDS等;OLAP数据库:ADB;消息中间件:kafka、loghub、datahub;MaxCompute等;2、Spark 2.4.3版本核心功能,具体参考社区release note:a、新的调度模型(Barrier Sche
- 下一篇
Spring-Boot
Spring-Boot开发常用组件划分: 1、数据操作 ORM工具 Mybatis/Jpa 数据库 Postgresql/MySQL 缓存 Redis 搜索 ElasticSearch 2、池化工具 连接池 c3p0 线程池 3、定时器 4、大数据组件 消息 Kafka 运算 Spark/Flink SQl Hive
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Mario游戏-低调大师作品
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7