spark支持2.4.3版本
信息摘要: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3
适用客户: 企业客户/个人开发者
版本/规格功能: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3:
1、Spark connectors:目前已经支持NoSQL系列:HBase&Phoenix、MongoDB、Redis、TableStore、ElasticSearch等;OLTP数据库:POLARDB、RDS、DRDS等;OLAP数据库:ADB;消息中间件:kafka、loghub、datahub;MaxCompute等;
2、Spark 2.4.3版本核心功能,具体参考社区release note:
a、新的调度模型(Barrier Sche
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
免费报名 | 汇聚HBase&大数据最前沿 Apache HBaseConAsia2019盛会火热来袭
Apache HBase介绍 Apache HBase是基于Apache Hadoop构建的一个高可靠性、高性能、可伸缩的分布式存储系统,它提供了大数据背景下的高性能的随机读写能力,HBase是Google Big table的开源实现,通过在廉价PC Server上搭建起大规模结构化存储集群,可为众多企业从软件系统、解决方案、稳定护航、发展支撑等全方位提供一站式大数据基础存储服务。 HBase项目最初是以Hadoop子项目的形式进行孵化,2010年5月正式毕业成为Apache顶级项目并独立发展。伴随着互联网时代数据的爆炸性增长,HBase作为基础存储系统得到了快速发展与应用,Facebook、阿里、小米、雅虎等大量知名商业公司先后加入到了HBase生态建设队伍,成为Apache最活跃的社区之一。 做为最早研究,开发和使用HBase的中
- 下一篇
【公共云支持】MaxCompute Spark支持交互式Zeppelin
由于安全原因,用户无法触达生产集群的网络,所以MaxCompute Spark一直没有放开 yarn-client的支持,也就是Spark-Shell,Spark-SQL以及PYSPARK等交互式功能一直无法支持。最近调研了Zeppelin框架,配合MaxCompute Spark的相关特性以及组件,开发支持了Zeppelin on MaxCompute Spark来支持相对应的交互式探索需求。 步骤说明 因为配置以及启动比较繁琐,用户未必会对这方面的事情感兴趣,所以我封装了一个一键启动的脚本,见 spark-zeppelin-public.sh 下载脚本到本地后,运行 sh spark-zeppelin-public.sh 后,会自动下载相关组件如下 spark-zeppelin-public.conf spark-zeppelin-pu
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Red5直播服务器,属于Java语言的直播服务器
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS关闭SELinux安全模块
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7