是时候放弃 Spark Streaming, 转向 Structured Streaming 了
正如在之前的那篇文章中 Spark Streaming 设计原理 中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少,Spark 2.4 版本的 Release Note 里面果然一个 Spark Streaming 相关的 ticket 都没有。相比之下,Structured Streaming 有将近十个 ticket 说明。所以各位同学,是时候舍弃 Spark Streaming 转向 Structured Streaming 了,当然理由并不止于此。我们这篇文章就来分析一下 Spark Streaming 的不足,以及Structured Streaming 的设计初衷和思想是怎么样的。文章主要参考今年(2018 年)sigmod 上面的这篇论文: *Structured Streaming
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
hadoop搭建之HBase安装
本文搭建环境: centos6.9jdk1.8.0_201 hadoop-2.7.2 本文搭建HBase环境hbase-1.2.4 zookeeper-3.4.9 1、下载安装包hbase-1.2.4 zookeeper-3.4.9 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件 ZooKeeper相当于hadoop中yarn,但是它的单独安装 2、将下载好的安装包(个人使用WinSCP)导入opt下的software目录下 3、解压ZooKeeper,并重命名为 zookeeper tar -zvxf /opt/software/zookeeper-3.4.9.tar.gz -C /opt/modules/ 4、在hadoop安装目录下新建zookeeper/data目录,在data目录下新建myid文件,输入一个数字(c1 为 1,c2 为 2,c2 为 3【c2,c3为复制之后的文件,见第6步】) 5、修改配置文件 zoo.cfg zoo.cfg是没有的,需要将文件目录下:opt...
- 下一篇
Apache Spark + Intel Analytics Zoo 进行深度学习
Analytics Zoo 是由 Intel 开源,基于 Apache Spark 和 Inte BigDL 的大数据分析和 AI 平台,方便用户开发基于大数据、端到端的深度学习应用。本文简单介绍了如何在阿里云 E-MapReduce 使用 Analytics Zoo 来进行深度学习。 简介 Analytics Zoo是由 Intel 开源,基于Apache Spark 和 Inte BigDL 的大数据分析和AI平台,方便用户开发基于大数据、端到端的深度学习应用。 系统要求 JDK 8 Spark 集群(推荐使用EMR支持的 Spark 2.x) python-2.7(python 3.5,3.6 也支持),pip 安装Analytics Zoo Analytics Zoo 最新的 release 版本是 0.2.0 安装Scala 下载 pre-
相关文章
文章评论
共有0条评论来说两句吧...