流计算框架 Flink 与 Storm 的性能对比
(备注:原文链接https://mp.weixin.qq.com/s/b8Jiqj_SXM1acckTPyv57g)
作者:孙梦瑶
概述: 将分布式实时计算框架 Flink 与 Storm 进行性能对比,为实时计算平台和业务提供数据参考。
1. 背景
Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的可靠性保证测试),有管理平台、常用 API 和相应的文档,大量实时作业基于 Storm 构建。而 Apache Flink(以下简称“Flink”)在近期倍受关注,具有高吞吐、低延迟、高可靠和精确计算等特性,对事件窗口有很好的支持,目前在美团点评实时计算业务中也已有一定应用
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
大数据开发是先学习Hadoop还是spark,看10万程序猿所留下的结论
首先,我先申明:任何以『做大数据好像挣得多』为名学习数据科学相关的内容都是不谨慎,而且难以有回报的。而且,任何『只要学会一两种工具就能做大数据』的想法也都是盲目的,难有成效的。 从目前我遇到过的面试者和看过的简历来看,凡是没有过大数据项目经验的人,简历写出花来都是扯淡。部署一个集群,装一个Hive,HBase什么的根本就不叫大数据(有的公司甚至部署Hadoop只用HDFS,每天处理5GB数据,这是我面过的一个人告诉我的他的工作经验)。一次处理1个TB以下的数据都不叫大数据(我还在权衡,是不是要提高这个量级)。 大数据是建立在数据科学基础上的,对编程、算法,分布式计算、统计学,线性代数,机器学习,系统构架都有比较高的要求。而且要看英文就像看中文一样(这条很重要,我一般对于不积极主动看英文资料的人没有什么太大的期待)。 我的建议是不要管什么Hadoop,Spark。把基础打牢,只要编程技巧和算法精通,能看英文文献,顺便学点概率统计,随便去哪个公司都能应聘大数据的岗位,等有了项目环境,上手Hadoop或者Spark还不是分分钟的事~ 关于大数据的含义前面也有人说了,你想学的是技术层面的话,你...
- 下一篇
搭建高校AI大数据实训室,2019高校大数据科研教学整体解决方案
伴随着互联网技术的迅猛发展,正在逐步改变传统的高校教育模式,以大数据、云计算、AI等等技术为核心的教育模式正在逐步发展。 高校实行AI大数据实训室有何实质性的效果呢? 大数据的出现催生出产业人才缺口瓶颈,在大数据挖掘项目的实施方面,被调查公司普遍缺乏相关的技术能力。75%以上的公司表示在人员和培训方面存在障碍,会大数据挖掘技术的人才很热门,但是比较难找而且昂贵,会 Hadoop 技术的数据挖掘人才更是奇缺。 虽然大数据目前在国内还处于初级阶段,但是其商业价值已经显现出来,特别是有实践经验的大数据分析人才更是各企业争夺的热门。为了满足日益增长的大数据分析人才需求,很多大学开始尝试开设不同程度的大数据分析课程。“大数据分析”作为大数据时代的核心技术,必将成为高校数学与统计学专业的重要课程之一。 目前高校大数据教学的主要困境:教师资源严重不足、尚未建立起合理的大数据教学体系、实践教学平台搭建困难、大数据实践应用案例缺乏、学生缺少实战机会。 数道云大数据提供专业的Hadoop、spark等大数据主流课程,助力高校大数据分析课程教学,培养大数据多种实用型技术人才。基于数据的采集、存储、计算和大数...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS关闭SELinux安全模块
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS6,7,8上安装Nginx,支持https2.0的开启