流计算框架 Flink 与 Storm 的性能对比

2019-04-28 756

（备注：原文链接https://mp.weixin.qq.com/s/b8Jiqj_SXM1acckTPyv57g）

作者：孙梦瑶

概述: 将分布式实时计算框架 Flink 与 Storm 进行性能对比，为实时计算平台和业务提供数据参考。

1. 背景

Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保证测试），有管理平台、常用 API 和相应的文档，大量实时作业基于 Storm 构建。而 Apache Flink（以下简称“Flink”）在近期倍受关注，具有高吞吐、低延迟、高可靠和精确计算等特性，对事件窗口有很好的支持，目前在美团点评实时计算业务中也已有一定应用

微信关注我们

原文链接：https://yq.aliyun.com/articles/700691

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据开发是先学习Hadoop还是spark，看10万程序猿所留下的结论

首先，我先申明：任何以『做大数据好像挣得多』为名学习数据科学相关的内容都是不谨慎，而且难以有回报的。而且，任何『只要学会一两种工具就能做大数据』的想法也都是盲目的，难有成效的。从目前我遇到过的面试者和看过的简历来看，凡是没有过大数据项目经验的人，简历写出花来都是扯淡。部署一个集群，装一个Hive，HBase什么的根本就不叫大数据（有的公司甚至部署Hadoop只用HDFS，每天处理5GB数据，这是我面过的一个人告诉我的他的工作经验）。一次处理1个TB以下的数据都不叫大数据（我还在权衡，是不是要提高这个量级）。大数据是建立在数据科学基础上的，对编程、算法，分布式计算、统计学，线性代数，机器学习，系统构架都有比较高的要求。而且要看英文就像看中文一样（这条很重要，我一般对于不积极主动看英文资料的人没有什么太大的期待）。我的建议是不要管什么Hadoop，Spark。把基础打牢，只要编程技巧和算法精通，能看英文文献，顺便学点概率统计，随便去哪个公司都能应聘大数据的岗位，等有了项目环境，上手Hadoop或者Spark还不是分分钟的事~ 关于大数据的含义前面也有人说了，你想学的是技术层面的话，你...

2019-04-29

689

伴随着互联网技术的迅猛发展，正在逐步改变传统的高校教育模式，以大数据、云计算、AI等等技术为核心的教育模式正在逐步发展。高校实行AI大数据实训室有何实质性的效果呢？大数据的出现催生出产业人才缺口瓶颈，在大数据挖掘项目的实施方面，被调查公司普遍缺乏相关的技术能力。75%以上的公司表示在人员和培训方面存在障碍，会大数据挖掘技术的人才很热门，但是比较难找而且昂贵，会 Hadoop 技术的数据挖掘人才更是奇缺。虽然大数据目前在国内还处于初级阶段，但是其商业价值已经显现出来，特别是有实践经验的大数据分析人才更是各企业争夺的热门。为了满足日益增长的大数据分析人才需求，很多大学开始尝试开设不同程度的大数据分析课程。“大数据分析”作为大数据时代的核心技术，必将成为高校数学与统计学专业的重要课程之一。目前高校大数据教学的主要困境：教师资源严重不足、尚未建立起合理的大数据教学体系、实践教学平台搭建困难、大数据实践应用案例缺乏、学生缺少实战机会。数道云大数据提供专业的Hadoop、spark等大数据主流课程，助力高校大数据分析课程教学，培养大数据多种实用型技术人才。基于数据的采集、存储、计算和大数...

2019-04-30

561

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

流计算框架 Flink 与 Storm 的性能对比

1. 背景

大数据开发是先学习Hadoop还是spark，看10万程序猿所留下的结论

搭建高校AI大数据实训室，2019高校大数据科研教学整体解决方案

相关文章

发表评论

资源下载

Mario

Spring

Rocky Linux

Sublime Text

欢迎您！