五种大数据框架你必须要知道

学习大数据不可不知的五种大数据框架,码笔记分享大数据框架Hadoop、Storm、Samza、Spark和Flink五种大数据框架详解:

一:Hadoop大数据框架

Hadoop

大数据框架?第一映入眼帘的就是这枚大象Hadoop,Hadoop是一个由Apache基金会所开发的分布式系统基础架构,它是目前应用最广泛的大数据工具,Hadoop拥有容错率和极低的硬件价格。
Hadoop是成为了一个广阔的生态圈的批处理框架,Hadoop提出的Map和Reduce的计算模式简洁而优雅,它实现了大量算法和组件。但是,由于Hadoop的计算任务需要在集群的多个节点上多次读写,因此在速度上会稍显劣势,但是Hadoop的吞吐量也同样是其他框架所不能匹敌的。

二:Storm大数据框架

Storm由Twitter开源并且托管在GitHub上的,Storm大数据框架与Hadoop的批处理模式不同,Storm采用的是流计算框架。但Storm与Hadoop相似之处是也提出了Spout和Bolt两个计算角色。

举个通俗的例子来说明Storm和Hadoop的不同之处,Hadoop类似水桶,而Storm类似水龙头,想要获取水,Hadoop是一桶一桶的去扛回来,而Storm只需要打开水龙头就行了。Storm流计算框架使用的是内存,延迟上具有优势,但是不会持久化数据。

Storm对Java、Ruby、Python等语言都有很好的支持。

三:Samza大数据框架

Samza大数据框架与Storm一样都是流计算框架,Samza必须和Kafka共用,Samza目前只支持JVM语言。

四:Spark大数据框架

Spark和Flink

Spark大数据框架是一种混合式的计算框架,Spark自带实时流处理工具;Spark也可以与Hadoop集成代替MapReduce;甚至Spark还可以单独拿出来借助HDFS等分布式存储系统部署集群。
Spark的运算速度与Storm相似,Spark的速度大约为Hadoop的一百倍,而Spark的成本要比Hadoop低,但是Spark目前还没有Hadoop拥有上万级别的集群,所以现阶段将Spark和Hadoop搭配起来使用是比较不错的方案。

五:Flink大数据框架

Flink大数据框架也是一种混合式的计算框架,Fink与Spark相反的地方在于Fink重点在于处理流式数据,目前Fink还不算成熟。

优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/726215

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。