2分钟读懂Hadoop和Spark的异同-低调大师

2分钟读懂Hadoop和Spark的异同

2017-07-05 496

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。

　　解决问题的层面不一样

首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。

同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。

两者可合可分

Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。所以这里我们完全可以抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理。

相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。但Spark默认来说还是被用在Hadoop上面的，毕竟，大家都认为它们的结合是最好的。

以下是从网上摘录的对MapReduce的最简洁明了的解析:

　我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。

现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”。

Spark数据处理速度秒杀MapReduce

Spark因为其处理数据的方式不一样，会比MapReduce快上很多。MapReduce是分步对数据进行处理的: ”从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等…“ Booz Allen Hamilton的数据科学家Kirk Borne如此解析。

反观Spark，它会在内存中以接近“实时”的时间完成所有的数据分析：“从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成，” Born说道。Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。

如果需要处理的数据和结果需求大部分情况下是静态的，且你也有耐心等待批处理的完成的话，MapReduce的处理方式也是完全可以接受的。

但如果你需要对流数据进行分析，比如那些来自于工厂的传感器收集回来的数据，又或者说你的应用是需要多重数据处理的，那么你也许更应该使用Spark进行处理。

大部分机器学习算法都是需要多重数据处理的。此外，通常会用到Spark的应用场景有以下方面：实时的市场活动，在线产品推荐，网络安全分析，机器日记监控等。

灾难恢复

两者的灾难恢复方式迥异，但是都很不错。因为Hadoop将每次处理后的数据都写入到磁盘上，所以其天生就能很有弹性的对系统错误进行处理。

Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集(RDD: Resilient Distributed Dataset)中。“这些数据对象既可以放在内存，也可以放在磁盘，所以RDD同样也可以提供完成的灾难恢复功能，”Borne指出。

本文转自d1net（转载）

微信关注我们

原文链接：https://yq.aliyun.com/articles/150966

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016年初大数据、云计算的漫谈

最近半年，基本做的事情是在阿里ODPS平台运行社区的代码，比如spark及hadoop等。事情并没有太多的高深莫测的，想想基本是为了解决用户的需求，本文主要梳理下我半年一些事情上的思考。自主研发 VS 开源系统我的观点始终保持不变的，当能用社区产品解决问题的，完全就可以用社区的产品，最近1年，spark、docker等技术发展迅速，完全没有必要去自己写一套。我认为有两个情况下需要自己写，第一，目前的产品无法满足现在的需求，在阿里(就目前)，比如：支付宝大规模图数据库，阿里妈妈、搜索场景下超高纬度特征机器学习。目前内部用开源的产品做了很多尝试，均没有很好解决问题，最后还是自研一套平台(当然实现也不是完全自己搞，部件能用开源的还是用开源)。第二，为了领先研究，有革命性的，比如：量子计算，GPU计算，也就是从理论开始，并没有特别的业务场景，最后能跨越一个时代的，不过这个特别难，基本也只有公司营收没有问题才可能成立研究院之类的部门。目前在大数据领域，华为、星坏，甚至国外的微软、IBM之类的巨头都基本是投资hadoop之类的软件栈，可以说大数据系统是你中有我，我中有你的，小公司还是请直接用h...

2017-07-06

550

2016年1月22日，近日上海申通地铁集团有限公司(以下简称“申通集团”)宣布，亚信安全服务器深度安全防护系统（Deep Security）成功中标防病毒和威胁检测项目。亚信安全服务器深度安全防护系统（Deep Security）凭借独有的无代理特性将帮助申通集团全面提升信息安全管理水平，尤其是解决虚拟化平台部署后的病毒防护难题，为后续大批量核心业务迁移到的虚拟化平台提供可靠保障。申通集团负责为世界上里程最长的地铁提供运营服务，其高效运转无疑离不开信息化创新应用，以及可靠的信息安全保障。近年来，申通集团信息化创新能力不断提升，利用虚拟化技术构建起来了新一代数据中心，获得了更绿色、更灵活、更全面的性能和应用优势。在第一阶段的迁移工作完成之后，申通集团发现，要想实现最优的服务器性能目标，就需要对之前部署在物理主机上防病毒软件进行重新设计，消除业务高峰期可能产生的防毒风暴（AV Storm）问题；其次，申通集团还需要针对全新的虚拟化环境，部署更有效的防毒策略，避免病毒交叉感染等安全风险，提升数据中心的安全性，为地铁运营提供安全、持续的数据能力支撑。本次中标的亚信安全服务器深度安全防护系...

2017-07-06

474

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。