《Spark与Hadoop大数据分析》——2.2　Apache Spark概述-低调大师

《Spark与Hadoop大数据分析》——2.2　Apache Spark概述

2017-08-31 574

2.2　Apache Spark概述

Hadoop和MR已有10年历史，已经被证明是高性能处理海量数据的最佳解决方案。然而，MR在迭代计算中性能不足，在这种情况下，多个MR作业之间的输出必须被写入 HDFS。在单个MR作业中，它的性能不足则是因为MR框架存在的一些缺点所致。

让我们来看看计算趋势的发展历史，以便了解计算的格局在过去20年中的变化。

这个趋势是当网络成本更低时（1990年代）对URI索引（Reference），当存储成本更低时（2000 年代）进行复制（Replicate），以及当内存成本更低时（2010 年代）进行再计算（Recompute），如图2-5 所示：

让我们来了解一下，为什么基于内存的计算很重要，以及它如何能产生显著的性能优势。

图2-6显示了从各种介质到CPU的数据传输速率。磁盘到CPU的传输速率为100 MB

微信关注我们

原文链接：https://yq.aliyun.com/articles/212099

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

先行者长虹佳华超融合市场沙龙在京举行

本文讲的是先行者长虹佳华超融合市场沙龙在京举行, 互联网的时代，什么都会变得可能，比如，在夹缝中寻找出路，并且要做这个缝隙中的先行者，长虹佳华就是这样的先行者。在现在超融合的大环境下，积极谋划探索，培育市场，力图在融合市场中先行一步。并力争占有一个有利地位。 IT行业从来都不缺少新概念，但近2年在数据中心领域最火的莫过于“超融合”基础架构。以国内排名前列的的IT分销企业长虹佳华为例，自成立以来就一直对全球高新技术创新和数据中心变革等保持高度关注。凭借自身多年在增值分销服务领域的经验积累，以及强大的IT综合服务能力和与全球领先IT厂商多年建立的良好合作关系，长虹佳华敏锐地意识到超融合的价值与市场前景，并致力成为中国超融合产业发展的推进者与领跑者。为此，长虹佳华特别于7月28日在北京举行了以“融变创未来共谋新发展”为主题超融合沙龙活动，与众多企业代表、渠道经销商和媒体记者一起围绕“超融合”展开了深入的交流和探讨。　 “什么是超融合?相比传统IT架构及融合架构，超融合架构都有哪些特点和优势?”作为超融合领域的先行者，长虹佳华的技术专家从数据中心的发展史讲起，就自身多年的数据中心服务经验...

2017-09-01

594

文章讲的是大数据分析架构中需要权衡的四个因素，通过提供对更广泛信息集的访问，大数据就可以为数据分析师和业务用户产生分析见解提供一臂之力。成功的大数据分析应用程序会揭示某些趋势和模式,以此来为决策制定提供更好的服务，并会指出新的创收机会和让企业领先于他们的商业竞争对手的方法。但首先，企业往往需要增强他们现有的IT基础设施建设以及数据管理流程以支持大数据架构的规模和复杂性。 Hadoop系统和NoSQL数据库已经成为管理大数据环境的重要工具。不过，在很多情况下，企业利用他们现有的数据仓库设施，或是一个新老混合的技术来对大数据流入他们的系统进行管理。无论一个公司部署什么类型的大数据技术栈，有一些共通的因素必须加以考量,以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前，去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。数据准确性数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性。作为个性化分析库而得以广泛使用的电子表格或电子报表软件可...

2017-09-01

516

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。