《Spark与Hadoop大数据分析》——2.2　Apache Spark概述-低调大师

《Spark与Hadoop大数据分析》——2.2　Apache Spark概述

2017-08-31 633

2.2　Apache Spark概述

Hadoop和MR已有10年历史，已经被证明是高性能处理海量数据的最佳解决方案。然而，MR在迭代计算中性能不足，在这种情况下，多个MR作业之间的输出必须被写入 HDFS。在单个MR作业中，它的性能不足则是因为MR框架存在的一些缺点所致。

让我们来看看计算趋势的发展历史，以便了解计算的格局在过去20年中的变化。

这个趋势是当网络成本更低时（1990年代）对URI索引（Reference），当存储成本更低时（2000 年代）进行复制（Replicate），以及当内存成本更低时（2010 年代）进行再计算（Recompute），如图2-5 所示：

让我们来了解一下，为什么基于内存的计算很重要，以及它如何能产生显著的性能优势。

图2-6显示了从各种介质到CPU的数据传输速率。磁盘到CPU的传输速率为100 MB

微信关注我们

原文链接：https://yq.aliyun.com/articles/212099

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

先行者长虹佳华超融合市场沙龙在京举行

本文讲的是先行者长虹佳华超融合市场沙龙在京举行, 互联网的时代，什么都会变得可能，比如，在夹缝中寻找出路，并且要做这个缝隙中的先行者，长虹佳华就是这样的先行者。在现在超融合的大环境下，积极谋划探索，培育市场，力图在融合市场中先行一步。并力争占有一个有利地位。 IT行业从来都不缺少新概念，但近2年在数据中心领域最火的莫过于“超融合”基础架构。以国内排名前列的的IT分销企业长虹佳华为例，自成立以来就一直对全球高新技术创新和数据中心变革等保持高度关注。凭借自身多年在增值分销服务领域的经验积累，以及强大的IT综合服务能力和与全球领先IT厂商多年建立的良好合作关系，长虹佳华敏锐地意识到超融合的价值与市场前景，并致力成为中国超融合产业发展的推进者与领跑者。为此，长虹佳华特别于7月28日在北京举行了以“融变创未来共谋新发展”为主题超融合沙龙活动，与众多企业代表、渠道经销商和媒体记者一起围绕“超融合”展开了深入的交流和探讨。　 “什么是超融合?相比传统IT架构及融合架构，超融合架构都有哪些特点和优势?”作为超融合领域的先行者，长虹佳华的技术专家从数据中心的发展史讲起，就自身多年的数据中心服务经验...

2017-08-31

690

文章讲的是大数据分析架构中需要权衡的四个因素，通过提供对更广泛信息集的访问，大数据就可以为数据分析师和业务用户产生分析见解提供一臂之力。成功的大数据分析应用程序会揭示某些趋势和模式,以此来为决策制定提供更好的服务，并会指出新的创收机会和让企业领先于他们的商业竞争对手的方法。但首先，企业往往需要增强他们现有的IT基础设施建设以及数据管理流程以支持大数据架构的规模和复杂性。 Hadoop系统和NoSQL数据库已经成为管理大数据环境的重要工具。不过，在很多情况下，企业利用他们现有的数据仓库设施，或是一个新老混合的技术来对大数据流入他们的系统进行管理。无论一个公司部署什么类型的大数据技术栈，有一些共通的因素必须加以考量,以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前，去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。数据准确性数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性。作为个性化分析库而得以广泛使用的电子表格或电子报表软件可...

2017-08-31

576

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。