《Spark与Hadoop大数据分析》——2.2　Apache Spark概述-低调大师

《Spark与Hadoop大数据分析》——2.2　Apache Spark概述

2017-08-31 590

2.2　Apache Spark概述

Hadoop和MR已有10年历史，已经被证明是高性能处理海量数据的最佳解决方案。然而，MR在迭代计算中性能不足，在这种情况下，多个MR作业之间的输出必须被写入 HDFS。在单个MR作业中，它的性能不足则是因为MR框架存在的一些缺点所致。

让我们来看看计算趋势的发展历史，以便了解计算的格局在过去20年中的变化。

这个趋势是当网络成本更低时（1990年代）对URI索引（Reference），当存储成本更低时（2000 年代）进行复制（Replicate），以及当内存成本更低时（2010 年代）进行再计算（Recompute），如图2-5 所示：

让我们来了解一下，为什么基于内存的计算很重要，以及它如何能产生显著的性能优势。

图2-6显示了从各种介质到CPU的数据传输速率。磁盘到CPU的传输速率为100 MB

微信关注我们

原文链接：https://yq.aliyun.com/articles/212099

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

先行者长虹佳华超融合市场沙龙在京举行

本文讲的是先行者长虹佳华超融合市场沙龙在京举行, 互联网的时代，什么都会变得可能，比如，在夹缝中寻找出路，并且要做这个缝隙中的先行者，长虹佳华就是这样的先行者。在现在超融合的大环境下，积极谋划探索，培育市场，力图在融合市场中先行一步。并力争占有一个有利地位。 IT行业从来都不缺少新概念，但近2年在数据中心领域最火的莫过于“超融合”基础架构。以国内排名前列的的IT分销企业长虹佳华为例，自成立以来就一直对全球高新技术创新和数据中心变革等保持高度关注。凭借自身多年在增值分销服务领域的经验积累，以及强大的IT综合服务能力和与全球领先IT厂商多年建立的良好合作关系，长虹佳华敏锐地意识到超融合的价值与市场前景，并致力成为中国超融合产业发展的推进者与领跑者。为此，长虹佳华特别于7月28日在北京举行了以“融变创未来共谋新发展”为主题超融合沙龙活动，与众多企业代表、渠道经销商和媒体记者一起围绕“超融合”展开了深入的交流和探讨。　 “什么是超融合?相比传统IT架构及融合架构，超融合架构都有哪些特点和优势?”作为超融合领域的先行者，长虹佳华的技术专家从数据中心的发展史讲起，就自身多年的数据中心服务经验...

2017-09-01

616

文章讲的是大数据分析架构中需要权衡的四个因素，通过提供对更广泛信息集的访问，大数据就可以为数据分析师和业务用户产生分析见解提供一臂之力。成功的大数据分析应用程序会揭示某些趋势和模式,以此来为决策制定提供更好的服务，并会指出新的创收机会和让企业领先于他们的商业竞争对手的方法。但首先，企业往往需要增强他们现有的IT基础设施建设以及数据管理流程以支持大数据架构的规模和复杂性。 Hadoop系统和NoSQL数据库已经成为管理大数据环境的重要工具。不过，在很多情况下，企业利用他们现有的数据仓库设施，或是一个新老混合的技术来对大数据流入他们的系统进行管理。无论一个公司部署什么类型的大数据技术栈，有一些共通的因素必须加以考量,以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前，去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。数据准确性数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性。作为个性化分析库而得以广泛使用的电子表格或电子报表软件可...

2017-09-01

531

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。