YARN-架构-低调大师

YARN-架构

2017-04-25 587 89

标签（空格分隔）：大数据 YARN

[toc]

原文：http://hadoop.apache.org/docs/r2.6.4/hadoop-yarn/hadoop-yarn-site/YARN.html

Hadoop下一代MapReduce（YARN）

MapReduce在hadoop-0.23中经历了完整的革新，也就是引入了MapReduce 2.0（MRv2），俗称YARN。

MRv2的核心思想是将原来JobTracker的两个主要功能拆分，也就是将资源管理（resource management）和调度与监控（scheduling/monitoring)分离为两个daemon进程。其思想表现为持有一个全局的ResourceManager（RM）以及每个应用有一个ApplicationMaster（AM）。一个应用对应一个传统的MR

微信关注我们

原文链接：https://yq.aliyun.com/articles/74468

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-04-21 00:00:00

揭秘Spark应用性能调优

引言：在多台机器上分布数据以及处理数据是Spark的核心能力，即我们所说的大规模的数据集处理。为了充分利用Spark特性，应该考虑一些调优技术。本文每一小节都是关于调优技术的，并给出了如何实现调优的必要步骤。本文选自《Spark GraphX实战》。 1 用缓存和持久化来加速 Spark 我们知道Spark 可以通过 RDD 实现计算链的原理：转换函数包含在 RDD 链中，但仅在调用 action 函数后才会触发实际的求值过程，执行分布式运算，返回运算结果。要是在同一 RDD 上重复调用 action 会发生什么？ RDD 持久化一般 RDD 不会保留运算结果，如果再次调用 action 函数，整个 RDD 链会重新运算。有些情况下这不会有问题，但是对于许多机器学习任务和图处理任务，这就是很大的问题了。通常需要多次迭代的算法，在同一个 RDD 上执行很多次，反复地重新加载数据和重新计算会导致时间浪费。更糟糕的是，这些算法通常需要很长的 RDD 链。看来我们需要另一种方式来充分利用集群可用内存来保存 RDD 的运算结果。这就是 Spark 缓存（缓存也是 Spark 支持...

490

2017-04-27 00:00:00

开源大数据周刊-第50期

资讯谷歌TPU之后还有高通，人工智能芯片竞赛已经展开谷歌有了自己的人工智能芯片TPU，现在构建适用于深度学习的计算芯片已成为所有科技巨头共同的发展目标，英特尔、高通、英伟达等都在人工智能芯片上投入巨大，芯片公司正在争相占领这个新的市场。火力全开：大数据领域2017年全景剖析大数据技术用了多年时间进行演化，才从一种看起来很酷的新技术变成企业在生产环境中实际部署的核心企业级系统。本文从人工智能领域、企业并购情况、云端大数据竞争等方面展示了数据生态系统在2017年全景视图，并针对这一行业的见解总结为关键趋势。 Apache软件基金会宣布Apache® CarbonData™成为顶级项目 Apache CarbonData是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题，CarbonData

623

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。