《Hadoop与大数据挖掘》一2.1.4　Hadoop资源管理

《Hadoop与大数据挖掘》一2.1.4　Hadoop资源管理—YARN

2017-06-25 576

本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.1.4节，张良均　樊　哲　位文超　刘名军许国杰　周　龙　焦正升　著更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.1.4　Hadoop资源管理—YARN

在上一节中我们看到，当MapReduce发展到2.x时就不使用JobTracker来作为自己的资源管理框架，而选择使用YARN。这里需要说明的是，如果使用JobTracker来作为Hadoop集群的资源管理框架的话，那么除了MapReduce任务以外，不能够运行其他任务。也就是说，如果我们集群的MapReduce任务并没有那么饱满的话，集群资源等于是白白浪费的。所以提出了另外的一个资源管理架构YARN（Yet Another Resource Manager）。这里需要注意，YARN不是JobTr

微信关注我们

原文链接：https://yq.aliyun.com/articles/110118

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop与大数据挖掘》一2.1.3　Hadoop计算—MapReduce

本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.1.3节，张良均　樊　哲　位文超　刘名军许国杰　周　龙　焦正升　著更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.1.3　Hadoop计算—MapReduce MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）”以及它们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归纳）函数，用来保证所有映射的键值对中的每一个共享相同的键组，如图2-6所示。下面将以Hadoop的“Hello World”例程—单词计数来分析MapReduce的逻辑

2017-06-26

607

本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.1.5节，张良均　樊　哲　位文超　刘名军许国杰　周　龙　焦正升　著更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.1.5　Hadoop生态系统如图2-12所示，Hadoop的生态圈其实就是一群动物在狂欢。我们来看看一些主要的框架。（1）HBaseHBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。（2）HiveHive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。（3）PigPig是一个基于Hadoop

2017-06-26

506

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。