Hadoop1.x MapReduce的Slot的理解-低调大师

Hadoop1.x MapReduce的Slot的理解

2016-07-12 635

1.首先，slot不是CPU的Core，也不是memory chip，它是一个逻辑概念，一个节点的slot的数量用来表示某个节点的资源的容量或者说是能力的大小，因而slot是 Hadoop的资源单位。

2.Hadoop利用slots来管理分配节点的资源。每个Job申请资源以slots为单位，每个节点会确定自己的计算能力以及memory确定自己包含的slots总量。当某个Job要开始执行时，先向JobTracker申请slots，JobTracker分配空闲的slots，Job再占用slots，Job结束后，归还slots。

3.每个TaskTracker定期（例如淘宝Hadoop心跳周期是5s）通过心跳(hearbeat)与Jobtracker通信，一方面汇报自己当前工作状态，JobTracker得够某个TaskTracker是否Alive；同时汇报自身空闲slots数量。JobTracker利用某个调度规则，如Hadoop默认调度器FIFO或者Capacity Scheduler、FairScheduler等。

4.Hadoop里有两种slots, map slots和reduce slots，map task使用map slots，一一对应，reduce task使用reduce slots。
注：现在越来越多的观点认为应该打破map slots与 reduce slots的界限，应该被视为统一的资源池，they are all resource，从而提高资源的利用率。
区分map slots和reduce slots，容易导致某一种资源紧张，而另一个资源却有空闲。
在Hadoop的下一代框架MapR中，已经取消了map slots与reduce slots的概念，并将Jobtracker的功能一分为二，用ResourceManager来管理节点资源，用ApplicationMaster来监控与调度作业。ApplicationMaster是每个Application都有一个单独的实例，application是用户提交的一组任务，它可以是一个或多个job的任务组成。

5.Hadoop中通常每个tasktracker会包含多个slots，Job的一个task均对应于tasktracker中的一个slot。系统中map
slots总数与reducer slots总数的计算公式如下：

Map slots总数=集群节点数×mapred.tasktracker.map.tasks.maximum
Reducer slots总数=集群节点数×mapred.tasktracker.reduce.tasks.maximum

微信关注我们

原文链接：https://yq.aliyun.com/articles/578828

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase构架

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51891890 存储结构 HBase构架如上图所示，一个HBase集群是由Zookeeper、HMaster和HRegionServer构成的 HRegionServer HBase集群上的各个节点，一个数据量很大的表可能被保存在不同RegionServer上 HLog HBase将数据存储在各个HRegionServer上，每个HRegionServer都有一个HLog文件记录该节点上数据的CRUD操作记录图中错误的地方在于HLog是和HRegionServer一个级别的，而不是里面的HRegion HLog是Hadoop上的sequence file文件，key为HLogKey对象，记录了hbase读写操作的日志，value是hbase的key-value对象 HRegion 按照Rowkey横向切分的多个块，保存着表中某段连续的数据当某个RegionServer上的HRegion过大时会进行水平切分如果HRegion...

2016-07-12

599

在云栖TechDay第十五期活动上，阿里云iDST资深技术专家褚崴给大家带来了《阿里云机器学习平台》的分享，他以机器学习的概念入手展开了此次分享，演讲中他重点介绍了阿里云机器学习平台的基础架构和产品特点，并结合阿里内部的芝麻信用分、推荐系统等场景讲解了PAI平台的具体应用方案。下文根据褚崴的演讲内容整理。机器学习图一机器学习分类机器学习简单来说就是，人教机器在我们积累的数据当中发现规律，然后能够辅助我们来做一些预测和决策。机器学习笼统地讲可以分为三类： 1）有监督学习(supervised learning)，是指每个样本都有对应的期望值，然后通过搭建模型，完成从输入的特征向量到目标值映射，典型的例子是回归和分类问题； 2）无监督学习(unsupervised learning)，是指在所有的样本中没有任何目标值，我们期望从数据本

2016-07-13

1166

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。