YARN和MapReduce的内存设置参考-低调大师

YARN和MapReduce的内存设置参考

2016-03-20 667

如何确定Yarn中容器Container，Mapreduce相关参数的内存设置，对于初始集群，由于不知道集群的类型(如cpu密集、内存密集)我们需要根据经验提供给我们一个参考配置值，来作为基础的配置。

完成这一任务有两种方式，确定YARN和MapReduce的内存设置，我们可以使用HDP工具脚本进行内存配置设定

运行hdp-configuration-utils.py 这个Python脚本(下载地址：hdp-configuration-utils）来计算YARN、MapReduce需要的内存，执行以下命令

python hdp-configuration-utils.py options

其中可选项如下：

选项	描述
-c CORES	每一个客户机的核数目
-m MEMORY	每一个客户机拥有的内存总数
-d DISK	每一个客户机拥有的磁盘数目
-k HBASE	如果Hbase安装了为”True”，否则为”False”

注：需要python26的运行环境

我们可以使用-h或-help来显示描述选项的帮助信息。

例子

运行下面的命令

python hdp-configuration-utils.py -c 16 -m 64 -d 4 -k True

结果如下：

手动计算YARN和MapReduce内存配置设置

接下来我们将描述如何基于特定的硬件，手工的设置YARN和MapReduce内存。

YARN可以考虑集群中所有节点的可用的计算机资源。基于可用的资源，YARN会沟通协调应用程序(如：mapReduce)需要的资源。YARN会为每一个应用提供相应的容器Container。容器Container是YARN的基本处理单元，是内存和CPU资源的一种封装。

在Hadoop集群中，平衡内存RAM、处理器cpu和磁盘的使用是非常重要的。作为一般的推荐，为每个磁盘和每个核分配两个容器，为集群的利用率提供了最好的平衡。

当为一个集群决定合适的YARN和MapReduce内存设置时，从可用的硬件资源开始，注意每个节点的以下值：

RAM(内存的数量)

CORES(CPU的核数)

DISKS(磁盘的数目)

整个针对YARN和MapReduce可用的RAM数，应该考虑预留的内存。预留的内存主要用于系统进程占用和其它Hadoop进程(如Hbase)。

预留的内存=保留栈内存+Hbase预留内存(如果Hbase是部署在同一台机器上)

我们通常会使用下表来决定预留内存的大小

每个节点的总内存	推荐系统保留的内存	推荐为hbase保留的内存
4GB	1GB	1GB
8GB	2GB	1GB
16GB	2GB	2GB
24GB	4GB	4GB
48GB	6GB	8GB
64GB	8GB	8GB
72GB	8GB	8GB
96GB	12GB	16GB
128GB	24GB	24GB
256GB	32GB	32GB
512GB	64GB	64GB

接下来我们计算决定每个节点允许的最大容器的数目，我们可以使用下列公式：

containers = min (2*CORES, 1.8*DISKS, (Total available RAM) /MIN_CONTAINER_SIZE)

其中DISKS是参数每台机器中dfs.data.dirs参数的数目值。MIN_CONTAINER_SIZE是最小的容器大小(RAM)。这个值是依赖于RAM的可用数目——小的内存节点，最小的容器大小应该更小。

容器推荐值

每个节点的总内存	推荐的最小容器大小
小于4GB	256MB
在4GB和8GB之间	512MB
在8GB和24GB	1024MB
大于24GB	20148MB

最终的计算结果决定了每个容器的RAM的数目。

RAM-per-container = max(MIN_CONTAINER_SIZE, (Total Available RAM) / containers))

因为这些计算，YARN和MapReduce设置如下

配置文件	配置设定	计算值
Yarn-site.xml	yarn.nodemanager.resource.memorymb	=containers*RAM-per-container
Yarn-site.xml	yarn.scheduler.minimum-allocationmb	= RAM-per-container
yarn-site.xml	yarn.scheduler.maximum-allocationmb	=containers*RAM-per-container
mapred-site.xml	mapreduce.map.memory.mb	= RAM-per-container
mapred-site.xml	mapreduce.reduce.memory.mb	= 2 * RAM-per-container
mapred-site.xml	mapreduce.map.java.opts	= 0.8 * RAM-per-container
mapred-site.xml	mapreduce.reduce.java.opts	= 0.8 * 2 * RAM-per-container
mapred-site.xml	yarn.app.mapreduce.am.resource.mb	= 2 * RAM-per-container
mapred-site.xml	yarn.app.mapreduce.am.commandopts	= 0.8 * 2 * RAM-per-container

注：在安装好后，yarn-site.xml and mapred-site.xml位于文件夹/etc/Hadoop/conf目录

举例说明：

集群节点拥有12个CPU核，48GB内存和12块磁盘

保留内存(Reserved Memory)=6GB系统预留内存+(如果有Hbase)8GB的Hbase内存

最小的容器大小(Min container size)=2GB

含有的容器数(containers)=min（2*12,1.8*12，（48-6）/2）=min(24,21.6,21)=21

每个容器的RAM(RAM-per-container)=max(2,(48-6)/21)=max(2,2)=2

根据上述例子计算出来的值

配置	计算值
yarn.nodemanager.resource.memory-mb	= 21 * 2 = 42*1024 MB
yarn.scheduler.minimum-allocation-mb	= 2*1024 MB
yarn.scheduler.maximum-allocation-mb	= 21 * 2 = 42*1024 MB
mapreduce.map.memory.mb	= 2*1024 MB
mapreduce.reduce.memory.mb	= 2 * 2 = 4*1024 MB
mapreduce.map.java.opts	= 0.8 * 2 = 1.6*1024 MB
mapreduce.reduce.java.opts	= 2 * 2 = 4*1024 MB
yarn.app.mapreduce.am.command-opts	= 0.8 * 2 * 2 = 3.2*1024 MB

如果部署了HBase

容器数目(containers)=min(2*12,1.8*12,(48-6-8)/2)=min(24,21.6,17)=17

每个容器的RAM(RAM-per-container)=max(2,(48-6-8)/17)=max(2,2)=2

根据此时的值计算出来的值

配置	计算值
yarn.nodemanager.resource.memory-mb	=172=341024MB
yarn.scheduler.minimum-allocation-mb	= 2*1024 MB
yarn.scheduler.maximum-allocation-mb	= 17 * 2 = 34*1024 MB
mapreduce.map.memory.mb	= 2*1024 MB
mapreduce.reduce.memory.mb	= 2 * 2 = 4*1024 MB
mapreduce.map.java.opts	= 0.8 * 2 = 1.6*1024 MB
mapreduce.reduce.java.opts	= 0.8 * 2 * 2 = 3.2*1024 MB
yarn.app.mapreduce.am.resource.mb	= 2 * 2 = 4*1024 MB
yarn.app.mapreduce.am.command-opts	= 0.8 * 2 * 2 = 3.2*1024 MB

备注：

1.更新属性值yarn.scheduler.minimum-allocation-mb要同时更新

yarn.nodemanager.resource.memory-mb

yarn.scheduler.minimum-allocation-mb

导致每个节点容器数目的改变。

2.如果你安装拥有很大数目的内存，而缺少磁盘和CPU核，你可以将内存释放给其它的任务，降低参数yarn.scheduler.minimum-allocation-mb

andyarn.nodemanager.resource.memory-mb的值

3.当前在YARN上运行MapReduce时。我们不在会去设置静态的Map和Reduce任务。整个集群将根据Job的需要动态的分配Map和Reduce任务。在我们的集群中，YARN可以在每个节点上分配10个Map和5个Reduce。

设置NameNode的对内存大小

NameNode的堆大小受很多的因数影响如文件的数目，块的数目和系统的负载。下面的表格提供了NameNode对大小的设定。这些设定经常用于典型的Hadoop集群，其中块的数目和文件的数目十分接近(一般而言，系统中平均每个文件的块数比例大概在1.1到1.2)，总的来说将NameNode的堆内存设置的越大越好。

文件的数目(百万)	整个java的堆(Xmx和Xms)	年轻代大小 (-XX:NewSize-XX:MaxNewSize)
<1 million files	1024m	128m
1-5million files	3072m	512m
5-10	5376m	768m
10-20	9984m	1280m
20-30	14848m	2048m
30-40	19456m	2560m
40-50	24320m	3072m
50-70	33536m	4352m
70-100	47872m	6144m
100-125	71424m	8960m
150-200	94976m	8960m

我们应该设置-XX:PermSize为128m –XX:maxPermSize为256m

下面是对Hadoop_NameNode_Opts参数的推荐设置，在配置文件hadoop-env.sh中(将下面的####替换成-XX:NewSize,-XX:MaxNewSize,-Xms,和-Xmx可以用上上面表中推荐的值)

-XX:+HeapDumpOnOutOfMemoryError这个参数指明了当内存错误出现时，堆的dump操作将会被执行。你也可以使用-XX:HeapDumpPath来指定heap dump文件的位置，如：另外一个有用的HADOOP_NAMENODE_OPTS参数是

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./etc/heapdump.hprof

参考：http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manually_book/content/rpm-chap1-11.html

http://blog.csdn.net/suifeng3051/article/details/45477773

微信关注我们

原文链接：https://yq.aliyun.com/articles/238562

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建

1.已有环境: Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) 2. 下载解压hbase-1.2.0-bin.tar.gz和设置环境HBASE_HOME变量点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 tmp]# wget http://archive.apache.org/dist/hbase/1.1.5/hbase-1.1.5-bin.tar.gz [root@sht-sgmhadoopnn-01 tmp]# tar -xvf hbase-1.1.5-bin.tar.gz [root@sht-sgmhadoopnn-01 tmp]# mv /tmp/hbase-1.1.5 /hadoop/hbase [root@sht-sgmhadoopnn-01 tmp]# cd /hadoop/hbase/conf [root@sht-sgmhadoopnn-01 conf]# pwd /hadoop/hbase/conf vi /etc/profile 增加内容如下:[集群所有节点设置] 点击(此处)折叠或...

2016-03-21

1121

安装搭建hadoop 2.7.1不在支持jdk 1.6 了,采用了jdk1.7.0_45. 在系统搭建后后出现一个奇怪的现象. hadoop 日志,hhbase 等这些java 应用的日志无一例外的都采用了UTC 时间,而不是东8区. [code] 2015-11-03 06:24:16,129 INFO [master/hadoop52/192.168:16000-SendThread(hadoop54:2181)] [/code] 主机的时间设置是没有问题,都是设置为 GTM+8 而主机时间实际是 14点相差8个小时. 可以猜测是时区设置的问题, 首先把目标放在了java 的问题上, 经过调查,发现 java 会去读系统的时区的信息, 在hadoop 的env 文件里在 opts 参数上制定 java 的时区信息 "-Duser.timezone=GMT+08 " 强制 java 使用东8区也可以解决问题. 再进一步调查发现java 是通过读取环境变量的时区信息来确定时区的,如果环境变量中没有设置TZ 变量, 那么java 就会读取UTC 时间. export TZ=...

2016-03-22

845

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。