您现在的位置是：首页 > 文章详情

YARN NodeLabel功能以及在EMR弹性伸缩中的应用

日期：2019-04-01点击：547收藏

YARN Node Label功能最早是在Hadoop 2.6版本中引入，在后续版本中有更多的功能完善。到了Hadoop 2.8.x版本之后，该功能已经比较完整，可以满足日常使用。在本文中，我们需要将Node Label功能应用在EMR弹性伸缩场景中。

其实Node Label特性更准确的叫法是Node Partition，也就是说通过label把YARN集群中的节点分组，每个节点拥有一个label，通过调度器的配置，将作业Task调度到指定的节点中，如果节点没有配置Label，那么这个节点属于Label为DEFAULT的Partition。Hadoop 3.2之后加入的Node Attribute功能是更加灵活的方案，可以方便的给各个节点打上OS/kernel version/CPU architecture/JDK versio

原文链接：https://yq.aliyun.com/articles/696446

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。