每日一博 | 容量调度绝对值配置队列使用与避坑
【概述】 在yarn中,对于容量调度而言,需要配置不同的队列,并为队列分配不同的资源。然而资源的配置是按照集群总资源的百分比来的,那么,如果集群资源进行扩容,队列的资源也就相应的增加了。在某些场景下, 我们可能希望某些队列的资源是固定的,不随集群资源的扩缩容而变更,这就需要给队列资源配置一个绝对值,在hadoop3.1.0版本中,开始引入了这个功能。本文就来聊聊如何给队列配置绝对值资源,以及一些使用过程中的注意事项。 【配置使用】 配置绝对值资源的队列其实很简单,在原来配置百分比的地方,修改为资源的绝对值即可。例如: <property> <name>yarn.scheduler.capacity.root.bigdata.capacity</name> <value>[vcores=60,memory=614400,yarn.io/gpu=0]</value> </property> 这样,配置的队列就是固定的资源了。 【使用注意事项】 虽然配置比较简单,使用方式和原来相比也没有什么变化,但还是有不少要...
