每日一博 | OPPO 大数据计算集群资源调度架构演进
1 背景 随着公司这两年业务的迅速扩增,业务数据量和数据处理需求也是呈几何式增长,这对底层的存储和计算等基础设施建设提出了较高的要求。本文围绕计算集群资源使用和资源调度展开,将带大家了解集群资源调度的整体过程、面临的问题,以及我们在底层所做的一系列开发优化工作。 2 资源调度框架---Yarn 2.1Yarn的总体结构 从大数据的整个生态体系来说,hadoop处于离线计算的核心位置。为了实现大数据的存储和计算,hadoop1.0提供了hdfs分布式存储以及mapreduce计算框架,虽然整体具备了大数据处理的雏形,但还不支持多类型的计算框架,如后来的spark、flink,这个时候也并没有资源调度的概念。 到了hadoop2.0,为了减轻单台服务节点的调度压力,兼容各个类型的调度框架,hadoop抽离出了分布式资源调度框架---YARN(Yet Another Resource Negotiator)。Yarn在整个架构中所处的地位如图1: 图1:Hadoop生态体系 Yarn通过优化后的双层调度框架,将hadoop1.0中原本需要执行资源调度和任务调度的单点JobTracker分为R...
