字节跳动开源 Gödel Scheduler:在离线统一调度器
字节跳动宣布基于 Kubernetes 系统自研分布式调度器:Gödel Scheduler。一个能统一调度在线和离线业务的分布式调度器,能在满足在离线业务功能和性能需求的前提下,提供良好的扩展性和调度质量。 具备如下主要特点: 基于 K8s Scheduler,结合乐观并发思想,把最耗时的应用到节点匹配(filtering and scoring)操作放在 scheduler 组件,可以并发执行,提高大规模集群调度吞吐; 两层调度语义抽象(Unit 和 Pod)和二级调度框架实现:提供更灵活的“批”调度能力,更好支持离线业务的同时,可以进一步提高调度吞吐和提升系统扩展性 (扩展后的框架可以更好地处理一些特殊场景); 丰富的功能和优秀的性能,满足在线,离线(批,流)和训练等业务需求,真正做到统一调度; 兼容 Kubernetes 生态,可以替换 K8s Scheduler; 由于性能以及架构优化,在 framework interface 上与 K8s Scheduler 不完全一样,但扩展性不受影响,也可以像 Kubernetes 一样实现 scheduling plugin; 架构...