字节跳动正式开源分布式训练调度框架 Primus
项目地址： https://github.com/bytedance/primus 随着机器学习的发展，模型及训练模型所需的数据量越来越大，也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度系统有较深的理解，才能够快速批量开启模型训练，保证资源利用率。 目前业界有很多类似的框架，如 TonY、TensorFlowOnSpark，Kubeflow 中的 Training Operators 等，但这些框架或多或少存在某些问题，如与固定的机器学习框架（ Tensorflow，Pytorch ）耦合需要写明例如 PS、Worker 等角色，容错和弹性调度支持不友好，不支持异构调度，调度语义较为简单，不支持文件读取等。 将算法工程师从此类繁重的底层细节中解脱出来、更多地关注到算法层面，即为 Primus 解决的问题。 日均作业百万核的字节跳动实践 经过字节跳动在不断实践中调整打磨的 Primus，拥有以下能力支撑业务需求： 自研训练框架：目前除了业界开源的 Tensorflow、Pytorch，为了满足用户的各种需求，字节也在机器学习场景进行了深入...
