博云计划向 Volcano 社区捐赠作业流编排引擎 JobFlow
Volcano 是一个基于 Kubernetes 的云原生批量计算平台,也是 CNCF 的首个容器批量计算项目,主要用于 AI、大数据、基因、渲染等诸多高性能计算场景,对主流通用计算框架均有很好的支持。它提供面向高性能负载的调度策略、完善的作业生命周期管理、异构硬件管理、面向高性能负载的性能优化等能力,目前在很多领域都已落地应用。 目前 Volcano 已经支持几乎所有的主流计算框架,包括 MindSpore、TensorFlow、Kubeflow、MPI、PyTorch、飞桨、Spark、Flink、HOROVOD 等。 JobFlow诞生的背景 Volcano虽然提供了优秀的基于作业的任务编排功能,但缺乏作业间的编排能力。业界在需要作业编排时,通常的解决方式有以下几种: 人工手动提交多个作业。该流程操作繁琐,重复操作多,时效性差,时间成本通常很高。 结合已有的作业平台完成。通常企业、单位内部都有一套作业平台,作业编排可以在该平台上完成用以满足自身需求。但该方案缺乏通用性,对缺失作业平台的用户也不友好。 结合 Argo Workflow 完成。Argo Workflow 是一款优秀的...