博云计划向 Volcano 社区捐赠作业流编排引擎 JobFlow-低调大师

博云计划向 Volcano 社区捐赠作业流编排引擎 JobFlow

2021-12-03 864

Volcano 是一个基于 Kubernetes 的云原生批量计算平台，也是 CNCF 的首个容器批量计算项目，主要用于 AI、大数据、基因、渲染等诸多高性能计算场景，对主流通用计算框架均有很好的支持。它提供面向高性能负载的调度策略、完善的作业生命周期管理、异构硬件管理、面向高性能负载的性能优化等能力，目前在很多领域都已落地应用。

目前 Volcano 已经支持几乎所有的主流计算框架，包括 MindSpore、TensorFlow、Kubeflow、MPI、PyTorch、飞桨、Spark、Flink、HOROVOD 等。

JobFlow诞生的背景

Volcano 虽然提供了优秀的基于作业的任务编排功能，但缺乏作业间的编排能力。业界在需要作业编排时，通常的解决方式有以下几种：

人工手动提交多个作业。该流程操作繁琐，重复操作多，时效性差，时间成本通常很高。
结合已有的作业平台完成。通常企业、单位内部都有一套作业平台，作业编排可以在该平台上完成用以满足自身需求。但该方案缺乏通用性，对缺失作业平台的用户也不友好。
结合 Argo Workflow 完成。Argo Workflow 是一款优秀的开源云原生工作流引擎，在 K8S 之上编排并行作业。使用 Argo 对 Volcano 作业进行编排时，采用 resources 的模板类型来引入 vcjob 。workflow 提供了 STEP 与 DAG 两种这种方式来处理依赖结构的关系，这两种方式几乎涵盖了所有的复杂依赖结构，对于任务的串行并行都可以支持。但在依赖类型方面只提供了任务的完成、失败、出错等通用结果。在状态信息方面也趋向更加通用的结果。在对 vcjob 的任务编排时，用户可能依赖任务 running 状态，或者是探针的形式。此时 workflow 这种通用情况的作业编排将不再适用。另外，workflow 可以查看到 vcjob 级别的进度（完成与未完成），但不能直观的展示 vcjob 下任务及 pod 的完成情况，与对应的状态信息等。

以上方案都较为复杂，在作业流编排上步骤繁琐、外部依赖较为严重。一款云原生的高性能计算作业流引擎就显得十分重要。

JobFlow 对作业流编排的支持能力

为了解决上述问题，博云高性能计算团队设计并提出了 JobFlow 项目，专注于对多作业场景下的调度管理，可以实时查看作业及其任务的完成进度、执行状态，只要资源允许的场景下，自动下发后续任务，大大提升了资源利用率、减少了人工成本和作业执行时间。

JobFlow 的完整运行包含了 JobFlow 和 JobTemplate 。其中 JobFlow 用于描述作业之间的依赖关系，并跟踪作业下发以及运行过程的相关状态信息。JobTemplate 是用于描述作业各项信息的模板，用户可以基于模板分批次创建多个作业并运行。JobFlow 于 JobTemplate 关系如下图：

图1-1

当采用 JobFlow 后，用户对多作业的编排流程会大大缩减，仅需定义作业模板及作业间的依赖关系即可。为了减少迁移成本，JobFlow 项目同时提供了标准工具用于将现有的作业转化为作业模板。该工具也支持反向操作，即随时根据作业模板的定义启动一个作业并运行。当定义好模板及作业依赖后，用户可以采用 K8S 原生的方式去跟踪多个作业的执行状态、执行时长、作业结果等常见信息。

当前 JobFlow 中的作业依赖关系还比较简单，支持了出现最多的场景，即在前序作业执行结束后才自动启动后续依赖的作业。后续会逐步扩展依赖关系，实现 running / complete / probe 等多种依赖探测。

图1-2

JobFlow 作业流引擎已经内置到博云智能算力平台中，用户可以通过简单的图形页面实现复杂的作业模板定义、依赖管理、作业提交、历史查询等高频操作。

案例应用

通过一个简单的算术计算可以演示 JobFlow 的能力，该案例可以在B站博云账号下查看。如下图 job-d 依赖于 job-a 和 job-b 的运算结果。job-e 依赖于 job-c 的运算结果。job-f 依赖于 job-d 的运算结果。job-g 依赖于 job-e 的运算结果。job-h 依赖于 job-f 和 job-g 的运算结果。job-h 通过运算得到最终结果140 。

图1-3

后续拓展

博云已于近期与 Volcano 社区就 JobFlow 成为 Volcano 子项目相关事宜进行探讨。合并完成后，所有使用 Volcano 进行作业编排调度的用户都可以直接使用该技术，同时保持极低的迁移成本。

除了更多的依赖关系，JobFlow 项目后续还会继续增加对 task 级别的任务划分以及下发。即直接描述 task 的依赖规则，jobflow 根据 task 的依赖规则对 task 进行划分，生成作业并下发。

图1-4

参考链接:

1. https://volcano.sh/en/
2. https://github.com/BoCloud/JobFlow

微信关注我们

原文链接：https://www.oschina.net/news/171875

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

DBShop 商城系统 V3.1 Release 211202 发布

DBShop企业级商城系统，使用PHP语言基于Laminas（Zendframework 3） + Doctrine 2 组合框架开发完成。可定制、多终端、多场景、多支付、多货币；严谨的安全机制，可靠稳定；方便的操作管理，节约时间；清晰的权限分配，责任分明；便捷的更新处理，一键搞定；丰富的插件市场，扩展无限。前台提供：简体中文、繁体中文、英文、日文、韩文显示。系统框架 Laminas （Zendframework 3） Doctrine 2 环境要求服务器系统Linux、Unix、Mac、Windows、其他 web服务器Apache、Nginx、IIS、其他 MySQL版本>= 5.6 PHP版本>= 7.2 PHP扩展|库 PDO SSL（openssl） Fileinfo intl Curl GD2 系统空间>= 500M 更新日志：新增七牛云存储插件修正后台优惠促销帮助按钮的链接优化数据库连接模式优化后台商品列表加入商品数量显示优化提示信息优化更换帮助地址优化后台选择规格图片，只能选择切换类型的图片优化商品详情规格切换变...

2021-12-03

571

报告编号：B6-2021-120202 报告来源：360CERT 报告作者：360CERT 更新日期：2021-12-02 漏洞简述 2021年12月02日，360CERT监测发现Mozilla发布了Mozilla NSS 缓冲区堆溢出的风险通告，漏洞编号为CVE-2021-43527，漏洞等级：严重，漏洞评分：9.8。 NSS (Network Security Services)是一组支持跨平台开发安全客户端与服务器应用程序的程序库，它提供服务器侧硬件TLS/SSL加速和客户端侧智能卡的可选支持。此漏洞不会影响 Mozilla Firefox。但是，使用 NSS 进行签名验证的电子邮件客户端和 PDF 查看器，例如 Thunderbird、LibreOffice、Evolution 和 Evince，受影响。对此，360CERT建议广大用户及时将Mozilla NSS升级到最新版本。与此同时，请做好资产自查以及预防工作，以免遭受黑客攻击。风险等级评定方式等级威胁等级严重影响面广泛攻击者价值高利用难度低 360CERT评分 9.8 漏洞详情 CVE-2021...

2021-12-03

720

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。