一切都是为了更高效（写在国内第一次DataOps + MLOps meetup之后）

上周六即3月12日，星策开源社区组织了国内第一次DataOps + MLOps的meetup，感谢CSDN和51CTO同步直播，活动圆满结束。

现在简单回顾一下。

1. 为什么组织这么一场Meetup？

是因为我感觉到，DataOps和MLOps虽然在国外已经开始流行了，但是在国内还是比较陌生的，有必要组织这样的活动，让更多的工程师了解DataOps和MLOps是什么，能够干什么，对业务的价值，以及其中的技术难点和相应比较成熟的技术方案都有什么。

2. 各种Ops的异同

最近几年DevOps之后出现了各种Ops，包括DevSecOps，GitOps，AIOps，NoOps，DataOps，MLOps，FeatureOps，ModelOps等等。他们的相同点都是各种Ops任务（Operation）的自动化，都包含相应的流程、工具和角色；不同点是面向不同的领域，涉及不同的角色，以及自动化的任务不同而已。核心还是为了更高效，手段还是自动化。

DataOps是在数据分析领域，目标是为了提高数据分析的质量并缩短周期，涉及角色包括数据科学家、数据工程师，IT工程师等，任务包括数据搜集，数据ETL，数据可视化等

这个图很好的表示了DataOps的全部过程。

 

接着来说MLOps，它面向的领域是机器学习，目标是提高机器学习落地的效率，涉及角色包括AI科学家、AI数据工程师、IT工程师，任务包括场景定义，数据搜集和整理，模型训练和部署，持续监控和更新等。同样用一个图来表示如下。

 

用一张表来总结DevOps和DataOps以及MLOps的区别。
（CI：continuous Integration，持续集成；CD：Continuous Deploy，持续部署；CT：Continuous Training，持续训练；CM：Continuous Monitoring，持续监控）

各种Ops	对象	过程
DevOps	Code	CI + CD
DataOps	Code + Data	CI + CD
MLOps	Code + Data + Model	CI + CD + CT +CM

 

3.  Meetup 议程

（1）我首先分享了我对DataOps和MLOps的理解，见上文。

（2）Apache DophinScheduler的PMC leader 郭炜，江湖人称郭大侠分享了他对DataOps的洞察，并重点介绍了被他称之为“DataOps领域内的K8S”----Apache DophinScheduler项目，它作为一个支持可视化操作，分布式的数据操作编排系统，从定位上来看确实很像云原生领域内的K8S。

（3）OpenMLDB的架构师 陈迪豪同学分享了他对MLOps的认识，并重点介绍了他重点参与的开源项目，OpenMLDB。OpenMLDB能极大的提升机器学习上线的效率，并降低机器学习从业人员的门槛。因为它可以支持用SQL进行特征提取，然后把对应提取的SQL语句直接上线，这样保证了训练和预测所使用到的数据和代码的一致性，高效的解决数据一致性的问题。此外OpenMLDB还有很多优点和特性，欢迎看他的PPT和视频。

4. 总结。

DataOps和MLOps作为各种Ops中的后起之秀，可以在各自领域即数据分析和机器学习领域，起到很大的作用。虽然国内现在还不是很流行，相信随着国内大数据和机器学习在更多企业的落地，尤其是企业数字化转型的推进会极大促进这两者的进一步发展。

 

5.  附上这次meetup的视频

• DevOps后的各种Ops相同点和区别在哪？——谭中意

链接：https://www.bilibili.com/video/BV16P4y1M7xC?spm_id_from=333.999.0.0

• DataOps &DolphinScheduler——郭炜

链接：https://www.bilibili.com/video/BV1FT4y1U7Kp?spm_id_from=333.999.0.0

• 使用OpenMLDB打造MLOps场景应用——陈迪豪

链接：https://www.bilibili.com/video/BV1FS4y1D7gB?spm_id_from=333.999.0.0

 

6.  最后，我们组建了MLOps的爱好者讨论群，目前有超过100多人已经加入，每天讨论各种相关技术问题，欢迎爱好者加入。