Prophecis 一站式云原生机器学习平台

Prophecis 是微众银行大数据平台团队开发的一站式机器学习平台，其采用云原生技术方案，提供生产环境全栈化容器部署与管理服务，致力于打通机器学习建模的整个生命周期的Pipeline。Prophecis提供多种模型训练调试方式，集成多种开源机器学习框架，具备机器学习计算集群的多租户管理能力。

• Prophecis Machine Learning Flow：机器学习分布式建模工具，具备单机和分布式模式模型训练能力，支持Tensorflow、Pytorch、XGBoost等多种机器学习框架，支持从机器学习建模到部署的完整Pipeline；
• Prophecis MLLabis：机器学习开发探索工具，提供开发探索服务，是一款基于Jupyter Lab的在线IDE，同时支持GPU及Hadoop集群的机器学习建模任务，支持Python、R、Julia多种语言，集成Debug、TensorBoard多种插件；
• Prophecis Model Factory：机器学习模型工厂，提供机器学习模型存储、模型部署测试、模型管理等服务；
• Prophecis Data Factory：机器学习数据工厂，提供特征工程工具、数据标注工具和物料管理等服务；
• Prophecis Application Factory：机器学习应用工厂，由微众银行大数据平台团队和AI部门联合共建，基于青云(QingCloud)开源的KubeSphere定制开发，提供CI/CD和DevOps工具，GPU集群的监控及告警能力。

• 全生命周期的机器学习体验：Prophecis的Machine Learning Flow 通过 AppJoint 可以接入到 DataSphere Stdudio 的工作流中，支持从数据上传、数据预处理、特征工程、模型训练、模型评估到模型发布的机器学习全流程；
• 一键式的模型部署服务：Prophecis MF 支持将Prophecis Machine Learning Flow、Prophecis MLLabis 生成的训练模型一键式发布为 Restful API 或者 RPC 接口，实现模型到业务的无缝衔接；
• 机器学习应用部署、运维、实验的综合管理平台：基于社区开源方案定制，提供完整的、可靠的、高度灵活的企业级机器学习应用发布、监控、服务治理、日志收集和查询等管理工具，全方位实现对机器学习应用的管控，满足企业对于机器学习应用在线上生产环境的所有工作要求。

• Linkis TFOS Engine： Prophecis 通过构建 Linkis TFOS Engine，支持从任务提交到 YARN，为平台提供了SparkML、TensorflowOnSpark、XGBoost On PySpark、LightGBM On PySpark等分布式建模能力；

• Machine Learning Flow Pipeline：Prophecis通过对接Linkis的Flow Engine、DataSphere Studio的Appjoint插件集成能力，实现了机器学习实验工作流调度功能；

  
  
• 集成DSS工作流 ：在复用DSS和Linkis能力的同时，Prophecis也构建了对应的DSS Prophecis AppJoint，为DSS的工作流模块提供了云原生机器学习建模能力；
• LinkisMagic ：Prophecis构建Linkis相应Magic函数，目前主要对接了Spark相关引擎类型，完善了Jupyter Notebook的大数据开发功能，为用户提供了一站式、交互式的AI开发环境。

KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器管理平台，作为面向云原生应用的容器混合云，其愿景是打造一个以 Kubernetes 为内核的云原生分布式操作系统，它的架构可以非常方便地使第三方应用与云原生生态组件进行即插即用（plug-and-play）的集成，支持云原生应用在多云与多集群的统一分发和可视化运维管理。

更多关于KubeSphere的介绍，请访问： 

• KubeSphere 官网中国站 (https://kubesphere.com.cn) 

• KubeSphere GitHub（https://github.com/kubesphere）

Prophecis在Application Factory的建设中引入了 KubeSphere，对其进行了定制开发，实现了机器学习容器应用从镜像发布、实例部署、多租户资源隔离、服务监控到日志收集的自动化管理，极大的降低了机器学习应用的运维成本。同时，WeDataSphere和KubeSphere 两大社区也达成了开源合作的意向，朝着共建云原生大数据生态前进，为中国的新基建事业添砖加瓦。

当前Webank的Prophecis已经完成与DataSphereStudio对接，打通了整个MLFlow的数据链路Pipeline，后续我们会按照Roadmap逐步放出剩下功能，Prophecis RoadMap规划：

• Prophecis v0.1.x

• 服务部署脚本

• 用户管理台

• Namespace、存储、资源管理

• 多租户隔离的个人开发环境(Jupyter Lab)

• 大数据开发方案(Livy&原生方案)

• LinkisMagic

• MLLabis

• Control Center & UI

• Prophecis v0.2.x

• 基础平台自动化部署脚本（Kubernetes/Docker/GPU）

• 分布式建模

• 批量任务计算、告警

• CLI

• MLFlow

• Base

• Prophecis v0.3.x

• 资源管理、监控

• 模型部署

• Model Factory（模型工厂）

• Application Factory（应用工厂）