每日一博 | 使用 Kubeflow 构建机器学习流水线
在此前的文章中,我已经向你介绍了Kubeflow,这是一个为团队设置的机器学习平台,需要构建机器学习流水线。 在本文中,我们将了解如何采用现有的机器学习详细并将其变成Kubeflow的机器学习流水线,进而可以部署在Kubernetes上。在进行本次练习的时候,请考虑你该如何将现有的机器学习项目转换到Kubeflow上。 我将使用Fashion MNIST作为例子,因为在本次练习中模型的复杂性并不是我们需要解决的主要目标。对于这一简单的例子,我将流水线分为3个阶段: Git clone代码库 下载并重新处理训练和测试数据 训练评估 当然,你可以根据自己的用例将流水线以任意形式拆分,并且可以随意扩展流水线。 获取代码 你可以从Github上获取代码: % git clone https://github.com/benjamintanweihao/kubeflow-mnist.git 以下是我们用来创建流水线的完整清单。实际上,你的代码很可能跨多个库和文件。在我们的例子中,我们将代码分为两个脚本,preprocessing.py和train.py。 from tensorflow impo...