每日一博 | 如何借助 JuiceFS 为 AI 模型训练提速 7 倍
背景 海量且优质的数据集是一个好的 AI 模型的基石之一，如何存储、管理这些数据集，以及在模型训练时提升 I/O 效率一直都是 AI 平台工程师和算法科学家特别关注的事情。不论是单机训练还是分布式训练，I/O 的性能都会显著影响整体 pipeline 的效率，甚至是最终的模型质量。 我们也逐渐看到容器化成为 AI 训练的趋势，利用容器可以快速弹性伸缩的特点，结合公有云的资源池，能够最大化资源利用率，为企业大大节约成本。因此也就诞生了类似 Kubeflow 和 Volcano 这样的开源组件，帮助用户在 Kubernetes 上管理 AI 任务。Kubernetes 自 1.15 开始新增了 Scheduling Framework，社区也基于这个新的调度框架优化了很多针对 AI 训练场景的问题。前面提到的训练数据管理问题在 Kubernetes 上依然存在，甚至放大了这个需求，因为计算不再是在固定的几台机器上进行，数据需要智能地跟随计算「流动」（或者反过来）。 最后，不管是算法科学家日常实验，还是正式训练模型，POSIX 接口依然是一个很强烈的需求，虽然主流的框架或者算法库基本都支持对...
