实录分享 | Alluxio在AI/ML场景下的应用
欢迎来到【微直播间】,2min纵览大咖观点 本次分享主要包括五个方面: 关于Alluxio; 盘点企业在尝试AI时面临的挑战; Alluxio在技术栈中的位置; Alluxio在模型训练&模型上线场景的应用; 效果对比:使用Alluxio前 VS 使用Alluxio后。 一、关于Alluxio Alluxio——数据编排平台,一个高性能的数据接入层。 二、盘点企业在尝试AI时面临的挑战 1、GPU短缺; 2、模型上线慢; 3、GPU使用率低。 三、Alluxio在技术栈中的位置 √ Alluxio不是一个持久化的存储层,持久化存储比较依赖云上S3 Storage、Ceph或者是HDFS这种分布式存储; √ Alluxio在AI领域是一个高性能的接入层; √ Alluxio对Pytorch、TensorFlow的IO性能做了很多优化; √ 再往上就是Ray或者是MLFlow这种AI/ML的编排层。 四、Alluxio在模型训练&模型上线场景的应用 √ 在需要的位置启动GPU集群; √ 在现有数据湖上构建AI/ML; √ 消除数据拷贝,降低成本/复杂度; √ 实现更快的模型...