DeepSeek 开源周第五日:高性能并行文件系统 3FS
DeepSeek 开源周第五日,发布面向 DeepSeek 全数据访问的推进器 3FS。 Fire-Flyer 文件系统(Fire-Flyer File System, 3FS)是一款并行文件系统,支持 V3/R1 版本中训练数据预处理、数据集加载、检查点保存 / 重载、推理阶段的向量嵌入搜索及 KVCache 查找。 开源地址:https://github.com/deepseek-ai/3FS 基于 3FS 的数据处理框架 Smallpond:https://github.com/deepseek-ai/smallpond 3FS 性能亮点 集群高吞吐:在 180 节点集群中,3FS 实现了高达 6.6 TiB/s 的聚合读取吞吐量。 基准测试优异:在 25 节点集群的 GraySort 基准测试中,3FS 达到了 3.66 TiB / min 的吞吐量。 单节点高性能:每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s。 架构先进:3FS 采用去中心化架构,并具备强一致性语义。 3FS 应用场景 3FS (Fire-Flyer File System) 是一款...
