DeepSeek 开源周第五日：高性能并行文件系统 3FS-低调大师

DeepSeek 开源周第五日：高性能并行文件系统 3FS

2025-02-28 332

DeepSeek 开源周第五日，发布面向 DeepSeek 全数据访问的推进器 3FS。

Fire-Flyer 文件系统（Fire-Flyer File System, 3FS）是一款并行文件系统，支持 V3/R1 版本中训练数据预处理、数据集加载、检查点保存 / 重载、推理阶段的向量嵌入搜索及 KVCache 查找。

开源地址：https://github.com/deepseek-ai/3FS
基于 3FS 的数据处理框架 Smallpond：https://github.com/deepseek-ai/smallpond

3FS 性能亮点

集群高吞吐：在 180 节点集群中，3FS 实现了高达 6.6 TiB/s 的聚合读取吞吐量。
基准测试优异：在 25 节点集群的 GraySort 基准测试中，3FS 达到了 3.66 TiB / min 的吞吐量。
单节点高性能：每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s。
架构先进： 3FS 采用去中心化架构，并具备强一致性语义。

3FS 应用场景

3FS (Fire-Flyer File System) 是一款高性能的分布式文件系统，旨在解决 AI 训练和推理工作负载带来的挑战，利用现代 SSD 和 RDMA 网络提供共享存储层，简化分布式应用程序的开发。其核心优势在于高性能、强一致性和易用性，能够有效支持各种 AI 工作负载，包括数据准备、数据加载、检查点设置和推理缓存。

3FS 在 DeepSeek 的 V3 / R1 版本中得到广泛应用，涵盖了训练数据预处理、数据集加载、检查点保存 / 重新加载、嵌入向量搜索以及推理过程中的 KVCache 查找等关键环节。

Smallpond

此外，DeepSeek 还开源了基于 3FS 的数据处理框架 Smallpond，是一款构建于 DuckDB 和 3FS 之上的轻量级数据处理框架。它拥有高性能数据处理能力，可扩展至 PB 级数据集，并且操作简便，无需长期运行的服务。

【DeepSeek 开源周完整回顾】

微信关注我们

原文链接：https://www.oschina.net/news/336131/deepseek-opensource-week-3fs

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

OpenAI 正式发布 GPT-4.5 模型

今日凌晨，OpenAI 正式发布 GPT-4.5 模型。 GPT-4.5 支持联网搜索，并能够处理文件和图片上传，还可以使用 Canvas 来进行写作和编程。不过，目前 GPT-4.5 还不支持多模态功能，如语音模式、视频和屏幕共享。GPT-4.5 主要通过「无监督学习」（就是自己从大量数据中学习）变得更聪明，而不是像 OpenAI o1 或者 DeepSeek R1 那样专注于推理能力。简单说，GPT-4.5 知道的更多，而 o1 系列更会思考。 API 价格方面，因 GPT-4.5 计算量极大，成本高昂，相较于 GPT-4o 价格有了较高上涨——价格涨到了75 美元 / 百万 tokens，是 GPT-4o 的 30 倍，更是 DeepSeek 的 280 倍。 Sam Altman 提到，GPT-4.5 不是推理型模型，不会在基准测试中碾压其他模型。在目前曝出的实测中，性能的提升远没有价格大。 GPT-4.5 更新要点如下：知识更广泛：它学习了更多的信息，所以懂的东西比以前多更少胡说八道：减少了「幻觉」（就是 AI 编造事实的情况）更懂人心：「情商」更高，更能理解你的真...

2025-02-28

267

网友发现，曾主演《小兵张嘎》的演员“嘎子哥”谢孟伟有了新的直播方向，从卖白酒转卖 AI 课程。直播截图显示，嘎子哥直播宣称“deepseek引爆流量，只需要对着镜头说123123，就能生成几十种语言视频”。从直播截图来看，嘎子哥的DeepSeek课程收费10.9元。网友在直播间调侃称：“你能玩明白吗？嘎子。”

2025-02-28

150

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。