跳动百科

DeepSeek代码开源第五弹:并行文件系统3FS代码库,吞吐量6.6TiB/s

都毅广   来源:网易

DeepSeek代码开源第五弹:并行文件系统3FS,吞吐量高达6.6TiB/s

2025年2月28日,DeepSeek在开源周的第五天宣布开源了高性能并行文件系统3FS(Fire-Flyer File System)。3FS专为AI训练和推理工作负载设计,充分利用现代SSD和RDMA网络带宽,提供共享存储层,简化分布式应用程序的开发。

在由180个存储节点组成的大型测试集群上,3FS的总读取吞吐量达到约6.6TiB/s,KVCache查询每个客户端节点达到40+GiB/s的峰值吞吐量。3FS采用分解式架构,结合数千个SSD的吞吐量和数百个存储节点的网络带宽,实现强一致性,并提供标准的文件接口,无需学习新的存储API。

3FS的主要功能和优势包括高性能、强一致性、易用性,支持数据准备、数据加载、检查点设置和推理缓存等多样化工作负载。此外,DeepSeek还开源了基于3FS的数据处理框架Smallpond,用于高性能数据处理。3FS代码库已发布于GitHub平台,地址为:[https://github.com/deepseek-ai/3FS](https://github.com/deepseek-ai/3FS)。