DeepSeek代码开源第五弹:并行文件系统3FS,吞吐量高达6.6TiB/s
2025年2月28日,DeepSeek在开源周的第五天宣布开源了高性能并行文件系统3FS(Fire-Flyer File System)。3FS专为AI训练和推理工作负载设计,充分利用现代SSD和RDMA网络带宽,提供共享存储层,简化分布式应用程序的开发。
在由180个存储节点组成的大型测试集群上,3FS的总读取吞吐量达到约6.6TiB/s,KVCache查询每个客户端节点达到40+GiB/s的峰值吞吐量。3FS采用分解式架构,结合数千个SSD的吞吐量和数百个存储节点的网络带宽,实现强一致性,并提供标准的文件接口,无需学习新的存储API。
3FS的主要功能和优势包括高性能、强一致性、易用性,支持数据准备、数据加载、检查点设置和推理缓存等多样化工作负载。此外,DeepSeek还开源了基于3FS的数据处理框架Smallpond,用于高性能数据处理。3FS代码库已发布于GitHub平台,地址为:[https://github.com/deepseek-ai/3FS](https://github.com/deepseek-ai/3FS)。
免责声明:免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!