跳动百科

DeepSeek开源周第五天:6.6TiB/s炸场3FS重新定义AI存储基建

邰英晴   来源:网易

DeepSeek开源周第五天:6.6TiB/s炸场!3FS重新定义AI存储基建

2025年2月28日,DeepSeek在开源周的最后一天发布了专为现代算力场景设计的高性能并行文件系统3FS(Fire-Flyer File System)及配套数据处理框架Smallpond。3FS以6.6TiB/s的集群吞吐量创下行业新纪录,通过去中心化架构与强一致性语义设计,显著提升了AI训练与推理的数据处理能力。其GraySort基准测试表现达3.66TiB/min,系统深度优化SSD与RDMA网络特性,为千卡级AI训练集群提供稳定数据供给。

作为DeepSeek V3/R1版本的核心基建,3FS已全面渗透数据预处理、检查点存储、向量搜索及推理缓存等关键环节。配套开源的Smallpond框架构建起轻量化PB级数据处理能力,形成从存储到计算的完整生态闭环。

此次3FS与Smallpond的双重开源,标志着DeepSeek在推动行业突破数据密集型应用的存储瓶颈方面迈出了重要一步,或将对传统分布式系统产生巨大冲击。