跳动百科

DeepSeek开源周最后一天:让数据处理「从自行车升级到高铁」

钟世平   来源:网易

DeepSeek开源周最后一天,开源了名为3FS的并行文件系统。

3FS利用现代SSD和RDMA网络,实现高速数据处理,支持训练数据预处理、数据集加载等多种应用场景。

在180节点集群中,3FS实现了6.6 TiB/s的聚合读取吞吐量,性能卓越。

其分离式架构和强一致性语义设计,简化了分布式应用程序开发。

DeepSeek V3、R1模型已采用该系统。

有早期使用者评价称,3FS处理数据的速度快到惊人,如同给AI社区赠送了一艘宇宙飞船。

3FS的开源,标志着AI数据处理领域树立了新标杆,将推动AI训练和推理工作负载的高效发展。