DeepSeek开源周最后一天,开源了名为3FS的并行文件系统。
3FS利用现代SSD和RDMA网络,实现高速数据处理,支持训练数据预处理、数据集加载等多种应用场景。
在180节点集群中,3FS实现了6.6 TiB/s的聚合读取吞吐量,性能卓越。
其分离式架构和强一致性语义设计,简化了分布式应用程序开发。
DeepSeek V3、R1模型已采用该系统。
有早期使用者评价称,3FS处理数据的速度快到惊人,如同给AI社区赠送了一艘宇宙飞船。
3FS的开源,标志着AI数据处理领域树立了新标杆,将推动AI训练和推理工作负载的高效发展。