DeepSeek开源周最后一天,开源了名为3FS的并行文件系统。
3FS利用现代SSD和RDMA网络,实现高速数据处理,支持训练数据预处理、数据集加载等多种应用场景。
在180节点集群中,3FS实现了6.6 TiB/s的聚合读取吞吐量,性能卓越。
其分离式架构和强一致性语义设计,简化了分布式应用程序开发。
DeepSeek V3、R1模型已采用该系统。
有早期使用者评价称,3FS处理数据的速度快到惊人,如同给AI社区赠送了一艘宇宙飞船。
3FS的开源,标志着AI数据处理领域树立了新标杆,将推动AI训练和推理工作负载的高效发展。
免责声明:免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!