DeepSeek開源週第五天:「動力推進器」Fire-Flyer檔案系統
2月28日,DeepSeek「開源週」第五天,今天開源的是一款為所有DeepSeek資料存取提供動力的推進器,名為3FS。 Fire-Flyer檔案系統(3FS)-平行檔案系統,充分利用現代SSD和RDMA網路的頻寬。 180節點叢集中,聚合讀取吞吐量達6.6 TiB/s;25節點叢集中,GraySort基準測試吞吐量達3.66 TiB/min。
單一客戶端節點的KVCache查找峰值吞吐量超過40 GiB/s;採用強一致性語意的分離式架構;支援V3/R1中的訓練資料預處理、資料集載入、檢查點保存/重載、嵌入向量搜尋及推理中的KVCache查找。
DeepSeek表示,3FS旨在為DeepSeek的資料密集型任務提供高效、可靠的儲存與存取解決方案,協助AI研究與開發。
