摩爾線程千卡GPU叢集完成700億參數大模型訓練
摩爾線程、憨猴科技集團聯合宣布,基於摩爾線程的誇娥(KUAE)千卡智算集群,憨猴集團成功完成了7B、34B、70B不同參數量級的大模型分佈式訓練。經雙方共同嚴苛測試,相容適配程度高,訓練效率達到預期,精準度符合要求,整個訓練過程持續穩定。
這充分驗證了誇娥智算群聚作為國產全功能GPU千卡千億大模型預訓練平台,在穩定性、高效能、易用性和高算力利用率的先進性。
這也是憨猴集團首次使用國產AI算力完成大模型訓練測試,後續可為其服務的國有企業與營運商等關鍵領域,提供更堅實可靠的國產AI訓練平台,以及成本效益更優的國產算力解決方案。
同時,摩爾線程與憨猴集團簽署了戰略合作協議。
雙方將聚焦AI大模型與算力領域,透過摩爾線程誇娥千卡智算集群與憨猴集團AI智算產品及數位化解決方案的深度融合,共同探索國產AI算力的新應用場景與落地實踐,加速數智化產業的全面升級。
在此之前,摩爾線程已成為第一家接入無問芯穹,並成功完成千卡級別大模型訓練的國產GPU公司,誇娥千卡集群與無穹Infini-AI順利完成了系統級融合適匹配,並完成了LLama2 700億參數大模型的訓練測試。
「誇娥」叢集則是基於雙路八卡GPU伺服器MCCX D800,每個節點有八塊MTT S4000 GPU加速卡、兩顆Intel第四代至強處理器、16 x 64GB記憶體、4 x 3.84TB NVMe SSD,以及雙路400Gb IB、四路25Gb乙太網路,一體化交付解決大規模GPU算力的建設和營運管理問題。
誇娥氏是我國神話傳說中的大力神,出自《愚公移山》:「帝感其誠,命誇娥氏二子負二山,一厝朔東,一厝雍南。自此,冀之南,漢之陰,無隴斷焉。