首個以國產GPU為底座摩爾線程全國產千卡智算中心正式落地
摩爾線程官方發布通告稱,摩爾線程首個全國產千卡千億模型訓練平台,摩爾線程KUAE智算中心揭幕儀式成功舉辦。此舉也代表著,國內首個以國產全功能GPU為底座的大規模算力集群正式落實。
摩爾線程CEO張建中表示,摩爾線程建構了從晶片到顯示卡到集群的智算產品線,依托全功能GPU的多元運算優勢,可以滿足不斷增長的大模型訓練和推理需求。
據介紹,摩爾線程KUAE智算中心解決方案以全功能GPU為底座,旨在以一體化交付的方式解決大規模GPU算力的建設和營運管理問題。
此方案可實現開箱即用,大幅降低傳統算力建置、應用開發及運維營運平台建置的時間成本,並實現快速推出市場進行商業化營運。
目前,摩爾線程支援包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各類主流大模型的訓練和微調。
基於摩爾線程KUAE千卡集群,70B到130B參數的大模型訓練,線性加速比均可達91%,算力利用率基本保持不變。
以2000億訓練資料量為例,智源研究院700億參數Aquila2可在33天完成訓練;1,300億參數規模的模型可在56天完成訓練。