英偉達H100霸榜權威AI性能測試11分鐘搞定基於GPT-3的大模型訓練
機器學習及人工智能領域開放產業聯盟MLCommons披露兩項MLPerf基準評測的最新數據,其中英偉達H100芯片組在人工智能算力表現的測試中,刷新了所有組別的紀錄,也是唯一一個能夠跑完所有測試的硬件平台。
(來源:英偉達、MLCommons)
MLPerf是由學術界、實驗室和產業組成的人工智能領袖聯盟,是目前國際公認的權威AI性能評測基準。Training v3.0包含8種不同的負載,包括視覺(影像分類、生物醫學影像分割、兩種負載的物體偵測)、語言(語音識別、大語言模型、自然語言處理)和推薦系統。簡單來說,就是由不同的設備供應商提交完成基準任務所需要的時間。
(Training v3.0訓練基準,來源:MLCommons)
在投資者比較關注的“大語言模型”訓練測試中,英偉達和GPU雲算力平台CoreWeave提交的數據為這項測試設定了殘酷的業界標準。在896個英特爾至強8462Y+處理器和3584個英偉達H100芯片的齊心協力下,僅僅花了10.94分鐘就完成了基於GPT-3的大語言模型訓練任務。
除了英偉達外,只有英特爾的產品組合在這個項目上獲得評測數據。由96個至強8380處理器和96個Habana Gaudi2 AI芯片構建的系統中,完成同樣測試的時間為311.94分鐘。橫向對比,使用768個H100芯片的平台跑完這個測試也只需要45.6分鐘。
(芯片越多數據越好看,來源:英偉達)
對於這個結果,英特爾也表示仍有上升空間。理論上只要堆更多的芯片,運算的結果自然會更快。英特爾AI產品高級主管Jordan Plawner對媒體表示,接下來Habana的運算結果將會呈現1.5倍-2倍的提升。Plawner拒絕透露Habana Gaudi2的具體售價,僅表示業界需要第二家廠商提供AI訓練芯片,而MLPerf的數據顯示英特爾有能力填補這個需求。
而在中國投資者更熟悉的BERT-Large模型訓練中,英偉達和CoreWeave將數據刷到了極端的0.13分鐘,在64卡的情況下,測試數據也達到了0.89分鐘。BERT模型中的Transformer結構正是目前主流大模型的基礎架構。