基準測試表明英特爾Gaudi2加速器較英偉達A100更具特定優勢
在2019 年以20 億美元收購了以色列Habana Labs 後,英特爾推出了Gaudi2 數據中心加速卡,並將之與面世已有兩年的英偉達A100 進行了對比。事實上,Habana 製造了兩種專用加速器—— 除了面向神經網絡訓練的Gaudi2,還有主打推理任務的Goya / Greco 。
雖然早在5 月就發布,但MLPerf 公共數據庫直到上週才接收到它的基準測試成績。
由其分享的圖表可知,Gaudi2 系統的分數,被拿來和英偉達/戴爾的A100 系統進行了橫向比較。
首先,ResNet-50 能夠測試硬件在AI 圖像分類工作上的表現。可知Habana 的Gaudi2 系統只需18 分鐘就通過測試,而英偉達A100 系統需要將近半個小時。
其次,Gaudi2 只用了17 分鐘來訓練BERT 模型,較A100 系統快了大約一分鐘。作為一個自然語言處理(NLP)模型,這項測試使用了來自維基百科的文章來訓練。
雖然所有測試平台都使用了八卡加速器/ GPU,但Habana 系統搭配了雙路40 核的Intel Xeon 8380 CPU,而英偉達系統則採用了雙路64 核的AMD EPYC 7742 CPU 。
規格方面,Gaudi2 具有24 個張量處理(TPC)內核+ 並行運行的兩部分矩陣乘法(MME)引擎。其支持包括FP32、TF32、BF16、FP16 和FP8 在內的廣泛數據類型。
此外Gaudi2 有一個專用於處理音視頻輸入的媒體引擎,集成48MB 內部緩存+ 板載96GB(6×16GB)HBM2e 高帶寬內存,總帶寬達到了2.45 TB/s 。
連接方面,該加速器使用了PCIe 4.0 x16 接口、輔以24 個100 Mbps RoCE2(RDMA over Converged Ethernet 2)端口。
需要指出的是,英偉達A100 / H100 的功能要更加全面一些,Gaudi2 在某些特定任務上更具優勢。
不過就算英偉達早在三個月前就發布了H100 新品,Gaudi2 還是有望成為A100 的一個有力競爭對手。