Intel發布Gaudi 3 AI加速器:4倍性能提升、無懼1800億參數大模型
美國當地時間4月9日,Intel舉辦了一場面向客戶和合作夥伴的Intel Vision 2024產業創新大會,做出多項重磅宣布,包括全新的Gaudi 3 AI加速器,包括全新的至強6品牌,以及涵蓋全新開放、可擴展系統,下一代產品和一系列策略合作的全端解決方案。
數據顯示,預計2030年,全球半導體市場規模將達1兆美元,AI是主要推動力,不過在2023年,只有10%的企業能夠成功將其AIGC專案產品化。
Intel的最新解決方案,可望協助企業應對推廣AI專案時所面臨的挑戰,加速實現AIGC落地商用。
![](https://i0.wp.com/static.cnbetacdn.com/article/2024/0410/9f3643e71ab14ba.png?w=640&ssl=1)
Intel現有的Gaudi 2誕生於2022年5月,並於2023年7月正式引進中國,擁有極高的深度學習表現、效率,以及極高的性價比。
它採用台積電7nm製程製造,整合24個可程式化的Tenor張量核心(TPC)、48MB SRAM快取、21個10萬兆內部互連乙太網路介面(ROCEv2 RDMA)、96GB HBM2E高頻寬記憶體(總頻寬2.4 TB/s)、多媒體引擎等,支援PCIe 4.0 x16,最高功耗800W,可滿足大規模語言模式、生成式AI模型的強算力需求。
![](https://i0.wp.com/static.cnbetacdn.com/article/2024/0410/d52310cca89f0d9.png?w=640&ssl=1)
新一代的Gaudi 3面向AI訓練和推理,升級為台積電5nm工藝,帶來了2倍的FP8 AI算力、4倍的BF16 AI算力、2倍的網路頻寬、1.5倍的記憶體頻寬。
對比NVIDIA H100,它在流行LLM上的推理表現領先50%、訓練時間快40%。
Gaudi 3預計可大幅縮短70億和130億參數Llama2模型、1750億參數GPT-3模型的訓練時間。
在Llama 70億/700億參數、Falcon 1800億參數大型語言模型上,Gaudi 3的推理吞吐量和能效也都非常出色。
![](https://i0.wp.com/static.cnbetacdn.com/article/2024/0410/fb6abd9f4c3f931.png?w=640&ssl=1)
Gaudi 3提供多種靈活的形式,包括OAM相容夾層卡、通用基板、PCIe擴充卡,滿足不同應用需求。
Gaudi 3提供開放的、基於社區的軟體,以及行業標準以太網網絡,可以靈活地從單個節點擴展到擁有數千個節點的集群、超級集群和超大集群,支援大規模的推理、微調和訓練。
Gaudi 3 AI加速器具備高效能、經濟實用、節能、可快速部署等優點,能夠充分滿足複雜性、成本效益、分散化、資料可靠性、合規性等AI應用需求。
Gaudi 3將於2024年第二季對OEM廠商出貨,包括戴爾、慧與、聯想、超威等。
目前,Intel Gaudi加速器的產業客戶及合作夥伴有NAVER、Bosch(Bosch)、IBM、Ola/Krutrim、NielsenIQ、Seekr、IFF、CtrlS Group、Bharti Airtel、Landing AI、Roboflow、Infosys,等等。
![](https://i0.wp.com/static.cnbetacdn.com/article/2024/0410/d26077a5be67b16.png?w=640&ssl=1)
![](https://i0.wp.com/static.cnbetacdn.com/article/2024/0410/d6823218ce4b4e0.png?w=640&ssl=1)
![](https://i0.wp.com/static.cnbetacdn.com/article/2024/0410/ef1d8dc3c0885c5.png?w=640&ssl=1)
此外,Intel也宣布聯合Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick、Zilliz等夥伴,共同創建開放平台,協助企業推動AI創新。
該計劃旨在開發開放的、多供應商的AIGC系統,透過RAG(檢索增強生成)技術,提供一流的部署便利性、效能和價值。
初始階段,Intel將利用至強處理器、Gaudi加速器,推出AIGC管線的參考實現,發布技術概念框架,並持續加強Intel Tiber開發者雲端平台基礎設施的功能。