在今日的Hot Chips 2024大會上，英偉達公佈了下一代GPU架構Blackwell的更多細節信息，以及未來的產品路線圖。會議期間，英偉達架構總監Ajay Tirumala和Raymond Wong對Blackwell平台進行了初步介紹，並解釋了這些技術如何協同工作，在提高能源效率的同時為AI和加速計算性能提供新的標準。

為Blackwell做好準備

英偉達Blackwell是通用運算全端矩陣的終極解決方案，由多個英偉達晶片組成，包括Blackwell GPU、Grace CPU、BlueField資料處理單元、ConnectX網路介面卡、NVLink交換器、Spectrum乙太網路交換器和Quantum InfiniBand交換器。

它涵蓋了從CPU和GPU運算，到用於互連的不同類型的網路。這是晶片到機架和互連，而不僅僅是GPU。它是有史以來單一GPU所擁有的最強AI運算、記憶體頻寬和互連頻寬。透過使用高頻寬介面（NV-HBI），可在兩個GPU晶片之間提供10TB/s的頻寬。

此外，英偉達也引進了新的FP4和FP6精度。降低計算精度是提高效能的一種眾所周知的方法。透過英偉達的Quasar量化系統，可以找出哪些方面可以使用較低的精度，從而減少運算和儲存。英偉達表示，用於推理的FP4在某些情況下可以接近BF16性能。

NVLink交換器晶片和NVLink交換器托盤（tray）旨在以更低的功耗推送大量資料。英偉達示範了GB200 NVL72和NVL36。其中，NVL72包含36個Grace GPU和72個Blackwell GPU，專為兆參數AI而設計。 GB200 NVL 72作為統一系統，對大語言模型（LLM）推理效能提升高達30倍，釋放了即時運行數萬億個參數模型的能力。

英偉達表示，隨著AI模型尺寸的增加，在多個GPU上拆分工作負載勢在必行。而Blackwell夠強大，可以在一個GPU中處理專家模型。

最後，英偉達也展示了2024年至2028年的產品路線圖。 2026年的1.6T ConnectX-9似乎顯示了英偉達對PCIe Gen7的需求，因為PCIe Gen6 x16無法處理1.6T的網路連線。

Blackwell的技術突破

今年3月，英偉達在GTC 2024開發者大會上發表了新的GPU架構Blackwell。 Blackwell得名於美國數學家David Blackwell，是英偉達最新一代的AI晶片與超級運算平台。與Grace資料中心CPU、新一代網路晶片等產品一起，面向生成式AI共同組成完整解決方案。

英偉達稱，Blackwell擁有6項革命性技術，可支援多達10兆參數的模型進行AI訓練和即時大語言模型（LLM）推理。

1．全球最強大的晶片：Blackwell架構GPU擁有2080億個晶體管，確保了晶片具有極高的運算能力和複雜性；採用台積電4奈米製程製造，提高了晶片的整合度，降低了功耗和發熱量；配備192GB的HBM3E顯存，大幅提升了晶片的資料處理能力與效率。

2．第二代Transformer引擎：結合Blackwell Tensor Core技術和TensorRT-LLM和NeMo Megatron框架中的英偉達先進動態範圍管理演算法，Blackwell將透過新的4位元浮點AI支援雙倍的運算和模型大小推理能力。

3．第五代NVLink：為提高數萬億參數和混合專家AI模型的性能，最新一代英偉達NVLink為每個GPU提供了突破性的1.8TB/s的雙向吞吐量，確保最複雜LLM之間多達576個GPU之間的無縫高速通訊。

4.RAS引擎：Blackwell支援的GPU包含一個專用引擎，實現可靠性、可用性和服務性。此外，Blackwell架構還增加了晶片級功能，利用基於AI的預防性維護進行診斷和預測可靠性問題。這可以最大限度地延長系統正常運作時間，並提高大規模部署AI的彈性。

5．安全人工智慧：先進的機密運算功能可在不影響效能的情況下保護AI模型和客戶數據，並支援新的本機介面加密協議，進一步增強了晶片的安全性。

6．解壓縮引擎：專用解壓縮引擎支援最新格式，加速資料庫查詢，提供資料分析和資料科學的最高效能。

英偉達CEO黃仁勳稱，Blackwell不只是晶片，而是一個全新的平台。它將是英偉達歷史上、乃至整個電腦史上最成功的產品。

Blackwell的市場影響

Blackwell架構的推出受到了全球各大雲端供應商、伺服器製造商以及頭部AI企業的青睞，如亞馬遜、Google和微軟等。英偉達表示，Blackwell正被全球各大雲端服務供應商採用。同時，AI公司、電信業者和一系列其他科技企業也有著強勁的需求。

Blackwell的發布預示著AI的另一個突破時刻的到來，一經發布便得到了微軟CEO薩蒂亞·納德拉（Satya Nadella）、Alphabet CEO桑達爾·皮查伊（Sundar Pichai）、亞馬遜CEO安迪·賈西（Andy Jassy）、OpenAI CEO薩姆·奧特曼（Sam Altman），以及其他知名科技領袖和名人的支持。

至關重要的是，Blackwell是一個更大的生態系統策略的一部分。黃仁勳稱：“Blackwell不僅是系統的核心晶片，它實際上還是一個平台。它基本上是一個電腦系統。”

Nvidia也將使用Blackwell來提升其在軟體領域的地位和野心。領先的AI開發商已經依賴Nvidia的CUDA軟體來創建由該公司處理器驅動的應用程序，而高性能Blackwell處理器的吸引力應有助於確保客戶繼續使用其軟體。

該戰略甚至延伸得更遠。黃仁勳在GTC的一次會議上表示：「你可以製造晶片讓軟體運作得更好，但沒有軟體你就無法創造一個新的市場。我們的獨特之處在於，我相信我們是唯一一家能夠創造自己市場的晶片公司。

隨著基於Blackwell架構的GPU GB200的發布，英偉達似乎正在為創建新類別的AI軟體應用程式打開大門。反過來，此類軟體的推出、擴展和持續發展可能會對其超高階GPU產生更大的需求。

Blackwell的延遲

本月初有報道稱，英偉達的下一代Blackwell系列AI晶片因設計缺陷問題被迫推遲發布，這項決定可能對包括Meta、Google和微軟在內的大客戶造成影響。

據悉，Blackwell晶片的大規模生產原計劃於今年第三季開始，並於第四季開始交付。但道，在準備大規模生產時，台積電的工程師發現了設計問題，導致生產受阻。

通報稱，由於台積電封裝技術CoWoS的複雜性，英偉達將延後Blackwell GPU的出貨時間至2025年第一季。

瑞銀（UBS）分析師認為，英偉達首批Blackwell晶片最多延遲4~6週出貨，即延至2025年1月底。為此，許多客戶會改而採購交貨時間短的H200晶片。

而摩根士丹利的分析師相對樂觀，認為Blackwell晶片的生產僅會暫停約兩週，並可在2024年第四季透過台積電的努力趕上進度。

整體而言，分析師認為有關Blackwell晶片延遲上市的擔憂可能被誇大了，預計這不會對英偉達的營收或需求產生重大影響。

英偉達CEO黃仁勳表示，Blackwell GPU的研發預算約100 億美元，上市後單價會在3~4萬美元。鑑於目前訓練和部署AI的強勁需求，該價格也並未超出市場預期。

「反英偉達」聯盟

包括Alphabet、高通和英特爾在內的公司正在聯手創建一個組織“UXL基金會”，旨在阻止英偉達在AI領域建立無可爭議的主導地位。

UXL基金會旨在創建一個軟體套件，幫助在更廣泛的處理器上運行AI應用程序，並減少對英偉達平台的依賴。

據報道，UXL基金會目前正在招募微軟、亞馬遜和其他有影響力的科技公司。因此，儘管許多科技界的知名人士對Blackwell的能力感到興奮，但可以理解的是，人們對更廣泛的AI領域過度依賴英偉達的生態系統持抵制態度。

在某種程度上，UXL基金會的成立說明了英偉達目前的競爭地位有多強。該公司在用於AI和其他加速運算應用的GPU市場上佔據了約90%的份額，而Blackwell的推出可能有助於它繼續保持甚至擴大其主導地位。

與不斷擴大的專用軟體工具相結合，英偉達正在重塑AI領域，而其競爭對手和潛在競爭對手還有很多工作要做。