英偉達老黃，成了今年的聖誕老黃。 AI晶片大禮包剛剛曝光：GPU新核彈B300，以及附CPU的超級晶片GB300。高算力，在產品層面上相比B200在FLOPS上提高50%大顯存，從192GB提升到288GB，也是提高了50%。

△ Grok AI繪圖

包含72塊GB300的「新一代計算單元」GB300 NVL72，更是被評價為「能讓OpenAI o1/o3推理大模型的思維鍊長度，在高batch size下達到10萬tokens的唯一方案」。

這與今年3月「AI春晚」發布的B200系列只隔了幾個月。

根據SemiAnalysis爆料，從第三季開始，許多AI巨頭已經將訂單從B200轉移到了B300（只有微軟還在第四季度繼續購買了部分B200）。

有不少網友感嘆，更新速度實在太快了！

既是解決了先前傳聞中B200因設計缺陷被迫延後的問題，也是對隔壁AMD MI300系列後續產品將在2025年提升顯存容量的回應。

又一款AI核彈

既然都是Blackwell架構沒有跨世代，B300的算力提高來自哪裡呢？

根據這次爆料，主要有三個部分：

製程節點，與B200使用相同的台積電4NP，但是全新流片

增加功率， GB300和B300 HGX的TDP分別達到1.4KW、1.2KW，相較之下B200系列分別提升0.2KW

架構微創新，例如在CPU和GPU之間動態分配功率

除了更高FLOPS之外，B300系列的顯存也做了升級：

從8層堆疊的HBM3E升級到12層（12-Hi HBM3E）

記憶體容量從192GB升級到288GB

顯存頻寬維持不變，仍為8TB/s

此外產品交付層面還有一個大變動：

GB200系列提供整個Bianca Board，也就包含兩顆GPU、一顆CPU、CPU的記憶體等所有元件都整合在一塊PCB版上。

△ GB200概念圖

GB300系列將只提供參考板（Reference Board），包括兩顆B300 GPU、一顆Grace CPU、HMC（Hybrid Memory Cube），LPCAMM記憶體模組等元件將由客戶自行購買。

這為供應鏈上的OEM和ODM製造商帶來了新的機會。

為推理大模型打造

顯存的升級對OpenAI o1/o3一類的推理大模型至關重要，因為推理思維鍊長度會增加KVCache，影響batch size和延遲。

以一個GB300 NVL72「計算單元」為單位考慮時，它使72個GPU能夠以極低的延遲處理相同的問題，並共享顯存。

在此基礎上從GB200升級到GB300，還可以帶來許多好處：

每個思維鏈的延遲都更低

實現更長的思維鏈

降低推理成本

處理相同問題時，可以搜尋更多樣本，最終提高模型能力

為了解釋這些提升，SemiAnalysis舉了個更直觀的例子。

下圖是在不同批次大小下，使用H100和H200兩種GPU處理長序列時，Llama 3.1 405B在FP8精度下的處理速度。

輸入設定為1000個token、輸出19000個token，由此模擬OpenAI o1和o3模型中的思維鏈。

从H100升级到H200，有两个显著改进。

一是在所有可比較的batch size中，H200的記憶體頻寬較大（H200 4.8TB/s，H100 3.35TB/s），使得處理效率普遍提高了43%。

二是H200可運行更高的batch size，這使得其每秒可以產生的token數量增加了3倍，相應地，成本也減少了約3倍。

記憶體增加所帶來的效益遠不止表面上的這些。

众所周知，推理模型响应时间一般更长，显著缩短推理时间可以提高用户体验和使用频率。

而且記憶體升級實現3倍效能提升，成本減少3倍，此提升速度也遠超摩爾定律。

除此之外，SemiAnalysis也分析觀察到，能力更強且有明顯差異化的模型能收取更高的溢價——

前沿模型毛利率超70%，而還在與開源模型競爭的次一級模型毛利率不足20%。

當然，英偉達並不是唯一一家能增加記憶體的晶片公司，但奈何英偉達還有殺手鐧NVLink。

還有一件事

英偉達消費級顯示卡方面，RTX5090的PCB板也首次曝光了～

就在昨天，一張RTX 5090 PCB照片在網路上瘋轉。

特色就是超超超大號。

結合先前爆料稱5090有可能配備32GB大顯存，可望支援8K超高清遊戲，實現60fps的流暢遊戲體驗。

網友們直接坐不住。

關於5090的發佈時間，大夥兒猜測大概會是1月6日老黃CES演講的時候。

來源：量子位