售價超2000萬的晶片系統英偉達NVL72內部曝光
從分析師估計到執行長黃仁勳的評論,NVIDIA 的Blackwell 平台的定價已經陸續出爐。簡而言之,部署這些性能強大的產品將花費買家高昂的成本。摩根士丹利估計,NVIDIA 將在2025 年出貨60,000 到70,000 台B200 伺服器機櫃,相當於每年至少2,100 億美元的收入。儘管成本高昂,但對這些強大的AI 伺服器的需求仍然很強烈。
據報道,NVIDIA 已投資約100 億美元開發Blackwell 平台,約有25,000 人參與其中。由於所有效能都整合在單一Blackwell GPU 中,因此這些產品的價格高昂也就不足為奇了。
據匯豐銀行分析師稱,NVIDIA 的GB200 NVL36 伺服器機架系統售價為180 萬美元,NVL72 售價為300 萬美元(約2,175萬人民幣)。功能更強大的GB200 超級晶片結合了CPU 和GPU,預計每顆售價為6 萬至7 萬美元。這些超級晶片包括兩個GB100 GPU 和單一Grace Hopper 晶片,並配備一個大型系統記憶體池(HBM3E)。
今年早些時候,執行長黃仁勳告訴CNBC,Blackwell GPU 的價格為3 萬至4 萬美元,摩根士丹利根據這些資訊計算了買家的總成本。每台AI 伺服器機櫃的價格約為200 萬至300 萬美元,而NVIDIA 計畫出貨6 萬至7 萬台B200 伺服器機櫃,預計年收入至少為2,100 億美元。
但客戶支出在某個時候會證明這是合理的嗎?紅杉資本分析師戴維·卡恩估計,支付其投資所需的年度人工智慧收入已攀升至每年6000 億美元。
但目前,毫無疑問,無論代價有多大,公司都會付出代價。 B200 擁有2080 億個晶體管,可提供高達20 petaflops 的FP4 運算能力。訓練一個1.8 兆參數模型需要8,000 個Hopper GPU,消耗15 兆瓦的功率。
這項任務需要2,000 個Blackwell GPU,功耗僅4 兆瓦。對於大型語言模型推理工作負載,GB200 超級晶片的效能是H100 GPU 的30 倍,並且顯著降低了功耗。
據摩根士丹利稱,由於需求旺盛,NVIDIA 將台積電的訂單量增加了約25%。可以毫不誇張地說,Blackwell 將成為AI 訓練和許多推理工作負載的事實標準,它旨在為一系列下一代應用提供支持,包括機器人、自動駕駛汽車、工程模擬和醫療保健產品。
NVIDIA GB200 NVL72 系統細節
最近,我們有機會看到了Supermicro 版本的NVIDIA GB200 NVL72。
Supermicro NVIDIA GB200 NVL72 是Supermicro 的NVIDIA Grace Blackwell 200 NVLink 72 GPU 機架版本。
在頂部,我們看到了Supermicro 的標誌、網路和電源。
然後我們得到十個雙節點GB200 1U 機箱。
Grace Blackwell GB200 節點背面有連接NVLink 背板的介面。這些節點為半寬節點,因此兩個節點可以並排安裝在1U 機架式機箱中。
有兩個Blackwell GPU。
然後我們得到了帶有LPDDR 記憶體的NVIDIA Grace CPU。
以及節點底部的I/O 連接。
中間是用於連接系統的NVLink 交換器。底部是另外八個雙GB200 節點。十八個1U 機箱,每個機殼有兩個GB200 組件,每個組件有兩個Blackwell GPU,總共有72 個GPU。
下面是電源供應器和由Supermicro 製造的冷卻劑分配裝置。
這是一個與我們在Supermicro 定制液體冷卻機架中看到的設計類似的CDU。
這個機架是一個集群,每小時使用約120kW 的電量,大約相當於每小時的電量,這些電量儲存在123kWh 的特斯拉Cybertruck 電池中。在影片中,我們討論了GB200 NVL72 機架如何像駕駛一輛約7000 磅重的卡車行駛300 英里。我們預計未來幾個月內,更高功率的資料中心將使用這些GB200 NVL72 解決方案。考慮到我們在液體冷卻方面所做的努力,這是我們想要專注於功率方面的原因之一。