英偉達最快將從9月開始大量購買12層HBM3E內存，這些內存將由三星電子獨家供貨。在GTC 2024上，黃仁勳曾在三星電子的12層HBM3E實物產品上留下了”黃仁勳認證（JENSEN APPROVED）”的簽名。

而SK海力士因部分工程問題，未能推出12層HBM3E產品，但計劃從本月末開始大量生產8層HBM3E產品。

今年2月27日，三星電子官方宣布成功開發出業界首款36GB 12H（12層堆疊）HBM3E DRAM記憶體。

據介紹，HBM3E 12H能夠提供高達1280GB/s的頻寬和迄今為止最大的36GB容量，相比於8層堆疊的HBM3 8H，在頻寬和容量上提升超過50%。

同時相較於8層堆疊，其AI訓練速度平均提高34%，同時推理服務使用者數量也可增加超過11.5倍。

在先前的GTC2024大會上，英偉達正式發表了B200和GB200系列晶片。

根據黃仁勳介紹，B200擁有2,080億個電晶體，採用台積電4NP製程，可支援多達10兆個參數的AI大機型，也透過單一GPU提供20 petaflops的AI效能。