三星將首秀36GB HBM3E記憶體:NVIDIA H200單卡就有216GB
三星日前宣布了全球首款36GB超大容量的新一代高頻寬記憶體HBM3E,而在3月19日凌晨開幕的NVIDIA GTC 2024技術大會上,三星將首次進行公開展示。三星HBM3E採用了24Gb顆粒、12層堆疊(12H),從而將單顆容量做到史無前例的36GB,頻寬也提升至1280GB/s,相比前代8H HBM3容量、頻寬都提升了50%,垂直密度則增加了超過20%。
![10f15520808642aeae55d70f4d59d51b.jpg](https://i0.wp.com/static.cnbetacdn.com/article/2024/0307/66cf6699c0f1934.jpg?w=640&ssl=1)
NVIDIA H200 AI加速卡將首發採用三星36GB HBM3E,只需要八顆,就能達成6144-bit的位寬、216GB的容量,從而超過192GB HBM3內存的AMD Instinct MI300X。
H200也支援四路、八路互連,因此單一系統的HBM3E記憶體容量可以達到864GB、1728GB!
依照慣例,NVIDIA可能會出於良品率的考慮,屏蔽一小部分容量,但是單卡超過200GB、單系統超過1.6TB必然是很輕鬆的。
根據NVIDIA的說法,H200雖然還是Hopper架構,但相比H100再次飛躍,700億參數Llama2、1750億參數GTP-3模型的推理性能分別提升多達90%、60%,對比前代A100 HPC模擬性能直接翻番。
NVIDIA H200計畫2024年第二季出貨,三星36GB HBM3E則會在第一季投入量產,剛好趕得上。