NVIDIA CPU+GPU超級芯片終於量產搭配144TB內存
2022年3月,NVIDIA發布了首款數據中心CPU Grace、新一代高性能計算GPU Hopper,同時利用它們打造了兩顆“超級芯片”(Super Chip),一是Grace CPU二合一,二是Grace CPU+Hopper GPU二合一,看起來都極為酷炫。現在,足足14個月過去了,NVIDIA終於宣布,GH200 Grace Hopper超級芯片已經全面投產,將為複雜AI、HPC工作負載提供澎湃的動力。
再加上Grace CPU、Hopper GPU、Ada Lovelace GPU、BlueField DPU等全套系統方案,NVIDIA現在已經有400多種配置,可滿足市場對生成式AI的激增需求。
歐洲和美國的超大規模雲服務商、超算中心,將會成為接入GH200系統的首批客戶。
同時,黃仁勳還公佈了Grace Hopper的更多細節,尤其是它的CPU、GPU之間使用NVLink-C2C互連技術,總帶寬高達900GB/s,相比傳統的PCIe 5.0通道超出足足7倍,能夠滿足要求最苛刻的生成式AI和HPC應用,功耗也降低了超過80%。
Grace CPU擁有72個Armv9 CPU核心,緩存容量198MB,支持LPDDR5X ECC內存,帶寬高達1TB/s,還支持PCIe 5.0。
Hopper GPU則採用台積電4nm定制工藝,集成多達800億個晶體管,號稱世界上最先進的芯片,集成18432個CUDA核心、576個Tenor核心、60MB二級緩存,支持6144-bit HBM3/2e高帶寬內存。
同時,NVIDIA宣布推出一款新型大內存AI超級計算機“DGX GH200”,可用於開發麵向生成式AI語言應用、推薦系統和數據分析工作負載的下一代大模型。
它配備了多達256顆GH200 Grace Hopper超級芯片,彼此NVLink Switch System互相連接,帶寬提升48倍以上,對外可作為單個GPU使用,浮點性能高達1PFlops(每秒1千萬億次浮點計算)。
同時還有144TB共享內存,相比2020年的上一代DGX A100增大了近500倍。