英偉達「中國特供版」H20 AI晶片綜合算力比H100降80%
近日有消息稱,晶片巨頭英偉達(NVIDIA)將基於H100推出三款針對中國市場的AI晶片,以應對美國最新的晶片出口管制。規格文件中顯示,英偉達即將向中國客戶推出新產品分別名為HGX H20、L20 PCle、L2 PCle,基於英偉達的Hopper和Ada Lovelace架構。
從規格和命名來看,三款產品針對的是訓練、推理和邊緣場景,最快將於11月16日公佈,產品送樣時間在今年11月至12月,量產時間為今年12月至明年1月。
鈦媒體App從多位英偉達產業鏈公司了解到,上述消息屬實。英偉達的這三款AI 晶片並非“改良版”,而是“縮水版”。其中,用於AI 模型訓練的HGX H20在頻寬、計算速度等方面均有所限制,理論上,整體算力要比英偉達H100 GPU晶片降80%左右,即H20等於H100的20%綜合算力性能,而且增加HBM顯存和NVLink互聯模組以提高算力成本。所以,儘管比起H100,HGX H20價格會下降,但預計該產品價格仍將比國內AI 晶片910B高一些。
「這相當於將高速公路車道擴寬,但收費站入口未加寬,限制了流量。同樣在技術上,透過硬體和軟體的鎖,可以對晶片的性能進行精確控制,不必大規模更換生產線,即便是硬體升級了,性能仍然可以按需調節。目前,新的H20已經從源頭上’卡’住了性能。」一位行業人士這樣解釋新的H20晶片,「比如,原先用H100跑一個任務需要20天,如今H20再跑可能要100天。”
儘管美國發布新一輪晶片限制措施,但英偉達似乎並沒有放棄中國龐大的AI 算力市場。
那麼,國產晶片是否可以替代?經過測試,目前在大模型推理方面,國內AI 晶片910B僅能達到A100的60%-70%左右,集群的模型訓練難以為繼;同時,910B在算力功耗、發熱等方面遠高於英偉達A100/H100系列產品,且無法相容CUDA,很難完全滿足長期智算中心的模型訓練需求。
截止目前,英偉達官方對此並未做出任何評論。
據悉,今年10月17日,美國商務部工業與安全局(BIS)發布了針對晶片的出口管制新規,對包括英偉達高性能AI晶片在內的半導體產品施加新的出口管制;限制條款已經於10月23日生效。英偉達給美國SEC的備案文件顯示,立即生效的禁售產品包括A800、H800和L40S這些功能最強大的AI晶片。
另外,L40和RTX 4090晶片處理器保留了原有30天的窗口期。
10月31日曾有消息稱,英偉達可能被迫取消價值50億美元的先進晶片訂單,受消息面影響,英偉達股價一度大跌。此前,英偉達為中國專供的A800和H800,由於美國新規而無法正常在中國市場銷售,而這兩款晶片被稱為A100及H100的“閹割版”,英偉達為了符合美國之前的規定而降低了晶片性能。
10月31日,中國貿促會新聞發言人張鑫表示,美方新發布的對華半導體出口管制規則,進一步加嚴了人工智慧相關晶片、半導體製造設備對華出口的限制,並將多家中國實體列入出口管制「實體清單」。美國這些措施嚴重違反了市場經濟原則和國際經貿規則,加劇了全球半導體供應鏈撕裂與分散風險。美國自2022年下半年開始實施的對華晶片出口禁令正在深刻改變全球供需,造成2023年晶片供應失衡,影響了世界晶片產業格局,損害了包括中國企業在內的各國企業的利益。
英偉達HGX H20、L20、L2與其他產品的性能參數比較
鈦媒體App了解到,新的HGX H20、L20、L2三款AI 晶片產品,分別基於英偉達的Hopper和Ada架構,適用於雲端訓練、雲端推理以及邊緣推理。
其中,後兩者L20、L2的AI 推理產品有類似的「國產替代」、相容CUDA的方案,而HGX H20是基於H100、透過韌體閹割方式AI 訓練晶片產品,主要取代A100/H800,國內除了英偉達,模型訓練方面很少有類似國產方案。
文件顯示,新的H20擁有CoWoS先進封裝技術,而且增加了一顆HBM3(高效能記憶體)到96GB,但成本也隨之增加240美元;H20的FP16稠密算力達到148TFLOPS(每秒兆次浮點運算),是H100算力的15%左右,因此需要增加額外的演算法和人員成本等;NVLink則由400GB/s升級至900GB/s,因此互聯速率會有較大升級。
據評估,H100/H800是目前算力集群的主流實踐方案。其中,H100理論極限在5萬張卡集群,最多達到10萬P算力;H800最大實踐集群在2萬-3萬張卡,共4萬P算力;A100最大實踐集群為1.6萬張卡,最多為9600P算力。
然而,現今新的H20晶片,理論極限在5萬張卡集群,但每張卡算力為0.148P,共計近7400P算力,低於H100/H800、A100。因此,H20集群規模遠達不到H100的理論規模,基於算力與通訊均衡度預估,合理的整體算力中位數為3000P左右,需增加更多成本、擴展更多算力才能完成千億級參數模型訓練。
兩位半導體產業專家向鈦媒體App表示,基於目前效能參數的預估,明年英偉達B100 GPU產品很有可能不再向中國市場銷售。
整體來看,如果大模型企業要進行GPT-4這類參數的大模型訓練,算力集群規模則是核心,目前只有H800、H100可以勝任大模型訓練,而國產910B的性能介於A100和H100之間,只是「萬不得已的備用選擇」。
如今英偉達推出的新的H20,則更適用於垂類模型訓練、推理,無法滿足萬億級大模型訓練需求,但整體性能略高於910B,加上英偉達CUDA生態,從而阻擊了在美國芯片限制令下,國產卡未來在中國AI 晶片市場的唯一選擇路徑。
最新財報顯示,截至7月30日的一個季度內,英偉達135億美元的銷售額中,有超過85%份額來自美國和中國,只有大約14%的銷售額來自其他國家和地區。
受H20消息影響,截至美股11月9日收盤,英偉達股價微漲0.81%,報收469.5美元/股。近五個交易日,英偉達累漲超過10%,最新市值達1.16兆美元。