SK海力士和台積電卡英偉達脖子的幕後玩家
GPU之王的煩惱。作為「掘金買鏟」邏輯的核心受益者,英偉達創紀錄的業績,成了撐起生成式AI行情的信心支柱。然而,隱匿於優異業績背後,更關鍵的問題是,由於產能受限,英偉達無法滿足市場對GPU的需求,8月曾有媒體報道,H100訂單已經排隊到了明年Q1甚至Q2。
根據GPU Utils的推測,保守估計,英偉達GPU潛在訂單總額可能超過200億美元,旗艦GPU H100的供給缺口高達43萬張。
英偉達CEO黃仁勳也直言:
“我們目前的出貨量遠遠不能滿足需求。”
老黃的苦衷,就在於卡住英偉達脖子的兩項關鍵技術-CoWoS封裝與HBM記憶體。
SK海力士和台積電卡英偉達脖子的幕後玩家
去年9月推出的H100,是英偉達產品矩陣中最先進的GPU。
相較於前任A100,它的價格翻了1.5-2倍左右,但性能卻有了質的飛躍:推理速度提升3.5倍,在訓練速度提升2.3倍;如果用服務器集群運算的方式,訓練速度更是能提高到9倍。在LLM訓練中,它能讓原本一個星期的工作量,縮短為20小時。
一塊英偉達H100,主要由三個部分構成:中心的H100裸片兩側各有三個HBM堆棧,最外層則是台積電的2.5D CoWoS封裝框。
三個零件裡,核心的邏輯晶片供應是最簡單的,它主要產自台積電台南18號工廠,使用4N製程節點(實際上是5nm+)。由於5nm+下游的PC、智慧型手機及非AI相關資料中心晶片市場疲軟,目前台積電5nm+產能利用率不到70%。因此邏輯晶片供應沒有問題。
英偉達最主要的供應缺口,來自邏輯晶片兩側的6塊HBM(High Bandwidth Memory,高頻寬記憶體),和把邏輯晶片、HBM連接起來的CoWoS封裝(Chip on wafer on Substrate,晶片、晶圓、基板封裝)。
HBM是一種基於3D堆疊製程的DRAM記憶體晶片。其技術原理,就是將多個DDR晶片,垂直堆疊在一起,透過矽通孔(TSV)和微凸塊(μBmps)技術,把晶片相互連接,從而突破了現有的性能限制,大大提高了存儲容量,實現更高頻寬、更高位元寬、更低功耗、更小尺寸的DDR組合陣列。
記憶體晶片對GPU效能至關重要,尤其是訓練AI所使用的高效能GPU。推理和訓練工作負載是記憶體密集型任務。隨著AI模型中參數數量的指數級增長,光是權重就將模型大小推高到了TB級。因此,從記憶體中儲存和檢索訓練和推理資料的能力決定了GPU效能的上限。AI大模型和應用越多,越有利於HBM製造商。
從整體HBM市場來看,兩大韓國儲存巨頭SK海力士及三星佔絕對壟斷地位,二者合計市佔率約90%。
英偉達H100上面使用的HBM3由SK海力士獨家供應,這是目前最先進的HBM產品。
HBM3製程複雜、成本高、產能有限,2022年,在整個HBM市場中,HBM3僅佔約8%的市佔率。作為全球唯一有能力量生產HBM3的公司,SK海力士牢牢卡住了英偉達H100的脖子;而前代A100/A800以及AMD的MI200使用的則是落後一代的HBM2E技術。
不過,目前記憶體晶片業界正處於HBM2E向HBM3換代的過程中。根據Trendforce數據,預計到2024年,HBM3市佔率將超過60%,三星、美光等記憶體晶片廠都在積極佈局,都對SK海力士的市佔率虎視眈眈。
而先進封裝則是與HBM記憶體相輔相成的技術-要用HBM堆棧,必須用先進封裝把記憶體和GPU連接起來。
H100上使用的台積電CoWoS先進封裝,是一項2.5D封裝技術。
主流的2D封裝方案,是在基板(Substrate)的表面水平安裝所有晶片和被動元件的整合方式,類似於平面的拼圖。
而2.5D先進封裝,則可類比為橫向排列的積木。多層DDR晶片堆疊的HBM堆疊,必須依賴先進封裝才能實現。
台積電的CoWoS先進封裝方案,由CoW和oS組合而來:先將晶片透過Chip on Wafer(CoW)的封裝製程連接至矽晶圓,再將CoW晶片與基板連接(on Substrate),整合成CoWoS。
CoWoS技術大大提高了互聯密度以及資料傳輸頻寬,同時縮小了封裝尺寸,但製程也非常複雜,因此主要用於高端市場。
根據媒體報道,目前台積電CoWoS封裝月產8000片,今年底可望提升至11000片,2024年底可望實現14500至16600片左右的月產能,也就是說,想要提升一倍的產量,幾乎需要一年半的時間。
摩爾定律見頂先進封裝將成為主流
類似HBM這樣以多塊晶片堆疊、再透過先進封裝黏合起來的解決方案,已成為目前市場上高階晶片的主流設計思路。
背後的原因很簡單:先進製程目前已經迭代到7nm、5nm、3nm,技術節點越來越小,生產技術與製造工序越來越複雜,積體電路製造設備的資本投入也越來越高。
以5nm及更小的過程為例。在這一階段,受波長限制,普通光刻機的精度已無法滿足製程要求,企業必須轉向昂貴的EUV光刻機,一台的售價就高達14億人民幣。
再加上蝕刻和薄膜沉積等設備,5nm製程的設備支出可達31億美元,是14nm的2倍以上,28nm的約4倍。
為了成本效益,晶片製造商只能另闢蹊徑,從單純製程製程的提升,轉向透過系統級晶片設計,來提升電晶體密度和性能。
另一方面,過去10年全球數據運算量爆炸性成長,已超越過去40年總和。隨著消費性電子與車用晶片的需求日益提高,就算晶片製程能達到摩爾定律理論上的物理極限(1nm),仍無法滿足未來產業應用的需求。
而先進封裝,因為能同時提高產品性能、降低成本,所以成了後摩爾時代的破局解法。
生成式AI催生的龐大需求,已經在加速傳統封裝向先進封裝的迭代。
摩根士丹利指出,AI浪潮正在推動2.5D和3D先進封裝技術的大規模應用,到2030年,先進封裝將佔據整個封裝市場60%以上的份額。
根據Future Market Insights測算,目前規模約310億美元的先進封裝市場,將在未來十年內以7.2%的CAGR持續擴張。
摩根士丹利分析師也指出,由於AI晶片成長超顯著預期,因此3D/2.5D先進封裝預計將以極快的速度成長。2021-2028年的CAGR將達到22%左右。
卡英偉達脖子的廠商已經賺翻了
HBM記憶體和先進封裝領域的兩大龍頭-SK海力士和台積電,現在已經嚐到了甜頭。
TrendForce數據顯示,儘管在消費性電子市場低迷影響下,內存晶片市場出貨量和平均銷售單價均出現下滑,但HBM產品卻在逆勢增長,價格一路水漲船高。
有媒體報導稱,2023年開年後三星、SK海力士兩家儲存大廠HBM訂單快速增加。SK海力士獨家供應的HBM3價格更是上漲5倍。作為原本單位售價遠高於其他規格內存晶片的高毛利產品,HBM3利潤之豐厚堪稱恐怖。TrendForce預計,AI浪潮帶動下,2024年整體HBM營收將達89億美元,年增127%。
同時,隨著英偉達H100、AMD MI300的熱銷,台積電先進封裝同樣供不應求。
摩根士丹利分析師表示:
根據我們的代工廠供應鏈檢查,單一CoWoS-S晶圓(及相關製程)的售價為6,000-12,000美元,取決於客戶/專案的規模和設計複雜性。根據台積電在Q2財報會議上公開的信息,預計2023年總收入的6-7%將來自先進封裝與測試。
我們估計CoWoS今年可能為台積電貢獻約10億美元的營收。由於台積電不斷加碼CoWoS產能(根據台積電Q2財報電話會上提供的數據,產能將在2024年翻倍),以及當前強勁的AI晶片需求,這一數字可能會進一步增長。因此,我們預計2023-2027年台積電CoWoS收入的CAGR將達到40%。