AI的火熱，令HBM也成了緊俏貨。業界各處都在喊：HBM缺貨！ HBM增產！把DDR4/DDR3產線轉向生產DDR5/HBM等先進產品。數據顯示，未來HBM市場將以每年42%的速度成長，將從2023年的40億美元成長到2033年的1,300億美元，這主要受工作負載擴大的AI 運算所推動。到2033 年，HBM 將佔據整個DRAM 市場的一半以上。

但即便產業全力增產，HBM 供應缺口仍然很大，晶片巨頭也急的「抓耳撓腮」。

當下，記憶體晶片巨頭主要有兩大行動方向。一方面，對HBM技術持續升級並增加現有HBM 產品的產量；另一方面，分出部分精力，關注另一種形式的HBM 產品。

HBM4，來了！

在HBM的技術升級中，SK海力士總是那個「第一個吃螃蟹的人」。

3月19日，SK海力士宣布推出面向AI 的超高性能DRAM 新產品12 層（12Hi）HBM4 內存，並在全球率先向主要客戶出樣了12Hi HBM4。

SK 海力士在12Hi HBM4 上採用了24Gb DRAM 晶片，繼續使用了Advanced MR-MUF鍵合工藝，單封裝容量達36GB，頻寬達2TB/s，運行速度較HBM3E 提升了60% 以上。

SK 海力士強調，以引領HBM 市場的技術競爭力和生產經驗為基礎，能夠比原計劃提早實現12 層HBM4 的樣品出貨，並已開始與客戶的驗證流程。公司將在下半年完成量產準備，由此鞏固在以AI 為導向的新一代記憶體市場領導地位。

日前還有報導稱，SK海力士預計將獨家供應英偉達Blackwell Ultra架構晶片第五代12層HBM3E，預期與三星電子、美光的差距將進一步拉大。

反觀競爭對手三星這邊，HBM3E此前一直未能獲得英偉達品質認證，而最新消息則是三星新HBM3E在日前英偉達的審核中獲得令人滿意的評分，預計最快6月初通過英偉達等的品質認證。

除此之外，這些儲存龍頭還在一些新興HBM技術上下足功夫。

行動HBM，儲存巨頭下場了！

本文要談到的第一種新興技術，被稱為行動HBM。

行動HBM，即LPW DRAM，也被稱為低延遲寬I/O (LLW)。該技術是堆疊和連接LP DDR DRAM來增加記憶體頻寬，它與HBM類似，透過將常規DRAM堆疊8層或12層來提高資料吞吐量，並具有低功耗的優勢。

行動HBM和LPDDR最大的差別在於是否是「客製化記憶體」。 LPDDR是通用型產品，一旦量產即可批量使用；而行動HBM是一個客製化產品，反映了應用程式和客戶的要求。由於行動HBM與處理器連接的引腳位置不同，因此在大量生產之前需要針對每個客戶的產品進行最佳化設計。

HBM 是在DRAM 中鑽微孔，並用電極連接上下層。移動HBM具有相同的堆疊概念，但正在推廣一種將其堆疊在樓梯中，然後用垂直電線將其連接到基板的方法。

三星和SK海力士均看中了行動HBM的潛力，但這兩家公司採取的技術路線各不相同。

三星開發「VCS」技術

三星正在開發名為“VCS”的技術，該技術將從晶圓上切割下來的DRAM晶片以台階形狀堆疊起來，用環氧材料使其硬化，然後在其上鑽孔並用銅填充。 堆疊形式可參考下圖右下角的呈現。

三星表示，VCS先進封裝技術相較於傳統引線鍵合，I/O密度與頻寬分別提升8倍和2.6倍；相較於VWB垂直引線鍵合，VCS技術生產效率提升9倍。

三星也為其新款LPW DRAM 設定了高效能目標，與其尖端行動記憶體LPDDR5X 相比，新款LPW DRAM 的I/O 速度預計將提高166%。這比每秒200GB 更快，同時功耗降低了54%。

三星電子半導體暨裝置解決方案（DS）部門技術長宋在赫表示，搭載LPW DRAM記憶體的首款行動產品將在2028年上市。

近日，有業內人士表示，三星電子目前正與多個系統級晶片（SoC）客戶合作開發LPW DRAM，已確認其中包括蘋果和三星電子的行動體驗（MX）業務部門。

SK海力士開發「VFO」技術

SK海力士正在開發名為「VFO」的技術，與三星的VCS不同，SK海力士選擇的是銅線而非銅柱。 DRAM以階梯式方式堆疊，並透過垂直柱狀線/重新分佈層連接到基板。 堆疊形式可參考下圖。

它在連接元件和製程順序方面與三星電子也不同，它使用銅線連接堆疊的DRAM，然後將環氧樹脂注入空白處以使其硬化，來實現行動DRAM晶片的堆疊。

SK海力士的VFO技術結合了FOWLP（晶圓級封裝）和DRAM堆疊兩種技術，VFO技術透過垂直連接，大幅縮短了電訊號在多層DRAM間的傳輸路徑，將線路長度縮短至傳統記憶體的1/4以下，將能源效率提高4.9%。這種方式雖然增加了1.4%的散熱量，但封裝厚度卻減少了27%。

至於為什麼兩大儲存巨頭紛紛看上行動HBM這條賽道，主要源自於裝置上AI需求的推動，記憶體公司正轉向LPW DRAM的開發。由於預計繼伺服器領域之後，行動領域也將出現記憶體瓶頸，因此計畫積極推出高效能DRAM。

cHBM，橫空出世

本文要談到的第二種新興技術，即cHBM。

cHBM，即Custom HBM，也就是客製化高頻寬記憶體。其實上文提到的行動HBM也屬於cHBM的一種。

這個新型技術，由Marvell於去年12月推出。其與領先的記憶體製造商，如美光、三星和SK海力士等合作開發。

在AI 算力晶片領域，GPU 廣為人知，是備受矚目的存在。然而，鑑於部分場景對客製化算力晶片需求更為強烈，ASIC 晶片應運而生。

如今，這理念，也延續到了HBM領域。

那麼，客製化HBM與常規HBM有何不同？本文將以相對直白的闡述來做介紹。

首先我們先來看一下常規的HBM。據悉，HBM已存在十多年，最初用於AMD GPU和Xilinx FPGA，透過1024條以合理速度運行的數據線實現高頻寬，節省功耗但成本較高，限制了其應用範圍。

HBM面臨的主要問題是容量限制，每個通道僅有一個堆疊，容量在HBM3之前有限，HBM4雖有所增加，但根本問題在於DRAM密度和堆疊成本。

眾所周知，HBM的原理像是利用DRAM在疊高高，這種辦法成本高昂，並且增加堆疊數量雖可部分解決容量問題，但會引發晶片邊緣空間限制、堆疊高度和經濟可行性等一系列新問題。由於接腳和走線需求，HBM堆疊數量受晶片邊緣長度限制，通常每側最多3-4個堆疊，且受標線極限（約800mm 2 ）制約。

因此，儘管HBM有其優勢，但在容量和堆疊數量上仍面臨挑戰。

那麼，cHBM帶來了什麼呢？

Marvell的cHBM解決方案針對特定應用量身打造介面與堆疊，目標是減少標準HBM介面在處理器內部所佔用的空間，釋放可用於運算和功能的空間。

在介面方面 ，可見下圖，HBM 是整合在XPU 中的關鍵元件，使用先進的2.5D 封裝技術和高速產業標準介面。然而，XPU 的擴展受到目前基於標準介面架構的限制。全新的Marvell cHBM 運算架構引入客製化接口，以優化特定XPU 設計的效能、功耗、晶片尺寸和成本。

在效能提升方面 ，藉由專屬D2D（die-to-die）I/O，不僅能在客製化XPU中多裝25%邏輯晶片，也可在運算晶片旁多安裝33%cHBM記憶體封裝，增加處理器可用DRAM容量。預期可將記憶體介面功耗降低70%。

在頻寬增加方面，新Marvell D2D HBM介面將擁有20 Tbps/mm（每毫米2.5TB/s）頻寬，比目前HBM提供的5Tbps/mm（每毫米625GB/s）多。此外，預期無緩衝記憶體的速度將達50Tbps/mm（每毫米6.25TB/s）。 Marvell並未透露cHBM界面的寬度及更多信息，僅表示透過序列化（serializing）與加速內部AI加速器晶片與HBM基礎晶片之間的I/O界面，來增強XPU。

在硬體設計方面 ，由於cHBM並不依賴JEDEC標準，因此硬體部分需要全新的控制器和客製化實體介面、全新的D2D介面及改良的HBM基本晶片。與業界標準HBM3E或HBM4解決方案相比，cHBM界面寬度較窄。

說簡單點，也就是cHBM可提供客製化介面以減少處理器內部空間佔用，實現更高晶片裝載量、更低功耗、更高頻寬，並具備全新硬體設計。

關於應用，cHBM的彈性可以在不同類型的場景中帶來優良：

雲端供應商將其用於邊緣AI 應用，其中成本和功耗是關鍵標準。

在基於AI/ML 的複雜計算場中使用，其中容量和吞吐量被推到極限。

HBM的應用場景，也在拓寬

除了科技的拓展，HBM的應用場景也不斷拓寬。

如上文所述，行動HBM 主要應用於行動終端等設備，而Marvell 的cHBM 則主要適合AI 領域的特殊需求。除了這兩點，HBM產品還有這樣一個場景吸引人的注意力。即：HBM上車。

HBM在汽車中應用並不是一個新故事。

日前，SK海力士副總裁Kang Wook-sung透露，SK海力士HBM2E正用於Waymo 自動駕駛汽車，並強調SK海力士是Waymo自動駕駛汽車這項先進內存技術的獨家供應商。

據悉，SK海力士的車規級HBM2E產品展現了卓越性能：容量高達8GB，傳輸速度達到3.2Gbps，實現了驚人的410GB/s頻寬，為業界樹立了新標竿。以此為契機，SK海力士正積極拓展與NVIDIA、Tesla等自動駕駛領域解決方案巨頭的合作網絡。

至於為什麼汽車也要用上HBM，筆者在此分析汽車儲存的需求。

在面對智慧座艙、 車載資訊娛樂系統、 高級駕駛輔助系統日益火熱的當下，車用記憶體晶片涉及NOR Flash、eMMC、UFS、LPDDR、SSD等類別。其中對記憶體的需求正在迅速擴大，目前主要產品是LPDDR，以LPDDR4 和LPDDR5為最多。

未來，只靠這些難以滿足汽車對儲存的全部需求。根據測算，高階車在資訊娛樂領域使用24GB DRAM和64/128GB NAND，到2028 年預計DRAM容量將超過64GB，NAND將達到1TB 左右；對於ADAS，預計目前128GB DRAM容量將增加到384GB，NAND 將從1TB擴大到4TB。

除此之外，在智慧駕駛等應用場景的需求驅動下，儲存系統的功能已超越了單純的資料保存。它也必須實現高效率的資料交換，例如，能夠迅速地將蒐集到的各類資訊進行即時傳遞與處理。

畢竟只有實現快速的資料交換，運算平台才能及時分析資訊與處理，進而精準控制車輛的行駛速度、轉向角度等關鍵操作，保障智慧駕駛的安全與流暢運作。

SK海力士副總裁Ryu Seong-su透露，公司的HBM正受到全球企業的高度關注，蘋果、微軟、Google、亞馬遜、英偉達、Meta和特斯拉等七巨頭都向SK海力士提出了客製化HBM解決方案的要求。

客製化HBM，成為潮流

日前，三星在晶片代工論壇中提到，將從HBM4開始實現客戶客製化產品。業界消息人士透露，三星電子和SK海力士都在加速拓展「客製化記憶體」市場，也就是按照客戶所需形式製造和交貨HBM。

據報道，為了因應客製化HBM需求，三星針對每位客戶效能需求開發最佳化產品，目前正與多家客戶討論詳細規格。

負責PKG產品開發的副總裁Lee Kyu-jae表示，能在HBM市場占主導地位的最大動力是在客戶需要的時間提供產品，公司計劃確保混合鍵合等新技術的同時，不斷推進先進的MR-MUF技術。

Lee Kyu-jae強調開發下一代封裝技術的重要性，必須針對客製化產品需求增加入行回應，「預計今年下半年量產HBM4，我們考慮從先進的MR-MUF和下一代混合鍵合方法」。

客製化HBM可能是解決記憶體市場供過於求疑慮的新解決方案。郭魯正指出，隨著公司超越HBM4，客製化需求將增加，成為全球趨勢，並轉向以合約為基礎的性質，逐漸降低供過於求的風險。 SK海力士也將開發符合客戶需求的技術。

隨著AI興起，HBM市場從“通用型市場”演進為“客戶定制化市場”，不管是三星在芯片代工論壇的發言，還是SK海力士與台積電合作，都凸顯出為滿足客戶特定需求的策略。轉為客製化不僅解決供過於求問題，生產也能與客戶需求保持一致，確保HBM市場能更穩定發展。