英偉達A800顯卡從7萬飆到10萬需求倒爺滿天飛
“顯卡荒”燒至服務器,真火還是虛火?從挖礦時代來到AI時代,GPU的算力又有了用武之地。國內外雲廠商們的算力儲備競賽正打得如火如荼……字節已向英偉達採購了10萬塊A100與H800加速卡,超10億美元(人民幣超70億元),僅字節一家今年的採購量就已接近英偉達去年在中國銷售的商用GPU總銷售額,另一家大型企業的訂單金額也至少超過了10億元人民幣。
已使用了約2.5萬個英偉達GPU的OpenAI表示GPU還很缺。每1億活躍用戶ChatGPT就需要13.5 EPLOPS的算力,約6.9萬台NVIDIA DGX A100 80G服務器支撐,而目前全球的算力也只能支撐1億日均上線人數,隨著需求的增加未來預計還會增加。
在這些高端GPU的現貨流通市場,就算是半個外行看到機會也躍躍欲試,滿眼是“金磚”。
原本7.4萬左右一枚的A800,現在漲到8.5萬元以上,高配版則漲到10萬元左右。4月底,市面上8卡A800模組的期貨報價還在90萬,交期2週,如今報價來到了100萬以上,交期延長到7-8週。5月,A800甚至被炒至10萬元一塊。
“觀望者交期更久,價格更貴。” 缺單卡的去買模組,買不到模組的後來都買了整機服務器。
從GPU單卡到模組再到AI服務器,漲價瘋狂,缺貨嚴重,貨期越來越長,市場上需求真的如這般高漲嗎?英偉達的GPU為什麼會這麼缺?此外,全新正品無法保障貨期,二手市場、灰色渠道,定金交了就不退,圍繞AI服務器的亂象正在上演……
01 英偉達GPU市場亂象
“一口氣就要1000張、3000張,根本供不過來,這裡面需求到底是真還是假?”
“銷路好嗎?我有路子搞到貨,但怕砸手裡。”
5月,英偉達的GPU仍在缺貨漲價。
有代理商透露,英偉達A100價格從去年12月開始上漲,截至今年4月上半月,其5個月價格累計漲幅達到37.5%;同期A800價格累計漲幅達20.0%。
交期從一個月延長到三個月或更長,部分新訂單“可能要等到12月才能交付”。
一些在AI服務器有數量優勢的廠商,在勒緊褲腰帶使用GPU資源。微軟內部陷入AI服務器硬件短缺的窘境,採取“配額供給”機制。6月在被刪除的OpenAI CEO Sam Altman 談話紀要中提到,OpenAI 也缺GPU,GPU的短缺拖延了客戶的許多短期計劃。
站在人工智能浪潮上的“賣鏟人”英偉達,如今幾乎壟斷了整個AI服務器芯片市場,成為最大贏家,不久前市值突破萬億,成為歷史上第一家市值突破10000億美元的芯片公司。
受到美國禁令影響,我國英偉達A100的現貨直接被斷供,國內可用於訓練AI大模型的A100約有4萬-5萬個,供應相當吃緊,一些雲服務廠商為給強力運算騰出資源,已嚴格限制內部使用。
而目前正常供應的A100閹割版——A800去年三季度才開始生產,加之新需求起勢,面臨供不應求,5月初,A800在國內已經漲到10萬元一塊。
一般來說,媒體報導說的高價A800、A100等,屬於該系列中的頂配,即GPU 顯存為80G,互連技術支持NVLink的版本。
市場上做GPU業務的朋友告訴我們,A800在現貨市場的價格每天都在變,短期的匯率變動也會影響價格,“6月6日A800 PCle單卡報價8.5-8.8萬,到6月9日最低報價可能就漲到8.6萬了”。
隨著緊缺和漲價行情愈演愈烈,出貨、尋找GPU的參與者越來越多,GPU市場亂象由此開始:蜂擁而至的詢價,走俏的期貨市場與高額定金,以及二手渠道流出的大小“坑”……
最直接的感觀是來自四面八方嘈雜的需求聲,多位服務器整機、服務器GPU相關市場從業者反映,最近因為AI火爆的確很多人來詢卡,問價格,但真正能成交的其實不多。
來找A800、A100這種單卡的,需求量少,看中價格,而需求量大的,一上來就要成百上千張,稱是幫客戶、朋友問,還有華強北貿易商出動,給人感覺都在套價格。
“一上來要這麼多,哪供得上來?問他注重價格優勢還是貨期優勢,就沒有下文了。”“有的人幾乎都沒有貨款,問完就沒影了。”相對來說,企業自己採購的容易成交。
目前英偉達等企業級GPU的供應,有兩種主要的流通渠道:一種是原廠-總代理-經銷商-市場;另一種是原廠-OEM廠(服務器大廠)-經銷商-市場。在現貨市場流通的主要在經銷、服務器方案或是二手市場。
這類企業級產品覆蓋企業、學校和服務器方案商等下游客戶。專注服務器業務的徐哥表示,來自阿里等企業的真實需求通常都是一筆大單,這些大客戶都是優先找上一層的總代理或者服務器OEM處拿貨,下一層體量小的經銷商、服務器配件商很難接觸到。也有媒體報導,雲廠商人士稱,字節、阿里等大公司主要是和英偉達原廠直接談採購,代理商和二手市場難以滿足他們的龐大需求。
現貨市場真實需求不足,也不妨礙大家出來找貨,現貨被搶完,不得不預定期貨,需要承受高額定金無法退回,以及可能遙遙無期的交期。
據了解,市面上A800單卡還有一定的現貨,A100單卡幾乎“絕跡”了,A800模組現貨很少,也不得不選擇期貨。以一台8卡的A800模組為例,有賣家報價總價112萬起,定金50%,貨期7-8週,不保證準時到貨(此前幾天貨期還是6週),且定金不退。而在4月底,另一位賣家的8卡A800模組,價格還在90萬,定金30%-50%,交貨週期2週。
一個多月的時間,可見一台8卡A800模組差價多出20多萬,貨期延長,定金也可能漲了。
一家自稱是源頭廠的賣家告訴我們,8卡模組的現貨,要現貨的買家已經排了5億元的訂單金額,現在只能等到貨通知。
交定金,看似能提早排上隊,但高風險並存。以8卡的A800模組為例,通常收50%的定金,一台頂配的80G NV A800模組100多萬,定金至少50萬,且一旦交了定金就不能退。網上有買家表示,今年三四月份訂的10枚單卡,到現在還沒拿到貨。
不少賣家承諾的貨期沒有保障,基礎價格高,定金比率也高,需要付出的真金白銀就多了。如果沒拿到貨,就只能一直等,畢竟錢都交了。
如果你擁有一批A800、A100現貨,在大家眼中那都不是普通的顯卡,是金磚。
有人看到熱度,想做GPU的生意但怕貨砸手裡,對於個別追逐利益的炒家來說,真實需求存疑,現貨怕跌價砸手裡,期貨又怕拿不到貨,甚至因為拿貨時價格太高,得不償失。
二手產品層出不窮,還有人專門高價回收二手AI 芯片,暫不說用在何處,這類GPU保修都是問題。
02 上游產能告急:先進製程不缺,到底卡在哪?
ChatGPT 火了之後,互聯網企業、雲廠商們更加廣泛地佈局AI大模型,爭奪英偉達GPU的大算力,缺的不僅是A100、A800,更高端的H100、H800也一樣。有人問,晶圓產能已經不缺了,為何GPU還會供不上來?
“每10年GPU性能增長1000倍”,“買的越多,省得越多”,黃氏定律 (Huang’s Law)要取代摩爾定律,雖然先進製程可以提高GPU的性能,但摩爾定律已經到頭,而且服務器的用途,又區別於手機芯片對空間的苛刻要求。如果說先進製程是GPU的首選,先進封裝則是錦上添花。
GPU用先進製程製造出來還不夠,讓封裝體積小,功耗低,引腳少,實現芯片、芯片與封裝基板之間更緊密的互連,是目前芯片製程限制下提高GPU性能的一大步。先進封裝的四個魔法Bump、RDL、Wafer和TSV這四種技術,具備任意一種,就可以點亮新的封裝技能。
英偉達的V100、A100、A800、H100等都採用台積電CoWoS先進封裝技術,解決了高算力AI背景下芯片的“存算一體”問題。不過,台積電7nm晶圓代工產能的確不缺了,但這回缺貨竟還是栽在了台積電身上。
首先,CoWoS先進封裝核心技術只有台積電一家能做,沒有台積電不行。
現在缺的先進封裝wafer,其中的技術是台積電專利,英偉達只能找台積電做,先進製程和先進封裝都被台積電牢牢把握住了。2012年,台積電推出了獨門的CoWoS先進封裝技術,從此有了從晶圓代工到終端封裝的一條龍服務。CoWoS家族包含CoWoS-S與CoWoS-L/R等部分,對應高速運算應用的客戶包含英偉達等多家一線大廠。另有InFO先進封裝系列則由多數由蘋果全部包下。
你說外包?技術含量低的流程可以,但核心技術沒有台積電還是不行,其他封裝廠只能喝湯。
近期為應對臨時需求,台積電採用部分os(on substrate)委外轉包的方法,但並不是CoWoS製程轉外包,台積電仍是專注在最有價值的先進封裝部分。
台積電等於從晶圓代工做到封裝一條龍了,Google TPU、英偉達GPU及AMD MI300這些全數導入生成式AI的芯片大廠,都為台積電貢獻了大量的AIGC訂單,帶動CoWoS擴產需求。
其次,這類先進封裝也吃對應封裝產能,目前產能緊缺。
先進封裝一面朝上游晶圓製程領域發展,即晶圓級封裝,在更小封裝面積上容納更多引腳,另一面向下游模組領域拓展,發展系統級封裝。近日@手機晶片達人透露,CoWoS製程分成前段晶圓製程的interposer,與後段封裝的die to die疊die,台積電CoWoS產能缺是缺在做65nm的Interposer。
這裡的interposer(中介層)採用Wafer(晶圓)技術,如台積電CoWoS封裝技術方案是2.5D封裝技術,把芯片封裝到矽轉接板(中介層),並使用矽轉接板上的高密度佈線進行互連,然後再安裝在封裝基板上。
因此GPU在先進封裝過程中需要額外的晶圓,即CoWoS產能。外資野村證券預期,台積電CoWoS年化產能將從2022年底7-8萬片晶圓,增至2023年底14-15萬片晶圓,隨產能持續擴充,預估2024年底將挑戰20萬片產能。
填補晶圓級封裝產能的缺口,成了當務之急。而且在Wafer技術不斷發展下,Wafer面積呈逐漸增大的趨勢,相比於InFO,針對高端市場的CoWoS,連線數量和封裝尺寸都比較大。根據@手機晶片達人,65nm interposer 需求比top die (H100) 多1.4倍。
台積電先進CoWoS封裝產能已經嚴重供不應求,去年起台積電CoWoS需求幾乎是雙倍成長,明年需求持續強勁。先進封裝只有台積電的台灣廠能做,台積電正在各廠直接進行調配、擴充,加快先進封裝製程進度。
03 “顯卡荒”燒至服務器真火還是虛火?
對於真正有需求的買家來說,用這麼高端的顯卡本質上是用在AI服務器,要么是缺卡,要么是缺模組,要么是缺整機。但論真實需求,“金磚”其實不如服務器。
做AI 的GPU缺漲,搭載服務器跟著漲價,早在4月就有報導稱,浪潮將把AI服務器價格提高約20%,這是在英偉達終止向中國供應其頂級A100和H100芯片後做出的決定。後續有消息人士證實,上漲幅度沒有具體說明,另外有消息人士稱,服務器供應商只是提高了英偉達AI服務器的價格,其他服務器產品的價格沒有變化。
太平洋證券數據顯示,2022年中國AI服務器市場排名前8的服務器耗材佔比達92%,浪潮以37%位居榜首。浪潮的財務披露顯示,英偉達一直是其主要的芯片供應商。2019年,英特爾和英偉達是浪潮的前兩大芯片供應商。
GPU單卡相當於服務器的零部件,單卡需求更注重價格,服務器要用到多卡GPU模組,最多的8卡,就算是PCle版本的服務器目前也要80萬左右,NV的則是百萬級別。
目前A800期貨整機價格為120多萬,現貨較少,據某知名計算服務商的一位銷售人士介紹,其A800的整機現貨價格為168萬,定金50%,“7月底有35台,25台已被預定”。即便是企業用,這個價格也不算便宜。而且據市場消息,A800整機的正常貨期已經排到了10月底,甚至很多賣家直接報到24週,貨期接近6個月。
在一些做服務器整機業務的朋友眼中,GPU再火爆,也不如服務器更靠近真實需求,更好做生意。徐哥表示,現在專注服務器,對單卡的興趣不大了,賣服務器都是給客戶發配置再報價,卡的話比較麻煩,還要看接口等等是否適配……總之,服務器相對卡來說真實的成交更多,成交率高。而卡只是詢價的多,成交量太少,只有大公司要的量多。“要的多的幾乎都是整機要的,量少的都是卡。”
在廣泛的客戶需求中,也並非所有AI服務器一上來就是頂配,一上來就有大量的需求。無論是A800 PCIE 服務器、NVlinvk服務器,還是H800 HGX服務器等等,企業都是根據不同的需求去選擇配置。當然服務器的價格也會更透明,多了比價的機會。
GPU、硬盤等都是服務器的配件之一,如今AI帶火了相關服務器,A800等高端GPU成本佔比高,供應緊缺,在整機中,它的價格敏感度也排在前列。
單單GPU的缺貨限制AI服務器的正常供應,在市場上看似火爆,卻夾雜著更多的虛假需求。
這波GPU熱,讓人聯想起倒爺們狂炒額溫槍生意的2020年,當時朋友圈的裂變效應,導致市場上多了比真實需求放大無數倍的虛假需求。結果供應緊缺,現貨價比期貨高太多,貨期沒有保障,賣家違約成本低,有倒爺靠“定金”大賺特賺。
芯片極度短缺的日子已經告一段落,高端GPU產能雖然一時半會供不上來,但對應的企業級需求壁壘較高,要求正規技術支持和售後服務,加上需求量的猛增,都給大家提出了更高的要求,沒有長期耕耘和紮實功底,僅靠投機取巧的手段,很難在風口上分得一杯羹。
本文作者:Silvia,來源: 芯世相,原文標題:《英偉達A800顯卡從7萬飆到10萬,需求倒爺滿天飛》