差異化競爭:英偉達人工智慧GPU的挑戰者們
英偉達是雲端運算領域的早期領導者,主要是因為其專有的運算統一架構(「CUDA」)平台,可在其GPU上進行通用處理。該公司已成功在迅速擴大的雲端運算人工智慧市場佔有一席之地。Alphabet Inc、Google和亞馬遜和亞馬遜公司已在某些情況下部署了自己的專有AI晶片,但也不斷轉向英偉達。但現在,英偉達正面臨英特爾和AMD的競爭,這兩家公司也積極開拓這個細分市場。
此外,還有許多獲得大量創投的人工智慧晶片新創公司選擇不與英偉達競爭,另闢蹊徑,走一些差異化路線,試圖在市場上分一杯羹。對此,分析師Robert Castellano做了分析。
英偉達的主導地位
英偉達上調了年度業績預期,預計第三財季營收將達到160億美元左右。這一數字大大超過了外界一致預測的126.1億美元,與去年同期相比成長了170%。
下圖顯示了英偉達的資料中心收入成長情況,顯示了市場對其晶片的需求以及對Arm的連帶效應。分析師預計2024財年第三季(2023財年第三季)的營收將較上季成長21%,該財報將於2023年11月21日公佈。
本季度,英偉達預計每股收益為3.34美元,與上年同期相比大幅成長+475.9%。
本財年的一致預期收益為10.74美元,與上一財年相比大幅成長了221.6%。這項數據表明,人們對英偉達本財年的財務表現有著強烈的成長預期。
雲端超級擴充器
近年来,云计算市场在采用基于Arm的处理器方面取得了一些显著进展。Arm 声称,其在云计算市场的份额已从2020年12月31日的7.2%上升到10.1%,这主要归功于亚马逊越来越多地使用其内部Arm芯片。2021 年,亚马逊网络服务(AWS)已在15%的服务器实例中部署了其定制的Graviton芯片,这标志着这家云计算巨头正大幅转向Arm架构。
Google報告稱,雲端運算收入成長了22%,達到84.1億美元,低於預計的86.4億美元。6月份,Google的雲端運算業務成長了28%。
2023年,Google发布了最新的自主研发芯片TPU V4,其性能比上一代芯片显著提高了2.1倍。通过集成4096个这样的芯片,超级计算性能大幅提升了10倍,令人印象深刻。
Google表示,在規模相當的系統中,TPU V4的效能是英偉達A100的1.7倍,能源效率也提高了1.9倍。與前代產品TPU V3相似,每個TPU V4由兩個張量核(TC) 單元組成。每個TC單元由四個128×128矩陣乘法單元(MXU)、一個配備128個通道(每個通道包含16個ALU)的向量處理單元(「VPU」)和16 MiB的向量記憶體(「VMEM」)組成。
除了下一代TPU,Google也開始在2023年底向開發人員全面提供英偉達的H100 GPU,作為其A3系列虛擬機器的一部分。
亞馬遜AWS
在過去的六個季度裡,亞馬遜網路服務部的業績一直在下滑,但第三季的業績卻趨於穩定,維持了12%的年成長。該部門的營業收入也較去年同期激增29%,達到約70億美元。
今年5月,AWS推出了基於英偉達H100 GPU的EC2 P5虛擬機器執行個體。此配置包括八個英偉達H100 Tensor Core GPU,每個都配備了640 GB的高頻寬GPU記憶體。它還擁有第三代AMD EPYC處理器、2 TB系統記憶體、30 TB本地NVMe儲存、令人印象深刻的3200 Gbps總網路頻寬以及對GPUDirect RDMA的支援。後者可實現節點與節點之間的直接通信,無需使用CPU,從而降低了延遲,並提高了橫向擴展效能。
此外,亞馬遜EC2 P5實例可部署在第二代超大規模叢集(稱為亞馬遜EC2 UltraClusters)中。這些叢集包括高效能運算、網路資源和雲端儲存。這些叢集可容納多達20,000個H100 Tensor Core GPU,使用戶能夠部署參數高達數十億或數萬億的機器學習模型。
微軟公司
微軟的雲端運算收入成長了24%,9月達到318億美元。在微軟的三大業務部門中,智慧雲端的表現最為突出,營收成長了19%,達到243億美元。該部門包括伺服器產品和雲端服務,其中Azure實現了29%的強勁成長,超過了華爾街的預期的26%。
今年3月,微軟在一篇部落格文章中宣布,計劃對Azure進行重大升級。此次升級將採用數以萬計的英偉達尖端H100圖形卡,以及速度更快的InfiniBand網路互連技術。
ND H100 v5實例也採用了英特爾公司最新的第四代英特爾至強可擴展中央處理器,並透過英偉達的Quantum-2 CX7 InfiniBand技術實現低延遲聯網。它們還採用了PCIe Gen5,為每個GPU提供每秒64千兆位元組的頻寬,以及可實現更快資料傳輸速度的DDR5內存,以處理最大的人工智慧訓練資料集。
成功的新創企業
ChatGPT等應用進一步鞏固了英偉達在人工智慧產業的地位。其GPU晶片已成為各種人工智慧應用的關鍵。因此,任何希望在這一領域挑戰英偉達的新創公司都面臨著巨大的壓力,因為英偉達已經確立了自己的技術的主導地位和可靠性。
大腦
英偉達的A100 GPU已經相當可觀,晶片面積826平方毫米。相較之下,Cerebras的新WSE-2晶片則非常巨大,面積達45225平方毫米,基本上覆蓋了8吋矽晶片的整個表面。自2016年成立以來,Cerebras已成功獲得7.3億美元的融資。根據CB Insights全球獨角獸俱樂部的數據,該公司目前的估值為40億美元。
Cerebras與Abu Dhabi的G42合作,建造了九台人工智慧超級電腦中的第一台,該項目耗資超過1億美元。此外,Cerebras也積極在生成式人工智慧領域尋找機會。雖然它的CS-2模型在GPT環境下的訓練速度令人印象深刻,但尚未獲得業內主要製造商的採用。
桑巴諾瓦
SambaNova成立於2017年,是人工智慧晶片產業中資金最雄厚的公司之一。它已成功融資10億美元之巨,其著名支持者包括軟銀和英特爾。這不僅使SambaNova成為融資最多的AI晶片新創公司,也使其成為英偉達最強大的新興競爭對手之一,估值高達50億美元。
SambaNova最近推出了最新的第四代SN40L處理器。這款尖端晶片採用台積電先進的5奈米製程製造,擁有超過1,020億個晶體管,運算速度高達638 teraflops。它採用獨特的三層內存系統,包括片上內存、高頻寬內存和大容量內存,所有這些設計都是為了高效處理與人工智能工作負載相關的大量資料流。SambaNova聲稱,一個節點中僅有八個這樣的晶片就能支援多達50兆個參數的模型,幾乎是OpenAI的GPT-4 LLM報告的三倍。
坦斯托倫特
Tenstorrent是人工智慧晶片產業的另一家著名新創公司,成立於2016年。迄今為止,該公司已獲得近3.35億美元的融資,最近還獲得了三星和現代汽車等大公司的投資,目前估值約為10億美元。
Tenstorrent正瞄準挑戰英偉達在人工智慧領域的主導地位,開發採用RISC-V和Chiplet技術的人工智慧CPU。值得注意的是,該公司最近與三星達成了生產合作,打算利用三星先進的4nm製程製造晶片。這項合作彰顯了Tenstorrent致力於推動其技術發展並參與人工智慧晶片市場競爭的承諾。
不太成功的新創企業
圖核
Graphcore在歐洲半導體新創企業領域,尤其是在資金募集方面取得了顯著成績。該公司由Nigel Toon和Simon Knowles於2016年創立,專注於開發智慧處理單元(IPU),有別於人工智慧應用中普遍使用的GPU(圖形處理單元)。Graphcore聲稱,其IPU技術在滿足人工智慧的特殊要求方面比GPU具有明顯優勢。
PitchBook數據顯示,Graphcore已成功獲得超過6億美元的投資。然而,儘管獲得了大量資金,該公司的收入仍然相對有限。這種情況在2020年發生了重大轉變,當時微軟決定停止在其雲端運算中心使用Graphcore的晶片,導致該公司失去了一個主要客戶,並帶來了更嚴峻的挑戰。
根據《金融時報》報道,到2022年,Graphcore的收入將驟降46%,僅270萬美元。同時,其稅前虧損增加了11%,達到2.046億美元,年終現金餘額為1.57億美元。Graphcore表示需要額外融資才能在隔年5月達到收支平衡。該公司將這一挫折歸因於「不利的宏觀經濟環境」以及「主要戰略客戶」(尤其是中國的重要客戶)硬體採購的延遲。
目前,Graphcore正在調整其業務策略,將其IPU晶片從資料中心過渡到雲端運算環境,這項轉變是公司為適應半導體產業不斷變化的市場動態和挑戰而做出的策略調整。
GSI技術公司(GSIT)
GSI Technology是Gemini關聯處理單元(「APU」)的開發商,為網路、電信和軍事市場提供人工智慧和高效能並行運算解決方案。
如表1所示,Gemini-I的效能優於其他類型的處理器。Gemini-I晶片每600MHz時脈週期可執行200萬x 1位元運算,記憶體頻寬為26TB/秒,而英特爾至強8280在2.7GHz頻率下可執行28 x 2 x 512位元運算,記憶體頻寬為1TB/秒。
2024財年第二季度,公司淨虧損410萬美元,淨收入為570萬美元,相當於攤薄後每股0.16美元。這項業績與2023財年第二季淨虧損320萬美元,攤薄後每股虧損0.13 美元,淨收入900萬美元形成鮮明對比。此外,在2024財年第一季,公司的淨虧損為510萬美元,攤薄後每股虧損0.21美元,淨收入560萬美元。
2024財年第二季的毛利率為54.7%,低於去年同期的62.6%,也略低於第一季的54.9%。這些數據顯示了公司在特定時期內的財務表現和利潤趨勢。
神話
Mythic是一家專門從事人工智慧晶片模擬的著名公司,專注於電腦記憶體(CIM)技術。然而,根據科技網站The Register的報導,這家人工智慧晶片新創公司在融資方面面臨重大挑戰。儘管該公司最初籌集了約1.6億美元的資金,但在過去一年中遇到了財務困難,甚至瀕臨停止營運的邊緣。
幸運的是,2023年3月,Mythic成功獲得了1,300萬美元的投資,得以繼續營運。Mythic的執行長Dave Rick表示,英偉達雖然間接地造成了更廣泛的AI晶片融資困境。這是因為投資者往往傾向於那些有可能獲得豐厚回報的機會,這就為Mythic這樣的AI晶片新創公司獲得營運所需的資金創造了一個充滿挑戰的環境。
流
伺服器晶片製造商Rivos發現自己陷入了與蘋果公司的法律糾紛中,蘋果被指控非法招募Rivos的工程師並盜用商業機密。2023年8月,Rivos公司不幸採取了下列措施裁員約20人,約占公司員工總數的6%。過程中,管理階層向其餘員工透露,公司獲得新資金的前景越來越黯淡。
英偉達投資
晶片新創企業的創投正經歷前所未有的下滑,這主要歸因於英偉達在人工智慧晶片市場的主導地位。來自美國的數據顯示,晶片新創企業的交易量與前一年相比下降了80%,降幅驚人。
PitchBook的數據顯示,截至8月底,美國晶片新創公司已籌集到8.814億美元。相較之下,2022年前三個季度的融資額為17.9億美元。截至8月底,交易數量從23筆下降到4筆。
不過,英偉達一直是自身投資領域的中心。圖3顯示了自ChatGPT發布以來,截至2023年10月23日的Pitchbook數據,其中包含了最重要的策略投資。除兩家公司外,英偉達都是其他公司的投資者。
英偉達一直是最活躍的投資者,不僅在按規模計算的頂級投資中如此,在總體數量上也是如此。在2022年11月至2023年10月期間進行的所有投資中,近一半的投資都有英偉達的身影。
英偉達的投資策略似乎主要集中在成長期公司,超過75%的投資都投向了這個領域。值得注意的是,在此期間,他們參與了10筆最大融資中的8筆。基礎設施/LLM(Likewise Learning Models)是他們獲得投資的主要領域,佔其投資總額的近一半。醫療保健/治療領域是英偉達下一個最重要的投資領域。
投資者啟示
目前看來,任何新興公司都不太可能成為與產業巨頭英偉達和AMD並駕齊驅的GPU市場第三大參與者。即使是晶片產業的霸主英特爾公司,在試圖開發受遊戲玩家歡迎的高階GPU時也遇到了挑戰。英特爾的下一個獨立GPU計畫將於2025年發布。這種情況凸顯了英偉達和AMD在GPU市場上的強大地位,預計在不久的將來競爭將非常有限。
事實證明,GPU是處理像GPT-3這樣的大型語言模型(LLM)所需的大量計算的理想硬件,這可能涉及到大量參數的訓練,如GPT-3的1750億個參數。英偉達透過開發和擴展Cuda軟體平台,策略性地鞏固了自己在這一領域的地位。Cuda提供一系列專有函式庫、編譯器、框架和開發工具,為人工智慧專業人士提供建構模型所需的工具。最重要的是,Cuda是英偉達GPU的獨佔產品,這種軟硬體的整合大大降低了客戶在人工智慧領域的轉換成本,增強了英偉達的競爭優勢。
即使有晶片競爭對手生產出與英偉達的GPU不相上下的產品,分析師也有理由認為,已經在CUDA上建構的程式碼和模型可能不會輕易轉移到不同的GPU上。這使得英偉達擁有固有的優勢。雖然有可能出現不依賴Cuda或英偉達GPU的替代方法,但截至2023年,英偉達在這一領域面臨的競爭微乎其微。因此,任何從事LLM開發的企業在等待替代方案的同時,都有可能因英偉達繼續主導該領域而落後。
在評估晶片產業的競爭格局時,很明顯,英偉達面臨著多個競爭者和潛在威脅:
AMD: AMD是一家資金雄厚的晶片製造商,擁有強大的GPU專業技術。然而,其在軟體方面的相對弱勢可能會阻礙其與英偉達的有效競爭。
英特爾:雖然英特爾在人工智慧加速器或GPU方面尚未取得太多成功,但它的實力不容小覷。作為半導體產業的主要企業,英特爾擁有在這一領域取得重大進展的資源和能力。
超大規模企業的內部解決方案:Google、亞馬遜、微軟和Meta Platform等公司都在開發自己的內部晶片,如TPU、Trainium和Inferentia。雖然這些晶片可能在特定的工作負載中表現出色,但它們可能無法在廣泛的應用中超越英偉達的GPU。
雲端運算公司:雲端運算供應商需要提供各種GPU和加速器,以滿足運行人工智慧工作負載的企業客戶的需求。雖然亞馬遜和Google可能會將內部晶片用於自己的人工智慧模型,但說服廣大企業客戶為這些專有半導體優化其人工智慧模型,可能會導致供應商鎖定,而這正是企業通常會避免的情況。
儘管存在這些競爭力量,但預計企業客戶將繼續要求中立的商用GPU供應商。在可預見的未來,英偉達有可能繼續保持市場領先地位,這主要得益於其強大的軟硬體整合能力、CUDA軟體平台的廣泛採用以及與其技術相關的大量客戶轉換成本。這些因素共同構成了英偉達的競爭優勢,有助於鞏固其在人工智慧晶片市場的地位。
來源:集微網