誰將成為屠龍者？2024開年，去年大漲的科技股一片慘跌，但引領AI浪潮的總龍頭英偉達依然勢頭不減。沒有一家晶片公司不眼紅英偉達的地位，隨著AI產業的蛋糕越做越大，硬體賽道也肉眼可見得擁擠起來。大量新創公司正試圖流向英偉達GPU的預算里分一杯羹。

媒體彙整了目前處於競爭最前線的12家公司。這些新創公司平均歷史只有五年，融資額度最高的已有7.2億美元，它們都是英偉達的強力挑戰者。

Cerebras

成立時間：2015

應用領域：訓練

Cerebras以製造巨晶片聞名。由Gary Lauterbach和Andrew Feldman共同創立。兩人也曾經聯合創辦專注於超高密度電腦伺服器業務的公司Seammicro，在2012年被AMD以高達3.57億美元的價格收購。

Cerebras的主要產品是可用於AI訓練的超級電腦晶片和系統，專為超級運算任務而構建，此類晶片的大小約為普通GPU的56倍。

Cerebras的客戶集中於國防、學術實驗室等機構。旗艦產品CS-2超算系統已部署在美國能源部阿貢國家實驗室、匹茲堡超算中心、愛丁堡大學超算中心等地。

不過，雖然已經獲得高達7億美元的融資，但受制於英偉達GPU和CUDA生態的主導地位，Cerebras在爭取商業客戶方面面臨著艱鉅的挑戰。

1月份，公司宣布將與美國頂尖醫療機構梅奧診所合作，梅奧診所將使用Cerebras的計算晶片和軟體，以數十年的匿名醫療記錄和數據為基礎，開發專有AI模型。

據報道，一些模型將能夠讀寫文本，例如為新病人總結病歷中最重要的部分。其他模型可以分析複雜的醫學圖片或分析基因組數據。

Cerebras執行長Andrew Feldman稱，這是一項為期數年、價值「數百萬美元」的協議。

d-Matrix

成立時間： 2019

應用領域：推理

創辦於2019年的d-Matrix正在開發一種專用晶片和軟體，用於運行機器學習模型，公司的晶片可以處理和記憶體結合在一起，而處理和記憶體通常是晶片上獨立和不同的組件。

d-Matrix的晶片產生的熱量較少，因此所需的冷卻也較少，因此比主流的GPU和CPU晶片更具成本效益。公司CEO表示，許多公司都希望利用大模型設計AI應用，成本非常重要。

d-Matrix選擇專注於推理，即運行AI模型，而非訓練。公司認為，隨著時間的推移，模​​型會越來越大，運作成本也會越來越高。本公司已有客戶在測試其晶片和軟體，並計劃在24年上半年投入商用。

Etched

成立時間：2023

應用領域：推理

Etched由兩位哈佛輟學生Gavin Uberti和Chris Zhu於去年6月創立，公司計畫生產一款名為Sohu的AI推理加速晶片，推理效能為H100的10倍。公司成立不久後估值即達3,400萬美元。

據報道，在製作流程上，Sohu採用將變壓器架構直接刻晶片核心的革命性方法。因此效能可以達到前所未有的高度，與傳統GPU相比，Sohu在模擬中運行大模型的速度要快140倍。Sohu也支援透過樹搜尋更好地編碼，能夠並行比較數百個回應，同時還能進行多重推測解碼（Multicast speculative decoding），可以即時產生新的內容。

Etched的部落格稱，這種架構將允許以無與倫比的效率運行萬億參數模型。系統只有一個內核，可容納完全開源的軟體堆疊，可擴充至100T參數模型。

Extropic

成立時間：2022

應用領域：推理&訓練

Extropic是這幾家新創公司裡最神秘的。公司創辦人出身Google專注前沿技術探索的「登月工廠」部門「X」。據介紹，Extropic專注於量子運算，同時計畫開發一款專門用於運行大模型的晶片，但目前仍未有任何關於具體產品的細節曝出。

去年年底，公司剛完成1,410萬美元的種子輪融資。

根據該公司的新聞稿，隨著生成式人工智慧的興起，世界對可擴展、高成本效益和高效計算的需求急劇增加，Extropic希望在未來，讓電腦把熵作為一種資產加以利用，透過程式設計自我學習，並以前所未有的效率運作：

Extropic的計算範式建立在熱力學原理之上，旨在將生成式人工智慧與世界的基本物理學無縫融合。我們的目標是將生成式人工智慧最終嵌入物理過程，突破物理定律在空間、時間和能量方面所規定的效率極限。

Groq

成立時間：2016

應用領域：推理

Graphcore成立於2016年，總部位於英國布里斯托。公司主要產品的智慧處理單元（LPU），且聚焦於大模型推理。

公司產品最大的特色就是極快的生成速度，可以確保流暢的終端體驗。在消費性AIGC應用中​​，使用者對速度要求很高，而Groq LPU搭配開源模型Meta Llama 2 70B可以實現每秒生成300個單詞，在7分鐘內就能生成與莎士比亞的《哈姆雷特》相同數量的單詞，這比一般人的打字速度快75倍。

Groq聯合創辦人兼執行長Jonathan Ross認為，對於在產品中使用人工智慧的公司來說，推理成本正在成為一個問題，因為隨著使用這些產品的客戶數量增加，運行模型的成本也在迅速增加。與英偉達GPU相比，Groq LPU叢集將為大模型推理提供更高的吞吐量、更低的延遲和更低的成本。

此外，受制於HBM3和CoWoS封裝的產能，英偉達GPU目前的產能無法完全滿足客戶需求，而Groq LPU的獨特之處在於，它不依賴三星或海力士的HBM，也不依賴台積電的CoWoS封裝技術，因此不會面臨類似英偉達那樣的產能瓶頸。

Lightmatter

成立時間：2017

應用領域：訓練&推理

Lightmatter利用雷射器發出的光在晶片和伺服器群之間傳輸數據，該公司由麻省理工學院的學生利用該校的專利技術創立。

根據公司聯合創辦人兼執行長Nicholas Harris介紹，與英偉達、AMD和英特爾等透過線纜傳輸資料的晶片廠商相比，Lightmatter的產品可以讓資料中心的能耗成本降低約80%。

MatX

成立時間：2022

應用領域：未公佈

MatX由前Google員工創辦，執行長Reiner Pope為GooglePathways大模型的開發者之一，技術長Mike Gunter則是GoogleTPU的研發人員之一。

MatX正在開發用於文字應用的LLM專用晶片。公司表示，與英偉達GPU硬體相比，其自研晶片的運作速度更快，成本更低，可支援包括影像生成在內的多種人工智慧應用。

MatX稱，該公司已經得到幾家風險投資公司的支持，但未披露具體的資金，還稱已得到“著名大模型開發商的大力支持”，但也未披露具體公司。

Modular

成立時間：2022

應用領域：：推理；今年開始涉足訓練

Modular專注於打造用於訓練和運行大模型的開發平台和編碼語言，用戶可在該平台上使用各類AI工具，包括Google開源軟體TensorFlow和Meta的開源軟體PyTorch。

公司認為，AI開發如今面臨受到過於複雜和分散的技術基礎設施的阻礙，Modulal的使命是消除大規模構建和維護AI系統的複雜性。

建置和運行人工智慧應用程式需要大量的運算能力，為控製成本，一家公司可能會使用不同類型的AI晶片，但這些晶片的軟體往往互不相容。尤其是，英偉達用於編寫機器學習應用程式的Cuda軟體只能在自家晶片上運行，這基本上將開發者鎖定在其GPU上。Cuda的用戶黏性極強，有報告指出，一家電腦視覺新創公司花了兩年時間才得以改用非英偉達晶片。

Modular希望透過開發Cuda替代方案來改變這種狀況，解決不同晶片的軟體相容性問​​題，讓使用非英偉達晶片變得更容易。

Rain AI

成立時間：2017

應用領域：推理&微調

傳統GPU的訓練和推理過程需要消耗產生高昂成本，這部分成本部分源自於這些晶片在從記憶體和處理部件傳輸資料時產生的熱量，因此，GPU需要持續冷卻，從而增加了資料中心的電力成本。

而Rain AI的NPU晶片可以模擬人類的生物大腦，將記憶體和處理功能結合在一起，不僅在運算速度和能源效率方面表現出色，還可以根據周圍環境即時定製或微調人工智慧模型。不過公司目前還沒有生產出成品。

根據媒體報道，一份2019年簽訂的意向書顯示，OpenAI計劃斥資5,100萬美元購買Rain AI NPU晶片，這些晶片將用於GPT模型的訓練和部署。

Sima.ai

成立時間：2018

應用領域：推理

Sima.ai專注於為邊緣運算設備開發硬體和軟體，應用於飛機、無人機、汽車和醫療設備等場景，而非資料中心。

公司創辦人Krishna Rangasayee曾在晶片製造商賽靈思（Xilinx）工作近二十年。此前，在接受媒體採訪時，他表示，許多行業由於種種原因無法使用基於雲端的AI服務，Sima.ai將專注於服務那些去中心化的邊緣運算設備。

例如，自動駕駛汽車需要即時做出決策，只有內建的AI才能滿足其對延遲的苛刻要求。而在醫療保健等行業，公司可能不希望將敏感資料傳送到雲端，而希望將其保存在設備中。

2023年6月，Sima.ai表示已開始量產第一代邊緣人工智慧晶片。公司表示，正在與製造業、汽車和航空等領域的50多家客戶合作。

Tenstorrent

成立時間：2016

應用領域：訓練&推理

Tenstorrent由三位前AMD員工創辦，總部位於加拿大多倫多。

Tenstorrent以異構和Chiplet設計的形式來開發RISC-V和AI晶片。目前已經開發出基於12nm製程的Grayskull和Wormhole兩款晶片，FP8算力高達328TFlops。公司的目標是把價格壓到類似性能GPU的1/5到1/10。

2021年，Tenstorrent也推出了DevCloud，可以讓AI開發人員無需購買硬體即可運行大型模型。

不過，最近幾年，也許是感受到了英偉達等硬體廠商的壓力，Tenstorrent將重心轉移到了技術授權和服務領域。

Tiny Corp

成立時間：2022

應用領域：訓練&推理

Tiny Corp由自動駕駛新創公司Comma AI的創辦人和前執行長George Hotz創辦，其產品將以名為tinygrad的開源深度學習工具打造，據悉可協助開發人員加快訓練和運行大語言模型。

Hotz認為，tinygrad可以成為Pytorch（源自Meta的深度學習產品）的「有力競爭者」。但目前他還沒有透露關於產品的具體細節。

風險提示及免責條款

市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別使用者特殊的投資目標、財務狀況或需求。使用者應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。

來源：華爾街見聞