奧特曼的晶片計劃7兆美元融資反而是最容易的部分
週一在杜拜舉行的世界政府高峰會上,當被問及「7 兆美元可以購買多少GPU」時,黃仁勳打趣道:「顯然是所有的GPU」。在這之前,Sam Altman 被爆出正在籌集高達7 兆美元的資金,以增加全球半導體晶片的供應。看上去,OpenAI 距離AGI(通用人工智慧)只差AI 算力了。
但就像《華爾街日報》一篇報導的標題,籌集數兆美元可能是Altman 晶片計畫裡最容易的部分。
毋庸置疑,晶片製造是比金錢複雜得多的挑戰,作為資本密集型產業,歷來經歷過劇烈的周期性波動,晶片製造廠對激進擴張也持謹慎態度。目前,世界上只有三家公司能夠大量生產最尖端的晶片:台積電、三星電子和英特爾。
Sam Altman 到底看到了什麼,決定如此重押算力?
如果把大模型廠商分成兩種,一種是在落地場景中探索大模型。其中的「顯眼包」代表包括英偉達、微軟、Databricks,三者都強調算力瓶頸會隨著模型尺寸變小、下一代晶片架構創新等取得突破來進一步破除,就像互聯網頻寬限制在2000 年基本消失一樣,「GPU 也會發生同樣的情況」。
另一種大模型廠商的典型代表則是OpenAI,對於大模型技術,要不計成本地做標本、數典範、探索邊界。對於OpenAI 率先看到的未來,Q*、GPT-5 的訊息讓外界對Transformer 能否實現AGI 充滿想像。這也可能是Sam Altman 晶片製造野心的起點。
據報道,除了投資方,Altman 還與晶片製造商例如台積電進行了討論,討論與他們合作並使用數萬億美元建設和運營新工廠,以及對能源和其他人工智慧基礎設施的投資。
建造一個尖端晶片工廠通常至少需要100 億美元,相比之下,Altman 所討論的7 兆美元規模是極端的。對於Sam 的7 兆美元,黃仁勳預判,到2029 年全球建設人工智慧資料中心的成本將達到2 兆美元,他表示,「你不能假設你會買更多電腦,你還必須假設電腦會變得更快,因此你需要的總量不會那麼多。”
在OpenAI 內部,Sam Altman 看到了什麼?
對於這個問題,The information 追蹤AI 和雲端運算的兩位記者在《The Most Exciting Thing About Altman’s Chip Dream》一文作出探討,由極客公園編譯:
01
OpenAI 唯一的
障礙,算力短缺?
上週,OpenAI 執行長Sam Altman 搶盡風頭。他正試圖籌集數兆美元的資金來開發和製造AI 晶片。儘管這一數字多少有點駭人聽聞,但姑且先把集體懷疑放在一邊,試著理解Altman 融資的意義——無限的計算能力將導致全能的人工智慧。
社群媒體X 平台,網友總結7 兆美元的購買力|來源:twitter.com
換句話說,他認為唯一阻礙超級人工智慧的是伺服器短缺,而實現超級人工智慧,甚至可以幫助我們移民火星或解決全球暖化問題。
Altman 並不是唯一持這種觀點的人,但這遠非共識。
四年前,OpenAI 發表了一篇關於大型語言模型領域的「縮放定律」(Scaling Law)的論文。「縮放定律」表明,對大語言模型進行更多計算能力和數據方面的訓練,可以提高其預測下一個單字的準確性,從而提高大模型的能力。在這個信念下,OpenAI 等大模型廠商花了1 億多美元來訓練一個模型。
然而,更多AI 從業者認為,在今天的AI 模型上投入更多晶片和數據並不是實現超級人工智慧的途徑。當我們用完高品質的、人類產生的數據來訓練AI 模型時,基於相對較少的數據,開發出能夠像人類一樣學習和推理的軟體可能會更容易。畢竟,OpenAI 的GPT-4 和Google的Gemini 已經接受了世界上大多數公共文字訊息的訓練,它們還沒有達到超級人工智慧的水平。
利用「縮放定律」訓練大模型也隱含著一個副作用:強行使用更大、更耗電的模型可能會對環境產生災難性的影響,因為伺服器和資料中心的電力消耗會產生溫室氣體。
Altman 本人也承認,開發前沿大模型可能需要在能源方面取得重大突破。資料中心公司的管理者也已經開始擔心,今年所有以人工智慧為重點的新資料中心,是否有足夠的電力供應。
02
OpenAI 必須
維持算力領先
目前,我們只能假設Altman 和他聰明的同事們知道一些我們不知道的大模型「縮放定律」。
顯然,他們相信,有了更多的伺服器,他們可以利用現有的人工智慧和最近的技術突破,例如Q*——一個可以推理以前沒有訓練過的數學問題的模型——來創建正確的“合成」(非人類生成的) 資料。當用完人類產生的資料後,合成資料可以接著被用來訓練更好的模型。
或者,這些模型可以找出現有模型(如GPT-4) 的缺陷,並提出技術改進建議──換句話說,就是自我改進的人工智慧。(此前,Google資深工程師盧一峰獨家向極客公園解讀了OpenAI Q*可能代表的技術路徑。)
Altman 已經明確表示,他的團隊根本沒有從其獨家伺服器供應商——微軟獲得足夠的運算能力來發揮其潛力。私下里,他曾表示,明年Google將擁有比OpenAI更強大的運算能力來開發人工智慧。這在某種程度上可以理解他想改變現狀的迫切性。
當爆出7 兆美元籌資建晶片時,Altman 在X 社群平台發表觀點|來源:twitter.com
Altman 到底需要多少錢才能到達計算的「應許之地」?據報道,他與阿拉伯聯合大公國盛產石油的酋長們提出了7 兆美元的數字,他希望這些酋長能資助新的晶片和伺服器。
一位頭部AI 晶片廠商的CEO 稱,建造資料中心、發電廠和晶片代工廠,以產生10 倍於微軟現有運算能力的運算能力,將耗資1,000 億至2,000 億美元。
這位CEO 和該領域的其他人士表示,由於勞動力和供應鏈的限制,資金在加速晶片製造廠、資料中心和發電廠的建設方面所能做的只有這麼多。就連英偉達CEO 黃仁勳也對7 兆美元的數字表示懷疑。
如果Altman 的計畫包括OpenAI 開發自己的伺服器晶片,那將需要數年時間,而且不能保證成功。
這就提出了一個問題,為什麼他首先要尋找數萬億美元?
如果Altman 與英特爾、AMD、阿聯酋和一長串其他公司達成一筆大交易,打造新的人工智慧晶片,這將很容易成為這十年來最重要的技術努力之一。但即使什麼都沒發生,Altman 不得不在更小的算力規模上,測試他對自我改進的人工智慧假設,這也足以讓人感到興奮。