馬斯克:訓練Grok 3用了10萬塊英偉達H100 年底上線會很特別
億萬富翁埃隆·馬斯克(Elon Musk)正在為其即將推出的AI聊天機器人Grok的新版本造勢。馬斯克週一在社交媒體X上回應了一則帖子,表示經過10萬塊H100晶片訓練後的Grok 3聊天機器人將會「非常特別」。
這裡所說的H100是英偉達開發的圖形處理單元,也稱為Hopper,是專門用來處理大語言模型(LLMs)資料的AI晶片。隨著科技公司競相開發更智慧的AI產品,這些晶片成了矽谷的熱門商品。
每塊英偉達H100人工智慧晶片的價格估計在3萬美元左右,也有人估計價格高達4萬美元,如果大量購買的話可能會有折扣。
透過簡單運算,單單訓練Grok 3就用了價值30億至40億美元的人工智慧晶片,目前不確定這些晶片是否是馬斯克公司直接購買的,此前報道稱,馬斯克旗下的xAI公司正在與甲骨文談判,計劃在未來幾年內花費100億美元租用雲端伺服器。近年來,馬斯克的公司已直接購買了大量的H100晶片。據報道,馬斯克曾將原本供特斯拉使用的價值5億美元的H100晶片轉給了X公司。
相較於Grok 2,使用10萬塊H100訓練Grok 3無疑是一個巨大的提升。今年4月,馬斯克在接受挪威主權基金負責人尼可萊坦根(Nicolai Tangen)的訪問時表示,訓練Grok 2需要約2萬塊H100。
目前,xAI已發布了Grok-1和Grok-1.5版本,最新版本僅對X平台上的早期測試者和現有用戶開放。馬斯克在周一的貼文中透露,Grok 2計劃於今年8月推出,並暗示Grok 3將於年底發布。
xAI沒有回應置評請求。
10萬塊H100晶片聽起來很多,但其他科技巨頭,如Meta,也在大量購買GPU晶片。 Meta執行長馬克·祖克柏(Mark Zuckerberg)今年1月曾表示,到2024年底,Meta將購買約35萬塊英偉達H100晶片,並表示包括其他類型的GPU在內,Meta將擁有約60萬塊晶片。
如果是這樣的話,Meta將為建構自家人工智慧能力花掉約180億美元。
這些晶片的累積也導致了過去一年中頂尖AI人才的招募競爭變得異常激烈。 AI新創公司Perplexity的創始人兼首席執行官阿拉文德·斯里尼瓦斯(Aravind Srinivas)談到了他試圖從Meta挖角一位資深研究人員的經歷,但對方因扎克伯格擁有大量AI芯片而拒絕了他的邀約。
「我試著聘請一位非常資深的Meta研究員,他們的回答是:『等你有了1萬塊H100 GPU再來找我。』」斯里尼瓦斯說。