10萬塊英偉達GPU 馬斯克計劃年底訓練出“世界最強AI”
馬斯克稱將在今年底訓練出全球最強AI。當地時間7月22日,特斯拉CEO埃隆·馬斯克在旗下社交平台X上表示,xAI團隊、X團隊、英偉達及其他支援公司已經於當地時間凌晨4時20分開始在「孟菲斯超級集群(Memphis Supercluster)」上進行訓練。
他介紹,「孟菲斯超級叢集」由10萬個液冷H100 GPU組成,在單一RDMA結構(即遠端直接資料儲存結構,可解決網路傳輸中伺服器端資料處理的延遲)上運行,是「世界上最強大的人工智慧訓練集群」。
馬斯克也補充說,目標是在今年12月前訓練出「以每項指標衡量都是世界上最強大的人工智慧」。
此前,馬斯克就曾透露,將以該集群訓練xAI旗下第三代大語言模型Grok-3。
今年5月份,馬斯克透露,旗下人工智慧企業xAI計劃打造一台超級計算機,名為“算力的超級工廠”,預計規模是市場上最強大競爭對手的四倍。該計算機將採用英偉達H100 GPU。
一年前,xAI宣布正式成立,並表示公司的宗旨是「了解宇宙的真實本質」。 xAI在官網表示,“我們是一家獨立於X Corp的公司,但將與X、特斯拉和其他公司密切合作,以實現使命。”
2023年11月,xAI發表第一款大模型Grok-1。
本月,馬斯克宣布Grok-2將於8月推出,將帶來更先進的AI功能。同時他也透露,Grok-3將使用10萬塊英偉達H100晶片進行訓練,預計將於年底發布,相信它會「非常特別」。
今年5月份,xAI宣布獲得60億美元B輪融資,主要投資者包括安德森·霍洛維茨基金(Andreessen Horowitz)、紅杉資本(Sequoia Capital)等。 xAI的投前估值為180億美元,本輪融資後的投後估值將達到240億美元。
在AI潮流下,算力成為科技巨頭們的必爭之地。 Meta公司在今年1月透露,公司計劃在今年底部署35萬塊英偉達H100 GPU,將Meta的算力擴展到相當於60萬塊英偉達H100 GPU的水平;微軟和OpenAI在計劃構建一台名為“星際之門」的新超級計算機,其成本可能高達1000億美元,併計劃在2030年完全開發完成。