馬斯克:史上最強AI訓練集群上線將再增加10萬顆GPU
馬斯克旗下宣稱是目前最強大的人工智慧運算集群上線,規模也將很快翻倍。 9月3日,特斯拉CEO馬斯克在X平台上宣布,旗下人工智慧新創公司x.AI打造的超級人工智慧訓練集群已經正式上線,該集群名為「Colossus(巨人)」。
他透露,團隊花了122天完成Colossus的上線流程。 Colossus也將在未來幾個月增加10萬顆GPU(圖形處理器),其中,5萬顆將是更先進的英偉達H200,這意味著Colossus的算力將再次翻倍。
在社群平台上,業界的反應非常熱烈,稱這是人工智慧領域的巨大成就。
創投公司方舟投資(ARK Invest)的CEO凱西·伍德(Cathie Wood)也對該團隊的成就表示祝賀,稱其“令人印象深刻”,並透露xAI未來還會有重大進展要宣布。
早在去年上半年,就不斷有媒體爆料馬斯克正在為特斯拉採購大量GPU。今年5月份,Colossus首次被公開,並在7月開始運作。
5月25日,馬斯克在一場演講中透露,xAI計劃打造一台超級計算機,名為“算力的超級工廠”,預計規模是市場上最強大競爭對手的四倍。該計算機將採用英偉達H100 GPU。
7月22日,馬斯克在X上宣布,xAI團隊、X團隊、英偉達及其他支持公司已經於當地時間凌晨4時20分開始在“孟菲斯超級集群(Memphis Supercluster)”,也就是Colossus上進行訓練。
Colossus由10萬個液冷H100 GPU組成,在單一RDMA結構(即遠端直接資料儲存結構,可解決網路傳輸中伺服器端資料處理的延遲)上運行,是「世界上最強大的人工智慧訓練集群」。
馬斯克也補充說,目標是在今年12月前訓練出「以每項指標衡量都是世界上最強大的人工智慧」。
當然,xAI的大模型Grok也將在自家的Colossus上進行訓練。
去年7月,xAI宣布正式成立,並表示公司的宗旨是「了解宇宙的真實本質」。 xAI在官網表示,“我們是一家獨立於X Corp的公司,但將與X、特斯拉和其他公司密切合作,以實現使命。”
2023年11月,xAI發布第一款大模型Grok-1;8月13日,xAI宣布Grok-2的測試版本正式上線,並首次引入圖像生成功能;馬斯克此前曾透露,Grok-3將使用Colossus進行訓練,預計將於年底發布,相信它會「非常特別」。
今年5月份,xAI宣布獲得60億美元B輪融資,主要投資者包括安德森·霍洛維茨基金(Andreessen Horowitz)、紅杉資本(Sequoia Capital)等。 xAI的投前估值為180億美元,本輪融資後的投後估值將達到240億美元。
不過,在引領人工智慧革命的同時,馬斯克長期以來也一直在強調人工智慧的潛在安全風險,並積極推動人工智慧安全法規落地。
8月27日,馬斯克在X上發文稱,他認為加州應該通過參議院SB 1047號法案。此舉在科技界引起了爭議,許多人擔心這可能會扼殺美國的人工智慧創新。
據悉,SB 1047法案要求一些最大的人工智慧模型(成本高於1億美元)在開發時必須報告智慧安全問題,並需要提交評估與模型相關的風險的報告。該法案已經遭到xAI競爭對手OpenAI公司的反對。