xAI將建造一台非常強大的超級電腦來處理下一版Grok
馬斯克(Elon Musk)告訴投資者,他的眾多公司之一xAI 希望建造一台超級計算機,為下一版的Grok 提供動力。報道稱,xAI 可能會與甲骨文公司合作開發超級計算機,並在2025 年底前準備就緒。它顯然將使用大量英偉達(NVIDIA)的H100 GPU,叢集規模是目前最大群集的四倍。
這位億萬富翁今年稍早表示,Grok 2 需要2 萬個英偉達H100 GPU 才能完成訓練,而即將推出的Grok 車型將需要超過10 萬個H100 GPU。透過建造這台被稱為”電腦千兆工廠”的超級電腦(以特斯拉千兆工廠命名),xAI或許能夠開發出更先進的語言模型。
隨著OpenAI 的ChatGPT在人工智慧領域佔據主導地位,你很可能還沒有嘗試過或聽說過Grok。它可以在x.com 上使用,但需要用戶付費訂閱。與其他模式相比,Grok 的一大優勢是它可以直接訪問X 上的所有帖子,馬斯克一直說X 是新聞媒體的替代品。
馬斯克曾經參與OpenAI 的工作,直到他與公司負責人山姆-阿爾特曼(Sam Altman)在公司發展方向上產生分歧。與OpenAI 對ChatGPT 的細節守口如瓶不同,xAI 最近開源了Grok-1 的權重和架構。
如果xAI 真的實施這些計劃,那麼NVIDIA 將成為主要受益者,因為它對H100 GPU 的需求將會增加。此舉對整個領域也有好處,因為它將迫使其他公司(如OpenAI 和Google)進一步創新其模式,以保持領先地位。
不幸的是,所有這些額外的計算能力都需要以大量的某種能源供電,因此,希望馬斯克能找到一種使用再生能源的方法,並將用水量控制在最低水平。