馬斯克稱Grok 3約需要10萬張英偉達H100訓練目前最大的問題就是卡片不夠
伊隆馬斯克日前在X/Twitter 上表示,通用人工智慧(AGI) 最快將在明年或2026 年超過人類智力,不過這需要大量的處理器進行訓練,同時也這也需要耗費大量的電力。 xAI 目前正在加緊訓練Grok 2,此版本預計會在5 月完成訓練,Grok 2 訓練過程中使用了20,000 張英偉達H100 加速卡,埃隆馬斯克稱未來的迭代需要更多資源,Grok 3 的訓練大約需要10 萬張H100 加速卡。
馬斯克表示人工智慧技術的進步目前主要受兩個因素制約:第一個是先進處理器,例如想要獲得10 萬張H100 加速卡並不容易,這不僅需要耗費大量的資金,也因為英偉達產能問題需排隊;第二就是電力供應的限制。
H100 加速卡的最大功耗約為700W,10 萬張H100 加速卡同時運作則會產生7,000 萬W 也就是70MW,70MW 的功率對於一個企業來說已經是個相當高的用電功率,但不要忘記這些加速卡還需要大量的工業製冷設備進行散熱。
因此營運一個包含10 萬張H100 加速卡的資料中心的功率是個天文數字,這對人工智慧公司來說用電成本可能都需要花費大量的資金。
不過電力問題總得來說還是可以解決的,但晶片供應在未來兩年能不能趕上來還是個大問題,尤其是現在新創人工智慧公司非常多,每個公司都需要大量的加速卡,所以xAI 想要購買更多的顯示卡可能也需要更長時間。