像OpenAI的ChatGPT、谷歌的Gemini Ultra這樣的高級AI模型，訓練它們通常需要數百萬美元的費用，而該成本還在迅速上升。隨著計算需求的增加，訓練它們所需的運算能力的費用也在飆升。為此，AI公司正在重新思考如何訓練這些生成式AI系統。在許多情況下，這些策略包括在當前的成長軌跡下降低計算成本。

訓練成本是如何決定的？

史丹佛大學與研究公司Epoch AI合作，根據雲端運算租金估算了AI模型的訓練成本。雙方所分析的關鍵因素包括模型的訓練時間長度、硬體的使用率和訓練硬體的價值。

儘管許多人猜測，訓練AI模型的成本變得越來越高，但缺乏全面的數據來支持這些說法。而史丹佛大學發布的《2024年AI指數報告》正是支持這些說法的罕見來源之一。

不斷膨脹的訓練成本

下表展示了自2017年以來，經通膨調整後的主要AI模型的訓練成本：

去年，OpenAI的GPT-4訓練成本估計為7,840萬美元，遠高於GooglePaLM （540B）的訓練成本。谷歌PaLM較GPT-4僅早一年推出，但訓練成本為1,240萬美元。

相較之下，2017年開發的早期AI模型Transformer的訓練成本為930美元。該模型在塑造目前所使用的許多大型語言模型的體系結構方面起著基礎性作用。

谷歌的AI模型Gemini Ultra的訓練成更高，達到了驚人的1.91億美元。截至2024年初，該模型在幾個指標上都超過了GPT-4，最引人注目的是在「大規模多任務語言理解」（MMLU）基準測試中勝出。這項基準是衡量大型語言模型能力的重要標尺。例如，它以評估57個學科領域的知識和解決問題的熟練程度而聞名。

訓練未來的AI模型

鑑於這些挑戰，AI公司正在尋找新的解決方案來訓練語言模型，以應對不斷上漲的成本。

其中的方法有多種，例如創建用於執行特定任務的較小模型，而其他一些公司正在試驗創建自家的合成數據來「投餵」AI系統。但到目前為止，這方面還沒有明確的突破。

例如，使用合成資料的AI模型有時會“胡言亂語”，引發所謂的“模型崩潰”。