GPT-5的專案開發已超過18個月，至少經歷了兩輪訓練，而一輪長達6個月的訓練耗資高達5億美元。分析認為，當下全球可能沒有足夠的數據讓它變得夠聰明。 AI的下一個飛躍似乎沒法準時報道了。

當地時間20日，根據《華爾街日報》報道，OpenAI的新一代人工智慧計畫GPT-5（代號Orion）正面臨重重困難。該計畫已開發超過18個月，成本花費龐大，卻仍未取得預期成果。

有知情人士透露稱，OpenAI的最大「金主」微軟原本預計能在2024年中期左右看到新模型。而OpenAI曾進行過至少兩次大規模訓練，每次都耗時數月並消耗大量數據，但每次都出現新問題，軟體無法達到研究人員所期望的結果。

分析認為，世界上可能沒有足夠的數據讓它變得夠聰明。

巨額成本令人咋舌，GPT-5專案進展不順

分析師先前預測，科技巨頭們可能在未來幾年在人工智慧專案上投入1兆美元。還有估算顯示，GPT-5一次為期6個月的訓練僅計算成本就高達約5億美元。 OpenAI執行長Sam Altman則表示，未來的AI模型成本預計將超過10億美元。但了解該項目的人士表示：

“雖然Orion的表現較OpenAI目前的產品有所提升，但還不足以證明其巨額運營成本的合理性。”

今年10月，投資者給予OpenAI的1570億美元估值很大程度上是基於Altman的預測，他此前稱，GPT-5將是一次“重大飛躍”，他還曾說GPT-4表現得像一個聰明的高中生，但最終的GPT-5實際上在某些任務上更像擁有博士學位。

報導稱，GPT-5應該能夠解鎖新的科學發現，並完成諸如預約或航班等日常人類任務。研究人員希望它犯的錯誤會比現有的AI少，或至少承認“懷疑”，因為目前的模型可能會產生幻覺。

不過，對於「何時能成為夠聰明的AI」還沒有固定的標準，更多的是憑感覺。

而到目前為止，正在開發中的GPT-5給人的感覺還是不夠強。 Altman在11月表示，「2024年內不會發布任何名為GPT-5的產品」。

資料短缺成為主要瓶頸

為了不讓巨額投資“打水漂”，研究人員試圖透過小規模試運行來最大限度地降低這種失敗的幾率。

但是，GPT-5的計劃似乎從一開始就存在問題。 2023年中，OpenAI開始了一次訓練運行，同時也是對Orion建議的新設計的測試。但這個過程進展緩慢，這表明更大規模的訓練可能需要非常長的時間，而這反過來又會使成本變得異常高昂。

OpenAI的研究人員決定進行一些技術調整來增強Orion，他們也發現，要讓Orion變得更智能，就需要更多高品質、多樣化的數據。模型的測試是一個持續的過程，大規模的訓練運行可能需要幾個月的時間，數萬億個token會被「投餵」給模型。

然而，公共網路上的新聞文章、社群媒體貼文、科學論文等數據已不足以滿足需求。 DatologyAI執行長Ari Morcos表示：

“這變得非常昂貴，而且很難找到更多同等高品質的數據。”

為解決這個問題，OpenAI選擇從頭開始建立資料。他們僱用軟體工程師和數學家等專業人士編寫新程式碼或解決數學問題，以此作為訓練資料。

公司也與理論物理學等領域的專家合作，解釋他們將如何處理該領域最棘手的問題，但這個過程非常緩慢，GPT-4的訓練使用了大約13兆個token。即使有1000人每天寫5000字，數月之內也只能產生10億個token。

OpenAI也開始開發“合成資料”，利用AI產生的資料來訓練Orion，並認為可以透過使用其另一個AI模型o1產生的資料來避免故障。

Google迎頭趕上，OpenAI慌不擇路？

今年，隨著Google推出了最受歡迎的新AI應用程式NotebookLM，OpenAI更慌了。

由於Orion停滯不前，公司開始開發其他專案和應用程序，包括精簡版的GPT-4和可以製作AI生成影片的Sora。但知情人士表示，這導致了開發新產品的團隊和Orion研究人員之間需要爭奪有限的運算資源。

另外，OpenAI也正在開發更先進的推理模型，認為透過讓AI「思考」更長時間，可以解決訓練中未遇到的複雜問題。

然而，這些新策略也面臨挑戰。蘋果公司的研究人員發現，包括OpenAI的o1在內的推理模型很可能只是在模仿訓練數據，而不是真正解決新問題。此外，o1產生多個答案的方法也大大增加了營運成本。

儘管如此，OpenAI仍在堅持不懈地推進GPT-5的開發。週五，Altman宣布了一個比以往任何產品都更聰明的新推理模型計劃，但未透露何時或是否會推出堪稱GPT-5的模型。