猛料來了，OpenAI下一代旗艦模型被曝提升不如預期。訊息來自The Information，具體指涉號「獵戶座」（Orion）的模型相對GPT-4的提升幅度，小於GPT-4相對GPT-3，已進入收益遞減階段。或許這也是奧特曼曾說，可能不會把新模型命名為GPT-5的原因之一。

消息一出，著名悲觀學者Gary Marcus直接半場開香檳，宣布自己勝利。

在更詳細的一篇文章中，他認為整個AI產業公司的高估值建立在模型能力不斷增強、迅速達到AGI的預期之上。

如果改進放慢了，多數AI公司都能趕上最前沿模型的水平。從此行業進入價格戰，收入維持在低點。同時因晶片成本高昂，利潤也將難以取得。

當每個人都意識到這一點時，金融泡沫可能會迅速破滅，即使是英偉達也可能受到打擊。

而遇到瓶頸的或許不只是OpenAI，先前Anthropic並未如期發布Claude 3.5 Opus，並且從官網刪除了相關描述。

以及GoogleGemini 2雖然計劃很快發布，但也被曝光性能提升也不及DeepMind創始人的預期。

大模型Scaling Law真的撞牆了嗎？

「獵戶座」被曝不及預期，奧特曼：AGI 2025

根據目前消息，長期追蹤ChatGPT進度和網頁原始碼的「光頭哥」Tibor Blaho總結如下：

參與測試新模型的OpenAI員工稱， 「獵戶座」僅完成20%訓練就達到了GPT-4等級的表現。

但最終品質提升小於從GPT-3到GPT-4的飛躍，這表明傳統的Scaling可能由於高品質數據變得有限而放緩。

訓練「獵戶座」使用了先前模型（GPT-4和o1）產生的數據，可能導致它重現舊模型的一些行為。

OpenAI創建了一個“基礎團隊”，在高品質數據供應減少的情況下尋找新方法。

o1類模型成本是傳統模型的6倍，「獵戶座」可能提高OpenAI資料中心的營運成本，進一步增加財務壓力。

OpenAI正在做「獵戶座」的安全測試，計劃在明年初發布，可能不會再命名為GPT系列

同時，從OpenAI CEO和許多資深員工那裡，傳來的卻是不同的故事。

首先是奧特曼接受YC總裁Garry Tan採訪，在回答最後一個問題“2025年什麼會讓你興奮”時，脫口而出“AGI”，沒有半秒猶豫。

這段訪談引起爭議後，強化學習大牛Noam Brown發聲：

我聽人們說奧特曼只是在炒作，但從我的觀察來看，他說的一切都符合OpenAI一線研究員的中位數觀點。

今年1月才入職OpenAI的特斯拉前工程師也表達了認同：

自從我加入以來，我的觀點已經從“這是毫無成效的炒作”轉變成“AGI基本上就在這裡”

恕我直言，接下來的科學創新會相對很少，將由多年的艱苦工程取代。

那麼，究竟發生了什麼事？

在Garry Tan與奧特曼的對話中，兩人從奧特曼早期在YC的經歷，談到OpenAI的創立、發展過程，以及給如今新創公司的建議等等。

在接近結束的時候，Garry Tan拋出了這樣的問題：你從去年秋天的動盪中學到了什麼？你對某些人員離職有什麼感覺？

奧特曼回答：很累，但感覺很好。

ChatGPT還不到兩歲，我們有點像在兩年內速通了中型甚至大型科技公司的發展歷程，通常需要十年時間。

這帶來了很多痛苦的事情。任何公司在擴張時，都會以某種速度經歷管理團隊的更替。擅長從0到1的人不一定適合從1到10或從10到100的階段。

……我希望我們現在正走向一個更平穩的時期，但我確信將來還會有其他時期，事情會再次變化劇烈。

Garry Tan接著提問：我想知道OpenAI現在運作的如何？目前的品質和推進速度如何？

奧特曼接下來的回答雖然一如既往的打太極，但引起很多關注：

這是我們第一次真正知道該做什麼。建造AGI仍然需要大量的工作，有一些已知和未知，還需要一段時間，而且會很困難，但這非常令人興奮。

……我們的研究路徑相當清晰，我們的基礎設施路徑相當清晰，產品路徑也越來越清晰……很長一段時間，我們都不是這樣。

評論區網友顯然不買賬，有人懷疑這只是奧特曼在試圖修改AGI的定義，按照合同，一旦董事會宣布AGI達成，就可以停止與微軟分享技術了。

也有人指出，這無法解釋最近OpenAI人才頻繁出走。

對於人才流動，OpenAI模型架構研究員Rohan Pandey表示並沒有人們以為的那麼嚴重。

今年稍早OpenAI員工總數被爆出已超過1700，比去年董事會叛變時期增加了數千人。

也有網友認為，反過來也說得通：

OpenAI主管看到科技進展很快，所以提早離開去創辦AI智能體公司。

來源：量子位