AGI降臨，世界瘋狂！數學家只剩700天統治地位？程式設計師即將迎來黃金時代？ Exa CEO發文寫道：在短期內（1年），我們將得到“尖峰模型”，在數學、程式設計和一般推理方面基本上達到AGI水平，但寫出來的小說很普通。 Exa公司CEO Will Bryk，在目睹o3模型的進展後，分享了他對AGI未來的一些想法，以下是他社媒上的貼文整理：

AGI真的來了

這週我和幾個朋友聊了聊o3模型，他們的反應基本上都是“我的天，這真的發生了嗎？”

是的，它真的發生了。接下來的幾年將會非常瘋狂，這將是歷史性的，甚至是星際級的事件

荒謬的是，目前還沒有關於AGI的深度討論。 AI實驗室不能談論它，新聞幾乎沒有報道，政府也不理解它。我們竟然在一個社群媒體meme應用程式的新聞推播裡討論人類的未來，這感覺就像一部荒誕的情境喜劇，但現實就是如此

以下是我對正在發生的事情的一些想法——我對X平台思想深淵的貢獻

注意，這些想法都很不成熟，只是一些有趣的推測。我沒有足夠的時間去深入思考/研究所有這些問題，而且我肯定會在很多方面出錯。但我確實希望這些想法對一些正在努力理解現狀的人來說是有趣的

請享用

o3的出現不應令人震驚

OpenAI兩個月前就展示了測試時擴展圖，電腦的歷史告訴我們，無論趨勢線多麼令人難以置信，我們都應該相信它。真正令人震驚的是，它在兩個月內就實現了。我們只花了這麼短的時間就從大學程度的AI發展到博士程度的AI。對人類來說，變化是令人興奮的，但快速的變化是令人震驚的。

接下來會發生什麼事顯而易見

o3等級的模型非常擅長優化任何你可以定義獎勵函數的東西。數學和程式設計很容易設計獎勵函數，小說創作則比較困難。這意味著在短期內（1年），我們將得到“尖峰模型”

它們在數學、程式設計和一般推理方面基本上達到AGI水平，但寫出來的小說很普通。雖然更好的推理能力會讓這些模型在各方面都感覺更聰明，但它們仍然會在沒有強化學習的方面以愚蠢的方式失敗——也就是說，在它們的訓練數據中沒有涵蓋的方面。從長遠來看（1-3年），我們將繼續添加新的領域來強化它們（情緒數據、感官數據等），直到彌補這些盲點，然後對除了Gary Marcus之外的所有人來說，這些模型都將是AGI

Agent（智能體）真的會在2025年到來

o3之類的模型不可能無法瀏覽/使用應用程式並採取行動。這些東西很容易設計獎勵模型。這也是一個巨大的市場——自動化電腦工作——因此對於需要證明其巨額支出的實驗室來說，這是一個巨大的動力。我猜到2025年12月，你將能夠告訴你的電腦執行任何涉及瀏覽網頁/應用程式和行動數據的工作流程

在所有知識工作者中，最受「衝擊」的肯定是數學家

數學家在符號空間中工作，他們的工作很少與物理世界接觸，因此不受其限制。大型語言模式是符號空間的王者。數學其實不難，只是靈長類不擅長而已。正規表示式也是如此

一個很大的問題是，製作研究等級的合成資料有多難。我猜不會太難。博士級的數學和研究員程度的數學對我們來說看起來有質的不同，但在AI看來可能只是程度上的差異，只需要再增加幾個數量級的強化學習。我給數學家700天的時間。 （這聽起來很瘋狂，但o6不擊敗數學家聽起來也同樣瘋狂，所以我對這個預測的信心超過50/50，就像我對這篇文章中的所有其他預測一樣）。那是700天后，人類將不再是已知宇宙中數學領域的佼佼者

那我們軟體工程師呢？

短期內，這將是天堂。每個軟體工程師都升職成了技術主管，幹得好。對於那些完全採用LLM的人來說，到2025年底，編碼將更像是協調一堆由小Agent執行的小任務。任何具有非常清晰規範的PR都應該可以由o4系統完成，而且錯誤率足夠小，可以接受。這裡的一個問題可能是上下文視窗太小，無法包含程式碼庫，但像Sam這樣的領導者很清楚這一點

AI會很快取代所有軟體工程師嗎？不會。軟體工程不僅僅是根據超級清晰的提示製作PR。與數學家不同，軟體工程師不斷地與物理世界，也就是其他人互動。工程師必須與客戶合作以了解他們的需求，並與團隊成員合作以了解他們的需求。當工程師設計架構或編寫程式碼時，他們是在大量的組織環境下進行的。 o4無法做到這一點。但o4將幫助那些擁有上下文資訊的工程師將速度提高10倍

如果軟體工程師的速度提高了10倍，那麼我們是否需要更少的軟體工程師？嗯，如果你考慮一家特定的公司，那麼是的，他們可能需要更少的軟體工程師，因為他們可以用更精簡的團隊實現相同的產出。然而，全世界對軟體工程師的需求可能會增加，因為世界肯定需要更多10倍的優質軟體。所以我認為我們將看到來自更精簡公司的應用程式的黃金時代。為每個人和每個企業提供個人化的微型應用程式

長遠來看（超過2年被認為是長期，哈哈）

軟體工程將完全不同，很難說會變成什麼樣子。當o6系統存在並完全整合到我們的應用程式中時，它怎麼可能不變呢？像前端工程師這樣的角色可能在3年內就不存在了。這很奇怪嗎？不盡然——30年前也沒有前端工程師這個角色

我們應該退一步，認識到軟體每一代都會發生翻天覆地的變化。軟體一直以來都是將需求轉換成純邏輯。這種轉換過程的抽象層級從二進位程式碼上升到了Python。現在的差別在於它正在上升到英語

轉向英語讓非技術人員也能進行程式設計。但最好的建構者將永遠是那些能夠在不同抽象層級之間切換的人

簡而言之，因為軟體工程其實就是透過程式碼來理解和解決組織的需求，所以軟體工程完全自動化的日子就是所有組織都自動化的日子

我們討論了一些知識工作者，但體力勞動者呢？

AI也會影響你，但速度會比較慢，因為它必須處理重力和摩擦。但是o類模型對機器人的幫助不會太大，因為一個需要一個小時才能完成的模型對工廠生產線上的機器人沒有幫助。基礎模型變得更聰明確實有幫助，o類模型將有助於訓練這些模型，但我認為這並不能解決機器人技術進步的最大瓶頸。我猜最大的瓶頸是硬體改進和用於感知+行動的快速/可靠模型。這兩方面都需要更長的時間來改進（即幾年）。只有當機器人開始製造機器人，AI開始進行AI研究時，機器人技術才會出現瘋狂的快速進步。這可能來自o類模型，但我認為還需要幾年時間

我一直以年為單位來討論，但也許我們真的應該以計算量為單位來討論

時間決定了人類的產出，但計算量決定了AI的產出，而AI的產出在研究機構中將越來越重要。這就是為什麼各家都在競相建造超級集群——Meta的2GW集群，xAI新增的10萬塊H100等等

所有實驗室都將很快效仿OpenAI的測試時計算模型，有些實驗室最初可以透過更多的計算來彌補演算法上的不足。他們會像GPT-4一樣迎頭趕上。要製造這些模型，需要結合一些常識和每個實驗室的秘方。目前尚不清楚OpenAI在o類模型中使用了多少秘方，但他們的改進速度表明這是一種演算法上的進步（更容易複製），而不是某種獨特的資料組合（更難複製）

在測試時計算的時代，我不清楚擁有更多的計算量還是更好的模型更重要。一方面，你可以透過投入更多的測試時計算來彌補一個較差的模型。另一方面，一個稍微好一點的模型可能會節省指數級的計算量

如果xAI僅僅因為他們更擅長構建大型集群而趕上了OpenAI，那會很有趣

無論如何，模型的護城河不會持續超過一年，因為實驗室像交換棒球卡一樣交換研究人員，而且，也許更重要的是，實驗室之間的研究人員會在周末聚會，甚至睡在一起。另外，我認為研究人員太理想化了，如果事情失控，他們不會不分享訊息

我們現在的處境真是瘋狂。 AI競賽就像核競賽，但美國人和蘇聯人會在周末在洛斯阿拉莫斯一起聚會，並在Twitter上互相嘲諷“我賭你到2025年不會擁有最大的核武器，哈哈:)”

在政府介入和/或發生非常糟糕的事情之前，AI競賽將繼續保持嬉皮士和輕鬆愉快的氛圍。

o類模型以幾種有趣的方式改變了計算規模擴大的動態

o類模型激勵了大規模的建設，因為它們在每個數量級的計算量增加後都有明顯的收益。計算提供者不可能要求更好的縮放定律。我猜想，當Sam想要一個數萬億美元的計算集群時，他看到的正是這個定律

但這對NVIDIA來說可能不是好事。 o類模型使推理比訓練更重要。我認為超級優化的推理晶片比訓練晶片更容易製造，所以NVIDIA在那裡沒有那麼多的護城河

非常大膽的推測：如果o類模型能夠利用全世界的聚合計算來訓練最好的模型，那會怎麼樣？如果開源能夠戰勝閉源，是因為我們將我們的Macbook Pro組合成一個推理超級集群，那該多酷啊

除了計算之外，現在另一個新的指數級成長因素是程式碼本身

如果一個實驗室對最聰明的模型擁有獨特/特權的存取權，因此他們的軟體工程師的生產力比其他實驗室高2倍，那麼他們就能更快地接近下一個生產力翻倍的目標。除非程式碼速度達到極限，並且有大量的實驗需要運行，那麼實驗室的瓶頸又回到了計算上。 （我不知道，動態很難。看看實驗室如何模擬他們在計算和人員上的支出比例會非常酷。）

儘管所有這些計算建立和知識工作自動化聽起來很瘋狂，但只有當科學家開始感受到AGI時，事情才會真正變得瘋狂

我指的是你們這些物理學家、化學家、生物學家

它將從任何以理論命名的東西開始。理論物理學首當其衝。如果數學真的被解決了（即使寫下這句話聽起來也很荒謬，但這並不意味著它不可能發生），那麼理論物理學也不會太遠。它也存在於LLM將超越人類的符號領域

當我們有一百萬個AI馮諾依曼在路易斯安那州的田野裡（Meta即將到來的資料中心）日夜工作時，會發生什麼事？他們會以多快的速度閱讀過去一個世紀以來數千人撰寫的所有物理學論文，並立即吐出更多正確的標記？

顯然，故事的這一部分很難預測。理論物理學、化學、生物學──如果這些對強化學習訓練的LLM來說只是小兒科，那會怎麼樣？在這一點上，我們還有什麼合理的論點認為它不會是小兒科呢？是的，我們還沒有看到這些模型真正的創新，但它們大多處於高中/大學水平，而這些年齡層的人不會發明新的物理學。我們現在處於博士水平，所以我們可能會開始看到一些創造力。

一旦AI開始產出新的科學理論，進步的瓶頸將是物理世界的測試和實驗

那裡的瓶頸是勞動力和材料。到那時，如果還沒有能夠製造更多機器人的機器人，那將會令人驚訝。所以勞動力問題解決了。然後材料可以由機器人開採。這裡的時間線會很慢，因為建造/運輸實體需要很長時間，但需要幾年而不是幾十年。

我上面所說的一切都假設AI+機器人研究/開發沒有引入新的瓶頸，並且允許模型隨意學習

這幾乎肯定不會發生。 AI進步的最大瓶頸將是人類。我的意思是監管、恐怖主義和社會崩潰

政府不會袖手旁觀，讓地球被幾家舊金山公司營運的自動化機器人開採（監管）。如果政府太無能而無法阻止它們，那麼憤怒的失業者可能會訴諸暴力（恐怖主義）。除非人們被AI增強的媒體弄得腦殘，以至於我們無法作為一個社會正常運作（社會崩潰）

如果發生戰爭，我認為這不會是一個瓶頸，而是一個加速器。

事情會變得很嚴肅。 2025年可能是AI成為舊金山科技Twittermeme的最後一年，在那之後，穿西裝的普通人會介入，所以讓我們在還能享受roon和sama的時候好好享受吧

這會殺死所有人嗎？

我更害怕人類濫用AI，而不是AI失控

我們有5000年的證據顯示人類使用最新技術互相殘殺。二戰後的和平是個反常現象，一旦美國失策或對手認為必須先發制人以阻止AI加速發展，和平就可能瓦解。當武器變得更致命、更自主時，風險就更高了。

另一個重大風險是AI造成社會混亂。 AI生成的媒體可能會造成大規模的混亂、大規模的歇斯底里、大規模的腦殘

另一個風險是AI失控。這意味著它會導致我們沒有預料到的滅絕級別的事情。特別是隨著強化學習的回歸，AI現在正在發現自己的最佳化方法，而不是試圖匹配人類數據（匹配人類更安全）。但到目前為止，這些模型的底層大腦仍然是LLM，而LLM已經顯示出只是理解人類。就像你在提示中加入「確保不要做任何可能殺死我們的事情」一樣，現在你必須承擔舉證責任，證明它仍然可能殺死我們

我絕對是興奮多於恐懼

我一直想要的那種科幻世界正在到來。它比預期的來得快一點——因此也帶來了恐懼——但在所有可能的路徑中，我不確定最佳路徑會有多大改善。這是一個相當不錯的時間線

我希望在十年內出現的事：

• 一些非常酷的物理學發現

• 最初由機器人建造的火星和月球基地

• 關於一切的完美導師/建議（即將到來，需要良好的檢索、記憶和更多個性）

• 零副作用的生物增強藥物

• 乘坐超級優化的無人機飛行

• 透過聚變、地熱和大量太陽能實現全面的超級清潔能源

• 意想不到的事情：AI天文學家在望遠鏡資料中發現了外星訊號？ AI化學家輕鬆設計出室溫超導體？ AI物理學家統一了一些理論？ AI數學家解決了黎曼猜想？

這些聽起來不再像科幻小說，它們感覺像是近在咫尺的科學現實

那麼這一切將走向何方？

最終，我們將獲得超級智能，這意味著我們將獲得物理定律允許的任何東西。我想要永生，並看到其他的恆星系統。我還希望將我們的肉體升級到更好的東西。但到目前為止，我最興奮的是了解宇宙的起源。 10年前，我開始在日記中寫下我多麼想知道這個答案，以及AI將如何幫助我們找到答案，而現在它真的可能發生了，這太瘋狂了

我們現在生活在一個這一切聽起來都似是而非的世界裡

每一次新的AI發展都會讓更多的人意識到這一點，o3就是最新的例子

現在，未來唯一不壯觀的原因是我們人類搞砸了。例如我們的公眾輿論、我們的下游政策、我們的社會穩定、我們的國際合作——這些都是可能阻止這個壯觀未來出現的障礙

人們認為AI實驗室的人正在掌控我們的未來

我不同意。他們的工作已經確定了。他們只是在執行模型架構，這些架構遲早會在某個實驗室中出現。

但我們的公眾輿論、我們的下游政策、我們的社會穩定、我們的國際合作——這些都是完全不確定的。這意味著我們集體是未來的守護者。

我們每個人都有責任幫助我們的世界度過未來的狂野時代，這樣我們才能擁有美好的未來，而不是可怕的未來。

有很多方法可以提供幫助

幫助建立以某種方式使社會更穩定或使人們更聰明的產品（例如：幫助人們規範社交媒體的應用程式）。幫助人們了解正在發生的事情（更多高品質的社群媒體評論、一個真正好的搜尋引擎等）。幫助清理我們的街道，這樣邀請我們所有人進入烏托邦的城市看起來就不像反烏托邦（參與地方政治）。

幾乎所有與我交談過的人都害怕在AI世界中失去意義，你可能也一樣

我想對你說，這不是完全相反嗎？你活在歷史上最重要的時刻，你有能力影響它。幫助拯救世界還不夠有意義嗎？你想回到一個只有你的事業在進步，而世界卻沒有進步的時代嗎？

也許人們需要做出的轉變是從透過個人成功獲得意義到透過集體成功獲得意義。我們目前的許多工作很快就會自動化。我們將不得不適應。如果你從一項特定技能中獲得意義，那麼是的，這項技能在5年內可能不再需要，你就走運了。但如果你能從盡你所能幫助世界中獲得意義，那麼這永遠不會消失。

對於所有因為o3而得到建議的新畢業生，我的建議是：

學習如何成為1）一個高能動性的問題解決者和2）一個優秀的團隊合作者。在學習過程中學到的具體技能並不重要，因為世界變化太快了。但積極解決問題和與團隊良好合作將在很長一段時間內都很重要。

你還可能需要在一個不穩定的世界中接受不穩定的生活。事情會變得很奇怪。你可能不會在郊區有兩個孩子和一隻狗。你可能在星際方舟上有兩個半機械人孩子和一隻AI狗。

我們生活在AGI的前夜，在這個聖誕前夜，我請求你幫助AGI過渡順利進行，這樣我就可以在公元3024年的聖誕前夜，在一個距離四光年的行星上，圍繞著奧特曼·森陶利星向你問好。