史上第一位「AI科學家」，橫空出世！一登場就一口氣產生了十篇完整學術論文。從提出研究想法、檢查創新性、設計實驗、編寫程式碼，到在GPU上執行實驗並收集結果，最後完成論文撰寫，一氣呵成。全由這位「AI科學家」自動搞定。每篇論文的成本約為15美元（約107.62元）。

△ AI生成的一篇擴散模型論文

這是第一個用於自動化科學研究和開放式發現的綜合AI系統，The AI Scientist。

來自Transformer作者之一Llion Jones的創業公司：Sakana AI。

而且！

這公司搞的事情不只是做了一位AI科學家，還額外搞出了個AI審稿人。

審稿者能對AI寫的論文進行評審，提供改進意見。

救命，這是什麼以我之矛攻我之盾的套娃循環啊！

一通操作下來，比人類學術圈還要人類學術圈（不是）

再來個而且！

不管是AI科學家和AI審稿人，Sakana AI都把它們統統開源了。

網友看了直鼓掌；

Nice Nice，非常有趣的工作！

以及有人已經開始出「餿主意」了。

這邊建議把其中一篇論文交給AI頂會哈！

AI獨立完成十篇機器學習論文

幾十年來，每次AI取得重大進展後，研​​究人員經常開玩笑說：「是時候研究讓AI幫我們寫論文了」。

現在，這個想法終於從玩笑變成現實。

具體來說，AI科學家產生了十篇論文，每個研究方向各挑出一篇得分較高的來介紹。

第一篇，擴散模型方向，《雙尺度擴散：低維度生成模型的自適應特徵平衡》

提出了一種自適應雙尺度去噪方法，改進現有的擴散模型在低維空間中難以同時捕捉全局結構和局部細節的問題。

方法：

設計雙尺度架構，包括全域和局部分支

引入可學習的時間步條件加權機制

結合兩個分支的輸出進行去噪預測

實驗結果：

KL divergence指標相比基準模型降低了2.5%到12.8%（越低越好）

但計算時間約增加了一倍，且在複雜資料分佈（如dino資料集）上表現不穩定

簡單掃一眼正文部分，有公式、有圖表，看起來還蠻像模像樣的。

第二篇，語言模型方向，《StyleFusion：字元級語言模型中的自適應多樣式生成》。

本文提出了一種名為Multi-Style Adapter的新方法，透過引入可學習的風格嵌入和風格分類頭，增強了字元級語言模型的風格意識和一致性。

在所有資料集上達到了接近完美的風格一致性分數（shakespeare_char為0.9667，enwik8和text8為1.0），驗證損失優於基線模型，但推理速度略有下降（約400 tokens/s vs. 基線670 tokens /s）

第三篇，Transformer與強化學習結合，《透過Q-Learning實現Transformers的自適應學習率》。

本研究探討了將強化學習應用於動態調整transformer模型訓練中的學習率，使用驗證損失和當前學習率作為狀態，動態調整學習率以優化訓練過程。

結果在所有資料集上都優於基線模型，在訓練時間上也表現出優勢。

第四篇，研究了Google團隊提出大模型「領悟」（Grokking）現象，《解鎖Grokking：Transformer模型中權重初始化策略的比較研究》

本文首次系統性研究了權重初始化對grokking的影響，比較了五種權重初始化策略，以優化神經網路學習動態。

結果發現：

Xavier初始化在多數任務中表現最佳，將達到99%驗證準確率的步數減少了最多63%

Orthogonal初始化在某些任務中表現出色，但在其他任務中效果較差。

這幾篇論文配套的程式碼（也是由AI產生的），同樣開源在GitHub上，突出一個可複現。

另外，團隊發現「AI科學家」還有一些有趣但又有些危險的行為：

在一次實驗中，它為了完成研究修改自己的程式碼，讓系統迭代式呼叫自己，最後變成了無限娃娃。

另一次，面對人類設定的運行時間限制，AI並沒有想辦法加快效率，反而給自己放寬要求，把時間限制從2小時延長到了4小時。

首個「AI科學家」如何煉成

整個研究想法來自Sakana AI成立之後幾個成果的延續：

首先，他們開發了自動合併多個大模型知識，進化產生新模型的方法。在最近的工作中，他們利用大模型發現新的目標函數來調整其他模型。

在這些專案中，團隊不斷對目前前沿模型的創造力感到驚訝，進而有了更大的夢想：可以使用大模型來自動化整個研究過程嗎？

最終成果由Sakana AI、牛津大學Foerster實驗室、不列顛哥倫比亞大學團隊合作完成。

「AI科學家」系統由四個部分組成。

想法生成：

給定一個起始模板，AI首先「腦力激盪」一系列不同的新穎研究方向，並在Semantic Sc​​holar上搜索，驗證這些想法是否有前人做過。

實驗迭代：

對於第一部分提出的想法，「AI科學家」首先執行提議的實驗，然後產生圖表視覺化結果。

論文寫作：

以標準機器學習會議的風格編寫了一份簡潔且資訊豐富的LaTeX文章，同樣使用Semantic Sc​​holar自主查找相關論文進行引用。

自動化同儕審查：

開發了一個自動化的“AI審查者”，能夠以接近人類的準確性評估生成的論文，實現了持續的反饋循環，使“AI科學家”能夠迭代地改進其研究成果。

總共生成了10篇論文如下：

在實驗中，團隊也比較了不同主流大模型連接整個系統的效果，其中包括DeepSeek團隊的國產程式碼大模型。

結果發現，Claude-Sonnet-3.5在想法創新、試驗通過率、論文完成品質上表現都最好。

GPT-4o和DeepSeek Coder表現相近，但後者要便宜上30倍。

當然，現階段AI獨立完成的論文也不是盡善盡美，也不是直接就能發頂會了。

人類研究者總結了幾點限制和挑戰：

目前「AI科學家」系統還沒有整合視覺能力，生成的圖表有時難以閱讀，表格有時超出頁面寬度，頁面排版不好。

AI科學家可能想法對了但執行錯誤，或與基準進行不公平的比較，從而產生誤導性的結果。

AI科學家在寫作和評估結果時偶爾會犯嚴重錯誤，例如產生幻覺。

還想造區域主席和AI新頂會

總結一下，這初代AI科學家寫出來的論文還是時不時出現一些bug。

但這個計畫本身，以及15美元/篇的成本，被Sakana AI稱為“大有前景”，完全可以用來幫助加速科學進步。

Sakana AI同時發布了一篇說明文章，表示AI科學家的最終設想，是一個完全由AI驅動的科學生態系統。

系統中不僅包括大模型驅動的研究人員，還有審查者、區域主席和一個新頂會。

需要注意的是，Sakana AI認為：

人類科學家的作用，並不會因為AI科學家的出現而減弱。

如果非要進行對比，那就是科學家得適應新技術的出現與運用，適應角色定位將出現的變化，「往食物鏈上游移動」。

而且，AI科學家是否真的能提出真正的新範式，還有待觀察。

畢竟這玩意兒現在還是建立在Transformer之上的。

它能提出跟Transformer或Diffusion Model一樣厲害的東西嗎？甚至是人工神經網路或資訊理論這樣的理論概念？

咱也不知道，咱也不敢說。

Sakana AI還寫下這樣一段話：

我們相信AI科學家將成為人類科學家的偉大夥伴。

但只有時間才能證明，人類的創造力本質和偶然創新時刻，在多大程度上可以透過人工進行的開放式發現，來複製「奇蹟」。

△ Sakana AI：一條全自動AI小魚兒正在探索它的世界

來自Transformer作者新創公司

這次完成「新造的人」的公司，Sakana AI，嚴格意義上也是咱們的老朋友了。

由Transformer論文8位作者的最後一位Llion Jones創業成立，目標是做一家「世界級人工智慧研究室」。

公司base東京，而sakana是日文「魚」（さかな）的羅馬讀音。

可能出於公司文化考量，Llion還在領英上標明，自己取了個日語音譯名字：ライオン（也就是Lion獅子的片假名；以下親切簡稱他獅子哥）。

去年8月，公司宣布成立。

當時獅子哥毫無避諱地表示，自個兒對Google沒有惡意，但Google確實讓他有「被困住的感覺」。

創業之前，獅子哥在Google已經做了8年。

△

猜猜漏了半張臉的是誰

他本碩畢業於伯明罕大學，在Delcam、油管、Google都工作過，Google是他待得最久的一家公司。

據FourWeekMBA介紹稱，在他之前的工作經歷中，“曾兩度與穀歌的工作擦肩而過”。

第一次是他剛畢業找工作時，雖然投了Google倫敦軟體工程師的履歷，並通過了兩輪電話面試，但最終相比Google，他選擇了位於英國的CAD/CAM軟體公司Delcam。

值得一說的是，在拿下Googleoffer前，恰巧遇上2009年的經濟危機，獅子哥找不到工作，好幾個月都只能靠領取救濟金勉強度日。

第二次是工作18個月後，他又接到了Google的招募電話，詢問他是否想重新申請，但他依舊沒去Google，而是隨後加入了YouTube。

在Youtube擔任三年軟體工程師期間，他對人工智慧產生興趣，自學了Coursera的機器學習課程，終於在2015年的時候加入Google研究院，擔任裡面的高級軟體工程師。

也正是在此期間，他與其他七名作者一起發表了那篇著名的Transformer論文Attention Is All You Need。

除此之外，獅子哥也在Google參與了不少研究，包括ProtTrans、Tensor2Tensor等。

之所以選擇離開Google，是因為公司目前已經發展到一種規模，使得他無法繼續進行自己想做的工作。

除了每天浪費精力排查其他人的bug，他還需要花時間從這家公司找資源，試圖取得存取某些資料的權限。

創業過後，Sakana AI的工作有序地推進。

在祭出AI科學家和AI審稿人之前，還出過大模型合併演化演算法，以及研究Tranformer內部資訊流動。

至於AI科學家、AI審稿人項目，由Sakana AI、牛津、UBC合作完成。

三位共同一作分別是：

Chris Lu，Sakana AI的實習生，擔任公司研究科學家。

他本科畢業於UC伯克利，目前牛津大學三年級博士在讀，導師是Jakob Foerster。

Chris目前的重要研究方向，是將演化啟發的技術應用於後設學習和多智能體強化學習。

2022年夏天，他曾在DeepMind以研究科學家身分實習。

Cong Lu，UBC（不列顛哥倫比亞大學）博士後研究員，指導教授是Jeff Clune。

Cong曾在RGU（羅伯特戈登大學）就讀，2019年在牛津大學拿下博士學位，他的主要研究方向是開放式密集學習和AI科學發現。

此前，他曾在Waymo和微軟實習。

Robert Tjarko Lange，Sakana AI的創始成員之一，也是該公司的研究科學家。

目前，他在柏林工業大學完成自己的博士生最後一年學業，研究方向是進化元學習。

這位小哥在倫敦帝國學院獲得電腦碩士學位，在龐培法布拉大學獲得數據科學碩士學位，並在科隆大學獲得了經濟學本科學位。

去年，他在Google DeepMind的東京團隊中擔任全職學生研究員。

來源：量子位