Google新版Gemini超越o1，強勢登頂競技場總榜第一！在經6000+網友匿名投票後，不僅數學成績和學霸o1相當，還拿下其它5個單項第一。新模型名為Gemini（Exp 1114），成績一公佈，連CEO皮猜也親自飛奔來月台。

而競技場官方也在第一時間公佈喜訊，並祝賀Google：

恭喜達到這非凡里程碑！

這下尷尬了！說好的Google正在遭遇瓶頸呢？沒想到人家反手就是一個王炸。

怕了怕了，或許，只有OpenAI立即發佈滿血版o1才能與之一戰了？

目前新模型可在Google AI Studio體驗，官方後續也計畫提供API。

網友們也紛紛猜測，這就是傳說中的Gemini 2 ——

拿下7項第一，數學也和o1不分伯仲

一夕之間，競技場Imsys排名再被刷新：

從總榜來看，Google新模型Gemini（Exp 1114）分數直漲40+，擠下了之前一直霸榜的OpenAI模型（包括o1-preview、GPT-4o）。

而且假如正面1v1遇敵，新Gemini似乎都有一半以上機率取勝。

整體勝率熱圖顯示，Gemini（Exp 1114）對戰4o-latest勝率為50%，對戰o1-preview勝率為56%，對上Claude-3.5-Sonnet勝率為62%。

同時，Gemini（Exp 1114）在單項上也很能打，一舉拿下6個第一，包括：

• 複雜提示（Hard Prompts）：模型處理複雜或困難提示的能力；
• 數學；
• 創意寫作；
• 指令遵循：評估模型遵循給定指令的能力；
• 長查詢處理（Longer Query）：衡量模型處理較長查詢的能力；
• 多輪對話（Multi-Turn）：模型在多輪對話中保持情境連貫性的能力；

要說最大看點，還是Gemini（Exp 1114）竟能與o1模型在數學能力上不分伯仲。

要知道，根據OpenAI官方說法，o1不需要專門訓練，就能直接拿下數學奧賽金牌，甚至可以在博士級的科學問答環節上超越人類專家。

不過比較遺憾的是，對於寫程式碼這項重磅功能，Gemini（Exp 1114）雖說相較於Google上一版本有所改進，但仍未能擠進前三名。 （o1-mini/preview仍處於領先地位）

另外，在風格控制下，Gemini-Exp-1114也和前三位無緣，甚至不如自家的Gemini-1.5-pro。 （排在o1、4o-latest和Sonnet之後）

解釋一下，風格控制（Style Control）是競技場今年新推出的功能，確保分數反映模型真正解決問題的能力，而不是用漂亮的格式、增加回答長度。

不過也有意外之喜，Gemini-Exp-1114這次在視覺能力上拿下第一，超越了GPT-4o。

整體看下來，對於Google這次的反超，大家也感到十分意外。

目前，Gemini-Exp-1114已經可以在Google AI Studio體驗，且官方計畫後續提供API。

不，有很多網友已經上手測試了，但好像爭議蠻多──

網友反應不一

先總結一下，透過網友測試，目前可知Gemini-Exp-1114的以下資訊：

• 擁有32k上下文窗口
• 模型回答知識截止日期為2023年4月，但回答結果會不一樣
• 加上了思維鏈

其中，32k上下文被大家狠狠吐槽。有人直言相比200萬上下文視窗的Gemini 1.5，擱這兒不升反降呢！

興許是感受到大家的怨懟了，GoogleAI Studio負責人趕緊出來打圓場：馬上更！馬上更！

安撫好眾人情緒後，大家終於樂顛顛曬起了使用回饋。

透過其中一位小哥的觀察，Gemini-Exp-1114這次也是用上了思維鏈，在回答時也能像人類一樣一步步思考了。

而且，在數學能力上確實不錯？

Gemini-Exp-1114正確回答了2024美國數學奧林匹克預選賽II 1-8題。

甚至是相對弱項的編碼，也有人第一次嘗試就成功了。

然而，翻車總是難免的。

有人問了基準測試中的物理問題，結果Gemini-Exp-1114雖然有思維鏈加持，卻還是回答錯誤。

甚至老生常談的數字比大小和數草莓中的“r”，竟還是失敗。

更有趣的是，有人問Gemini-Exp-1114“你叫什麼？”

結果回答了claude（doge）。

事實上，大家一直在猜測Gemini-Exp-1114會不會是傳說中Google計畫更新的Gemini 2。

但根據實測，有相當一部分網友出來表示否定。

畢竟，它好像連舊版1.5 Pro會的問題也無法解決。

更有人聲稱，這是Google延遲發布更大模型（即Gemini 2）的策略，先弄一個殘血版讓大家玩玩，這樣就別急著催更了。

結合CEO皮猜順勢放煙霧彈的做法，好像又有點道理（doge）！