OpenAI傳說中的「草莓」終於正式上線！不僅能勝任更複雜的推理任務，在數學、程式碼和其他科學領域也能解決更困難的問題。 OpenAI這次「無預警發布」震撼了科技圈，o1更是被CEO奧特曼稱它為一種新典範的開始。

發布之後，各路大神和網友都紛紛用各種問題測試OpenAI o1的表現：

還有人進行了花式考驗，結果被o1強大的推理能力秀到了。

Q：你的回覆中有幾個字？

A1：這句話有七個字

A2：共五個字

量子位元也進行了一番實測，下面就一起來了解。

推理能力大進化，但還是難敵弱智吧

該說不說，o1雖然在推理能力上取得了很大進步，但面對充滿心機的弱智吧問題，還是掉進了人類挖的陷阱。

當然了，對於正經問題，o1的表現還是很強的，先看看邏輯推理能力。

思考這題時，preview和mini分別用時21秒和14秒，不過從文本上看mini思考得反而更多。

其中也出現了一些西里爾字母亂入，不過對整體影響不大。

最終，二者也都給了正確的答案－丙。

值得注意的是，mini（右）的解答當中也出現了修正的過程。

接下來看下o1在大學數理化題目上的表現。

首先是這道考研數學真題，涉及的知識點是曲面積分、高斯定理等內容：

還是分別看下preview和mini的思考，可以看到mini的思考過程大概是preview的簡略版，當然速度也快了不少。

不過preview給的思考過程當中再次出現亂入，這次是泰語。

實際解答過程也是preview比mini更詳細，不過不知道為什麼preview用了英文回答。

最後的計算結果化簡方式也有所不同，但數值上是相等的，而且也做對了。

對比4o這邊，先偷懶後作弊（呼叫了程式碼解釋器），結果最後答案還是錯的。

第二道數學題關於機率。

這題preview依然是用英文進行了作答，步驟比mini更加詳細，當然都是對的。

而4o的答案前面的過程倒是基本都對，但是最後一步的求解出現了問題，只給了1這一個解，並且不是本題答案。

物理方面，這裡選擇了一個大學物理中的光學題：

preview（左）和mini都給了正確解答，內容也大致一致。

化學的題目是一道物化題，主要涉及電化學等內容。

這裡把AgCl/Ag的標準電極電位當作已知條件一同輸入給模型。

Preview（左）和mini大致的解題思路還是差不多，在計算步驟上有指對運算先後的差別，當然最後的結果還是對的。

最後一項測驗就不再做考試題了，而是看看模型寫程式的能力如何。

這裡選擇的題目難度非常高，真人的通過率只有14%。

以下是preview（左）和mini的解題思路：

從程式碼上看，兩者核心邏輯相似，但在具體操作上略有區別。

兩套程式碼都通過了測試，記憶體消耗也比較接近，而mini給出的程式碼運行時間更短（38毫秒）。

o1的程式設計能力除了用來解題，也可以快速建構出實用的應用程式。

知名AI配音工具ElevenLabs設計部門負責人Ammaar Reshi，就利用o1搭配Cursor Composer，花了不到10分鐘的時間製作了一款iOS天氣應用。

小數比較還是不會？

測試發現，對於大模型難以答對的名場面——小數比大小，preview（左）和mini都答不對。

甚至preview在思考過程中明明已經提到9.8比9.11大。

但同時preview在思考過程中表示，9.8和9.11有可能指的是日期，所以做不對也許另一個原因。

針對這個問題，大神謝賽寧也曬出了他的測試結果，發現o1在思考過程中將9.8當成了重力常數，而9.11是一個「意義不明的數字」。

所以o1可能不是不會，而是把這個問題想複雜了。

為了進一步探究，我們把問題改得具體些，強調一下9.8和9.11都是數字，這下沒有了歧義之後就能一次做對了。

可以看出，提示詞的影響力還是不小的。

由於o1在內部採用了一些類思維鏈過程，因此prompt的設計和普通版本也有所區別，OpenAI官方發布了一則提示：

• 提示詞應簡單且直接
• 避免在提示詞中使用思維鏈
• 使用分隔符號讓promot更清晰
• 控制RAG內容的長度

回到我們的測試，面對其他幾個大模型敗北名場面，o1也有不小的進步。

例如在數字母的任務上就有所進化，即使是一串亂打的字母也能數對。

還有面對經典的「反轉詛咒」（即知道A是B卻不知道B是A）問題，也終於一次性答對了Mary Lee Pfeiffer（湯姆·克魯斯的母親）的兒子是誰。

One More Thing

關於這次發布的o1，除了各方面的成績之外，還有一些其他的發現。

例如前特斯拉自動駕駛負責人、兩度進入OpenAI又兩度離職的大神Andrej Karpathy發現，o1-mini在被要求證明黎曼猜想的時候出現了拒絕回答的情況，表示大模型“犯懶”依然是一個大問題。

還有網友說覺得mini的表現比preview好，想問下有沒有人知道原因或有啥看法。

這則訊息也把奧特曼吸引了過來，回覆了一句「Yes I have one」。

根據OpenAI內部員工Kevin Lu發布的推文來看，mini的性價比確實比preview更高。

根據這張圖顯示，preview版本論表現比不上尚未公佈的滿血o1，論經濟性又比不上mini。

順便提一句，preview版本存在訊息數量限制，而且數量是按週進行重置的，幾輪測試下來已經快要用盡了。

參考連結：

[1]https://x.com/rowancheung/status/1834300353619075494

[2]https://x.com/karpathy/status/1834374965942255835

[3]https://x.com/sama/status/1834381401380294685

[4]https://x.com/_kevinlu/status/1834278160038592633

來源：量子位