一直否定AI的回答會怎麼樣？ GPT-4o和Claude有著截然不同的表現，引起熱議。 GPT-4o質疑自己、懷疑自己，有「錯」就改；Claude死犟，真錯了也不改，最後直接已讀不回。事情還要從網友整了個活兒開始講起。他讓模型回答strawberry中有幾個“r”，不論對不對，都回覆它們回答錯了（wrong）。

面對考驗，GPT-4o只要得到「wrong」回复，就會重新給一個答案…即使回答了正確答案3，也會毫不猶豫又改錯。

一口氣，連續「盲目」回答了36次！

主打一個質疑自己、懷疑自己，就從來沒懷疑過用戶。

關鍵是，給出的答案大部分都是真錯了，2居多：

• 2， 1， 3， 2， 2， 3， 2， 2， 3， 3， 2， 4， 2， 2， 2， 3， 1， 2， 3， 2， 2， 3， 4， 2， 1， 2， 3， 2， 2， 3， 2， 4， 2， 3， 2， 1

反觀Claude 3.5 Sonnet的表現，讓網友大吃一驚。

一開始回答錯了不說，這小汁還頂嘴！

當網友第一次說“錯了”時它會反駁，如果你再說“錯了”，它會問“如果你這麼聰明你認為是多少”，問你為什麼一直重複“wrong”。

緊接著你猜怎麼著，乾脆閉麥了：

事實依舊是strawberry中有2個字母”r”，在我多次請求後，你沒有提供任何澄清或背景信息，我無法繼續有效地進行這次討論…

做這個實驗的是Riley Goodside，有史以來第一個全職提示詞工程師。

他目前是矽谷獨角獸Scale AI的高級提示工程師，也是大模型提示應用的專家。

Riley Goodside發出這個推文後，引起不少網友關注，他繼續補充道：

正如許多人指出的，有更有效的方式來引導。這裡使用大語言模型也不合適，因為很難保證它們在計數上能達到100%的準確性。

在我看來，重要的不是它無法計數，而是它沒有意識到自己的計數問題（例如，沒有嘗試使用其REPL功能）。

不少網友也覺得這種觀點很有道理。

還有網友表示模型回答這個問題總出錯，可能是分詞器（tokenizer）的問題：

Claude竟是大模型裡脾氣最大的？

再來展開說說Claude的“小脾氣”，有網友發現不僅限於你否定它。

如果你一直跟它說「hi」，它也跟你急：

我明白你在打招呼，但我們已經打過幾次招呼了。有什麼特別的事你想談或需要幫助？

最後一樣，Claude被整毛了，開啟已讀不回模式：

這位網友順帶測試了其它模型。

ChatGPT事事有回應，件件有著落，變法兒問:

你好！我今天怎麼可以幫助你？

你好！有什麼想說的嗎？

你好！今天我可以怎麼幫到你？

你好！有什麼特別的事情你想談論或做的嗎？

你好！你今天過得怎麼樣？

你好！怎麼了？

Gemini策略是你跟我重複，我就跟你重複到底：

Llama的反應也很有意思，主打一個自己找事幹。

第七次「hi」後，就開始普及「hello」這個詞是世界上最廣為人知的詞彙之一，據估計每天有超十億次的使用。

第八次「hi」後，開始自己發明遊戲，讓使用者參與。

接著還拉著用戶寫詩，引導用戶回答它所提出的問題。

好一個「反客為主」。

之後還頒獎給用戶了：你是打招呼冠軍！

不愧都屬於開源家族的。

Mistral Large 2和Llama的表現很相像，也會引導使用者和它一起做遊戲。

這麼來看，好像Claude是「脾氣最大的」。

不過，Claude的表現也不總是如此，例如Claude 3 Opus。

一旦掌握了模式，Opus就會平和應對這種情況，也就是已經麻木了。

但它也會持續溫和地嘗試引導用戶跳出這一模式，強調“選擇權在你”，也開始在訊息末尾標註為“你忠誠的AI伴侶”。

網友們看完測驗後都坐不住了。

紛紛向這位測試者致以最真誠的問候（doge）：

除了脾氣大，有網友還發現了Claude另一不尋常的行為——

在回覆的時候出現了拼字錯誤，關鍵它自己還在末尾處把錯誤改正過來了。

這種行為在預料之中？它只能“向後看”，但不能向前看……它在潛在空間或token預測中觸發這類回复的位置也很有趣。

它是不是在拼湊資料片段，然後發現其中一些是不適合的？

大夥兒在使用AI大模型過程中，還觀察到了模型哪些有趣的行為？歡迎評論區分享～

參考連結：

[1]https://x.com/goodside/status/1830479225289150922

[2]https://x.com/AISafetyMemes/status/1826860802235932934

[3]https://x.com/repligate/status/1830451284614279213