超越GPT-4 Claude 3超大杯成新王
太瘋狂了! Claude 3 Opus超越了GPT-4,成為新的國王!今天,Chatbot Arena更新了聊天機器人對戰的排行榜,在經過了時間的洗禮和群眾的檢驗之後,之前略遜於GPT-4的Claude 3竟然反超了!
而且不只是Claude 3的超大杯Opus成功登頂,藐視眾生,Claude 3家族的整體表現都非常亮眼。
大杯Claude 3 Sonnet排到了第4,就連最小的Claude 3 HaiKu都達到了GPT-4水平!
那麼比起基準測試跑分,這個榜單的權威性如何?
Chatbot Arena(聊天機器人競技場),由伯克利團隊開發,每個模型在榜單上的得分,完全取決於真實人類用戶的使用體驗。
我們來看看打分規則:
使用者同時向兩個匿名模型(如ChatGPT、Claude、Llama)提出任何相同的問題,然後根據答案投票給表現較好的模型;
如果一次回答不能確定,使用者可以繼續聊天,直到確定獲勝者;
如果在對話中透露了模型的身份,則不會計算投票。
Chatbot Arena平台收集了超過40萬人的投票,來計算出這個大模型的等級分排行榜,最後找出誰是冠軍。
顯然,這回Claude 3贏麻了。
我們來看看真實的戰況:
在所有非平手對戰中, A對B獲勝的比例:
模型之間的對戰次數(無平手):
GPT-4終於被幹掉了,對此,有網友開始惡搞:
剛好在當地超市看到Sam Altman,他一臉震驚地看著手機。幾秒鐘後,他真的倒下了,開始劇烈顫抖。經過2分鐘的搖晃和尖叫,一群人圍繞著他試圖幫助他。但令人驚訝的是,他在2分鐘後停止了顫抖和尖叫,站起來,拿起手機開始撥打一個號碼。
“準備釋放……”
咱也不知道Altman要放的是不是GPT-5。
網友表示,Claude確實比GPT更勤奮許多:
GPT-4-Turbo非常懶惰。在任何編碼任務中,它都會跳過部分程式碼,並表示“你自己知道要放什麼”,而Opus可以毫無遺漏地輸出整個程式碼。
就連Claude-2也透過自己的勤奮和耐心感動了這位網友。
更有比較務實的網友指出,Haiku的排名更為重要,因為它是第一個可以以極低成本即時運行的LLM,並且具有足夠高的智慧來提供即時客戶服務。
盲生你發現華點了! Claude 3 Haiku不僅與原始版本的GPT-4表現一樣好,關鍵是相當便宜,在某些平台你甚至可以免費使用。
大家於是紛紛誇起了Claude 3 Haiku:
智能相當於GPT-4,價格比GPT-3.5便宜,據說模型可能只有20B大小。
有網友表示,OpenAI不行啦,現在Anthropic才是老大,一時間,平台內外充滿了快活的空氣。
ChatGPT 一年零成長
回過頭來再看ChatGPT這邊,從最初的高光、王者,到現在不能說泯然眾人吧,反正多少有點寒酸了。
最近,相關統計平台曝出:ChatGPT在過去一年中居然零成長!
最近一段時間,ChatGPT一直被指責懶惰、系統提示臃腫,而另一方面競爭也愈演愈烈——Claude 3和Gemini Pro 1.5現在都提供了比GPT-4多8倍的上下文長度和更好的recall能力。
對於幾乎每個ChatGPT用例,現在都有大量垂直化的AI新創公司,致力於滿足用戶的需求,而不是滿足於現有的ChatGPT介面和捆綁工具
它們有更好的UI選項(例如IDE和圖像/文件編輯器)、更好的原生整合(例如用於cron重複操作)、更好的隱私/企業保護(例如用於醫療保健和金融),更細粒度的控制(GPT的預設RAG是幼稚且不可配置的)。
以下是一些網友列舉了相關垂直領域的產品,以及公司的融資情況:
從某種意義上說,OpenAI的B2B和B2C部分相互競爭,這在某種程度上是良性競爭——OpenAI可以使用來自ChatGPT的RLHF數據進行訓練。
而新的GPT商店可以看作是,OpenAI為了抓住這些垂直化需求的嘗試。
——與其離開平台,到處支付20美元/月,為什麼不留在ChatGPT內部而只需要支付一次,讓OpenAI將理論上的收入分配給GPT創作者?
對此,大部分創作者也很明智,一般只向ChatGPT發布精簡版的應用,作為自己主要平台的一個管道。
在遊戲機業務中,眾所周知,購買決策往往是由平台獨佔遊戲驅動的。從某種意義上說,ChatGPT的未來會以平台專屬模型為特色。
所以,當Sora甚至是GPT-5公開發佈時,一定會率先登陸自家的平台,也許那將是下一輪ChatGPT的成長點。