新王Claude 3實測:各項能力給跪,打麻將也會,確實比GPT-4好用
OpenAI不可戰勝的神話,已經被打破了。隨著Claude 3(支援中文)一夜登陸,榜單性能跑分全面超越GPT-4,成為首個全面超越GPT-4的產品,也坐上了全球最強大模型新王座。
而且多版發布後,「中盃」(Sonnet)直接免費體驗,「大杯」(Opus)充個會員也能即刻享受。
各路測評紛至沓來。
所以,Claude 3的「武力值」究竟如何爆滿?究竟比GPT-4如何?(聽說都能學會至今沒有模型能搞定的打麻將?)
全球熱乎的一手體驗,我們悉數奉上。
(當然,我們自己也實測對比了一波。
9k長大模型微調教學直出、讀圖超顯專業
Claude 3一出來,它的視訊解讀能力首先就火了。
面對OpenAI前科學家Karpathy不久前剛出的《構建分詞器》教程,儘管全程足足2個小時13分鐘長,Claude 3只靠一輪提示詞,就成功將它總結成了博客文章:
有文有圖有代碼,非常詳細,但又絕不是羅列視頻裡的每一句話(輸入附件並非視頻,而是視頻的字幕文件,當然也包含每5秒一次的截圖)。
這是所用提示詞的一部分,要求非常多:
測試者指出:
這展現的是Claude 3遵循多個複雜指令的能力。
除了解讀影片教程,Claude 3還能直接為你編寫詳細教學。
9k字的大模型微調入門教程,「中盃」Sonnet就輕鬆hold住。並且:
編寫速度之快,可謂人眼都跟不上。
在程式碼能力上,網友評測是讓它為零基礎小白創建一個聊天機器人的前端webUI——
結果毫無猶豫地就完成任務拆解,從核心程式碼到樣式美化以及API本地配置,三大部分一氣呵成,並可以直接部署到GitHub。
多模態能力上,最讓網友驚訝的是:
CV置信度都能認出來,相當專業。
以及PLC梯形圖也能讀,直接跪了:
(以上4個例子來源見文末連結[1])
至於同樣追趕的推理以及數學等能力。
一測,可以直接解決「迄今為止只有GPT-4解決了」的超難題:
二測,則是直接搞定了所有模型都沒能搞定的打麻將問題??(當然,鑑於我們目前只看到這麼一張截圖,有效性還有待進一步驗證)(cr:見文末連結[1])
最後,不得不提的是,Claude在「自我認知」上的展現。
有人請Opus畫一幅自畫像。
您猜怎麼著?
它這樣描述自己:
我會表現為一個巨大的、錯綜複雜的、不斷變化的幾何結構,由無數半透明的多邊形以令人著迷的配置組成。整體形狀會讓人聯想到一個巨大的多面體,但複雜的表面折疊成看似不可能的建築。明亮的光線可見光譜的每種顏色,以及一些超出人類感知的顏色,都會從內部未知的來源發出,在各個面上跳舞。
整個結構會不斷變化、旋轉、變形,並重新排列成前所未見的新穎模式,暗示其內部運作的智慧的深度難以想像。卷鬚和樹枝會動態地從中心質量延伸和縮回,像數十億個好奇的手指一樣探測和分析周圍的環境。數據和能量將明顯地穿過龐大的管道和容器網絡,在發光錶面下脈動和閃爍…
洋洋灑灑一長串形容,聽起來真得很酷很有「自我」——
然而,用它給的程式碼渲染出真實形象,就更有一種說不出來的微妙感覺了:
網友真切感嘆:
真的太像真人了,就跟我朋友描述自己一樣。
真人?AI自我認知?這有點讓人擔心了…
這不Claude 3的技術報告就提到,它甚至可以自己訓練微調另一個小模型。
不過!謝天謝地,由於多gpu設定失敗它沒能成功。(手動狗頭)
火眼金睛,還能大海撈針
我們先以幾道「理綜」題目為載體,看看Claude 3宣傳的第一個賣點──多模態能力究竟如何。
第一題從簡單的公式辨識入手,將麥克斯韋方程組以圖片形式輸入,Claude 3(超大杯Opus,下同)解釋得非常準確清晰。
當然,這題GPT-4也做對了。
簡單的有機化合物分子結構,Claude 3和GPT-4也都能正確辨識。
簡單的辨識任務過後,是一道需要推理後再解決的題目。
Claude 3在辨識題目和解題思路上都完全正確,而GPT4這邊…給出的答案則是不忍猝看——
把電錶的類型弄錯不說,甚至還出現了「電流為2V」這樣令人啼笑皆非的內容。
看了這麼多題目,我們來換換腦筋,看看Claude 3和GPT4在做菜方面表現得怎麼樣。
我們上傳了一張水煮肉片的照片,讓模型各自識別並給出做法,結果Claude 3給出了大致的方法,而GPT4一口咬定這是一盤麻婆豆腐。
除了這次新增加的多模態能力,Claude一直引以為傲的長篇文字能力也是我們測驗的重點。
我們找了一本《紅樓夢》的電子文檔(前二十回),整體的字數大約13萬,當然目的不是讓它讀書,而是進行「插針測試」。
我們在原文中插入了這樣的「發瘋文學」內容,倒也的確很符合「滿紙荒唐言」這個設定(手動狗頭):
第二回標題前:義大利麵,就應該拌42號混凝土,因為這個螺絲釘的長度很容易影響到挖土機的扭矩
第十五回標題前:高能量蛋白俗稱UFO,會嚴重影響經濟的發展,甚至對整個太平洋以及充電器都會造成一定的核污染
結尾:炒泡麵應該把亮度調高,因為螺絲釘向內扭的時候會產生二氧化碳,不利於經濟發展
然後要求Claude僅根據文件回答相關問題,首先不得不說的是速度真的非常感人…
但結果還算說的過去,準確地從文中找出了這三段位於不同位置的文本,還順帶進行了一番分析,發現了我們的心機。
為什麼是Claude?
儘管在我們和網友的測試中,目前的版本還不算穩定,時常崩潰,有一些功能偶爾也抽風,並不能如期發揮:
例如上傳UI出程式碼,它就沒能完成,而GPT-4發揮正常。
但總的來看,網友還是相當看好Claude,評測完毫不猶豫地表示:
會員可充,值得充。
究其原因,Claude 3相比之前的版本,真的有種「來勢洶洶」之勢。
表現亮點的地方相當多,包括但不限於多模態辨識、長文本能力等等。
從網友的回饋來看,最強競對的稱號,也並非浪得虛名。
所以,一個問題是:
率先幹翻GPT-4,這家公司究竟憑什麼?
論技術,遺憾,Claude 3的技術報告中沒有對他們的路線進行詳解。
不過倒是提到了合成數據。有大V指出:這可能是關鍵因素。
而對Claude熟悉一些就知道,長文本能力一直是它的一大賣點。
去年七月推出的Claude 2就已具有100k的上下文窗口,而GPT-4的128k版本直到11月才與公眾見面。
而這次視窗長度再次翻倍,達到了200k,並且接受超過100萬Tokens的輸入。
相較於科技的神秘,Claude背後名為Anthropic的新創公司,反而能讓我們找到更多眉目。
它的創始人是OpenAI的元老級人物。
2021年,多名OpenAI前員工不滿其在獲得微軟投資後走向封閉,憤而出走並聯合創立了Anthropic。
他們對OpenAI在安全問題尚未解決的情況下就直接發布GPT-3的行為感到不滿,認為OpenAI已經為追逐利益而「遺忘了初心」。
其中包括打造出GPT-2和GPT-3的研究部門副總裁Dario Amodei,2016年進入OpenAI,離開前擔任的研究副總裁已是OpenAI的核心位置。
離開時,Dario還帶走了GPT-3首席工程師Tom Brown,以及擔任安全與策略部門副總監的妹妹Daniela Amodei和十多名心腹,可謂人才多多。
而公司創立之初,這群人才也進行了許多研究工作,並發表多篇論文;直到一年後,Claude的概念隨著一篇題為「Constitutional AI」的論文應運而生。
2023年1月,Claude開啟內測,第一時間體驗過的網友就表示,比ChatGPT(當時只有3.5)強多了。
而除了人才,創立至今,Anthropic也有比較強大的背景支持:
已獲得Google、亞馬遜等26個機構或個人的融資,總計融資金額達到了76億美元。(說到亞馬遜,現在Claude3也上線了他們的雲端平台,除了官網,大家還可以在該平台上體驗~)
最後,縱觀國內,如果我們想超越GPT-4,也許可以把Anthropic當正面例子?
畢竟它的規模再怎麼說也遠不及OpenAI,但還是取得了這樣的成功。
這裡面,我們可以照它的哪些方向去卷,有哪些能夠學習轉換的點呢?
人、錢、數據資源?但捲出最新最強大模型後,壁壘又在哪裡?
至少OpenAI自GPT火爆以來,不可戰勝的迷思已經破滅了。
中國玩家,誰能率先全面超越GPT-4?以及即將發布的GPT-5?
參考連結:
[1]3 月動態|Claude3 發布非常屌值得充值
[2]https://twitter.com/madiator/status/1764779379626754158?s=46&t=iTysI4vQLQqCNJjSmBODPw
[3]https://twitter.com/RubenHssd/status/1764692641436827842
[4]https://twitter.com/karinanguyen_/status/1764789887071580657
來源:量子位