GPT-4的圖形推理能力，竟然連人類的一半都不到？美國聖塔菲研究所的研究顯示，GPT-4做圖形推理題的準確率只有33%。而具有多模態能力的GPT-4v表現更糟糕，只能做對25%的題目。

△虛線表示16項任務的平均表現

這項實驗結果發表後，迅速在YC上引發了廣泛熱議。

贊同這項結果的網友表示，GPT確實不擅長抽象圖形處理，「位置」「旋轉」等概念理解起來更加困難。

但另一邊，不少網友對這個結論也有質疑，簡單說就是：

不能說是錯的，但說完全正確也無法讓人信服。

至於具體的原因，我們繼續往下看。

GPT-4準確率僅33%

為了評估人類和GPT-4在這些圖形題上的表現，研究者使用了自家機構於今年5月推出的ConceptARC資料集。

ConceptARC中總共包含16個子類別的圖形推理題，每類30道，共480題。

這16個子類別涵蓋了位置關係、形狀、操作、比較等多個面向的內容。

具體而言，這些題目都是由一個個像素區塊組成的，人類和GPT需要根據給定的範例尋找規律，分析出影像經過相同方式處理後的結果。

作者在論文中具體展示了這16個子類的例題，每類各一道。

結果451名人類受試者平均正確率，在各子項中均不低於83%，16項任務再做平均，則達到了91%。

而GPT-4（單樣本）在「放水」到一題可以試三次（有一次對就算對）的情況下，準確率最高不超過60%，平均值只有33%。

早些時候，本實驗涉及的ConceptARC Benchmark的作者也做過類似的實驗，不過在GPT-4中進行的是零樣本測試，結果16個任務的平均準確率只有19%。

而多模態的GPT-4v，準確率反而更低，在一個48題組成的小規模ConceptARC資料集中，零樣本和單樣本測試的準確率分別只有25%和23%

而研究者在進一步分析了錯誤答案後，發現人類的有些錯誤看起來很可能是“粗心導致”，而GPT則是完全沒有理解題目中的規律。

針對這些數據，網友們普遍沒什麼疑問，但讓這個實驗備受質疑的，是招募到的受試族群和給GPT的輸入方式。

受試者選擇方式遭質疑

一開始，研究者在亞馬遜的一個眾包平台上招募受試者。

研究者從資料集中抽取了一些簡單題目作為入門測試，受試者需要答對隨機3題目中的至少兩道才能進入正式測試。

結果研究人員發現，入門測驗的結果顯示，有人只想拿錢，但根本不照要求做題目。

迫不得已，研究者將參加測驗的門檻上調到了在平台上完成過不少於2000個任務，且通過率要達到99%。

不過，雖然作者用通過率篩人，但是在具體能力上，除了需要受試者會英語，對圖形等其他專業能力「沒有特殊要求」。

而為了數據的多樣化，研究者在實驗後期又將招募工作轉到了另一個眾包平台，最後一共有415名受試者參與了實驗。

儘管如此，還是有人質疑實驗中的樣本「不夠隨機」。

還有網友指出，研究者用來招募受試者的亞馬遜眾包平台上，有大模型在冒充人類。

再來看GPT這邊的操作，多模態版本比較簡單，直接傳圖然後用這樣的提示字就可以了：

零樣本測試中，則只要去掉對應的EXAMPLE部分。

但對於不帶多模態的純文字版GPT-4（0613），則需要把影像轉換為格點，用數字來取代顏色。

針對這種操作，就有人表示不認同了：

把圖像轉換成數字矩陣後，概念完全變了，就算是人類，看著用數字表示的“圖形”，可能也無法理解

One More Thing

無獨有偶，史丹佛的華人博士生Joy Hsu也用幾何資料集測試了GPT-4v對圖形的理解能力。

這個資料集發表在去年，目的是測試大模型對歐氏幾何的理解，GPT-4v開放後，Hsu又用這套資料集給它測試了一次。

結果發現，GPT-4v對圖形的理解方式，似乎「和人類完全不同」。

數據上，GPT-4v對這些幾何問題的回答也明顯不如人類。

論文地址：

[1]https://arxiv.org/abs/2305.07141

[2]https://arxiv.org/abs/2311.09247

參考連結：

[1]https://news.ycombinator.com/item?id=38331669

[2]https://twitter.com/joycjhsu/status/1724180191470297458

來源：量子位