GPT-4不會圖形推理?「放水」後準確率仍只有33%
GPT-4的圖形推理能力,竟然連人類的一半都不到?美國聖塔菲研究所的研究顯示,GPT-4做圖形推理題的準確率只有33%。而具有多模態能力的GPT-4v表現更糟糕,只能做對25%的題目。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/dc0da6ce100bd0c.png?w=640&ssl=1)
△虛線表示16項任務的平均表現
這項實驗結果發表後,迅速在YC上引發了廣泛熱議。
贊同這項結果的網友表示,GPT確實不擅長抽象圖形處理,「位置」「旋轉」等概念理解起來更加困難。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/b437a30cef58957.png?w=640&ssl=1)
但另一邊,不少網友對這個結論也有質疑,簡單說就是:
不能說是錯的,但說完全正確也無法讓人信服。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/43707789436af8b.png?w=640&ssl=1)
至於具體的原因,我們繼續往下看。
GPT-4準確率僅33%
為了評估人類和GPT-4在這些圖形題上的表現,研究者使用了自家機構於今年5月推出的ConceptARC資料集。
ConceptARC中總共包含16個子類別的圖形推理題,每類30道,共480題。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/df35d643f929fd1.png?w=640&ssl=1)
這16個子類別涵蓋了位置關係、形狀、操作、比較等多個面向的內容。
具體而言,這些題目都是由一個個像素區塊組成的,人類和GPT需要根據給定的範例尋找規律,分析出影像經過相同方式處理後的結果。
作者在論文中具體展示了這16個子類的例題,每類各一道。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/1a02e06b0ad0aa9.png?w=640&ssl=1)
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/bc88d5f4a519c30.png?w=640&ssl=1)
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/9c260b9af5fe9f1.png?w=640&ssl=1)
結果451名人類受試者平均正確率,在各子項中均不低於83%,16項任務再做平均,則達到了91%。
而GPT-4(單樣本)在「放水」到一題可以試三次(有一次對就算對)的情況下,準確率最高不超過60%,平均值只有33%。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/dd6aadc5a0c0d0f.png?w=640&ssl=1)
早些時候,本實驗涉及的ConceptARC Benchmark的作者也做過類似的實驗,不過在GPT-4中進行的是零樣本測試,結果16個任務的平均準確率只有19%。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/11da8754e9beaa2.png?w=640&ssl=1)
而多模態的GPT-4v,準確率反而更低,在一個48題組成的小規模ConceptARC資料集中,零樣本和單樣本測試的準確率分別只有25%和23%
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/f2b44b58499a9fa.png?w=640&ssl=1)
而研究者在進一步分析了錯誤答案後,發現人類的有些錯誤看起來很可能是“粗心導致”,而GPT則是完全沒有理解題目中的規律。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/7bb3f3217931e21.png?w=640&ssl=1)
針對這些數據,網友們普遍沒什麼疑問,但讓這個實驗備受質疑的,是招募到的受試族群和給GPT的輸入方式。
受試者選擇方式遭質疑
一開始,研究者在亞馬遜的一個眾包平台上招募受試者。
研究者從資料集中抽取了一些簡單題目作為入門測試,受試者需要答對隨機3題目中的至少兩道才能進入正式測試。
結果研究人員發現,入門測驗的結果顯示,有人只想拿錢,但根本不照要求做題目。
迫不得已,研究者將參加測驗的門檻上調到了在平台上完成過不少於2000個任務,且通過率要達到99%。
不過,雖然作者用通過率篩人,但是在具體能力上,除了需要受試者會英語,對圖形等其他專業能力「沒有特殊要求」。
而為了數據的多樣化,研究者在實驗後期又將招募工作轉到了另一個眾包平台,最後一共有415名受試者參與了實驗。
儘管如此,還是有人質疑實驗中的樣本「不夠隨機」。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/970a3503249bd4d.png?w=640&ssl=1)
還有網友指出,研究者用來招募受試者的亞馬遜眾包平台上,有大模型在冒充人類。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/9e3a6528f89a1d5.png?w=640&ssl=1)
再來看GPT這邊的操作,多模態版本比較簡單,直接傳圖然後用這樣的提示字就可以了:
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/04802e46f89b309.png?w=640&ssl=1)
零樣本測試中,則只要去掉對應的EXAMPLE部分。
但對於不帶多模態的純文字版GPT-4(0613),則需要把影像轉換為格點,用數字來取代顏色。
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/84dc4bfd31b4074.png?w=640&ssl=1)
針對這種操作,就有人表示不認同了:
把圖像轉換成數字矩陣後,概念完全變了,就算是人類,看著用數字表示的“圖形”,可能也無法理解
![](https://i0.wp.com/static.cnbetacdn.com/article/2023/1121/73b67d2b6d033f2.png?w=640&ssl=1)
One More Thing
無獨有偶,史丹佛的華人博士生Joy Hsu也用幾何資料集測試了GPT-4v對圖形的理解能力。
這個資料集發表在去年,目的是測試大模型對歐氏幾何的理解,GPT-4v開放後,Hsu又用這套資料集給它測試了一次。
結果發現,GPT-4v對圖形的理解方式,似乎「和人類完全不同」。
![GPT-4不會圖形推理? 「放水」後準確率仍只有33%](https://i0.wp.com/www.qbitai.com/wp-content/uploads/replace/2c2a23163cddab9de6b6ec974f142c76.png?w=640&ssl=1)
數據上,GPT-4v對這些幾何問題的回答也明顯不如人類。
![GPT-4不會圖形推理? 「放水」後準確率仍只有33%](https://i0.wp.com/www.qbitai.com/wp-content/uploads/replace/a8bbd2825c8ed35af2621041d4a819ed.png?w=640&ssl=1)
論文地址:
[1]https://arxiv.org/abs/2305.07141
[2]https://arxiv.org/abs/2311.09247
參考連結:
[1]https://news.ycombinator.com/item?id=38331669
[2]https://twitter.com/joycjhsu/status/1724180191470297458
來源:量子位