測試結果證明ChatGPT能夠進入原創性思維前1%的行列
蒙大拿大學及其合作夥伴的最新研究結果表明,根據一項標準的創造力測試,人工智能可以與人類前1%參與者的創造能力相媲美。在蒙大拿大學商學院助理臨床教授Erik Guzik 博士的領導下,研究小組採用了托倫斯創造性思維測試(Torrance Tests of Creative Thinking)–一種幾十年來用於評估人類創造力的著名工具。
研究人員提交了由GPT-4 人工智能引擎驅動的應用程序ChatGPT 生成的8 個答案。他們還提交了一個對照組的答案,該對照組由24 名選修古茲克的創業和個人理財課程的UM 學生組成。這些分數與2016 年參加TTCT 考試的全國2700 名大學生進行了比較。所有提交的答案都由Scholastic Testing Service 進行評分,該公司並不知道人工智能參與其中。
結果顯示,ChatGPT 在創造力方面名列前茅。人工智能應用程序在流暢性(產生大量想法的能力)和原創性(提出新想法的能力)方面都名列前茅。在靈活性(產生不同類型和類別創意的能力)方面,人工智能表現略顯不足,排名第97 位。
“對於ChatGPT 和GPT-4,我們首次發現它在原創性方面的表現位於前1%,”古茲克說。
他欣慰地註意到,他的一些UM學生的表現也進入了前1%。不過,ChatGTP 的表現超過了全國絕大多數大學生。
Erik Guzik 是蒙大拿大學商學院的臨床助理教授。圖片來源:Ryan Brennecke 蒙大拿大學
古茲克在春季學期對人工智能和他的學生進行了測試。蒙大拿大學西部分校的Christian Gilde 和維爾紐斯大學的Christian Byrge 協助他完成了這項工作。研究人員於五月份在南俄勒岡大學創造力大會上介紹了他們的工作。
“我們在會議上非常謹慎,沒有過多地解釋數據,”Guzik 說。”我們只是展示了結果。但我們分享了強有力的證據,表明人工智能似乎正在開發與人類能力相當甚至超過人類能力的創造能力。”
他問ChatGPT,如果它在TTCT 上表現出色,會說明什麼。人工智能給出了一個有力的答案,他們在大會上分享了這個答案:ChatGPT 告訴我們,我們可能無法完全理解人類的創造力,我認為這是正確的。它還建議我們可能需要更複雜的評估工具,以區分人類和人工智能產生的創意。TTCT 是受保護的專有資料,因此ChatGPT 無法通過訪問互聯網或公共數據庫中的測試信息來”作弊”。
長期以來,古茲克一直對創造力很感興趣。在馬薩諸塞州帕爾默小鎮長大的七年級學生時,他參加了一個天才學生項目。那次經歷讓他了解到埃利斯-保羅-托倫斯(Ellis Paul Torrance)開發的”未來問題解決”程序,這位心理學家也是TTCT 的創始人。古茲克說,他當時就愛上了頭腦風暴,愛上了它如何發掘人類的想像力,他一直活躍在未來問題解決組織中,甚至在一次會議上認識了他的妻子。
過去一年,Guzik 和他的團隊在玩過ChatGPT 之後,決定對其創造力進行測試。他說:”我們一直在探索ChatGPT,我們注意到它做了一些我們意想不到的有趣事情。有些反應很新穎,令人吃驚。於是我們決定對它進行測試,看看它到底有多大的創造力。”
古茲克說,TTCT 測試使用了模仿現實生活中創造性任務的提示。例如,你能想到一種產品的新用途或改進這種產品嗎?
“比方說,這是一個籃球,”他說。”盡可能多地想一想籃球的用途。你可以在籃圈裡投籃,也可以在展示架上使用。如果你強迫自己去思考新的用途,也許你可以把它切碎,用作花盆。或者用磚頭堆砌東西,或者用作鎮紙。但也許你可以把它磨碎,改造成全新的東西。”
古茲克曾對ChatGPT 抱有一些期望,希望它能善於創造很多想法(流暢性),因為這正是生成式人工智能的工作。在評估人員看來,ChatGPT 在回應提示方面表現出色,提出了許多相關、有用和有價值的想法。
更讓他感到驚訝的是,人工智能在產生原創性想法方面表現出色,而這正是人類想像力的標誌。測試評估人員得到了一份提示的常見回答列表,這些回答幾乎都是預期會提交的。然而,人工智能在提出新穎回答方面卻名列前茅。
“在會議上,我們了解到一年前對GPT-3 所做的研究,”Guzik 說。”當時,ChatGPT 在涉及原創性思維的任務上得分不如人類。現在有了更先進的GPT-4,它已經進入了所有人類反應的前1%。”
隨著人工智能進步的加快,他預計人工智能將成為未來商業世界的重要工具,並成為地區和國家創新的重要新動力。
“對我來說,創造力就是以不同的方式做事,”古茲克說。”我喜歡的創業定義之一是,創業就是以不同的方式思考。因此,人工智能可以幫助我們將創造性思維的世界應用到商業和創新過程中,這對我來說非常吸引人。”
他說,UM 商學院對人工智能教學持開放態度,並將其納入課程學習。”我認為,我們知道未來會以某種方式將人工智能納入其中,”Guzik 說。”我們必須謹慎對待人工智能的使用方式,並考慮所需的規則和法規。但企業已經在使用它來完成許多創造性的任務。就創業和區域創新而言,這是一個改變遊戲規則的因素。 “