沃頓商學院:ChatGPT的創意能力比MBA學生更好
全球最大商學院之一賓夕法尼亞大學-沃頓商學院,在官網公佈了一項研究,ChatGPT(GPT-4)在創意想法測試中,其能力超過了精英MBA學生。該測試是讓ChatGPT和MBA學生,為大學生市場設計出零售價為50 美元或以下,200個產品創意。衡量創意的標準是,看誰的創意能讓商品賣的更多。
ChatGPT在15分鐘內自動生成了200個產品創意;MBA學生15分鐘只想出了5個創意。結果顯示,ChatGPT的產品平均購買率為46.8%,而學生的購買率只有40.4%落後於AI機器人。
沃頓商學院教授兼創新研究管理所聯席主席- Christian Terwiesc表示,我一直以為創意是人類最擅長領域之一,但測試結果讓人大吃一驚。顯而易見,每個人都應該嘗試通過ChatGPT產生更好的創意想法。
主要研究發現
ChatGPT等生成式AI,可以幫助人類突破創意瓶頸,吸取多元化靈感實現寬泛的創意思維。
相比人工,ChatGPT可以提供更便宜、高效的工作執行力。
ChatGPT在本次測試中,生成創意想法的質量、效率,全面領先那些高智商、訓練有素的MBA學生。也就是說,生成式AI不僅能應用在“死記硬背”的業務上,同樣可以勝任創意方面工作。
可以嘗試ChatGPT等生成式AI,作為創意助手應用在各種業務場景中,以提升工作和創意效率。
測試研究簡單介紹
沃頓商學院有超過20年的產品設計和創新課程教學經驗,已舉辦了10多次類似的產品創意挑戰賽。本次測試,是從2021年課堂上選取的200個題目。
這些題目包括一個標題和一段描述性文字,整體創建一個針對大學生市場,涵蓋多種日常物品例如,鞋子、本、筆、衣服等,零售價是50美元或低於這個價格(設置價格上限是為了增加測試題目的複雜性)。
一名測試人員將200個測試題目輸入到ChatGPT中,15分鐘就生成了200個創意想法(100個自然生成,100個有示例提示)。而一名MBA學生15分鐘只想出了5個想法,如果是團隊執行效率可能會更差。因為,會產生意見分歧,可能會出現激烈討論的場景消耗更多時間。
雖然ChatGPT的創意效率很高,但也可能摻雜了很多較差的想法。所以,經濟價值是衡量創意的最佳選擇。
研究人員找到了一些學生組成了評估小組,對ChatGPT和MBA學生想出的400個創意想法進行了綜合評估。每位受訪者平均評估了40個想法,平均每個想法被評估了20次,來體現他們對商品的購買意願。
測試結果
評估者被要求使用標準的“五框”選項,來表達購買意願:肯定不會購買,可能不會購買,可能會也可能不會購買,可能會購買,肯定會購買。
這五種回應的加權,分別為0, 0.25, 0.50, 0.75, 和1.00,以此來開發一個購買概率的衡量標準。這種加權方法由Jameson和Bass教授在1989年提出,是一套成熟的評估體系。
測試結果顯示,以購買意願為度量標準,ChatGPT生成的想法的平均質量,高於人類生成的想法的平均質量。人類生成的想法的平均購買概率是40.4%,原始ChatGPT的平均購買概率是46.8%,而提供有示例提示的ChatGPT的平均購買概率是49.3%。
此外,ChatGPT在測試樣本中生成了評價最高的創意想法,其購買概率比最好的人類想法高出11%。
總體來說,由ChatGPT和人類生成的400個想法中。前40個想法(前10%)中,有35個(佔87.5%)是由ChatGPT生成的。換句話說,在一對一的比賽中,大部分的優勝者全部來自ChatGPT。
關於沃頓商學院
沃頓商學院(The Wharton School)創建於1881年,隸屬於賓夕法尼亞大學是世界上最古老、最大的商學院之一,也是美國最有影響力的商學院之一。
沃頓商學院以其在金融、經濟學、實業管理、創新和全球商業戰略等領域的卓越教育和研究而聞名。沃頓商學院的校友遍布全球各行各業,其中包括多位諾貝爾獎得主、成功的商業領袖等。