ChatGPT能通過CFA考試嗎?摩根大通研究人員試圖找出答案
放鬆點,華爾街。ChatGPT距離通過CFA考試,搶走金融專業人士的飯碗還有一段距離。由摩根大通AI研究人員和大學學者組成的團隊對於ChatGPT和GPT-4聊天機器人是否有機會通過CFA前兩個級別的考試進行了一番測試。一般來說人類需要花四年時間才能通過CFA三個等級的考試,而拿到CFA證書通常意味著更高薪水和更好的工作機會。
研究人員在長達11頁的報告中寫道,「基於預估的通過率和平均自報分數,我們得出的結論是ChatGPT可能無法在所有測試環境下通過CFA一級和二級考試。如果有提示,GPT-4將有較大機會通過CFA一級和二級考試。”
CFA協會負責教育的董事總經理Chris Wiese承認,大語言模型將有能力正確回答一些考試問題。他說該公司還在考慮使用大語言模型技術來幫助CFA考生。
近年來CFA考試的通過率有下降趨勢,8月一級考試通膨率平均為37%,遠低於2018年43%的平均值。
常見錯誤
CFA一級考試有180題單題,二級考試包括個案研究和88道選擇題。研究人員發現,無論使用何種類型的提示,這兩個大語言模型的二級考試結果都不理想。
在一級考試中,ChatGPT和GPT-4在衍生性商品、另類投資、股權投資和倫理道德這幾個部分得分最高。這兩款聊天機器人在財務報告分析和投資組合管理方面表現都相對較差。
在二級考試中,與GPT-4相比,ChatGPT在另類投資、固定收益工具這兩個部分錶現較差,ChatGPT在投資組合管理、經濟相關的領域得分高於GPT-4。
ChatGPT的大多數錯誤是基於知識性,而GPT-4最常犯的是計算錯誤。
研究人員發現GPT-4比ChatGPT更容易出現推理錯誤。