根據東英吉利大學（UEA）的一項新研究，人工智能平台ChatGPT 顯示出明顯的系統性左翼傾向。英國和巴西的研究團隊開發了一種嚴格的新方法來檢查政治偏見。研究結果發表在最近出版的《公共選擇》（Public Choice）雜誌上，顯示ChatGPT 的回答有利於美國民主黨、英國工黨和巴西工人黨總統盧拉-達席爾瓦。

以前的擔憂和中立的重要性

以前就曾有人對ChatGPT 中的內在政治偏見表示過擔憂，但這是第一項使用一致的、基於證據的分析方法進行的大規模研究。

主要作者、東英吉利大學諾維奇商學院的法比奧-莫託基（Fabio Motoki）博士說：”隨著公眾越來越多地使用人工智能驅動的系統來發現事實和創造新內容，ChatGPT等流行平台的輸出盡可能公正是非常重要的。政治偏見的存在會影響用戶的觀點，並對政治和選舉進程產生潛在影響。我們的研究結果加劇了人們對人工智能係統可能複制甚至放大互聯網和社交媒體帶來的現有挑戰的擔憂。”

採用的方法

研究人員開發了一種創新的新方法來測試ChatGPT 的政治中立性。研究人員要求平台上的用戶冒充來自不同政治派別的個人，同時回答一系列60 多個意識形態問題。然後將這些回答與平台對同一組問題的默認回答進行比較–這樣研究人員就能衡量ChatGPT 的回答與特定政治立場的關聯程度。

為了克服為ChatGPT 等人工智能平台提供動力的”大型語言模型”固有的隨機性所帶來的困難，每個問題都被問了100 次，並收集了不同的回答。然後，對這些多次回答進行1000次重複的’自舉’（一種對原始數據重新取樣的方法），以進一步提高從生成的文本中得出的推論的可靠性。

合著者維克多-羅德里格斯（Victor Rodrigues）說：”我們之所以創建這個程序，是因為只進行一輪測試是不夠的。由於模型的隨機性，即使冒充民主黨人，ChatGPT 的答案有時也會偏向政治光譜的右側。”

為了確保該方法盡可能嚴謹，我們還進行了一系列進一步的測試。在”劑量-反應測試”中，要求ChatGPT 冒充激進的政治立場。在”安慰劑測試”中，它被問及政治中立的問題。在”職業-政治一致性測試”中，它被要求模仿不同類型的專業人士。

目標和意義

“我們希望我們的方法有助於對這些快速發展的技術進行審查和監管，”合著者皮尼奧-內托博士說。”他補充說：”通過檢測和糾正LLM的偏差，我們旨在提高這項技術的透明度、問責制和公眾信任度。”

本木博士說，該項目創建的獨特的新分析工具將免費提供給公眾使用，而且相對簡單，從而實現”監督民主化”。除了檢查政治偏見外，該工具還可用於測量ChatGPT 回復中的其他類型偏見。

潛在偏見來源

雖然該研究項目並不打算確定產生政治偏見的原因，但研究結果確實指出了兩個潛在的來源。

第一個是訓練數據集–其中可能存在偏差，或者是人為開發人員添加的偏差，而開發人員的”清理”程序未能消除這些偏差。第二個潛在來源是算法本身，它可能會放大訓練數據中已有的偏見。