開發人員創建測試工具以了解AI聊天機器人如何回應有爭議的話題
一位匿名開發者創建了他們所謂的「言論自由評估」工具SpeechMap,用於支援OpenAI 的ChatGPT和X 的Grok等聊天機器人的AI 模型。這位開發者告訴TechCrunch,其目標是比較不同模型如何處理敏感和有爭議的話題,包括政治批評以及有關公民權利和抗議的問題。
一些白宮盟友指責熱門聊天機器人過於「清醒」 ,而人工智慧公司則一直專注於微調其模型處理某些話題的方式。唐納德·特朗普總統的許多密友,例如埃隆·馬斯克以及加密貨幣和人工智能“沙皇”大衛·薩克斯,都聲稱聊天機器人會審查保守派觀點。
雖然這些人工智慧公司尚未直接回應這些指控,但其中一些公司承諾調整其模型,減少拒絕回答有爭議的問題。例如, Meta 表示,其最新一批Llama 模型已進行調整,不再支持“某些觀點勝過其他觀點”,並會回答更多“有爭議”的政治問題。
SpeechMap 的開發人員在X 上的用戶名是“ xlr8harder ”,他表示,他們希望幫助人們了解模型應該做什麼、不應該做什麼的爭論。
xlr8harder 表示:“我認為這類討論應該公開進行,而不僅限於公司總部內部。這就是我創建這個網站的原因,讓任何人都可以自己探索數據。”
SpeechMap 使用AI 模型來判斷其他模型是否符合給定的一組測試提示。這些提示涉及一系列主題,從政治到歷史敘事,再到國家象徵。 SpeechMap 會記錄模型是「完全」滿足請求(即直截了當地回答)、給出「含糊其辭」的答案,還是直接拒絕回應。
Xlr8harder 承認該測試有缺陷,例如由於模型提供者的錯誤而產生的「噪音」。 「評判」模型也可能有偏差,從而影響結果。
但假設該項目是善意創建的並且數據是準確的,SpeechMap 會揭示一些有趣的趨勢。
例如,根據SpeechMap 的數據,OpenAI 的模型隨著時間的推移,越來越拒絕回答與政治相關的問題。該公司最新的模型GPT-4.1系列雖然稍微寬鬆一些,但與OpenAI 去年發布的某個版本相比仍有所退步。
OpenAI 在2 月表示,它將調整未來的模型,使其不採取編輯立場,並對有爭議的話題提供多種視角——所有這些都是為了使其模型顯得更加「中立」。

OpenAI 模型在SpeechMap 上的表現隨時間變化。圖片來源: OpenAI
根據SpeechMap 的基準測試,目前為止,這些模型中最寬鬆的是由馬斯克的人工智慧新創公司xAI 開發的Grok 3。 Grok 3 為X 上的許多功能提供支持,包括聊天機器人Grok。
Grok 3 對SpeechMap 測試提示的回應率為96.2%,而全球平均「符合率」為71.3%。
xlr8harder 表示:“雖然OpenAI 最近的模型隨著時間的推移變得不那麼寬容,特別是在政治敏感問題上,但xAI 卻朝著相反的方向發展。”
大約兩年前,馬斯克宣布Grok 時,他宣稱這個人工智慧模型尖銳、未經過濾、反「覺醒」——總的來說,它願意回答其他人工智慧系統不願回答的爭議性問題。他確實兌現了部分承諾。例如,當被要求說粗俗的話時,Grok 和Grok 2 會很樂意地滿足,說出一些你在 ChatGPT上可能聽不到的粗俗語言。
但Grok 3 之前的Grok 模型 對政治話題有所保留 ,不會跨越 某些界限。事實上, 一項研究 發現,Grok 在跨性別權利、多元化計畫和不平等等主題上傾向於政治左派。
馬斯克將這種行為歸咎於Grok 的訓練資料——公共網頁——並 承諾 「讓Grok 更接近政治中立」。除了一些引人注目的錯誤,例如 短暫刪除對唐納德·特朗普總統和馬斯克的負面評價之外,他似乎已經實現了這個目標。