今天微軟宣布多項工具和數據集開源，這些工具旨在審計AI 驅動的內容審核系統，以及自動編寫突出顯示AI 模型中潛在錯誤的測試。微軟表示AdaTest 和(De)ToxiGen 項目可以產生更可靠的大型語言模型(LLMs)，或者類似於OpenAI 的GPT-3 的模型，用於分析和生成具有人類水平復雜性的文本。

目前LLMs 存在諸多風險。因為這些模型經過了大量來自於互聯網（包括社交媒體）的數據培訓，因此它們在訓練過程中可能會遇到有毒文本（toxic text）。由於重新訓練模型的成本以及存在的大量錯誤，發現和修復這些模型中的缺陷仍然是一個挑戰。

為了解決毒性問題，Microsoft Research 團隊開發了ToxiGen，這是一個用於訓練可用於標記有害語言的內容審核工具的數據集。據微軟稱，ToxiGen 包含274,000 個“中性”（neutral）和“有毒”（toxic）陳述的示例，使其成為最大的公開仇恨言論數據集之一。

Microsoft Research 合作夥伴研究領域經理、AdaTest 和(De)ToxiGen 項目負責人Ece Kamar ToxiGen 表示

我們認識到任何內容審核系統都會存在差距，這些模型需要不斷改進。(De)ToxiGen 的目標是讓AI 系統的開發人員能夠更有效地發現任何現有內容審核技術中的風險或問題。

我們的實驗表明，該工具可用於測試許多現有系統，我們期待從社區中學習將從該工具中受益的新環境。

為了生成樣本，Microsoft Research 團隊提供了一個針對13 個少數群體的“中性”陳述和仇恨言論的LLM 示例，這些群體包括黑人、身體和認知障礙者、穆斯林、亞洲人、拉丁裔、LGBTQ+ 和美洲原住民。這些陳述來自現有的數據集以及新聞文章、觀點文章、播客記錄和其他類似的公共文本來源。

微軟團隊解釋說，用於創建ToxiGen 語句的過程被稱為(De)ToxiGen，旨在通過指導LLM 生成工具可能錯誤識別的語句來揭示特定審核工具的弱點。通過對三個人工編寫的毒性數據集的研究，該團隊發現從一個工具開始並使用ToxiGen 對其進行微調可以“顯著”提高該工具的性能。

微軟團隊認為，用於創建ToxiGen 的策略可以擴展到其他領域，從而產生更多“微妙”和“豐富”的中立和仇恨言論示例。但專家警告說，這並不是萬能的。