在最近發表在《模式》雜誌上的一項研究中，研究人員證明，通常用於識別人工智能生成文本的計算機算法經常將非母語人士撰寫的文章錯誤地標註為人工智能所創。研究人員警告說，這些人工智能文本檢測程序不可靠的性能可能會對包括學生和求職者在內的許多人產生不利影響。

資深作者、斯坦福大學的詹姆斯-鄒（James Zou）說：”我們目前的建議是，我們應該非常小心，也許應該盡量避免使用這些檢測器。如果用這些檢測器來審查求職申請、大學入學論文或高中作業等，可能會產生重大影響。”

像OpenAI 的ChatGPT 聊天機器人這樣的人工智能工具可以撰寫論文、解決科學和數學問題，並生成計算機代碼。美國各地的教育工作者越來越關注在學生作業中使用人工智能的問題，他們中的許多人已經開始使用GPT 檢測器來篩選學生的作業。這些檢測器是聲稱能夠識別文本是否由人工智能生成的平台，但其可靠性和有效性仍有待檢驗。

鄒和他的團隊對七種流行的GPT 檢測器進行了測試。他們用這些檢測器檢測了91 篇由非英語母語人士撰寫的英語論文，這些文章是為了參加一個被廣泛認可的英語水平測試–托福考試（Test of English as a Foreign Language）。這些平台錯誤地將一半以上的文章標記為人工智能生成，其中一個檢測器將近98% 的文章標記為人工智能所寫。相比之下，這些檢測器能將超過90% 的美國八年級學生撰寫的作文正確歸類為人工生成。

鄒解釋說，這些檢測器的算法是通過評估文本的複雜性（perplexity）來工作的，而文本的複雜性是指文章中選詞的出人意料程度。”如果你使用的是常見的英文單詞，那麼檢測器就會給出較低的易混度分數，這意味著我的文章很可能會被標記為人工智能生成。如果你使用的是複雜的高級詞彙，那麼它就更有可能被算法歸類為人類撰寫的文章。這是因為像ChatGPT 這樣的大型語言模型經過訓練，可以生成低複雜度的文本，從而更好地模擬普通人的說話方式。 “

因此，非英語母語寫作者所採用的簡單選詞會使他們更容易被標記為使用了人工智能。

然後，研究小組將人類撰寫的托福作文放入ChatGPT，並提示它使用更複雜的語言編輯文本，包括用複雜詞彙替換簡單詞彙。GPT 檢測器將這些人工智能編輯的文章標記為人類撰寫的文章。

鄒說：”在課堂環境中使用這些檢測器時，我們應該非常謹慎，因為仍然存在很多偏差，而且它們很容易被愚弄，只需進行最低限度的提示設計即可。使用GPT 檢測器的影響還可能超出教育領域。例如，Google等搜索引擎會貶低人工智能生成的內容，這可能會無意中壓制非英語母語寫作者的聲音。”

雖然人工智能工具可以對學生的學習產生積極影響，但在投入使用之前，GPT 檢測器還需要進一步加強和評估，用更多樣化的寫作類型來訓練這些算法可能是改進這些檢測器的一種方法。