想想看當你正在和人工智慧應用進行語音交談時，突然人工智慧的聲音不是預設的聲音，而是模仿你的聲音說話，聽起來是不是讓人毛骨悚然。日前OpenAI 就透露ChatGPT 在測試期間出現了這種意外情況，ChatGPT 在和用戶進行對話時，因為某種原因突然模仿用戶的聲音說話。

這項測試是OpenAI 僱用的紅隊成員(進行對抗性測試並找出問題) 測試期間發現的，隨後OpenAI 對系統進行溯源，OpenAI 稱ChatGPT 的高級語音模式在嘈雜的輸入環境中可能會出現這種無意識情況。

正常情況下ChatGPT 高階即時語音模式在未獲得用戶同意的情況下，無法模仿使用者的聲音，這種本身就有安全機制，但測試暴露的問題則是安全機制有漏洞。

OpenAI 解釋有個專門的系統用來偵測模型是否正在產生未經授權的音頻，即OpenAI 設定的機制就是模型只能使用預先設定好的聲音，同時還有個名為輸出分類器來偵測模型是否偏離了預設的聲音。

無論是哪種情況只要出現「違規」 系統應該就會進行修正，但此次紅隊測試的案例表明人工智慧透過某種方式突破了限制，OpenAI 並未透露修正的情況，但該公司強調已經採取了安全措施用來防止這種情況再次發生。

理論上說只要出現這種問題想要徹底解決就是非常困難的，畢竟模型在長期對話中總是可能找到某種方式突破安全邊界，現在縫縫補補可能也只是減少發生的機率，想要徹底杜絕應該比較困難。