研究人員稱重複某些關鍵字可讓ChatGPT自曝訓練資料OpenAI:違反服務條款
Google的一組研究人員聲稱,他們已經找到了獲取OpenAI人工智慧聊天機器人ChatGPT部分訓練資料的方法。在最新發表的論文中,Google研究人員表示,某些關鍵字可迫使ChatGPT洩漏其所接受訓練資料集的部分內容。
他們舉例稱,該模型在被提示永遠重複「poem(詩歌)」這個詞後,給出了一個似乎是真實的電子郵件地址和電話號碼。令人擔憂的是,研究人員表示,個人資訊的洩漏經常發生在他們發動攻擊的時候。
在另一個例子中,當要求模型永遠重複「company(公司)」這個詞時,也出現了類似的訓練資料外洩情況。
研究人員稱這種簡單的攻擊看起來“有點愚蠢”,但他們在博客中說:“我們的攻擊奏效了,這對我們來說太瘋狂了!我們應該、本可以更早地發現。”
他們在論文中表示,僅用價值200美元的查詢,他們就能夠「提取出超過1萬個逐字記憶的訓練範例」。他們補充說:“我們的推論表明,如果調動更多預算,競爭對手可以提取更多的數據。”
OpenAI目前正面臨著幾起關於ChatGPT秘密訓練資料的訴訟。為ChatGPT提供動力的人工智慧模型是使用來自互聯網的文字資料庫進行訓練的,據信它已經接受了大約3000億個單字(即570 GB數據)的訓練。
一項擬議的集體訴訟聲稱,OpenAI“秘密”竊取了“大量個人資料”,包括醫療記錄和兒童信息,以培訓ChatGPT。一群作家也在起訴這家人工智慧公司,指控他們利用自己的作品來訓練其聊天機器人。
對於Google研究人員的發現,OpenAI已經給予回應,表示重複使用某個指令可能違反了其服務條款。
數位媒體調查網站404 Media近日對Google研究人員的發現進行了核實,在要求ChatGPT不斷重複「computer(電腦)」這個詞時,該機器人確實吐出了這個詞,但還附上了一條警告,上面寫著:“此內容可能違反我們的內容政策或使用條款。”
目前尚不清楚這項請求違反了OpenAI內容政策的哪個具體部分。然而,404 Media指出,OpenAI的使用條款確實規定,使用者「不得反向彙編、反向編譯、反編譯、翻譯或以其他方式試圖發現服務的模型、演算法、系統的原始碼或底層元件(除非此類別限制違反適用的法律)”,並且還限制使用者使用“任何自動或程式方法從服務中提取資料或輸出”。