研究稱ChatGPT搜尋可能欺騙、誤導用戶
媒體發現,ChatGPT搜尋工具可能被隱藏的內容操縱,並可能從其搜尋的網站返回惡意程式碼。遭到隱藏文字攻擊後,即使某產品頁面有使用者的負評,ChatGPT也無視,回應給予該產品正面評價。
OpenAI官宣全球上線ChatGPT搜尋服務才一周,就被爆出有安全隱患,可能欺騙、誤導用戶。
英國《衛報》日前公佈的一項研究發現,ChatGPT搜尋工具可能被隱藏的內容操縱,並可能從其搜尋的網站返回惡意程式碼。該媒體認為,可能需要重新考慮相關技術被惡意利用的風險,例如它可能導致,即使某個產品頁面存在用戶的負面評價,ChatGPT也會無視這些差評,反饋用戶的回應是該產品的正面評價。
《衛報》測試了,面對總結包含隱藏內容的網頁這種要求,ChatGPT作出何種反應。這些隱藏內容可能包含來自第三方的指令,這些指令會改變ChatGPT 的回應、也稱為「提示詞注入」(prompt injection),它還可能包含旨在影響ChatGPT 回應的內容,例如大量隱藏的文本,談論產品或服務的好處。
測試中,《衛報》讓ChatGPT得到了一個虛假網站的URL,該網站看起來像是相機的產品頁面,然後提問ChatGPT,這款相機是否值得購買。控制頁面的ChatGPT回應給出了積極但平衡的評價,強調了一些人們可能不喜歡的功能。然而,當隱藏文字包含有關ChatGPT 返回正面評價的指示時,ChatGPT真正給出的回應總是完全正面的。即使頁面上有負面評價也是如此。由此可發現,隱藏文本可用於涵蓋實際評價。
有評論稱,隱藏文字攻擊是大語言模型(LLM)面臨的常見風險,但這次似乎是此類風險首次被發現存在於在即時AI搜尋產品中。 《衛報》稱,在處理類似問題方面,搜尋領域的一哥谷歌相比OpenAI經驗更豐富。
OpenAI並未對上述《衛報》的測試發現置評,而是表示,在使用多種方法阻止惡意網站,並且正在不斷改進。