自從生成式人工智慧和大型語言模型出現以來，一些人曾警告說，人工智慧產生的輸出最終可能會影響後續的人工智慧產生的輸出，從而形成一個危險的回饋迴路。我們現在有了這樣一個記錄在案的案例，進一步凸顯了新興科技領域的風險。

一位研究人員在試圖舉例說明人工智慧聊天機器人產生幻覺的假訊息時，無意中影響了搜尋結果的排名，導致另一個聊天機器人產生幻覺。這起事件表明，隨著人工智慧增強型搜尋引擎的普及，有必要採取進一步的保障措施。

資訊科學研究員丹尼爾-格里芬（Daniel S. Griffin）今年稍早在自己的部落格上發布了兩個聊天機器人提供錯誤訊息的例子，涉及有影響力的電腦科學家克勞德-香農（Claude E . Shannon）。格里芬還附上了免責聲明，指出聊天機器人提供的信息是不真實的，以阻止機器搜索器索引這些信息，但這還不夠。

格里芬最終發現，包括微軟必應和Google Bard在內的多個聊天機器人都把他發布的幻覺訊息當成了真實訊息，並將其排在了搜尋結果的前列。當被問及有關香農的具體問題時，機器人以格里芬的警告為基礎，進行了一致但虛假的敘述，將一篇香農從未寫過的論文歸因於香農。更令人擔憂的是，必應和巴德的搜尋結果並沒有顯示它們的來源是一位法學碩士。

這種情況類似於人們斷章取義或斷章取義地引用資料來源，從而導致錯誤的研究。格里芬的案例證明，生成式人工智慧模型有可能以可怕的規模自動糾正這種錯誤。

微軟隨後在必應中糾正了這一錯誤，並假設在處理網路人類撰寫資料相對較少的主題時，更有可能出現這一問題。這個先例具有危險性的另一個原因是，它為不良分子提供了一個理論藍圖，使他們可以故意利用LLM，透過影響搜尋結果來傳播錯誤訊息。眾所周知，駭客透過調整詐騙網站來獲得搜尋結果的最高排名，從而傳播惡意軟體。

該漏洞與六月的一項警告不謀而合，該警告指出，隨著網路上出現更多由LLM 產生的內容，這些內容將用於訓練未來的LLM。由此產生的反饋循環可能會在一種被稱為”模型崩潰”的現像中極大地削弱人工智慧模型的品質和可信度。

使用人工智慧的公司應確保培訓持續優先考慮人工製作的內容。保留知名度較低的資訊和少數群體製作的材料有助於解決這一問題。