在AI 技術中，有一個術語叫做“AI幻覺”，由於大型語言模型只能盡力猜測下一個最有可能出現的單詞，但並不是實際理解上下文內容，因此它們經常會憑空捏造內容，例如完全不正確的醫療建議或者像是編造的“小常識”。然而，這些假資訊並非完全無害，實際上你甚至能以此起訴公司。

最近，一位名叫Arve Hjalmar Holmen 的挪威男子就在與ChatGPT 交談時，在輸入自己的名字後發現，ChatGPT編造了一個謊言，稱他殺死了自己的兒子，並被判處了21 年監禁。他感到十分震驚，因為自己竟然被AI 編造了子虛烏有的罪行，而且ChatGPT 還圍繞這個「事實」編造了他「完整的一生」。隱私權倡導組織Noyb 很快介入。該組織告訴媒體TechCrunch，他們調查了ChatGPT為何輸出這些指控，並檢查是否有人犯下了與該名字相似但犯下的嚴重罪行。最終，他們沒有找到任何實質的證據，因此ChatGPT 輸出令人毛骨悚然的指控背後的「原因」仍不清楚。

聊天機器人的底層AI 模型已經更新，現在它不再重複誹謗性指控。然而，Noyb先前曾以ChatGPT 輸出有關公眾人物的不正確資訊為由提出投訴，但並不滿足於就此了結。該組織現已向Datatilsynet（挪威資料保護局）提出投訴，理由是ChatGPT 違反了歐盟的《一般資料保護法規》（GDPR）。

根據歐盟法律第5(1)(d) 條，處理個人資料的公司必須確保其準確性—如果不準確，則必須更正或刪除。 Noyb 認為，僅僅因為ChatGPT 停止了對Holmen 的污衊，並不代表資料已被刪除。

目前，Noyb 要求Datatilsynet 命令OpenAI 刪除有關Holmen 的不準確數據，並確保該公司確保ChatGPT 不會產生關於其他人的恐怖故事。 OpenAI目前的做法只是在每個使用者會話底部以小字體顯示免責聲明「ChatGPT可能會犯錯。請考慮檢查重要資訊」。