幾個月前，走在技術前沿的醫生展示了一種人工智慧轉錄工具，他用它來記錄和總結他的病人會議。在當時的演示中病例摘要表現得很優秀，但ABC News報道中的研究人員發現，OpenAI的Whisper並非總是如此，它雖然為許多醫院的醫生減少了負擔，但也會出現“幻聽”現象，產生捏造事實的內容。

根據ABC News報道，Whisper被一家名為Nabla的公司用於醫療轉錄工具，該公司估計已經轉錄了700 萬次醫療對話。 該媒體寫道，超過30,000 名臨床醫生和40 個醫療系統正在使用該工具。 據報道，Nabla 已經意識到Whisper 會產生幻覺，並正在”解決這個問題”。

一群來自康乃爾大學、華盛頓大學和其他機構的研究人員在一項研究中發現，在大約1% 的轉錄中，Whisper 會產生幻覺，在錄音沉默期間，有時會用暴力情緒或無意義的短語編造整句話。 作為研究的一部分，研究人員從TalkBank 的AphasiaBank 收集了音訊樣本，他們注意到，當患有失語症的語言障礙患者說話時，問題尤其常見。

研究人員之一、康乃爾大學的艾莉森-科內克（Allison Koenecke）在關於研究的主題中發布了下面這樣的例子。

研究人員發現，幻覺還包括編造的醫療條件或YouTube 影片中可能出現的短語，例如”謝謝觀看！”。 (據報導，OpenAI 曾經轉錄了超過一百萬小時的YouTube影片來訓練GPT-4）。

這項研究於6 月在巴西舉行的計算機械協會FAccT 會議上發表。 目前尚不清楚該研究是否經過同儕審查。

OpenAI 發言人Taya Christianson 透過電子郵件發送了一份聲明：

我們非常重視這個問題，並且不斷努力改進，包括減少幻覺。 對於在我們的API 平台上使用Whisper，我們的使用政策禁止在某些高風險決策環境中使用，我們的開源模型卡也建議不要在高風險領域使用。 我們感謝研究人員分享他們的發現。