從編造學術論文到 抄襲藝術家，生成式人工智慧有大量記錄詳實的錯誤。 現在，它似乎又出現在國家影響力行動中。根據馬薩諸塞州威脅情報公司Recorded Future 的最新報告，最近的一次活動”很可能”得到了商業人工智慧語音生成產品的幫助，其中包括熱門新創公司ElevenLabs 公開發布的技術。

該報告描述了一場與俄羅斯有關的活動，旨在破壞歐洲對烏克蘭的支持，該活動被稱為”暗殺行動”，在虛假或誤導性的”新聞”視頻中突出使用了人工智能生成的配音。

這些影片以歐洲受眾為目標，除其他主題外，還攻擊烏克蘭政客腐敗或質疑向烏克蘭提供軍事援助的有用性。

報告指出，視訊創作者”很有可能”使用了語音生成的人工智慧，包括ElevenLabs 的技術，以使其內容看起來更合法。 為了驗證這一點，Recorded Future 的研究人員將這些片段提交給ElevenLabs 自己的AI 語音分類器，該分類器可讓任何人”檢測音頻片段是否使用ElevenLabs 創建”，並得到了匹配結果；

ElevenLabs沒有回應置評請求。 雖然Recorded Future指出可能會使用幾種商業人工智慧語音產生工具，但它並沒有指出ElevenLabs以外的其他工具。

影響運動自己的策劃者無意中展示了人工智慧語音生成的實用性，他們相當草率地發布了一些帶有真人配音的視頻，這些配音帶有”明顯的俄羅斯口音”。 相較之下，人工智慧生成的配音使用了多種歐洲語言，如英語、法語、德語和波蘭語，沒有任何外國口音。

根據Recorded Future 的說法，人工智慧還允許以歐洲的多種語言快速發布誤導性片段，如英語、德語、法語、波蘭語和土耳其語（所有語言都由ElevenLabs 支持）。

Recorded Future 將這一活動歸咎於Social Design Agency，這是一個總部位於俄羅斯的組織，美國政府於今年3 月制裁了該組織，原因是其運營著”一個由60 多個網站組成的網絡，這些網站假冒歐洲真正的新聞機構，然後使用虛假的社交媒體帳戶來擴大這些欺騙網站的誤導性內容”。 美國國務院當時表示，這一切都是”代表俄羅斯聯邦政府”進行的。

Recorded Future得出的結論是，該活動對歐洲輿論的整體影響微乎其微。

據彭博社報道，一家語音詐欺偵測公司得出結論稱，這並不是ElevenLabs 的產品第一次被指濫用。一家語音詐欺檢測公司得出結論稱，在2024 年1 月的一次初選中，該公司的技術在冒充美國總統喬拜登（Joe Biden）的機器人電話中發揮了作用，該電話敦促選民不要外出投票。 作為回應，ElevenLabs 表示它發布了新的安全功能，例如自動封鎖政客的聲音。

ElevenLabs禁止“未經授權的、有害的或欺騙性的假冒行為”，稱它使用各種工具來執行這一規定，如自動和人工審核；

ElevenLabs 自2022 年成立以來經歷了爆炸式的增長。 該公司最近的淨資產收益率從不到一年前的2,500 萬美元增長到了8,000 萬美元，估值可能很快就會達到30 億美元。 其投資者包括Andreessen Horowitz 和Github 前執行長Nat Friedman。