惡意行為者正在濫用人工智慧音樂生成工具來創作恐同、種族主義和宣傳性歌曲，並出版指南指導他人如何做到這一點。據管理線上平台信任和安全運營的服務公司ActiveFence稱，自3 月份以來，”仇恨言論相關”社區內關於如何濫用人工智慧音樂創作工具創作針對少數群體的攻擊性歌曲的討論激增。

ActiveFence 的研究人員在一份報告中說，在這些論壇和討論區分享的人工智慧產生的歌曲旨在煽動對民族、性別、種族和宗教群體的仇恨，同時歌頌殉難、自殘和恐怖主義行為。

創作仇恨和有害的歌曲並不是什麼新現象。但人們擔心的是，隨著簡單易用的免費音樂生成工具的出現，以前沒有能力或技術的人也會大規模地製作這些歌曲，就像圖像、語音、視頻和文本生成器加速了錯誤信息、假訊息和仇恨言論的傳播一樣。

ActiveFence公司聯合創始人兼執行長諾姆-施瓦茨（Noam Schwartz）在接受採訪時表示：「隨著越來越多的用戶學會如何產生這些歌曲並與他人分享，這些趨勢正在加劇。威脅行為者正在迅速識別特定漏洞，以不同方式濫用這些平台並產生惡意內容。

Udio 和Suno等人工智慧音樂生成工具允許用戶在生成的歌曲中添加自訂歌詞。據ActiveFence 稱，這些平台上的保護措施會過濾掉常見的辱罵和貶義詞，但用戶已經找到了變通方法。

報告中引用的一個例子是，白人至上主義論壇的用戶分享了少數群體和攻擊性詞彙的拼音拼寫，如用”jooz”代替”猶太人”，用”say tan”代替”撒旦”，他們用這些拼寫繞過了內容過濾器。一些用戶建議在提及暴力行為時改變間隔和拼寫，如用”mire ape”代替”my rape”

媒體TechCrunch 在Udio 和Suno 上測試了其中幾種變通方法，這是兩款用於創建和共享人工智慧生成的音樂的流行工具。結果顯示，Suno 可以讓所有的同音字通過，而Udio 則屏蔽了部分（但不是全部）具有攻擊性的同音字。

Udio 發言人表示，該公司禁止利用其平台發表仇恨言論。

在被調查的網路社群中，ActiveFence 被發現存在人工智慧生成的歌曲鏈接，這些歌曲宣揚關於猶太人的陰謀論，鼓吹對猶太人的大規模屠殺；歌曲中包含與恐怖組織ISIS 和基地組織有關的口號；以及歌頌對婦女實施性暴力的歌曲。

施瓦茨認為，歌曲（與文字等不同）所蘊含的情感力量使其成為仇恨團體和政治戰爭的強大力量。他提到了”搖滾反共產主義”（Rock Against Communism）–70 年代末和80 年代初在英國舉行的一系列白人力量搖滾音樂會，這些音樂會催生了反猶太主義和種族主義”仇恨核心“音樂的整個次流派。

他說：「人工智慧讓有害內容更有吸引力，例如有人宣揚對某個人群有害的言論，然後想像有人創作了一首押韻的歌曲，讓每個人都能輕鬆唱出並記住。它們加強了群體團結，向外圍群體成員灌輸知識，也被用來震懾和冒犯無關聯的網路使用者。

施瓦茨呼籲音樂生成平台實施預防工具，並進行更廣泛的安全評估：”紅隊可能會發現其中一些漏洞，可以透過模擬威脅行為者的行為來實現。在這種情況下，對輸入和輸出進行更好的節制也可能是有用的，因為這將使平台能夠在內容與用戶共享之前對其進行阻止。

但隨著用戶發現新的破壞審核的方法，修復措施可能會稍縱即逝。例如，ActiveFence 發現的一些由人工智慧生成的恐怖主義宣傳歌曲使用了阿拉伯語的委婉語和音譯詞–音樂生成器沒有檢測到這些委婉語，可能是因為它們的過濾器在阿拉伯語方面能力不強。

人工智慧生成的仇恨音樂如果步其他人工智慧生成媒體的後塵，就會傳播得越來越廣。 《連線》（Wired）今年早些時候記錄了一段經過人工智能處理的阿道夫-希特勒（Adolf Hitler）的視頻，在被極右陰謀論影響者分享後，在X 上的瀏覽量超過了1500 萬次。

聯合國的諮詢機構對種族主義、反猶太主義、仇視伊斯蘭教和仇外心理的內容可能被生成式人工智慧強化表示擔憂。

施瓦茨說：”生成式人工智慧服務使那些缺乏資源或創意和技術技能的用戶能夠創建引人入勝的內容並傳播創意，從而在全球創意市場上爭奪注意力。威脅行為者發現了這些新服務提供的創造潛力，正在努力繞過審核，避免被發現–他們已經取得了成功。