極端主義組織已經開始嘗試使用人工智慧，尤其是生成式人工智慧，以製造大量新的宣傳品。專家現在擔心，這些組織越來越多地使用生成式人工智慧工具，將推翻大科技公司近年來為阻止他們的內容進入網路所做的工作。

「我們最擔心的是，如果恐怖分子開始使用生成式人工智慧大規模操縱圖像，這很可能會摧毀作為解決方案的哈希共享，」科技反恐組織（Tech Against Terrorism）執行董事亞當-哈德利（Adam Hadley）告訴《WIRED》。”這是一個巨大的風險。”

多年來，大科技平台一直在努力創建已知暴力極端主義內容的資料庫，即所謂的哈希資料庫，這些資料庫在各平台間共享，以快速、自動地從網路上刪除此類內容。但據哈德利稱，他的同事現在每週都會發現大約5,000 例人工智慧產生的內容。其中包括最近幾週由與真主黨和哈馬斯有關聯的組織分享的圖片，這些圖片似乎旨在影響圍繞以色列-哈馬斯戰爭的敘事。

哈德利說：『再過六個月左右，[他們]操縱影像來破解雜湊演算法的可能性確實令人擔憂。科技界在打造自動化技術方面做得如此出色，恐怖分子很可能會開始使用基因人工智慧來規避已經完成的工作”。

科技反恐組織的研究人員最近幾個月發現的其他例子還包括：一個新納粹資訊頻道分享人工智慧生成的圖像，這些圖像是利用貼在Google遊戲商店的應用程式中的種族主義和反猶太主義提示製作的；極右翼人士製作了一份”記憶戰爭指南”，建議其他人如何利用人工智慧生成的圖像工具製作極端主義備忘錄；伊斯蘭國”發布了一份關於如何安全使用人工智慧生成工具的技術支援指南；一名親”伊斯蘭國”的存檔服務用戶聲稱使用了基於人工智能的自動語音識別（ASR）系統來轉錄”伊斯蘭國”的阿拉伯語宣傳；以及一家親”基地”組織的媒體發布了幾張海報，其中的圖片極有可能是使用人工智慧生成平台創建的。

除了詳細介紹可以調整影像的生成式人工智慧工具所帶來的威脅之外，科技反恐組織還發表了一份新報告，列舉了基因人工智慧工具可用於幫助極端組織的其他方式。其中包括使用自動翻譯工具，快速、輕鬆地將宣傳內容轉換成多種語言，或大規模創建個人化訊息的能力，以促進線上招募工作。但哈德利認為，人工智慧也提供了一個機會，讓我們可以先於極端組織一步，並利用科技先發制人。

哈德利說：『我們將與微軟公司合作，研究是否有辦法利用我們的資料檔案創建一種基因人工智慧檢測系統，以應對基因人工智慧被大規模用於恐怖主義內容的新威脅。我們相信，基因人工智慧可以用來抵禦對基因人工智慧的敵對使用”。

今天，在克賴斯特徹奇呼籲領導人峰會（Christchurch Call Leaders’ Summit）即將在巴黎舉行的前夕，宣布了這項合作關係。”克賴斯特徹奇呼籲領導人峰會”是旨在消除網路上的恐怖主義和極端主義內容的運動。

微軟公司副董事長兼總裁布拉德-史密斯（Brad Smith）在一份聲明中說：”利用數位平台傳播暴力極端主義內容是一個具有現實後果的緊迫問題。透過將科技反恐的能力與人工智慧相結合，我們希望能夠幫助創造一個在線和離線都更加安全的世界。”

雖然微軟、Google和Facebook 等公司都有自己的人工智慧研究部門，而且很可能已經在部署自己的資源來應對這個問題，但新倡議最終將幫助那些無法獨立應對這些問題的公司。

「這對於那些沒有自己的人工智慧研究中心的小型平台來說尤其重要，」哈德利說。”即使是現在，有了散列資料庫，較小的平台也可能會被這些內容淹沒。”

人工智慧生成內容的威脅不僅限於極端組織。上個月，英國致力於消除網路上剝削兒童內容的非營利組織網路觀察基金會（Internet Watch Foundation）發布了一份報告，詳細描述了暗網上人工智慧工具創建的兒童性虐待材料（CSAM）日益增多的情況。

研究人員發現，在短短一個月的時間裡，有超過2 萬張人工智慧產生的圖片被張貼到一個暗網CSAM 論壇上，其中有11108 張圖片被IWF 研究人員判定為最有可能犯罪的圖片。正如IWF 研究人員在報告中寫道：「這些人工智慧圖像可以如此令人信服，以至於無法與真實圖像區分開來」。