權威政府和犯罪團夥正在爭先恐後地利用人工智慧增添其網路攻擊的能力，這些攻擊可能會打開守護我們最敏感機密和最重要基礎設施的大門——這將增加醫院、學校、城市和企業的危險，因為它們已經經常成為駭客詐騙電子郵件的犧牲品，而駭客也會繼續製造混亂。

隨著科技的不斷發展，人們越來越擔心大型語言模型（LLM）（如ChatGPT）被用於犯罪目的的可能性。人工智慧將大大提高網路釣魚郵件的成功率，這是駭客入侵人們的電腦、電子郵件帳戶和公司伺服器的最具破壞性的有效技術。目前，90% 以上的網路攻擊都是從網路釣魚資訊開始的，它們偽裝成來自朋友、家人或商業夥伴的合法通信，誘騙人們在虛假登錄頁面上輸入密碼或下載惡意軟體，從而竊取資料或監視他們。透過利用人工智慧的文本生成和數據分析能力，駭客將能夠發送更有說服力的網路釣魚訊息，誘騙更多受害者，造成難以計數的損失。

地下社群對LLM 抱持極大的興趣，惡意LLM 產品也將隨之出現。一個名為last/laste 的未知開發者創建了自己的ChatGPT LLM 聊天機器人，旨在幫助網路犯罪分子： WormGPT。WormGPT 誕生於2021 年3 月，直到6 月，開發者才開始在一個受歡迎的駭客論壇上出售該平台的存取權。與ChatGPT 等主流LLM 不同，這個駭客聊天機器人沒有任何限制，無法回答有關非法活動的問題。聊天機器人的創建平台是2021 年推出的相對過時的開源大型GPT-J 語言模型。聊天機器人接受了惡意軟體開發相關資料的培訓，這就是WormGPT 的誕生過程。開發人員估計，訪問WormGPT 的費用為每月60 歐元至100 歐元，或每年550 歐元。

專家認為，俄羅斯等威權國家正在研究人工智慧的惡意用途，包括用於網路釣魚。而在地下犯罪組織中，有才華的開發者已經在建立和出售客製化人工智慧平台的存取權限，例如WormGPT（可產生令人信服的網路釣魚資訊）和FraudGPT（可創建虛假網站以支援網路釣魚活動）。

網路公司Trustwave 高級安全研究經理菲爾-海伊（Phil Hay）說：”我們完全可以預見，攻擊者將越來越多地利用人工智慧來創建他們的網路釣魚活動。”

網路釣魚領域這場迫在眉睫的革命–由同樣的技術驅動–已經讓用戶眼花繚亂，因為這種技術能夠在幾秒鐘內撰寫論文並製作出假肖像–讓一些網路安全專家感到震驚，他們擔心即將出現的惡意訊息會過於複雜，大多數人都無法辨識。

聯邦網路安全和基礎設施安全局網路部門前負責人布萊恩-瓦爾（Bryan Ware）說：「如果人工智慧像我們現在談論的那樣起飛，那麼網路釣魚的企圖將變得越來越嚴重，越來越難以防範，也越來越難以發現。」
如果犯罪分子擁有自己的類似ChatGPT 的工具，那麼對網路安全、社交工程和整體數位安全的影響將是巨大的。這一前景凸顯了我們在努力確保人工智慧技術安全和負責任地開發人工智慧技術時保持警惕的重要性，以降低潛在風險並防止濫用。