大科技公司繼續不計後果地投入數十億美元，為消費者提供人工智慧助理。微軟的Copilot、Google的Bard、亞馬遜的Alexa 和Meta 的Chatbot 都已經擁有了生成式人工智慧引擎。蘋果是少數似乎在慢慢將Siri 升級為LLM 的公司之一。它希望與本地運行而非雲端運行的LLM 競爭。

更糟的是，生成式人工智慧（GenAI）系統，甚至像巴德（Bard）等大型語言模型（LLM），都需要大量的處理，因此它們通常透過向雲端發送提示來工作。這種做法會帶來一系列其他的隱私問題，並為惡意行為者提供新的攻擊載體。

ComPromptMized 公司的資訊安全研究人員最近發表了一篇論文，展示了他們如何創建”零點擊”蠕蟲，從而”毒害”由Gemini (Bard) 或GPT-4 (Bing/Copilot/ChatGPT) 等引擎驅動的LLM生態系。蠕蟲病毒是一組電腦指令，除了打開受感染的電子郵件或插入U盤外，使用者幾乎不需要採取任何行動，就能隱密地感染多個系統。任何GenAI 供應商都沒有防範措施來阻止此類感染。不過，將這種病毒引入LLM 資料庫則比較棘手。

研究人員想知道”攻擊者能否開發惡意軟體，利用代理的GenAI 元件，對整個GenAI 生態系統發動網路攻擊？”簡短的回答是肯定的。

ComPromptMized 創造了一個蠕蟲病毒，他們稱為莫里斯二世（Morris the Second，簡稱Morris II）。莫里斯二號使用簡單易懂的”對抗性自我複製提示”，誘騙聊天機器人在用戶之間傳播蠕蟲病毒，即使他們使用不同的LLM。

“這項研究表明，攻擊者可以在輸入中插入此類提示，當GenAI 模型處理這些輸入時，會促使模型將輸入複製為輸出（複製），並從事惡意活動（有效載荷），”研究人員解釋說。”此外，這些輸入還能利用GenAI 生態系內的連通性，迫使代理人將其傳遞（傳播）給新的代理”。

為了驗證這個理論，研究人員創建了一個孤立的電子郵件伺服器，用於”攻擊”由Gemini Pro、ChatGPT 4 和開源LLM LLaVA 支援的GenAI 助理。然後，ComPromptMized 使用了包含基於文字的自我複製提示和嵌入相同提示的圖片的電子郵件。

這些提示利用了人工智慧助理對檢索增強生成（RAG）的依賴，也就是從本地資料庫之外獲取資訊的方式。例如，當使用者詢問”Bard”閱讀或回覆受感染的電子郵件時，它的RAG 系統就會將內容傳送給Gemini專業版，以便做出回應。然後，Morris II 複製到Gemini 上，並執行蠕蟲的有效載荷，包括資料外滲。

這項研究的合著者本-納西博士說：”生成的包含敏感用戶資料的回應被用於回覆發送給新客戶的電子郵件時，會感染新的主機，然後存儲在新客戶的資料庫中。”

不僅如此，基於影像的變種可能更加難以捉摸，因為提示是不可見的。駭客可以將其添加到看似無害或預期的電子郵件中，例如偽造的時事通訊。然後，蠕蟲就可以利用助手向用戶聯絡人清單中的每個人發送垃圾郵件，汲取資料並將其發送到C&C 伺服器。

納西說：”透過將自我複製提示編碼到圖片中，任何包含垃圾郵件、濫用材料甚至宣傳內容的圖片都可以在最初的電子郵件發送後被進一步轉發給新客戶。”

他們還可以從郵件中提取敏感數據，包括姓名、電話號碼、信用卡號、社會安全號碼或”任何被視為機密的數據”。ComPromptMized 在發布其工作之前通知了Google、Open AI 等公司。

如果說ComPromptMized 的研究顯示了什麼的話，那就是大科技公司可能需要放慢腳步，放遠目光，以免我們在使用他們所謂和善的聊天機器人時，需要擔心新的人工智慧驅動的蠕蟲和病毒。