隨著神經網路得到更廣泛的使用，它可能成為惡意軟體活動的下一個前沿陣地。 根據周一發佈在arXiv預印本網站上的這項研究，惡意軟體可以直接嵌入到構成機器學習模型的人工神經元中，從而使它們不被發現，神經網路甚至能夠繼續正常執行其設定的任務。

來自中國科學院大學的作者寫道：「隨著神經網路的使用越來越廣泛，這種方法在未來將普遍用於傳遞惡意軟體。 “

他們的實驗發現，使用真實的惡意軟體樣本，用惡意軟體替換AlexNet模型中高達50%左右的神經元，仍能保持模型的準確率在93.1%以上。 作者總結說，一個178MB的AlexNet模型可以在其結構中嵌入多達36.9MB的惡意軟體而不被使用一種叫做隱寫術的技術檢測出來，一些模型針對58種常見的防病毒系統進行了測試，惡意軟體也沒有被發現系統被破壞的跡象。

其他入侵企業或組織的方法，如將惡意軟體附在檔或文檔上，往往不能在不被發現的情況下大規模地提供惡意軟體。 另一方面，新的研究設想了這樣一個未來：一個組織可以為任何特定的任務（例如，聊天機器人，或圖像檢測）引入一個現成的機器學習模型，該模型可以裝載惡意軟體，同時很好地執行其任務，不會引起安全系統的懷疑。

根據這項研究，這是因為AlexNet（像許多機器學習模型）是由數百萬個參數和許多複雜的神經元層組成的，包括所謂的全連接 「隱藏」層。 通過保持AlexNet中巨大的隱藏層完全不變，研究人員發現，改變其他一些神經元對性能沒有什麼影響。

在這篇論文中，作者為駭客如何設計一個帶有惡意軟體的機器學習模型並讓它在外部傳播列出了一個遊戲規則。

“首先，攻擊者需要設計神經網路。 為了確保更多的惡意軟體可以被嵌入，攻擊者可以引入更多的神經元。 然後，攻擊者需要用準備好的數據集訓練網路，以獲得一個表現良好的模型。 如果有合適的訓練有素的模型，攻擊者可以選擇使用現有模型。 之後，攻擊者選擇最佳層並嵌入惡意軟體。 嵌入惡意軟體後，攻擊者需要評估模型的性能，以確保損失可以接受。 如果模型的損失超出可接受的範圍，攻擊者需要用數據集重新訓練模型，以獲得更高的性能。 一旦模型準備好了，攻擊者可以利用供應鏈污染等方法將其發佈在公共資源庫或其他地方”。

根據該論文，在這種方法中，惡意軟體在嵌入到網路的神經元中時被”分解”，並由一個惡意的接收程式組裝成可運行的惡意軟體，該程式也可以通過更新下載中毒的模型。 如果目標設備在啟動模型之前驗證了該模型，那麼該惡意軟體仍然可以被阻止。 它也可以用靜態和動態分析等 「傳統方法」來檢測。

網路安全研究員和顧問Lukasz Olejnik博士告訴Motherboard：「今天，用殺毒軟體檢測它並不簡單，但這只是因為沒有人刻意在這裡面尋找。 該過程中的惡意軟體提取步驟也有可能被發現。 一旦隱藏在模型中的惡意軟體被編譯成，惡意軟體，那麼它就可能被發現。 “

“但這也是一個問題，因為從深度神經網路模型中提取惡意軟體的定製方法意味著目標系統可能已經在攻擊者的控制之下，”他說，”但如果目標主機已經在攻擊者的控制之下，隱藏額外惡意軟體的需求就會減少。 “

“雖然這是合法的、有意義的研究，但我不認為在DNN模型中隱藏整個惡意軟體能給攻擊者帶來什麼，”他補充說。

研究人員在研究中指出，他們希望這可以 「為神經網路輔助攻擊的防禦提供一個可參考的方案」。。

這並不是研究人員第一次研究神經網路如何被惡意行為者利用，比如通過設計圖像來迷惑他們，或者通過嵌入後門來導致模型行為不當。 如果神經網路真的是駭客的未來，隨著惡意軟體活動的增加，這可能成為對大公司的一個新威脅。 “隨著人工智慧的普及，人工智慧輔助的攻擊將出現，給計算機安全帶來新的挑戰。 網路攻擊和防禦是相互依存的，”該論文指出。 “我們希望所提出的方案能對未來的保護工作有所説明”。

存取文獻瞭解更多：

https://arxiv.org/abs/2107.08590