OpenAI最先進的機器視覺系統被手寫紙條忽悠了
來自機器學習實驗室OpenAI的研究人員發現,他們最先進的計算機視覺系統可以被簡單工具所欺騙。如下圖所示,你只需寫下一個物體的名稱,並將其貼在另一個物體上,就足以欺騙AI軟件,使其誤認所見。
OpenAI研究人員將這些攻擊稱為排版攻擊,通過利用模型閱讀文本的能力,我們發現即使是手寫文字的照片也經常可以欺騙模型。這種攻擊類似於可以愚弄商業機器視覺系統的對抗性圖像,但製作起來要簡單得多。
對於依賴機器視覺的系統來說,對抗性圖像帶來了真正的危險。例如,研究人員已經表明,他們可以欺騙特斯拉自動駕駛汽車中的軟件,只需在道路上放置某些貼紙,就可以在沒有警告的情況下改變車道。這種攻擊對於從醫療到軍事的各種人工智能應用來說都是一個嚴重的威脅。
但這種特定的攻擊所帶來的危險,至少目前還不用擔心。這個名為CLIP的實驗系統,並沒有部署在任何商業產品中。事實上,CLIP不尋常的機器學習架構性質本身就造成了使這種攻擊能夠成功。CLIP中的”多模態神經元”會對物體的照片以及草圖和文本做出反應。
CLIP旨在探索人工智能係統如何通過在龐大的圖像和文本對的數據庫上進行訓練,學會在沒有密切監督的情況下識別物體。在這種情況下,OpenAI使用了大約4億個從互聯網上搜刮的圖像和文本對來訓練CLIP,CLIP在1月份亮相。
這個月,OpenAI的研究人員發表了一篇新的論文,描述了他們如何打開CLIP,看看它的表現。他們發現了他們所謂的”多模態神經元”–機器學習網絡中的單個組件,它們不僅能對物體的圖像做出反應,還能對素描、漫畫和相關文本做出反應。這令人興奮的原因之一是,它似乎反映了人類大腦對刺激的反應,在這裡,已經觀察到單個腦細胞對抽象的概念而不是具體的例子做出反應。OpenAI的研究表明,人工智能係統可能會像人類一樣內化這種知識。
在未來,這可能會導致更複雜的視覺系統,但現在,這種方法還處於初級階段。雖然任何人類都能告訴你蘋果和一張寫有”蘋果”字樣的紙之間的區別,但像CLIP這樣的軟件卻不能。同樣的能力讓程序能夠在抽象層面上將文字和圖像聯繫起來,這就造成了這個獨特的弱點,OpenAI將其描述為”抽象的謬誤”。
另一個排版攻擊的例子是CLIP中識別小豬存錢罐,CLIP不僅對小豬存錢罐的圖片有反應,而且對一串美元符號也有反應。就像上面的例子一樣,這意味著如果你給電鋸疊圖片加”$$$”的字符串,就可以騙過CLIP,讓它識別為小豬存錢罐。