用“算法”模擬光束可攻擊自動駕駛車輛專家呼籲重視AI安全
阿里安全專家發布了一項新研究,只要用簡單的激光筆,就可以讓AI模型不再有效。在這個研究中,他們設計了一種算法,可模擬光束對AI模型進行“攻擊”,這種測試方法在現實世界中得到了驗證,且“攻擊”極易操作,對現有基於AI的視覺系統更具威脅,例如基於AI視覺的自動駕駛。
當不同頻譜的光束打在同一個物體上,AI可能將該物體識別錯誤,比如將停車標識識別成順利通行。
圖說:一束激光可能讓自動駕駛汽車對交通標識識別錯誤
“攻擊AI遠非需要人為去製造對抗樣本,一支簡單的激光筆就可以。我們想通過這個研究揭示AI模型一些之前沒有被探索過的’錯誤’,從而’強壯’AI,讓它未來能抵擋這種’攻擊’,也讓相關從業者重視提高AI模型的安全性。”阿里安全圖靈實驗室負責人薛暉說道。
除了以“一束光”測試AI視覺的安全性,最近圖靈實驗室發布了多項涉及AI安全的研究成果,比如多項文字識別與檢測、利用自監督建立視頻表徵學習方法與提升半監督行為檢測的算法框架、AI樣本對抗、偽造人臉檢測、AI對人臉與人聲匹配的雙重模態識別、視頻描述AI生成技術等囊括AI“視覺”“聽覺”“大腦”“免疫性”等多方研究,這10項涉及AI安全的新一代安全架構研究成果均被國際頂會CVPR2021收錄。
“在AI安全前沿技術上進行探索,一是為了讓AI更安全,二是為了讓AI助力安全,三是為解決具體社會問題尋找提效的新途徑。”薛暉說。
另外,薛暉還表示,安全部署要前置,無論是AI本身的安全,還是AI可以助力解決的安全問題與社會問題,這就是從源頭構築安全的核心理念。希望在廣闊的AI安全研究的新領域中,能有更多新生力量加入,迸發出有創造性和想像力的研究,最終應用到人們的生活中,真正服務大眾,解決難題。