Facebook競賽結果顯示:準確檢測深度造假視頻的能力尚無人具備
Facebook公佈了第一屆Deepfake Detection Challenge(深度偽造檢測挑戰賽)的結果,這是一場算法的公開競賽,目的是能夠發現人工智能操縱的視頻。結果雖然很有希望,但顯示在自動化系統能夠可靠地發現深層造假內容之前,還有很多工作要做,研究人員將這個問題描述為”未解決的問題”。
Facebook表示,在比賽中獲勝的算法能夠發現挑戰現實世界的深度偽造視頻,平均準確率為65.18%,儘管還不錯,但這不是你想要的任何自動化系統的準確率。
事實證明,深度偽造視頻對於社交媒體來說是一種誇張的威脅。雖然這項技術引發了人們對視頻證據的懷疑,但到目前為止,深度偽造視頻的政治影響微乎其微。相反,更直接的傷害是非自願的色情內容產生,這一類內容對社交媒體平台來說更容易識別和刪除。
Facebook的首席技術官Mike Schroepfer在新聞發布會上告訴記者,他對挑戰賽的結果很滿意,他表示,這將為研究人員建立一個基準,並指導他們未來的工作。約有2 114名參賽者向比賽提交了35000多個檢測算法,測試他們從約10萬個短片的數據集中識別深層假視頻的能力。Facebook僱傭了3000多名演員來製作這些片段,他們在自然環境中進行對話的記錄,有些片段是用人工智能改變的,讓其他演員的臉貼到他們的視頻上。
研究人員被允許訪問這些數據來訓練他們的算法,當對這些材料進行測試時,他們產生的準確率高達82.56%。然而,當同樣的算法對由未見過的鏡頭組成的”黑盒”數據集進行測試時,它們的表現要差得多,得分最好的模型準確率為65.18%。這表明在野外檢測深度造假視頻是一個非常具有挑戰性的問題。
Facebook目前正在開發自己的深度造假視頻檢測技術。該公司在今年早些時候宣布禁止Facebook用戶發布深度造假視頻,但批評者指出,虛假信息更大威脅來自所謂的”淺層假貨”,使用傳統手段編輯的視頻。本次挑戰賽的獲勝算法將作為開源代碼發布,以幫助其他研究人員,但Facebook表示,將對自己的檢測技術保密,以防止其被反向工程。