Facebook公佈了Deepfake檢測挑戰賽結果，第一名團隊算法識別準確率達82.56%，整體平均準確率為65.18%，接近2/3。但是，挑戰賽的第一、二名，被賽事方以未規範使用外部數據集的理由，刪除了解決方案和排名。整體誤報率未知，識別率也未達期許

2019年9月，Facebook聯合微軟等公司，以及包括麻省理工、牛津大學在內的幾所高校，發起deepfake的檢測挑戰賽。同年12月，微軟在NeurIPS 2019大會上公佈數據集，挑戰賽正式開始，比賽成果提交截止到今年3月31日。

比賽在數據競賽平台Kaggle 上進行，共有2114名開發者參與比賽，最終輸出3.5萬種檢測算法。

Facebook 給參賽者開放訪問100000多個視頻的獨特數據集權限，並提供1000萬美元的研究資助和獎勵。谷歌母公司Alphabet 旗下的Jigsaw 和谷歌一起，提供了3000個付費演員的新視頻數據集，以幫助改善偵查技術。亞馬遜提供100萬美元的雲信用額度支持該挑戰。

然而，比賽結果並沒有達到許多人的預期。排名第一但已經被刪除方案的模型，基於 Facebook 提供的數據集中，可以識別出82.56%的deepfake，但當該模型去檢測一組新的數據時，識別率下降到65%。

65%的識別率或許還沒邁過可實際使用的門檻。通常，人們認為，識別率達到90%，才能對統計數據產生實際作用，並可以被允許實際應用。

此外，Facebook 還未公佈整體誤報率，而這非常重要。

誤報率為0時，即便模型只能檢測出2/3的deepfake，並且自動標記或清除，這對打擊造假也非常有幫助。反之，誤報率會導致非常嚴重的後果，尤其再加上互聯網平台的規模，即便是1%的誤報，也會帶來大量虛假信息流傳。

外部數據集使用糾紛

有人說，Facebook 辦這個比賽是只是薅了一把開發者的羊毛。說好第一名和第二名共有80萬美元的獎金，但比賽結果公佈之後，他們的成績都被取消了，原因是使用外部數據集時不符合比賽規則。

比賽前，他們按照Facebook 和Kaggle 規定的：使用外部數據集時，必須可供競賽的所有參賽者用於比賽目的，其他參與者可無償使用；以及在外部數據的其他聲明中，必須可用於商業用途，不局限於教學用途的規則使用外部數據集。

但比賽結束後，他們被告知，使用外部數據集還要遵守附加規則。

特定比賽規則第4節中，有兩條規定：

如果提交文檔的任何部分描述，標識或包括了不是個人參與者或團隊成員的任何人，則您必須具有所描述，標識或包括的個人的所有許可和權利，並且您同意提供競賽贊助商和PAI ，並根據要求以書面形式確認這些權限。

提交文件不得侵犯，挪用或侵犯任何第三方的任何權利，包括但不限於版權（包括精神權利），商標，商業秘密，專利或隱私權或公開權。

簡單來說，就參賽者使用外部數據集，必須提供其中所涉及到的每個人的許可證明。

“不幸的是，由於數據來自公共數據集，因此我們沒有其中每個人的具體書面許可，也沒有任何方法識別這些人的身份。”比賽結束之後，排名第一的解決方案開發者之一Giba 表示，這樣的要求根本沒法實現。

而且大多數參賽者，都沒意識到上述附加限制的存在，“我們在比賽過程中，沒有意識到外部數據集屬於’文檔’以及外部數據規則……在比賽中，有關外部數據的規則一再被闡明，因此我們想知道為什麼Kaggle從來沒有澄清，外部數據必須另外遵循限制性更強的規則來提交文檔。”

排名第二的解決方案，因為使用了  faceforensic ++數據，也遭到刪除。其開發者Shengtao Xiao表示，即便他們事後找了與faceforensic ++數據集所有者，確認這是一個公共數據集，也無濟於事。

Shengtao Xiao 還說，“我們認為，一開始就聲明不允許外部數據參與此競賽會更加清楚。我們對從排行榜中刪除分數的最終決定深感失望。這只是消除了我們為這場比賽做的所有努力。”