研究員證實監考軟件Proctorio在使用種族主義算法來檢測人臉
據外媒報導,有色人種學生長期以來一直抱怨,Proctorio和其他考試監督公司使用的面部檢測算法無法識別他們的面孔,這使得他們很難甚至不可能參加高風險考試。現在,一名軟件研究員指出,他可以證明Proctorio軟件使用的面部檢測模型在超50%的情況下無法識別黑人面孔。據悉,他碰巧也是使用Proctorio的一所學校的大學生。
研究人員Akash Satheesan告訴Motherboard:“我之所以決定調查這件事,是因為(Proctorio)聲稱其只聽說過’不到5起’的該類型案例–由種族原因導致的面部識別問題。然而從軼事中我知道這是不可能的……於是我開始尋找一些更確鑿的證據,我想我已經相當肯定找到了。”
Satheesan最近在一系列博客文章中發表了他的發現。在這些文章中,他描述了他是如何分析Proctorio Chrome瀏覽器擴展背後的代碼,並發現跟該工具面部檢測功能相關的文件名與OpenCV發布的文件名相同。據悉,OpenCV是一個開放源代碼的計算機視覺軟件庫。
Satheesan在向Motherboard演示了Proctorio工具中嵌入的人臉檢測算法在同一組人臉上進行測試時跟OpenCV模型的表現完全相同。Motherboard還諮詢了一位安全研究員,後者也驗證了Satheesan的發現並能重現他的分析。
Proctorio則在其網站上宣稱,公司使用的是“專有的面部檢測”技術。另外它還表示,其是在使用OpenCV的產品,但沒有說明具體使用的產品或用於什麼。當Motherboard詢問該公司是否使用OpenCV的模型進行面部識別時,Proctorio的發言人Meredith Shadle並沒有直接回答。相反,她發送了一個鏈接到Proctorio的許可證頁面,其中包括OpenCV的許可證。
Shadle在給Motherboard的郵件中寫道:“雖然公開的報告沒有完全準確地描述我們的技術是如何工作的,但我們很感激分析證實了Proctorio使用了人臉檢測(而非人臉識別)。”
Proctorio也沒有回答關於該技術的幾個問題,包括該公司是否對OpenCV模型進行了微調以便在其軟件中使用。
而基於OpenCV構建的面部識別和檢測軟件此前被發現存在偏差。
Satheesan將這些模型跟FairFaces數據集中包含近1.1萬張人臉的圖像進行了測試。FairFaces數據集是一個包含代表多個種族和種族的有標籤的圖像庫。
結果在57%的情況下,這些模型無法識別出被標記為包括黑人面孔的圖像。其中一些失敗非常明顯:算法檢測到了白人的臉,但沒有檢測到出現在同一個畫面的黑人的臉。
兩個女人站在一起面帶微笑。左邊的白人女性臉上有一個藍色的方框(意味被檢測到),而右邊的黑人女性沒有(意味沒有被檢測到)。
其他組的通過率要好一些,但仍遠未達到先進水平。Satheesan測試的模特在包含有41%中東人面孔、40%白人面孔、37%東亞人面孔、35%東南亞或印度人面孔和33%拉丁人面孔的照片中都未能識別出人臉。
黑人學生描述了Proctorioi糟糕的面部檢測系統是多麼得令人沮喪和焦慮。他們當中一些人指出,每次他們參加測試,軟件都不能識別他們。另一些人則擔心,如果他們離開了完美的照明環境,測試將會突然關閉並將他們拒之門外。
Satheesan表示,他的發現有助於證明監考軟件的根本缺陷:這些工具表面上是為教育目的而設計的,實際上卻破壞了教育–尤其是對已經處於劣勢的學生。