考試監控軟件Proctorio被指無法正常識別有色人種學生
日前,外媒Motherboard做了一篇有關Proctorio的報導。Proctorio是一款旨在防止學生在考試時作弊的考試監控軟件。然而這款軟件使用的開源軟件一直存在種族偏見問題。這一問題由一名學生髮現,他發現軟件是如何進行面部檢測的並且發現它在一半以上的時間裡無法識別黑人面孔。
Proctorio跟其他類似的程序一樣,是被設計用來在學生考試時監視他們的。然而,許多有色人種的學生報告稱,他們在讓軟件看到他們的臉方面存在問題。這可能會給學生帶來潛在的問題:如果檢測不到他們的臉,那麼Proctorio就會把他們標記給老師。
聽到這些傳聞後,Motherboard的Akash Satheesan決定研究一下軟件使用的面部檢測方法。結果他發現它在外觀和操作上跟OpenCV是一樣的,後者是一款開源的計算機視覺程序,可用來識別人臉(該程序過去也有種族偏見的問題)。在了解到這一點後,他使用OpenCV和一個數據集進行測試,該數據集旨在驗證機器視覺算法處理不同面孔的能力。根據他的研究,結果並不好。
該軟件不僅在一半以上的時間裡識別不出黑人面孔,並且在識別任何種族的面孔方面都不是特別擅長–最高的識別率低於75%。在報告中,Motherboard聯繫了一位安全研究員,後者證實了Satheesan的結果和分析。Proctorio也在其許可頁面上證實了它使用OpenCV,但沒有詳細說明如何使用。
Proctorio的發言人在提供給Motherboard的一份聲明中表示,Satheesan的測試證明,該軟件只能檢測人臉,但無法識別與之相關的身份。
這已經不是Proctorio第一次因為認不出不同的面孔而受到指責了:此前有一所大學稱,Proctorio未能跟該公司續約的原因是它給有色人種學生造成的問題。美參議員Richard Blumenthal甚至在談到監管軟件的偏見時點名批評了該公司。
雖然代碼中的種族偏見並不是什麼新鮮事,但看到它影響到那些只是努力完成學業的學生尤其是在遠程學習成為一些人唯一選擇的這一年,這顯然會讓人感到特別痛苦。