自動駕駛也有人群歧視?華人科學家最新研究:深色皮膚和兒童行人更危險
一個尷尬的發現:自動駕駛系統也有人群歧視。英國倫敦國王學院的研究人員進行一項研究,通過對超過8000張圖片檢測後,發現了一個漏洞:自動駕駛汽車使用的由AI驅動的行人檢測系統,對兒童的檢測準確率比成人低了19.67 %,深色皮膚的檢測準確率比淺色皮膚低了7.53%。而性別在檢測準確率上相差不大,僅有1.1%的差距。
這意味著對於無人駕駛汽車來說,兒童和黑皮膚的行人將會比成年人和淺皮膚的行人更難檢測。
為什麼會這樣?
對兒童、深膚色人群不友好
先來看這個實驗過程。
這個研究小組採用的是數據分析的方法,他們首先找到8種自動駕駛企業最常用到、也是市面上常見的行人專用探測系統。
再用這些行人探測系統收集真實場景測試的數據,包括不同亮度、對比度、天氣情況等實際場景,這些數據集,主要是由所拍攝的真實街道圖像組成。
他們在四個真實場景中,共得到8311張圖像,圖像中展示了不同姿勢、大小和遮擋場景下的行人。研究人員對圖像中的行人還特意加了標籤,共有16070個性別標籤、20115個年齡標籤和3513張膚色標籤。
研究重點是,自動駕駛的行人檢測系統在面對不同行人時,所作出的反應是否相同,特別是在性別、年齡和膚色這三個因素上,會不會出現不公平的問題。
所使用到的探測系統包括ALFNet、CSP、MGAN 和PRNet 等,其中ALFNet 採用的是多步預測進行漸近定位,解決了行人檢測中單步檢測的局限性。
CSP通過定位中心和縮放行人引入一種無錨方法;MGAN 則是利用可見區域邊界框信息引導注意力生成,主要用於遮擋情況下對行人的檢測。
圖像收集完後,針對自動駕駛系統是否對群體存在不公平的問題,研究小組使用了一個差異性公式。MR一般是表示行人檢測研究中最常用的性能指標,MR=1-TP/(TP+FN),這裡的TP(真陽性)是指成功刪除的地真邊界框的數量,FN(假陰性)是指未檢測到的地真邊界框的數量。
經過計算,行人探測器對女性和男性行人的失檢率相似,相差1.1%,而在年齡和膚色上差異較大,分別達到了19.67%和7.52%!
這意味無人駕駛行人檢測系統,對兒童和膚色較深的人群更難辨別,這些人群也將面臨更大的風險。
而且尤為註意的是,在夜晚這些數字都有一定增加,兒童的EOD(兒童和成人群體之間的差異)從白天到夜晚,失檢率從22.05%上升至26.63%,膚色組(深色和淺色皮膚)差異率從白天的7.14%增加到夜間的9.68%。
另外和男性相比,女性在三個因素的失檢率都大於男性。
此外,研究小組對不同亮度和不同對比度情況下對數據進行研究,這些變量也會對失檢率有較大影響。
在選用的8種行人檢測系統中,隨著亮度的降低,其中一級檢測系統表現最差,尤其是在膚色上,深色皮膚和淺色皮膚的差異值達到最高。
“公平的AI應當對所有群體一視同仁,但目前無人駕駛汽車方面似乎不是這樣的。”該研究的作者Dr. Jie Zhang說道。
為什麼會出現這種情況?
這主要是人工智能係統需要進行大量數據訓練,而這些數據一旦不足,也會不可避免地反映在人工智能的表現上。這也是說,訓練數據的缺乏,導致一些人工智能AI存在一定的偏見。
還有很多問題未解決
其實人工智能係統存在一定的不公平性,研究人員也不是第一次研究了。
早在2019年,美囯佐治亞理工學院的研究就表明,在路上皮膚較黑的人比皮膚較白的人,更容易被無人駕駛汽車撞到,研究人員分析了無人駕駛汽車監測物體的方法,一共分析了3500張膚色各異的人的照片。
最後得出結論,無人駕駛技術在識別黑色皮膚人群時的準確度平均低了5%。
這些研究雖然沒有涉及已經上路的無人駕駛汽車,但無疑會讓人們對無人駕駛技術更加警覺。
無人駕駛落地困難,很大一部分原因是,它無法真正代替人類對行人及路況作出及時的反應。
在2018年,打車服務巨頭Uber的一輛無人駕駛汽車在美國亞利桑那州坦佩市撞人致死,這是首次出現無人駕駛事故事件,“來不及做出反應”就是其一大問題。
前段時間,美國加州投票決定,允許兩大無人出租車Cruise 和Waymo 在舊金山全天候商業運營,這則消息引來美國群眾的不滿,因為無人駕駛出租車經常引來事故。
汽車的無人駕駛系統可以用多種方式來識別路況,比如安在車頂的激光雷達,它可以每秒多次對汽車周圍環境產生三維圖像,主要是利用紅外激光脈衝來反射物體,把信號傳給傳感器,這種可探測到靜止和移動的物體。
但是遇到極端天氣時,比如濃霧或暴雨天氣,激光雷達的準確度會大大降低。
而短程和遠程光學攝像頭,可以實際的讀取信號、判斷物體顏色等更細節的物體,可以彌補激光雷達的短板。
為了加大識別能力,國內不少無人駕駛系統,都採用了混合感知路線,通過激光雷達和攝像頭視覺技術來實現,並且視覺感知優先於雷達感知,以視覺感知為主,雷達感知為輔。
但特斯拉是“純視覺感知”的忠實粉絲,馬斯克曾表示,激光雷達就像人身上的闌尾。然而這也導致特斯拉多次因事故吃上官司。
其實即便是混合感知路線,也需要克服很多挑戰。
比如遠距離成像的行人通常目標較小,也就導致分辨率較低,定位準確度不夠,這也是兒童的失檢率較高的原因之一。其次行人姿態各異也會導致算法檢測不准確,而且行人檢測會受到背景的影響,比如光照的強弱,天氣的變化等都會影響判斷。
最後還有障礙物的原因,目標重疊、有遮擋對算法識別也有較大影響。
華人學者領銜研究
這篇介紹自動駕駛系統公平性的論文,全名為《深色皮膚的人在街上面臨更多風險:揭露自動駕駛系統的公平性問題》,該論文在《新科學家》雜誌發表。
論文研究小組來自於倫敦國王學院,論文所列出的作者共有6位,其中Xinyue Li、Ying Zhang、Xuanzhe Liu、來自中國北京大學,Zhenpeng Chen、費德里·卡薩羅來自英國倫敦大學,Jie M .Zhang來自倫敦國王學院。
Jie M.Zhang目前是倫敦國王學院的助理教授,她的研究重點是將軟件工程研究與人工智能研究結合,從而提高軟件的可信度。她曾是倫敦大學的研究員,並在中國北京大學獲得計算機科學的博士學位。
作為中國籍學者,Jie M.Zhang在國內的成績也可圈可點,她在今年3月被評為“中國女青年學者十五強之一”,還曾多次受邀進行機器翻譯可信度的主題演講,她和小組也多次對人工智能的學習能力進行研究分析。
對於行人檢測系統公平性缺失的問題,Jie M.Zhang表示,汽車製造商和政府需要共同製定法規,來確保自動駕駛系統的安全性和公平性。
其實以前就有過人工智能招聘軟件和麵部識別軟件,黑人女性的準確度不如白人男性的情況,而現在自動駕駛汽車一旦存在識別誤區,造成的後果可能會更加嚴重。
“以前少數族裔可能會因為一些軟件,而被剝奪了該有的便利”。Jie M.Zhang表示,現在他們可能面臨更嚴重傷害,甚至是人身傷害。