算法成為決策缺陷替罪羊:斯坦福大學疫苗事件或是“未來預演”
隨著新冠肺炎疫苗在全美範圍內逐步接種,關於誰先接種疫苗的衝突日漸加劇。面對這種情況,在決策過程中使用的算法如何保持透明度就顯得至關重要。當加州帕羅奧爾託的斯坦福大學醫學中心(Stanford Health Care)的一線員工在篩選過程中遭到淘汰,無緣第一批新冠病毒疫苗接種時,該院的官員把責任推到了他們開發的“異常複雜的算法”身上——正是這些算法決定了員工的接種順序。
但是,與現代互聯網所採用的複雜機器學習算法不同,斯坦福大學的系統實際上只是一個基本公式,簡單到用Excel電子表格即可勝任。專家對該算法進行詳細分析後發現,真正的錯誤源自設計算法的人:他們並沒有根據員工在工作中對病毒的暴露程度來決定接種順序,而是簡單地按照年齡排序。
隨著地方政府和工作場所開始推廣新冠疫苗,許多人正在轉向類似的算法和評分系統,以期以公平、可解釋的方式對潛在接種者進行排序。許多公司已經開始向員工索取相關數據,以便通過公式獲取清晰的結果。
但是斯坦福的例子卻表明,算法未必真能代替考慮周到的政策,而這些簡單的數學工具也很容易成為決策缺陷的替罪羊。
儘管斯坦福大學醫學中心的官員極力推脫責任,但實際上,這套算法系統只是遵循了決策者制定的規則。而算法設計專家擔心,將責任歸咎於數學公式,反而會引起公眾對疫苗推廣過程的不信任,畢竟這些公式歸根到底還是由人設計的。
他們認為,真正的問題是武斷而又不透明的決策,因為決策者沒有在決策過程中與最易受其影響的人展開充分互動。他們認為,如果事先對算法的工作方式進行更加公開透明的討論,醫療專業人員將對結果更加信任——甚至可能提前展開監督。
他們認為,算法可以發揮重要作用,幫助決策者迅速而公平地將有限數量的疫苗分發給最需要的人。
但是,由於公共衛生方面的指導政策有限,而且要面臨眾多因素的影響,所以當出現差錯時,算法就會成為“背鍋俠”。而在可能事關生死的疫苗接種中使用這些算法,只會進一步放大這種影響。
“面對如此龐大的全球規模,不可能單純憑藉人們的直覺和判斷來運作。”資深研究科學家凱特·希克斯(Cat Hicks)說,他在非營利性教育組織可汗學院上編寫算法並建立預測模型。
她補充說,這些數據“使我們有機會就某件事達成共識,定義證據標準,明確算法符合所有人的想法。但是不能將人排除在外,而是需要進行測試、驗證並建立信任,從而加強透明度……我們也可以思考一件事情:哪些人可能會被排除在外?”
隨著疫苗供應對像從醫院轉移到私人雇主,加之人們急切渴望恢復正常生活,疫苗透明度引發的這些衝突可能會產生越來越大的影響。美國疾控中心顧問委員會上週日建議,在滿足醫護人員的需求後,應該優先讓老年人和負責保障基本民生的人員(包括警察、教師和雜貨店工人)接種疫苗。
但是算法已經在疫苗的部署決策中發揮了關鍵作用。一位聯邦官員接受媒體採訪時表示,本月初在美國喬治·華盛頓大學醫院接受疫苗接種的首批民眾裡,有一些人就是通過算法對他們的年齡、健康狀況和感染風險進行評分後篩選出來的。
算法還指導著聯邦政府在全美範圍的疫苗分配工作。特朗普政府的“空間機戰行動”(Operation Warp Speed)就在使用數據挖掘公司Palantir開發的Tiberius系統來分析人口和公共衛生數據,以此確定各州的疫苗分配規模和優先級。事實上,供應溝通混亂和裝運延誤已經令這項措施的效果大打折扣。
斯坦福大學醫學中心的“疫苗接種順序評分”算法只使用了有限的變量,包括員工的年齡和根據工作崗位估算的新冠肺炎感染率,據此對每位員工進行評分並確定他們的排隊順序。65歲及以上人員或25歲及以下人員可獲得0.5分的獎勵。
但是,一些算法設計師說,問題在於分數計算方式。一位65歲的居家辦公員工,會純粹因為年齡而增加1.15分。而如果某位員工的同事中有一半人的新冠肺炎病毒檢測都呈陽性,他卻依然只能增加0.5分。
計分系統的這一缺陷使住院醫師感到沮喪和困惑,因為他們每天都會看到居家辦公的高層行政人員和醫生,先於奮戰在病房裡的一線醫生接種疫苗。在該院排名前5000的接種者中,只有7名住院醫師。
與更複雜的算法不同,斯坦福的分數似乎沒有為更重要的因素附加額外的“權重”,導致年齡等參數過度扭曲結果。但問題還不止於此:一些住院醫師表示,因為他們在醫院的多個區域工作,無法指定一個部門,導致得分降低,排名進一步靠後。
當數十名住院醫師和其他醫務人員湧入斯坦福大學醫學中心抗議時,該院的一名主任為醫院辯護稱,倫理學家和傳染病專家花費了數週時間,試圖開發一套公平的系統,但是“異常複雜的算法顯然沒發揮作用”。在現場視頻中,可以聽到一些抗議者對算法的咒罵。
該院官員在發給兒科住院醫師和工作人員的電子郵件中承認斯坦福的疫苗算法未能優先考慮住院醫師,但也承諾不會再發生這種情況。
此後,斯坦福大學醫學院在一份聲明中表示,該院對疫苗分配計劃中的錯誤承擔“全部責任”,並將迅速採取行動,為一線員工提供疫苗接種。(斯坦福並不是唯一一家引發不滿的醫院:聖路易斯的巴恩斯猶太醫院的一線護士已經開始請願,他們批評該醫院按照年齡而不是暴露風險來製定疫苗接種順序。該院管理人員表示,他們只是聽從了聯邦政府的指導。)
算法是一個很花哨的詞彙,它的本質就是一組簡單的規則:它是一個公式,就像配方一樣,可以使用數據或其他成分來產生可預測的結果。很多人聽到這個詞就會想起機器學習軟件,從語言翻譯到無人駕駛再到人臉識別,當今的許多服務都在使用這種技術。
這些算法可以隨著時間的推移,使用基本的人工智能技術完善自己的工作。我們每天都與之互動,因為我們在網上看到的搜索結果和社交媒體帖子的順序都是由它們來決定的。
不過,這些算法雖然做出了複雜的決定,卻並沒有向人們確切解釋它們是如何決策的——這樣的“黑匣子”會令質疑結果的人們感到不安。如果算法的設計方式或吸收的數據存在問題,就有可能導致結果失真,帶來災難性的後果,例如種族偏見、信息錯報,甚至導致警察因為錯誤的面部識別結果而抓錯嫌疑人。
大多數數據科學家和人工智能研究人員都表示,唯一的解決方案是提高透明度:如果人們可以看到算法、數據和算力的組合是如何設計的,就有望在事態惡化前發現錯誤。
但是,由於設計算法的公司希望保護自己的專有內容,或者由於系統過於復雜而無法輕鬆描述,導致這種透明度難得一見。在某些情況下,算法的結論甚至會決定一個人的生死,但即便如此,人們也只能聽到千篇一律的說辭:請相信系統正在照常運行。
評論家擔心,將算法用於醫療決策可能會引發危險的後果。去年有研究人員發現,醫療公司Optum的一種醫療算法在無意中“歧視”了黑人患者:與白人患者相比,他們在決定病人是否需要額外護理時降低了黑人患者的排名。該公司的一位發言人回應稱:“應該不斷審查和完善為這些工具提供支持的預測算法。”
今年夏天,英國學生走上街頭抗議一種用於決定大學錄取的算法。由於疫情導致考試無法進行,該國的考試監管機構決定根據過去的成績和校內表現自動對學生進行排名——這在無意間偏向了精英學校的學生,導致沒有特權背景的學生處於不利地位。但英國政府在此後不久調整了方式。
布魯金斯學會的數據科學家兼研究員亞歷克斯·恩格勒(Alex Engler)表示,當人們用算法來決定工作錄取對像或貸款發放對象時,也會產生與斯坦福大學醫學中心的算法類似的挫敗感。
這些系統將大量的個人、財務和其他數據輸入專門的算法,然後返回結果——在某些情況下,它們可能通過自動化技術令舊有偏見進一步固化。
他說,對於某些公司而言,算法已經成為一種非凡的防禦機制:它們可以將控制權收歸一個中央決策機構,而不再交給不可預測的員工隊伍;此外還能令心存疑慮的評論家無從下手;而且,在必要的時候還可以把算法當做替罪羊來保護員工免受外界責難。
恩格勒說,對於企業而言,此舉通常是為了集中權力、節約成本或轉嫁責任。“而且作為客戶,你的影響力會逐步喪失,因為要審查決策流程將更加困難。”
然而,通過算法識別潛在風險已成為企業、學校和地方政府日益重要的工具。人工智能研究人員表示,在開放的互聯網上對算法進行大量測試或驗證並不會解決人們的合理的擔憂和不信任感。
“如果我們生活在一個繁榮發展,經濟上公平公正的社會裡,人們可能會相信算法。但事實並非如此。”OpenAI實驗室政策主任傑克·克拉克(Jack Clark)週一寫道,“我們的社會在使用不透明的系統決定影響人們生活的事情,這對多數人來說都越來越不公平。”
他補充說,斯坦福事件只是“未來的預演”。