當以後的人們為人工智慧（AI）撰寫一部編年史時，這可能是一個里程碑。因為這是人類第一次由龐大的國際頂尖專家小組，就先進AI的風險推進全球政策制定。人們已清楚體認到：我們離不開AI，亦需要大力推動AI技術發展，但我們必須有能力防範其中的風險。

文章截圖：《科學》網站

自6個月前在英國布萊奇利公園舉行第一屆AI安全高峰會以來，世界各國領導人承諾以負責任的方式管理AI，但AI專家認為這依然不夠。隨著第二屆AI安全高峰會（5月21日至22日）在韓國首爾舉行，25位世界頂尖AI科學家呼籲，全世界應對AI風險採取更強有力的行動。

發表於《科學》雜誌的專家共識文章中，專家小組概述了全球應採取的緊急政策優先事項。文章作者之一、英國牛津大學工程科學系教授菲利普·托爾表示：“在上屆AI峰會上，世界一致認為我們需要採取行動，而現在是時候將模糊的建議轉變為具體的承諾了。”

安全性研究嚴重匱乏

這25位全球頂尖的AI及其治理專家來自美國、中國、歐盟、英國和其他AI技術強國，其中包括圖靈獎得主以及諾貝爾獎得主。這也是首次由國際專家小組就AI風險的全球政策制定達成一致。

文章指出，全球領導人需認真考慮，未來十年內可能發展出超越人類能力的通用AI系統。他們表示，儘管世界各國政府一直在討論先進AI，並嘗試引入初步指導方針，但這與許多專家期望的快速、變革性進展仍有距離。

目前關於AI安全的研究嚴重缺乏，只有1%—3%的AI出版品涉及相關安全問題。此外，全球沒有適當的機製或機構來防止濫用和魯莽行為，包括如何使用能獨立採取行動和自行實現目標的自治系統。

在快速發展中防範極端風險

文章建議，各國政府需建立可快速行動的AI監管機構，並為這些機構提供資金。美國AI安全研究所目前的年度預算為1000萬美元，聽起來並不少，但相較之下，美國食品藥物管理局（FDA）的預算達67億美元。

AI領域需要更嚴格的風險評估並制定可執行的措施，而不是依賴一些不甚明確的模型評估。應要求AI研發企業優先考慮安全性，並證明其係統不會造成傷害，AI開發人員要承擔起證明安全性的責任。

人們還要有一個與AI系統帶來的風險等級相稱的緩解辦法，解決之道是製定一個「自動」政策，當AI達到某些能力里程碑時「自動觸發」——如果AI發展迅速，這一嚴格的要求就會自動生效；如果進展緩慢，要求將相應放緩。

對於能力超凡的未來AI系統，政府必須做好帶頭監管的準備。這包括許可開發，限制其在關鍵社會角色中的自主權，停止部署部分能力，強制執行存取控制，以及要求對國家級駭客採取強有力的資訊安全手段，直到人們準備好足夠的保護措施。

謹記AI不是玩具

不列顛哥倫比亞大學AI教授、強化學習領域專家傑夫·克倫納表示，太空飛行、核武和網路等技術在數年內就從科幻變成了現實，AI也不例外。 「我們現在必須為那些看似科幻小說的風險做好準備」。

現在，AI已經在駭客攻擊、社交操縱和策略規劃等關鍵領域取得了快速進展，並可能很快帶來前所未有的關於「控制」的挑戰。 AI系統可能會為了實現某個「不良目的」而騙取人類信任、獲取資源並影響關鍵決策者。為了避免人為幹預，它們還可以在全球伺服器網路上複製自身演算法。

在這種情況下，大規模網路犯罪、社會操縱和其他危害會因此迅速升級。而在公開衝突中，AI系統能自主部署各種武器，甚至包括生物武器。因此，當AI的進步不受控制，很可能最終導致大規模生命損失、生物圈破壞、人類邊緣化甚至滅絕。

美國加州大學柏克萊分校計算機科學教授斯圖爾特·盧塞爾表示：“此次是權威專家的共識文章，其呼籲政府嚴格監管，而不是自願制定一些規範行業的行為。”

「企業可能抱怨說滿足這些法規太難，但所謂『法規扼殺創新』的說法是荒謬的。」盧塞爾這樣說，「是時候認真對待先進AI系統了，它們不是玩具。在我們了解如何確保在它們的安全性之前，輕易增強它們的能力是完全魯莽的行為。