專家建議在降低AI風險方面進行大量投資並制定更嚴格的全球法規以防止濫用
專家建議在降低人工智慧風險方面進行大量投資，並制定更嚴格的全球法規，以防止濫用並指導人工智慧的安全發展。研究人員已經警告快速發展的人工智慧（AI）技術所帶來的極端風險，但對於如何管理這些危險還沒有共識。在政策論壇上，全球領先的人工智慧專家Yoshua Bengio及其同事分析了人工智慧技術發展的風險。
這些風險包括社會和經濟影響、惡意使用以及人類可能失去對自主人工智慧系統的控制。他們提出了積極主動的適應性治理措施，以降低這些風險。
作者敦促大型科技公司和公共資助者加大投入，至少將三分之一的預算用於評估和降低這些風險。他們也呼籲全球法律機構和政府執行防止濫用人工智慧的標準。
這些挑戰包括以下幾個面向：
監督與誠信能力更強的人工智慧系統可以更好地利用技術監督和測試方面的弱點，例如，產生虛假但令人信服的輸出。
魯棒性人工智慧系統在新情況下的表現難以預測。隨著模型規模的擴大，魯棒性的某些方面會得到改善，而其他方面則不會，甚至會變得更糟。
可解釋性和透明度人工智慧決策是不透明的，規模更大、能力更強的模型解釋起來更加複雜。到目前為止，我們只能透過試誤來測試大型模型。我們需要學習了解它們的內部運作。
包容性的人工智慧發展人工智慧的發展需要有方法來減少偏見，並整合其將影響的眾多人群的價值觀（見SM）。
應對新出現的挑戰未來的人工智慧系統可能會出現我們迄今為止僅在理論或實驗室實驗中見過的失效模式，例如人工智慧系統控制了訓練獎勵-提供管道，或利用我們安全目標和關閉機制中的弱點來推進特定目標。第二類研發挑戰需要取得進展，以實現有效的風險調整治理，或在安全和治理失效時減少危害。
評估危險能力隨著人工智慧開發人員對系統進行擴展，不可預見的能力會在沒有明確編程的情況下自發性地出現（見SM）。它們往往在部署後才被發現（見SM）。我們需要嚴格的方法來激發和評估人工智慧能力，並在訓練前對其進行預測。這既包括在世界上實現宏偉目標的通用能力（如長期規劃和執行），也包括基於威脅模型的特定危險能力（如社會操縱或駭客攻擊）。目前對危險能力的人工智慧前沿模型的評估是各種人工智慧政策框架的關鍵，但這些評估僅限於抽查和在特定環境下的嘗試性演示（見SM）。這些評估有時可以展示危險能力，但無法可靠地排除危險能力：在測試中缺乏某些能力的人工智慧系統，很可能在稍有不同的環境中或經過後期訓練增強後顯示出這些能力。因此，依賴人工智慧系統不跨越任何紅線的決策需要很大的安全係數。改進評估工具可以降低遺漏危險能力的幾率，從而允許更小的安全係數。
評估人工智慧調整如果人工智慧繼續發展，人工智慧系統最終將擁有高度危險的能力。在訓練和部署這些系統之前，我們需要一些方法來評估它們使用這些能力的傾向。對於先進的人工智慧系統來說，純粹的行為評估可能會失敗：與人類類似，它們可能會在評估中表現出不同的行為，偽造一致性。
風險評估我們不僅要學會評估危險的能力，還要學會評估社會背景下的風險，以及複雜的互動和脆弱性。對前沿人工智慧系統進行嚴格的風險評估仍然是一個公開的挑戰，因為這些系統具有廣泛的能力，並且在不同的應用領域中普遍部署。
復原力不可避免的是，有些人會濫用或肆意使用人工智慧。我們需要一些工具來偵測和防禦人工智慧帶來的威脅，如大規模影響行動、生物風險和網路攻擊。然而，隨著人工智慧系統的能力越來越強，它們最終將能夠規避人類製造的防禦系統。為了實現更強大的基於人工智慧的防禦，我們首先需要學習如何使人工智慧系統安全並保持一致。
“為了引導人工智慧取得正面成果，遠離災難，我們需要調整方向。有一條負責任的道路–只要我們有智慧去走它，」作者寫道。
它們突顯了全球科技公司競相開發通用人工智慧系統的情況，這些系統在許多關鍵領域的能力可能與人類不相上下，甚至超過人類。然而，這種快速進步也帶來了社會規模的風險，可能會加劇社會不公、破壞社會穩定，並導致大規模網路犯罪、自動化戰爭、客製化大規模操縱和無孔不入的監控。
重點關注的問題之一是，自主人工智慧系統有可能失去控制，這將使人類的干預變得無效。
專家認為，人類尚未做好充分準備來應對這些潛在的人工智慧風險。他們指出，與提高人工智慧能力的努力相比，在確保安全和合乎道德地開發和部署這些技術方面投入的資源少之又少。為了彌補這一差距，作者概述了人工智慧研究、開發和治理的當務之急。