最近一段時間，一些研究人員和行業領袖不斷警告稱，人工智能(AI)可能會對人類的生存構成威脅。但是，對於AI究竟如何摧毀人類，他們並未詳談。上個月，AI領域的數百名知名人士聯合簽署了一封公開信，警告AI有朝一日可能會毀滅人類。

“減輕AI帶來的滅絕風險，應該與流行病和核戰爭等其他社會規模風險一起，成為全球的優先事項。”這封只有一句話的公開信這麼寫道。

這封信是科技行業對於AI發出的最新不詳警告，但是明顯缺乏細節。今天的AI系統無法摧毀人類，有些AI系統甚至還不會加減法。那麼，為什麼最了解AI的人會如此擔心呢?

怕什麼？

一些科技行業的“烏鴉嘴”說，總有一天，企業、政府或獨立研究人員能夠部署強大的AI系統來處理從商業到戰爭在內的一切事務。這些系統可能會做一些人類不希望它們做的事情。如果人類試圖干擾或關閉它們，它們可以抵抗甚至複製自己，這樣它們就可以繼續運作。

“今天的系統根本不可能構成生存風險，”蒙特利爾大學教授、AI研究員約書亞·本吉奧(Yoshua Bengio)表示，“但是一年、兩年、五年以後呢？有太多的不確定性。這就是問題所在。我們不能確定這些系統不會達到某個臨界點，引發災難性後果。”

對於AI的威脅，憂慮者經常使用一個簡單的比喻。他們說，如果你要求一台機器製造盡可能多的回形針，它可能會失去控制，把一切都變成回形針工廠，包括人類。

那麼，這種威脅與現實世界或者不遠的未來能夠想像的世界有何關係呢？企業可以讓AI系統具備越來越多的自主性，並將其連接到重要的基礎設施上，包括電網、股市和軍事武器。它們可能會從那裡引發問題。

對於許多專家來說，這原本似乎並不可信，直到去年，OpenAI展示了他們技術的重大改進。這些最新技術表明，如果AI繼續以如此快的速度發展，可能會發生一些意想不到的事情。

“隨著AI變得越來越自主，它將逐漸被授權，並可能篡奪當前人類和人類管理的機構的決策和思考權力。”加州大學聖塔克魯茲分校的宇宙學家安東尼·阿吉雷(Anthony Aguirre)表示，他也是未來生命研究所的創始人之一，該組織是兩封警告AI危險性公開信中的一封的背後推動者。

他表示：“未來某個時刻，人們會清楚地意識到，主導社會和經濟的巨大機器並非真正受人類控制，也無法像關閉標準普爾500指數一樣被關閉。”

這或許只是理論上的說法。其他AI專家認為，這是一個荒謬的假設。“對於生存風險的討論，我可以用一個禮貌的詞語來形容我的看法，這些擔憂只是’假設’。”西雅圖研究實驗室艾倫AI研究所的創始CEO奧倫·埃齊奧尼(Oren Etzioni)這麼說。

AI有這種能力了嗎？

還沒有。但是，研究人員正在將ChatGPT這樣的聊天機器人轉變為能夠根據他們生成的文本採取行動的系統。

一個名為AutoGPT的項目就是最典型的例子。該項目的想法是給AI系統設定目標，比如“創辦一家公司”或“賺一些錢”。然後，系統會不斷尋找實現這一目標的方式，特別是如果它們與其他互聯網服務相連接的情況下。

像AutoGPT這樣的系統可以生成計算機程序。如果研究人員給它訪問計算機服務器的權限，它實際上可以運行這些程序。從理論上講，這是AutoGPT幾乎可以在網上做任何事情的一種方式，包括獲取信息、使用應用程序、創建新的應用程序，甚至自我改進。

目前，AutoGPT這樣的系統運轉還不夠順暢。他們往往會陷入無盡的循環中。研究人員曾為一個系統提供了複製自身所需的所有資源，但是它還無法複製自身。

不過，假以時日，這些限制可能會被突破。

“人們正在積極嘗試構建自我完善的系統，”Conjecture公司創始人康納·萊希(Connor Leahy)說，該公司希望將AI技術與人類價值觀保持一致，“目前，這還行不通。但總有一天會的。我們不知道那一天是什麼時候。”

萊希認為，當研究人員、企業和犯罪分子給這些系統設定“賺一些錢”之類的目標時，AI系統最終可能會闖入銀行系統，在持有石油期貨的國家煽動革命，或者在有人試圖關閉它們時進行自我複制。

AI會變壞

像ChatGPT這樣的AI系統建立在神經網絡和數學系統之上，可以通過分析數據來學習技能。

大約在2018年，Google和OpenAI等公司開始構建神經網絡，讓這些網絡從互聯網上挑選的大量數字文本中學習。通過準確找出所有這些數據中的模式，這些系統學會了自己創作，包括新聞文章、詩歌、計算機程序，甚至是類似人類的對話。最終結果是：像ChatGPT這樣的聊天機器人誕生了。

由於它們能從更多的數據中學習，甚至超過了它們的創造者所能理解的範圍，這些系統也表現出了意想不到的行為。研究人員最近表明，有一個系統能夠在網上僱傭一個人來通過驗證碼測試。當人類問它是不是“機器人”時，系統撒謊說它是一個有視力障礙的人。

一些專家擔心，隨著研究人員讓這些系統變得更強大，用越來越多的數據對它們進行訓練，它們可能會學到更多的壞習慣。

早有警告聲音

其實在21世紀初，一位名叫埃利澤·尤德科夫斯基(Eliezer Yudkowsky)的年輕作家已經開始警告說，AI可能會毀滅人類。他的網上帖子催生出了一個信徒社區。這個群體被稱為理性主義者或有效利他主義者(EA，以改善世界為目標)，在學術界、政府智庫和科技行業都具有巨大的影響力。

尤德科夫斯基和他的文章在OpenAI和DeepMind的創建過程中發揮了關鍵作用。DeepMind是一家AI實驗室，2014年被Google收購。許多來自“有效利他主義者”社區的人在這些實驗室里工作。他們認為，因為他們了解AI的危險，所以他們最能夠開發AI。

AI安全中心和未來生命研究所是最近發佈公開信警告AI風險的兩大組織，他們與“有效利他主義者”社區密切相關。

除此之外，一些AI研究先驅和行業領袖也對AI發出了警告，比如埃隆·馬斯克(Elon Musk)，他長期以來一直在警告這種風險。最新一封警告信由OpenAI CEO薩姆·阿爾特曼(Sam Altman)、戴米斯·哈薩比斯(Demis Hassabis)簽署。哈薩比斯協助創立了DeepMind，現在負責管理一個新的AI實驗室，該實驗室匯集了DeepMind和Google的頂尖研究人員。

其他一些備受尊敬的人物也簽署了這兩份警告信中的一封或兩封，其中包括蒙特利爾大學的本吉奧博士和“AI教父”杰弗裡·辛頓(Geoffrey Hinton)，後者最近辭去了Google高管和研究員職務。2018年，本吉奧和辛頓一同獲得了“計算界的諾貝爾獎”圖靈獎，以表彰他們在神經網絡方面所做的工作。

拖延戰術？

大數據公司Palantir的老闆亞歷克斯·卡普(Alex Karp)近日表示，他反對暫停AI研究的想法， 那些提出這種想法的人是因為他們沒有自己的AI產品。

卡普週四在接受采訪時說，“那些沒有什麼產品可以提供的人，想利用暫停時間來研究AI”，但是如果暫停開發，這可能會導致敵對國不僅在商業應用領域，而且在軍事應用領域竊取領先優勢。

他表示，“讓其他人在商業領域和戰場上都取得勝利”是一個非常糟糕的策略。卡普稱，世界已經在上演一場AI軍備競賽，美國處於領先，但是即便美國放慢腳步，這場競賽也不會停。