圖靈獎得主Bengio和Hinton，同時警告AI可能滅絕人類！就在昨夜，一封籤署名單多達350人的公開信迅速傳播開去，信中核心只有一句話：“降低AI滅絕人類的風險”，應該像流行病和核戰爭等其它社會規模的風險一樣，成為全球的優先事項。

簽署這封公開信的，既包括三大AI巨頭的CEO，即ChatGPT老闆、OpenAI的Sam Altman，DeepMind的Demis Hassabis和Anthropic的Dario Amodei；

也包括不少國內外高校的教授，除了Yoshua Bengio和Geoffrey Hinton以外，清華AIR院長張亞勤和斯坦福教授、圖靈獎得主Martin Hellman等人也名列其中。

這段時間來，關於AI風險的各種大小討論也是接連不斷，OpenAI CEO Sam Altman前段時間還倡議稱，人們應當像對待核設施一樣監管AI。

所以，究竟是誰發起的這封公開信倡議，又是否有AI大牛反對這件事？

為何簽署這封信？

發布這封公開信的機構名叫Center for AI Safety（CAIS），是一家關於AI安全的非營利組織。

在這封公開信的開頭，CAIS反復強調：

包括AI專家、記者、政策制定者和公眾在內，越來越多的人開始討論AI帶來的一系列重要和緊迫的風險。

即便如此，要想表達對先進AI的嚴重風險，可能還是有一定難度。這封公開信旨在克服這一障礙，並展開對相關議題的討論，讓更多專家和公眾人物認識到這一點。

事實上，已經有不少簽署了這封信的AI大牛，最近發了關於AI風險的博客文章、或是在訪談中談到了自己的觀點。

例如前段時間，Yoshua Bengio就寫了一封長信，警告稱“人類大腦是生物機器，一定會有超級智能AI超越它”。

除此之外，包括Stability AI的創始人Emad Mostaque、以及劍橋大學助理教授David Krueger等人，也都在最近的訪談中提到了關於AI帶來的潛在危害。

例如，Emad Mostaque認為，10年後包括Stability AI、OpenAI和DeepMind在內，這些AI公司的規模甚至會超過谷歌和Facebook。

也正是因此，AI風險是一個必須要考慮的事情：

我們可能正處於全面變革的風口浪尖，這些變革對於任何一家公司或是國家來說都太過龐大，以至於難以管理。

沒籤的AI大牛怎麼說？

當然，這波鬧得沸沸揚揚的“請求AI監管”浪潮下，也有不少反對的聲音。

目前為止，包括另一位圖靈獎得主Yann LeCun、前特斯拉AI總監Andrej Karpathy還有吳恩達等AI大牛在內，都還沒簽署這封聯名信。

吳恩達發推回應稱：

當我想到大部分人類生存面臨的風險時：流行病、氣候變化導致大規模人口減少、（撞擊地球的）小行星……

AI將是我們尋找解決方案的關鍵部分。所以，如果你想讓人類在接下來的1000年裡生存和繁榮，那就讓AI發展得更快，而不是更慢。

LeCun轉發表示同意：

“超人級”AI之所以不在風險列表榜首，很大程度上是因為它還不存在。至少我們在設計出達到狗智商（更不用說人類了）的AI之前，討論它的安全性還為時過早。

對此，紐約大學教授Gary Marcus補充道：

不要把框架縮小到只關注人類滅絕的風險。AI其實還存在許多其他的嚴重風險，包括可能幫助開發生物武器等。

不過，Gary Marcus同樣沒有簽署這份350人公開信。

顯然包括不少AI大牛在內，反對者主要有兩種意見。

一種意見認為，AI技術確實存在風險，但這封公開信涉及到的內容太泛泛。

如果有更精確的聲明如“減輕AI技術的潛在風險應該是科技行業、政府和該領域學術研究人員的首要任務”，那麼這封信還是可以簽署的。

這封公開信中的內容根本就是誇大其詞了，而且AI在氣候變化等領域甚至可以起到降低風險的作用。

另一類意見則認為，這封信只不過是當前掌握最領先AI技術的人，試圖控制AI接下來的走向而已。

以OpenAI的CEO Sam Altman為例：

Sam Altman要是真的擔心，大可以現在直接關掉ChatGPT服務器。

所以，你認為按照現在的進度來看，AI有可能滅絕人類嗎？

參考鏈接：

[1]https://www.safe.ai/statement-on-ai-risk

[2]https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html?smtyp=cur&smid=tw-nytimes

[3]https://twitter.com/AndrewYNg/status/1663584330751561735

[4]https://www.reddit.com/r/MachineLearning/comments/13vls63/n_hinton_bengio_and_other_ai_experts_sign/