牛津大學和Google Deepmind的研究人員在一篇新論文中分享了一個令人心寒的警告。這篇論文上個月發表在《AI雜誌》上，聲稱人工智能的威脅比以前認為的要大。事實上，它是如此之大，以至於人工智能很可能有一天會崛起並消滅人類。

人工智能令人印象深刻。它可以在電影中模擬瓦爾·基爾默的聲音，並多次幫助研究人員解決複雜問題。不過現在，研究人員提出，人工智能的威脅比我們想像的要大。

研究人員在8月底發表了他們的研究結果。根據該論文，人工智能的威脅可能會根據研究人員確定的一系列條件而改變。這也不是研究人員第一次將人工智能視為一種可能的威脅。但這篇新論文耐人尋味，因為它所研究的假設是合理的。

在這些假設中，研究人員認為，“人工智能干預提供獎勵會產生非常糟糕的後果，”該論文的作者之一Michael Cohen本月發推文說。Cohen說，研究人員確定的條件表明，出現威脅性結論的可能性比以前的任何出版物都要強。

此外，該團隊表示，人工智能的威脅是建立在存在性災難的基礎上的。而且，這不僅是可能的，而且是非常可能的。Cohen和其他研究人員指出，最大的問題之一是，總是可以對一個問題投入更多的精力，使其達到人工智能所做的獎勵的程度。因此，它可能使我們與機器產生矛盾。

“簡而言之，”Cohen在推文中寫道，“就是總是可以採用更多的能量來提高攝像機永遠看到數字1的概率，但是我們需要一些能量來種植食物。這使我們不可避免地與一個更先進的代理競爭。考慮到這一點，聽起來似乎人工智能的威脅可能會根據它的教學方式而改變。”

Cohen在這裡提到的數字是基於一個測試，迫使人工智能代理達到某個數字。而且，一旦它被證明有辦法做到這一點，它可以使用更多的能量來優化達到這個目標。這是一個耐人尋味的命題，也說明了為什麼這麼多人擔心人工智能的威脅。

很明顯，論文中提供的例子並不是唯一可能的結果。而且，也許我們可以找到一種方法，讓機器受到控制。但是，這項新研究確實提出了一些問題，我們到底要在多大程度上信任人工智能，以及如果發生生存災難，我們可以如何控制它。