OpenAI首席科學家在最近的專訪中拋出了很多驚人言論。在他看來，ChatGPT背後的神經網路已經產生了意識，未來人類會與人工智慧融合起來，出現新的形態。而他現在工作的重點，已經不是去創造那個必然會出現的通用人工智慧，而是解決如何讓AI善待人類的問題。

昨晚，「ChatGPT可能已經有了意識」的話題就上了微博熱搜。

OpenAI的共同創辦人兼首席科學家Ilya Sutskever在受訪時表示，現在的首要任務已經不是製作下一個GPT或DALL·E，而是研究如何阻止超級AI的失控！

他認為，ChatGPT可能已經有意識，未來超級AI將會成為一種潛在風險。

而且未來人類，將會與機器融為一體。

而他自己未來在OpenAI工作的重點，已不是開發更為強大的AI系統，而是要帶領「超級對齊」團隊，為人類與AI共生的世界，保駕護航。

某種程度上，這才是回歸到OpenAI成立的初心——確保AI能為人類服務。

OpenAI的幕後英雄－Ilya Sutskever

在舊金山Mission區一條不起眼的街道上，OpenAI 的共同創辦人兼首席科學家Sutskever在公司一棟不起眼的辦公大樓裡完成了這次訪談。

他談了很多關於顛覆世界技術的下一步發展，以及為什麼建構OpenAI的下一代生成模型不再是他工作的重點。

Sutskever說，他的工作重心已經不是建構下一代GPT或DALL-E，而是找出如何阻止人工智慧（他認為不是目前的AI，而是一種假想的未來技術，能夠全面超越人類智慧的AI ）的失控。

在他看來，有一天很多人類會選擇與機器融合為一體。

Sutskever的談話內容很多聽起來都很瘋狂，但已經比前兩年他說過的話聽起來「理智」多了。

因為他覺得，ChatGPT改變了許多人對科技的期望，將許多在一般人看來「永遠不會發生」的事變成了「會比你想像的更快發生」。

在預測通用人工智慧（他指的是像人類一樣聰明的機器）的發展之前，他說：“重要的是，現在這個發展方向已經出現了”，“人類在某個時間點一定會擁有AGI。也許OpenAI會建造它。也許其他公司會建造它。”

OpenAI的執行長Sam Altman在夏天的大部分時間都在環球訪問，熱情地與政客們打交道，並在世​​界各地擠滿人的禮堂發表演講。

不過Sutskever並不是一個公眾人物，他也不接受太多採訪。

他說話時從容有條理。當他思考自己想說的話以及如何表達時，他會停頓很長一段時間，像解謎一樣翻來覆去地思考問題。

他似乎對談論自己不感興趣。「我過著非常簡單的生活，」他說。“我上班，然後回家。我不太做太多其他事情。有人會參加很多社交活動。但我不會。”

但當聊到人工智慧，以及他在技術背後看到的劃時代的風險和回報時，他就變得非常健談“這將是具有里程碑意義的、驚天動地的，它的出現會改變一切。”

年輕的AI研究人員如何改變了這個世界

Sutskever是圖靈獎得主Hinton的學生，在他2000年拜入Hinton門下之時，大多數AI研究人員認為神經網路是死路一條。

但Hinton不這麼認為。他當時已經開始訓練微型模型，這些模型可以一次產生一個字元的短文字字串。

Sutskever說：“這就是生成式人工智慧的開始。這真的很酷——只是性能還很一般。”

和Hinton一樣，他看到了神經網路和深度學習的潛力的。

2012年，Sutskever、Hinton和Hinton的另一位研究生Alex Krizhevsky建立了一個名為AlexNet的神經網絡，他們訓練該網絡來識別照片中的物體，其效果遠遠好於當時的任何其他軟體，這成為了深度學習的大爆炸時刻。

英偉達的黃老闆說，當多倫多團隊研究AlexNet時，英偉達向多倫多車隊提供了一些GPU。

但他們想要最新版本——GTX 580的晶片，不過這款晶片當時一直處於脫銷狀態，幾乎買不到。

黃老闆說，Sutskever開車從多倫多去到了紐約居然買到一車GTX580。

「我不知道他是怎麼做到的——我很確定用戶每人只能買一個。我們有一個非常嚴格的銷售政策，每個玩家只能買一個GPU，但他顯然裝滿了整個後備箱。

但這個裝滿GTX 580的後車箱改變了世界。」

AlexNet取得成功後，Google找上門。它收購了Hinton的公司DNNresearch，並邀請了Sutskever加入Google。

Sutskever在Google展示了深度學習的模式辨識能力可以應用於資料序列，例如單字、句子以及圖像。

“Sutskever一直對語言很感興趣，”他的前同事、現任Google首席科學家Jeff Dean說，“多年來我們進行了很多討論。Sutskever對技術的發展有很強的直覺。”

但Sutskever並沒有在Google待太久。2014年，他被招募成為OpenAI的共同創辦人。

在10億美元的支持下，這家新公司從一開始就將目標設定為開發AGI，但當時，很少人真的認為這個目標很快就會達到。

但Sutskever加入後，設定這樣的目標似乎變得合理了起來。

「Y Combinator 」投資董事總經理Dalton Caldwell表示，Sutskever早就名聲在外了。

「我記得Sam Altman稱Sutskever為世界上最受尊敬的研究人員之一，」Caldwell說。「他認為Sutskever能夠吸引許多頂尖的人工智慧人才加入。

他甚至提到，Yoshua Bengio認為，不太可能找到比Sutskever更好的候選人來擔任OpenAI的首席科學家。」

OpenAI的第一個大語言模式在2016年問世。隨後又接著推出了GPT-2和GPT-3，然後是DALL-E。

沒有人建造出這麼好的東西。每一次發布新產品，OpenAI都提高了人們對AI可能性的認知上限。

Ilya：我們一開始覺得ChatGPT應該沒什麼人會用

去年11月，OpenAI發布了ChatGPT，重新包裝了現有技術，直接顛覆了整個產業。

但當時，OpenAI並沒有意識到這一切。

Sutskever表示，公司內部的期望已經低得不能再低了，「我承認，這讓我有點尷尬——我不知道我是否應該說出來，但管他呢，事實就是這樣——當我們製作ChatGPT時，我並不覺得這個東西到底有啥好的。

當你問它一個事實問題時，它會給你一個錯誤的答案。我認為這應該不會有人用。人們會說，你為什麼要做這種東西，這東西很無聊！」

Sutskever說，ChatGPT最吸引人的地方就是方便──那時候，ChatGPT背後的大型語言模型已經存在了好幾個月了。

但將它包裝在一個易於訪問的介面中，並免費讓所有人使用，讓數十億人第一次意識到OpenAI和正在建立一個什麼產品，這還是第一次。

「第一次的體驗真的讓人著迷，」Sutskever說。“當你第一次使用它時，我覺得幾乎是一種通靈一樣的體驗。你會說：天哪，這台計算機似乎能理解我在說什麼。”

OpenAI在不到兩個月的時間內就累積了1億用戶，其中許多人都被這個令人驚嘆的新玩具弄得眼花撩亂。

儲存公司Box的執行長Aaron Levie在Twitter上總結了ChatGPT發布後一周後整個行業的氛圍：

“ChatGPT是技術領域罕見的時刻之一，在這裡你可以看到未來一切都將被顛覆的那一線曙光。”

「AGI在機器學習領域不再是貶義詞，」他說，「這是一個很大的變化。人們之前的態度是：人工智慧沒啥用，每一步都非常困難，道路會非常曲折。

當人們炒作AGI時，AI研究人員會說——問題太多了，很多問題解決不了。但有了ChatGPT，感覺就開始不一樣了。」

這種轉變在一年前才開始發生？「這一切的發生都是因為ChatGPT，」他說。“ChatGPT讓機器學習研究人員得以實現自己的夢想。”

而OpenAI的科學家從一開始就是佈道者，他們一直透過部落格文章和巡迴演講來激發這些夢想。

「現在終於有人在談論人工智慧將走多遠了——人們在談論AGI，或者說超級智慧。」不只是研究人員。「各國政府正在討論這個問題，」Sutskever說。“這很瘋狂。”

神經網路可以產生意識

Sutskever堅持認為，所有這些關於還不存在（也可能永遠不會存在）的技術的討論是一件好事，因為它讓更多的人意識到那些他們自己已經認為是理所當然的未來。

「你可以用AGI做很多令人驚奇的事情，不可思議的事情：自動化醫療保健，使其便宜一千倍，效果好一千倍，治愈如此多的疾病，真正解決全球變暖問題，」他說。“但也有很多人擔心：’天啊，AI公司能成功管理這項巨大的技術嗎？’”

這樣看來，AGI聽起來更像是實現願望的精靈，而不是現實世界中將要發生的事情。你可以對它許下任何你的願望。

當Sutskever談論AGI時，他到底在談論什麼？「AGI並不是一個科學術用語，」他說。“它是一個有用的門檻標準，一個參考點。”

在他看來“如果人類可以做到的事，AI也可以做到，那這就是AGI。”

雖然很多研究人員不相信真的會有AGI，但這個願景一直激勵著Sutskever。

他將神經網路和大腦的運作方式進行了比較。兩者都接收數據，聚合來自該數據的訊號，然後基於一些簡單的過程來決定（神經網路中的數學、大腦中的化學物質和生物電）傳播或不傳播這些訊號。

雖然這個比喻簡化了很多細節，但核心就是這樣。

「如果你相信這一點——如果你允許自己相信這一點——那麼就會產生很多有趣的衍生想法，」Sutskever說。

“如果你有一個非常大的人工神經網絡，它應該做很多事情。如果人腦可以做某事，那麼大型人工神經網絡也可以做類似的事情。”

「如果你夠認真地意識到這一點，那麼一切都會水到渠成，」他說。“我的大部分工作都可以用這句話這個來解釋。”

2022年2月，Sutskever發文稱，“今天的大型神經網路可能具有輕微的意識”

（GoogleDeepMind首席科學家、倫敦帝國學院教授、電影《機械姬》的科學顧問Murray Shanahan在下面回覆到「你這好像是在說，這一大片麥田裡已經有了輕微的蘭州拉麵」）。

解決一個還不存在的問題—“超級通用人工智慧”

當其他人苦思如何讓機器能夠與人類智慧相媲美時，Sutskever卻在為能夠超越人類能力的機器做準備了。

他將這種現象稱為超級人工智慧：“他們會更深入地看待事物。他們會看到我們看不到的東西。”

他所說的比人類聰明的智能是什麼意思？

「我們在AlphaGo中看到了一個的超級智慧的影子，」他說。

2016年，DeepMind的下棋人工智慧以4-1擊敗了世界上最好的圍棋棋手之一李世石。

「它弄清楚瞭如何以不同於人類方式下圍棋」Sutskever說。“它提出了全新的想法。”

Sutskever提到了AlphaGo最有名的第37號棋。在與李世石的第二場比賽中，人工智慧的一步棋讓評論員感到困惑。

他們認為AlphaGo下了一步昏招。但事實上，它下了棋史上從未見過的一步製勝棋。

「想像一下這種程度的洞察力，出現在社會所有領域時會發生什麼事」Sutskever說。

這個想法導致Sutskever做出了他職業生涯中最大的轉變。

他與OpenAI的科學家同事Jan Leike一起成立了一個團隊，專注於他們所謂的「超級對齊」。

對齊意思是讓人工智慧模型做你想做的事，僅此而已。

「超級對齊」是OpenAI自己提出的概念，意思是控制超級智慧做人類想讓它做的事情。

OpenAI的目標是提出一套用於建構和控制這種未來技術的故障安全程序。OpenAI表示將分配其運算資源的五分之一來解決該問題，希望能在四年內解決它。

「現有的對齊方法不適用於比人類更聰明的模型，因為它們從根本上假設人類可以可靠地評估人工智慧系統正在做什麼，」Jan Leike說，「隨著人工智慧系統變得更加強大，它們將承擔更艱鉅的任務。”

這將使人類更難評估它們。

「在與Ilya一起組建超級對齊團隊時，我們已經著手解決這些未來的對齊挑戰，」他說。

Google首席科學家Dean表示：“不僅要關注大型語言模型的潛在機遇，還要關注其風險和缺點，這一點非常重要。”

對Sutskever來說，「超級對齊」遲早要做的事情。「這是一個未解決的問題，」他說。

他認為，像他這樣的核心機器學習研究人員正在致力於解決這個問題。“我這樣做是為了我自己的利益，”，“任何人構建的任何超級智能都不能失控，這一點顯然很重要。”

超對準的工作才剛開始。Sutskever表示，這需要研究機構進行廣泛的變革。但他心中有一個想要設計的保障措施的理想標準：一個像父母對待孩子一樣對待人類的系統。

「在我看來，這是黃金標準，」他說。“人們真的很關心自己的孩子，沒有人會否認這一點。”

「一旦你克服了流氓人工智慧的挑戰，然後呢？在一個擁有更智慧的人工智慧的世界裡，人類還有生存空間嗎？」

「一種可能性——以今天的標準來看可能很瘋狂，但以未來的標準來看不會那麼瘋狂——就是許多人會選擇成為人工智慧的一部分。」Sutskever表示，「一開始，只有最勇敢、最有冒險精神的人才會嘗試這樣做。也許其他人會效仿，也可能不會。”