編者註：OpenAI首席科學家Ilya Sutskever的X帳號可能是科技界名人裡最特別的那種，他很少極少分享自己的個人生活，除了轉發公司產品鏈接，他的推文通常都是一些零碎的閃念與思考：「自我是成長的敵人」；「GPU就是新時代的比特幣」；「如果你把智力看得比人類所有其他特質都重要，那麼你會過得很糟糕」；「生活和商業中的同理心被低估了”；“完美毀掉了很多完美的好東西。”

更多時候，是為（通用人工智慧）AGI站台，正如他的X簽名：「打造眾多喜歡人類的AGI們」（towards a plurality of humanity loving AGIs）。

在現實生活裡也是如此，他不熱衷社交，很少在媒體前拋頭露面。唯一能讓他感到興奮的東西，就是人工智慧。

近期，Ilya Sutskever接受了《麻省理工科技評論》記者Will Douglas Heaven專訪，他在採訪中談到了OpenAI早年的創業史、實現AGI的可能性，也介紹了OpenAI未來在管控「超級智慧」方面的計劃，他希望讓未來的超級智能，可以像父母看待孩子一樣看待人類。

以下為正文：

伊爾亞·蘇茨克維（Ilya Sutskever）低頭沉思。他雙臂張開，手指放在桌面上，就像音樂會上即將彈奏第一個音符的鋼琴家。我們靜靜地坐著。

我是來和OpenAI的聯合創始人兼首席科學家Sutskever會面的，他的公司位於舊金山傳教區一條不起眼的街道上，辦公大樓沒有任何標誌，我想聽聽他一手打造的這項顛覆世界的技術的下一步計劃。我還想知道他的下一步計劃，尤其是，為什麼建立他公司的下一代旗艦生成模型不再是他的工作重點。

Sutskever告訴我，他的新工作重點不是製造下一代GPT或影像製造機DALL·E，而是研究如何阻止人工超級智慧（他認為這是一種假想的未來技術，具有先見之明）的失控。

Sutskever也告訴了我很多其他事情。他認為ChatGPT可能有意識（如果你瞇著眼睛看的話）。他認為，世界需要清醒地認識到他的公司和其他公司正在努力創造的技術的真正威力。他也認為，總有一天人類會選擇與機器融合。

Sutskever說的很多話都很瘋狂。但不像一兩年前聽起來那麼瘋狂。正如他自己告訴我的那樣，ChatGPT已經改寫了很多人對未來的預期，把”永遠不會發生”變成了”會比你想像的更快發生”。

他說：

“重要的是要討論這一切的方向。”

當他預測AGI（通用人工智慧，像人類一樣聰明的AI）的未來時，彷彿它就像另一部iPhone一樣信心滿滿：

“總有一天，AGI會實現。也許來自OpenA。也許來自別的公司。”

自從去年11月發布紅極一時的新產品ChatGPT以來，圍繞OpenAI的討論一直令人印象深刻，即使在這個以炒作著稱的行業也是如此。沒有人不會對這家市值800億美元的新創公司感到好奇。世界各國領導人尋求（並且得到）和CEO Sam Altman私人會面。ChatGPT這個笨拙的產品名稱在閒聊中不時出現。

今年夏天，OpenAI的執行長Sam Altman花了大半個夏天的時間，進行了長達數週的外展之旅，與政客們親切交談，並在世界各地座無虛席的會場發表演講。但Sutskever不像他那樣是個公眾人物，他也不常接受訪問。

他說話時深思熟慮，有條不紊。他會停頓很久，思考自己想說什麼、怎麼說，把問題像解謎一樣反覆推敲。他似乎對談論自己不感興趣。

他說：

“我的生活很簡單。我去上班，然後回家。我不做其他事情。一個人可以有很多社交，可以參加很多活動，但我不會。”

但當我們談到人工智慧，談到他所看到的劃時代的風險和回報時，他的眼睛亮了起來：

“AI將萬世不朽、震撼整個世界。它的誕生如同開天闢地。”

越來越好，越來越好

在一個沒有OpenAI的世界裡，Sutskever仍將載入人工智慧史冊。身為以色列裔加拿大人，他出生在前蘇聯，但從五歲起就在耶路撒冷長大（他至今仍能說俄語、希伯來語和英語）。之後，他移居加拿大，在多倫多大學師從人工智慧先驅傑弗裡·辛頓（Geoffrey Hinton）。(Sutskever不想對辛頓的言論發表評論，但他對超級智慧災難的關注表明他們是同道中人）。

辛頓後來與楊立昆（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）分享了圖靈獎，以表彰他們在神經網路方面的研究成果。但當Sutskever在2000年代初期加入他的團隊時，大多數人工智慧研究人員都認為神經網路是一條死胡同。辛頓是個例外。

Sutskever說：

“這就是生成式人工智慧的開端。真的很酷，只是還不夠好。”

Sutskever對大腦非常著迷：它們是如何學習的？以及如何在機器中重新創建或至少模仿這一過程？和辛頓一樣，他看到了神經網路的潛力，以及辛頓用來訓練神經網路的試誤技術，也就是深度學習。Sutskever說：“它變得越來越好，越來越棒。”

2012年，Sutskever、Hinton和Hinton的另一名研究生Alex Krizhevsky建立了一個名為AlexNet的神經網絡，經過訓練，他們識別照片中物體的能力遠遠超過了當時的其他軟體。這是深度學習的大爆炸時刻。

在經歷了多年的失敗之後，他們終於證明了神經網路在模式辨識方面的驚人功效。你只需要足夠的數據（他們使用的，是普林斯頓大學研究員李飛飛自2006年以來一直在維護的ImageNet數據集中的一百萬張圖片）和強到爆炸的算力。

算力的提升來自於英偉達公司生產的一種名為圖形處理器（GPU）的新型晶片。GPU的設計目的是以閃電般的速度將快速移動的電玩視覺效果投射到螢幕上。但GPU擅長的運算——大量數字網格的乘法——卻與訓練神經網路所需的運算十分相似。

英偉達現在已經是一家市值上兆美元的公司。當時，它正急於為其市場狹窄的新硬體尋找應用領域。

「當你發明一項新技術時，你必須接受瘋狂的想法，」英偉達執行長黃仁勳說。“我的思想狀態總是在尋找一些古怪的東西，而神經網路將改變計算機科學的想法，這是一個非常古怪的想法。”

黃仁勳說，在多倫多團隊開發AlexNet時，英偉達寄了幾塊GPU讓他們試用。但他們想要的是最新版本，一種名為GTX580的晶片，這種晶片在門市很快就賣光了。根據黃仁勳的說法，Sutskever從多倫多開車到紐約買了GPU。

「人們在街角排起了長隊，」黃仁勳說。「我不知道他是怎麼做到的——我很確定每個人只能買一個；我們有非常嚴格的政策，每個玩家只能買一個GPU，但他顯然把它們裝滿了一個後備箱。滿滿一後車箱的GTX580改變了世界。”

這是一個偉大的故事，只是可能不是真的。Sutskever堅稱他的第一批GPU是在網路上買的。但在這個熱鬧的行業裡，這樣的神話是司空見慣的。

Sutskever本人則較為謙虛，他說：

“我想，如果我能取得哪怕一丁點真正的進展，我都會認為這是一種成功。現實世界的影響感覺太遙遠了，因為那時的計算機太弱小了。”

AlexNet取得成功後，Google來敲門了。谷歌收購了辛頓的公司DNNresearch，並聘請了Sutskever。在谷歌，Sutskever展示了深度學習的模式識別能力可以應用於資料序列，如單字和句子，以及圖像。Sutskever的前同事、現任谷歌首席科學家的傑夫·迪恩（Jeff Dean）說：「Ilya一直對語言很感興趣，這些年來，我們進行了很好的討論。Ilya對事物的發展方向有很強的直覺。”

但Sutskever並沒有在谷歌工作太久。2014年，他受聘成為OpenAI的共同創辦人。這家新公司擁有10億美元的資金支持（來自CEO Altman、馬斯克、彼得·蒂爾、微軟、Y Combinator和其他公​​司），他們有那種矽谷的雄心，從一開始就把目光投向了開發AGI，這一前景在當時很少有人認真對待。

Sutskever是公司的幕後推手，他的野心是可以理解的。在此之前，他已經在神經網路方面取得了越來越多的成果。Y Combinator投資董事總經理Dalton Caldwell說，Sutskever當時已經聲名在外，他是OpenAI吸引力的關鍵來源。

Caldwell說：「我記得山姆（Sam Altman）說伊利亞是世界上最受尊敬的研究人員之一。他認為Ilya能夠吸引許多頂尖的人工智慧人才。他甚至提到，世界頂尖人工智慧專家Yoshua Bengio認為，不可能找到比Ilya更合適的人選來擔任OpenAI的首席科學家。”

然而，OpenAI一開始卻舉步維艱。

Sutskever說：「在我們啟動OpenAI的時候，有一段時間我並不確定將如何繼續取得進展。但我有一個非常明確的信念，那就是不能與深度學習對賭。不知怎的，每次我遇到障礙，研究人員都會在半年或一年內找到繞過它的方法。”

他的信念得到了回報。2016年，OpenAI的第一個GPT大型語言模型（該名稱代表”生成預訓練轉換器”）問世。隨後，GPT-2和GPT-3相繼問世。然後是引人注目的圖片生成模型DALL·E。當時還沒有人能造出這麼好的東西。每一次發布，OpenAI都提高了人們對可能性的認識。

管理期望值

去年11月，OpenAI發布了一款免費使用的聊天機器人，對其部分現有技術進行了重新包裝。它重新設定了整個產業的議程。當時，OpenAI對自己的產品可能達到的熱度一無所知。

公司內部的期望值低得不能再低了，Sutskever說：「我承認，我有點尷尬——我不知道我是否應該承認，但管它呢，這是事實——當我們製作ChatGPT時，我不知道它是否好。當你問它一個事實性的問題時，它會給你一個錯誤的答案。我以為它會很平淡無奇，人們會說，你為什麼要做這個？這太無聊了！”

Sutskever說，吸引人的地方在於它的便利性。ChatGPT引擎蓋下的大型語言模型已經存在了幾個月。但是，將其封裝在一個易於訪問的介面中並免費贈送，讓數十億人第一次了解到OpenAI和其他公司正在構建的東西。

Sutskever說：

「這種初次體驗吸引了人們。第一次使用它，我認為幾乎是一種精神體驗。你會想，天哪，電腦似乎能理解我說的話。”

OpenAI在不到兩個月的時間內就累積了1億用戶，其中許多人都被這個令人驚嘆的新玩具迷住了。儲存公司Box的執行長 Aaron Levie 在推特上總結了發布後一周的氛圍：「ChatGPT是技術領域難得一見的時刻，讓你看到了未來一切都將不同的曙光。”

當ChatGPT說出一些蠢話時，這種奇妙的感覺馬上就坍塌了。但到那時就無所謂了。Sutskever說：“那一瞥已經足夠了。ChatGPT改變了人們的看法。”

「在機器學習領域，AGI不再是一個骯髒的詞，」他說。「這是一個巨大的變化。人們歷來的態度是：人工智慧行不通，人工智慧行不通，每一步都非常困難，你必須為每一絲進步而奮鬥。當人們大肆宣揚人工智慧時，研究人員會說：’你在說什麼？這個不行，那個也不行。問題太多了。’但有了ChatGPT，感覺就開始不一樣了。”

這種轉變是一年前才開始發生的嗎？「是因為ChatGPT，」他說。“ChatGPT讓機器學習研究人員有了夢想。”

OpenAI的科學家從一開始就是傳道者，他們透過部落格文章和巡迴演講激起了這些夢想。

這一切正在起作用：“我們現在有人在談論人工智慧會發展到什麼程度，有人在談論AGI或超級智慧。不僅僅是研究人員。各國政府也在談論它，這太瘋狂了。”

不可思議的事物

Sutskever堅持認為，所有這些關於尚未存在（可能永遠不會存在）的技術的討論都是好事，因為這讓更多人意識到他已經認為理所當然的未來。

他說：「你可以用AGI做很多了不起的事情，不可思議的事情：實現醫療自動化，讓醫療成本低一千倍，醫療效果好一千倍，治癒很多疾病，真正解決全球暖化問題。但也有很多人擔心，天哪，人工智慧公司能否成功管理這項巨大的技術？”

AGI聽起來更像是實現願望的精靈，而非可以出現在現實世界的技術。很少有人會拒絕拯救生命和解決氣候變遷問題。但一項不存在的技術的問題在於，你可以對它說任何你想說的話。

當Sutskever談到AGI時，他到底在說什麼？

他說：「AGI並不是一個科學術語。它只是一個有用的門檻，一個參考點。它是一種理念。」他開始說，然後停頓了一下。“它是指人工智慧的智能程度，如果人類能完成的任務，人工智慧也能完成。然後，你可以說實現了AGI。”

AGI仍然是AI領域最具爭議性的想法之一。很少人認為AGI的到來是必然的。許多研究人員認為，在我們看到類似Sutskever所想的東西之前，還需要在概念上取得重大突破，而有些人則認為我們永遠不會看到。

然而，這是他從一開始就有的願景。Sutskever說：「我一直受到這個想法的啟發和激勵。當時還不叫AGI，但你知道，就像讓神經網路做所有事情一樣。我並不總是相信它們能做到。但這是一座需要攀登的高山。”

他將神經網路和大腦的運作方式做了類比。兩者都接收數據，匯總數據中的訊號，然後根據一些簡單的過程（神經網路中的數學，大腦中的化學物質和生物電）來決定是否傳播這些訊號。這是一個簡化的比喻，但原理是類似的。

Sutskever說：

「如果你相信這一點，如果你允許自己相信這一點，那麼就會產生很多有趣的影響。如果你有一個非常大的人工神經網絡，它應該能做很多事情。特別是，如果人腦可以做一些事情，那麼一個大型人工神經網路也可以做類似的事情。”

「如果你夠認真地認識到這一點，一切都會水到渠成，」他說。「我的大部分工作都可以用這一點來解釋」。

在我們談論大腦的時候，我想問Sutskever在X（推特）上發表的一篇文章。Sutskever的貼文就像一卷箴言：「如果你把智力看得比人類所有其他特質都重要，那麼你會過得很糟」；「生活和商業中的同理心被低估了」；「完美毀掉了很多完美的好東西。”

2022年2月，他發文稱，「也許今天的大型神經網路略有意識」（GoogleDeepMind首席科學家、倫敦帝國學院教授兼電影《機械姬》（ExMachina）科學顧問默里·沙納漢（Murray Shanahan ）對此回覆：「…就像一大片麥田可能略帶義大利麵一樣」）。

當我提起這件事時，Sutskever笑了。他是在開玩笑嗎？他沒有。”他問：”你熟悉玻茲曼大腦的概念嗎？

他指的是量子力學中以19世紀物理學家路德維希·波茲曼（Ludwig Boltzmann）命名的一個（調侃式的）思想實驗，在這個實驗中，人們想像宇宙中的隨機熱力學波動會導致大腦突然出現或消失。

「我覺得現在這些語言模型有點像波茲曼大腦，」Sutskever說，「你開始跟它說話，你說了一會兒；然後你說完了，大腦就…」他用手做了一個消失的動作。噗——再見，大腦。」

我問他，你是說，在神經網路活躍的時候，也就是它發射的時候，有什麼東西在那裡？

他說：

“我想可能是的。我不確定，但這是一種很難反駁的可能性。但誰知道會發生什麼呢，對吧？”

人工智慧，但不是我們所知的那種

當其他人還在為機器能與人類的智慧相媲美而糾結時，Sutskever正在為機器能超越我們而做準備。他稱之為人工超級智慧：“它們會看得更透徹。它們會看到我們看不到的東西。”

我還是很難理解這到底是什麼意思。人類智能是我們衡量智能的基準。Sutskever所說的比人類更聰明的智能是什麼意思？

他說，我們已經在AlphaGo身上看到了一個有限的超級智慧的例子。2016年，DeepMind的AI圍棋機器人在一場圍棋比賽中以4:1的比分擊敗了世界上最好的圍棋選手之一李世石。

Sutskever說：

“它找出了下圍棋的方法，與人類幾千年來共同開發的方法不同。它提出了新的想法。”

Sutskever指出了AlphaGo謎一樣的第37手。在與李世石的第二場比賽中，AI下出了讓評論員們大吃一驚的一步棋，他們認為AlphaGo下砸了。事實上，AlphaGo下出了在對局史上從未有人見過的神之一（被圍棋迷們稱為「阿狗流」）。「想像一下，AlphaGo的洞察力是如此之強，而且是全方位的。」Sutskever說。

正是這種思路促使Sutskever做出了他職業生涯中最大的轉變。他與OpenAI的科學家揚·雷克（Jan Leike）一起成立了一個團隊，專注於他們所說的超級對齊（superalignment）。Alignment是行話，意思是讓人工智慧模式做你想做的事，僅此而已。Superalignment是OpenAI的術語，指超級智慧的對齊問題。

超級對齊的目標是，為建構和控制這項未來技術制定一套萬無一失的程序。OpenAI表示，它將分配五分之一的龐大運算資源來解決這個問題，並在四年內解決。

「現有的排列方法對於比人類更聰明的模型不起作用，因為它們從根本上假定人類能夠可靠地評估人工智慧系統正在做的事情，」Leike說，「隨著人工智慧系統的能力越來越強，它們將承擔更艱鉅的任務。這種想法認為，人類將更難對它們進行評估。在與Ilya組建超對齊團隊的過程中，我們已經著手解決這些未來的對齊挑戰。”

谷歌首席科學家迪恩說：

“不僅要關注大型語言模型的潛在機遇，還要關注其風險和弊端，這一點非常重要。”

OpenAI於7月大張旗鼓地宣布了這項計畫。但對某些人來說，這不過是天方夜譚。OpenAI在Twitter上發表的博文引起了大科技界著名批評家的嘲諷，其中包括在Mozilla從事人工智能問責工作的Abeba Birhane（”在一篇博文中出現了這麼多聽起來宏偉卻空洞的詞句” ）；分佈式人工智慧研究所（Distributed Artificial Intelligence Research Institute）聯合創始人Timnit Gebru（”想像一下，ChatGPT與OpenAI的技術人員更加’超級對齊’。不寒而栗”）；以及人工智能公司HuggingFace的首席倫理科學家更加’超級對齊’。不寒而栗”）；以及人工智能公司HuggingFace的首席倫理科學家瑪格麗特·米切爾（”我的聯盟比你的更大”）。誠然，這些都是我們耳熟能詳的不同聲音。但這也有力地提醒我們，在某些人看來，OpenAI是站在前沿的領導者，而在其他人看來，OpenAI則是站在邊緣的領導者。

不過，對Sutskever來說，結盟是不可避免的下一步。「這是一個尚未解決的問題，」他說。他認為，像他自己這樣的核心機器學習研究人員正在研究的問題還不夠多。“我這麼做是為了自己的利益。顯然，重要的是，不管是誰構建的超級智能都不能背叛人類。”

超級聰明的工作才剛開始。Sutskever說，這需要研究機構進行廣泛的改革。不過，對於他希望設計的保障措施，他心中已經有了一個範例：能像父母看待孩子一樣看待人類的AI。他說：“在我看來，這是黃金標準。”他說，“畢竟人們真的關心孩子。AI有孩子嗎？沒有，但我希望它能這麼想。”

我和Sutskever的談話時間快到了，我想我們已經結束了。但他又有了新的想法──一個我沒有想到的想法：

「一旦你解決了人工智慧失控的挑戰，然後呢？在一個擁有更智慧人工智慧的世界裡，人類還有生存空間嗎？”

“有一種可能性——以今天的標準來看可能很瘋狂，但以未來的標準來看就不那麼瘋狂了——那就是許多人會選擇成為人工智能的一部分。這可能是人類試圖跟上時代的方式。一開始，只有最大膽、最有冒險精神的人才會嘗試這樣做。也許其他人會跟進，或者不會。”

等等，什麼？他準備起身離開。你會這麼做嗎？我問他，你會是第一批嗎？第一批？我不知道，他說。但這是我考慮過的事情。真正的答案是：也許吧。

說完，他站起身，走出了房間。「很高興再次見到你。」他邊走邊說。