OpenAI又上演“權力的遊戲”
偉大的科技、產品公司,有時會折戟於管理。就好比巔峰期的雅達利因品質品控系統鬆弛而崩潰。技術和管理到底能否兼具?類似的考題,被擺在OpenAI面前。 5月15日,GPT-4o發布後僅一天,OpenAI再次成為了萬眾矚目的焦點。不過與先前的技術突破不同,這次OpenAI的話題點在於,開始其首席科學家Ilya和超級對齊團隊的集體出走。
在此之前,超級對齊團隊曾擁有OpenAI20%的算力資源。因此難免讓人懷疑,這次OpenAI短暫、大規模的人事變動是否是其發展策略變動的前哨?
分歧已久
OpenAI內部的分歧存在已久,在去年11月的「宮鬥」事件中早已公諸於世。這次Ilya Sutskever等一行人的出走,可以看作是歷史矛盾的延續。
Ilya辭職前,OpenAI內部最大的分歧之一在於對AI安全問題的態度。
科技巨頭和新創公司的互卷下,AI技術研發在快車道上一往直前,AGI時代離我們越來越近。有人認為「OpenAI正在訓練更強大的AI系統,目標是最終全面超越人類智慧」。
未知的全新力量下蘊藏著未知的風險。用前員工的一句話講,這可能是人類有史以來發生過的最好的事情,但如果我們不小心行事,也可能是最糟糕的事情。
目前的AI監管主要集中在「評估風險和採取緩解措施」的組合上,這種組合很容易被大型公司鑽空子,最終反而疏於了對最需要被監管的前型AI實驗室的監管。超級對齊團隊解散前,對於不同時間尺度的AI風險,OpenAI有三個團隊來分別應對。
「對齊」或「超級對齊」是人工智慧領域中使用的術語,指訓練人工智慧系統在人類需求和優先事項範圍內運作的工作。 2023年6月5日,超級對齊AI團隊首次對外宣布成立。這支團隊的使命旨在「解決如果公司成功建構AGI,實際上會出現不同類型的安全問題」——也就是AI智慧水準不斷提高後未來可能出現的安全問題。
師從人工智慧教父Geoffray Hinton的Ilya是堅持安全第一的安全派。 2016年,Ilya以共同創辦人、研究總監的身份加入OpenAI,並於2018年擔任首席科學家。研發期間,Ilya一直在關注AI大模型的安全問題。
Sam Altman則是商業派,致力於開發“更閃亮的產品”,與Google等競爭對手的卯足了勁較量。在他看來,AGI的安全治理問題優先順序遠不如推出「閃亮的產品」。雖然Altman在訪談中屢次表示對安全問題的重視,但就實際操作而言,算力資源的天平在不斷向研發的一側傾斜。對Altman來說,相對於未來態的安全治理,如何加足馬力在當前的這場AI競賽中拔得頭籌顯然更為重要。
對此,OpenAI的前員工、超級對齊成員之一William Saunders在Less Wrong論壇上表示,對OpenAI能否在AGI時代負責任的行動失去了信心。
William Saunders並非個案。對OpenAI未來AGI安全部署工作的失望成為超級對其團隊不少人離開的關鍵要素。不少人認為,Ilya出走很可能是已經看到了AGI的安全隱憂。
OpenAI「權力的遊戲」還有幾季?
在科技驅動的進步面紗下,未來安全團隊被迫「重組」。事實上,OpenAI在安全方面的人事一直在不斷「跳躍」。
2021年,GPT-3的團隊負責人Dario和Daniela Amodei因「對安全研究的優先順序」存在分歧而辭職,轉身創辦了Anthropic。
同年,RLHF的發明者兼安全研究主管Dr.Paul Christiano從安全團隊中辭職,創辦了一個非營利的校準研究中心。
2023年11月,OpenAI圍繞著安全問題爆發宮鬥,Sam Altman在被撤職100小時後重返OpenAI。
2024年,這場「權力的遊戲」繼續上演。
2024年2月15日,安全研究員William Saunders 在EA 論壇上總結了自己在OpenAI 作為超級對齊團隊一部分的工作。表示已從OpenAI辭職。
3月17日,Jan Leike 離職。 Jan Leike參與開發了ChatGPT的核心技術之一——人類回饋強化學習RLHF,在加入OpenAI後,從程式碼大模型Codex、ChatGPT的前身InstrucGPT,到ChatGPT、GPT-4,他都是重要貢獻者。
4月,Daniel Kokotajlo在拒絕簽署離職協議的情況下辭職,並在此後的媒體採訪中公開表示“OpenAI正在訓練更強大的AI系統,目標是最終全面超越人類智能。”,自己已經“逐漸對OpenAO領導層以及他們負責地處理AGI的能力失去了信心」。
4月11日,安全團隊的Leopold Aschenbrenner與推理團隊的Pavel Izmailov因涉嫌資訊洩密而被開除。安全研究員Cullen O’Keefe 也離開了OpenAI。
5月15日,OpenAI的共同創辦人及首席科學家Ilya宣布離職,並在社群平台X上表示自己將開啟「接下來的計畫-這個計畫對我個人來說意義重大,我會在適當的時候分享細節。
Ilya宣布離開幾小時後,Ilya的同事,OpenAI超級對齊團隊聯合主管Jan Leike光速宣布辭職,在X上留下兩個字母:I resigned。 Leike 自2021 年加入OpenAI,並於2023年開始領導超級對齊團隊。在此後幾天,Jan Leike陸續在X上揭開此次出走的“內幕”:“我與OpenAI 領導層在公司的核心優先事項上存在分歧已有一段時間,直到我們最終達到了臨界點”“過去幾個月,我的團隊一直在逆風前行」「建造比人類更聰明的機器本質上是一項危險的工作…但在過去的幾年裡,安全文化和流程已經讓位給閃亮的產品」。他認為OpenAI「應該把更多的精力花在為下一代模型做準備上,包括安全性、監控、準備、安全、對抗魯棒性、(超級)對齊、保密性、社會影響和相關主題,這些問題很難解決,我擔心我們還沒有走上正確的軌道。
超級對齊成員之一William Saunders,以及參與過GPT-4對抗性測試的Daniel Kokotajlo,此前兩人均已離開OpenAI。
在許多離職的人中,Daniel Kokotajlo和Jan Leike屬於敢直接批判OpenAI在安全領域和發展方向上有問題的「特殊群體」。個中原因很可能是OpenAI的「封口協定」。根據OpenAI前員工Kelsey Piper 爆料,OpenAI的員工需簽署一份帶有非貶低協議的離職協議,如果拒絕簽署,其拿到的股權獲益將被取消。而Daniel Kokotajlo則拒絕簽署這項協議。
在Sutskever和Leike 退出後,OpenAI向CNN 證實,最近幾週已開始解散其超級對齊團隊,轉而整合各個研究小組的團隊成員。 OpenAI的發言人表示,該結構將幫助OpenAI 更好地實現其超級對齊目標。事實上,該業務線新的領導者John Schulma先前是負責OpenAI現有產品的安全問題。而將縱向超級對齊團隊橫向合併也意味著,未來安全把關人在某種程度上的消失。
浮世新人換舊人,Sam Altman在社交平台X上表達了對於Ilya離開的遺憾,表示“他走後的OpenAI不再和從前一樣”,但旋即又在同一條帖子宣布任命了新的首席科學家JakubPachoki 。此外,OpenAI近日還聘請了在Google搜尋廣告業務工作了多年的資深人士Shivakumar Venkataraman。
自此,OpenAI的發展策略階段性地實現了表面一致——以「黨同伐異」的代價。