OpenAI超級對齊團隊正在分崩離析。團隊負責人OpenAI聯合創始人、首席科學家伊爾亞·蘇茨克維（Ilya Sutskever）與楊·萊克（Jan Leike），本週雙雙離職。北京時間週五晚間，楊萊克在社交平台X上公開解釋了他為什麼離職。他寫到原因跟對核心優先事項以及團隊分配資源的分歧有關，他更關注安全性、一致性等問題；超級對齊團隊過去幾個月一直在“逆風航行”，在計算上很吃力，完成研究越來越困難；過去幾年，安全文化和流程已經讓位給更耀眼的產品。

這似乎是OpenAI高層第一次公開表示OpenAI將產品置於安全之上。

對此，OpenAI聯合創始人、CEO薩姆·阿爾特曼（Sam Altman）發文回應：「我非常感激楊·萊克對OpenAI的對齊研究和安全文化做出了貢獻，看到他離開，我感到非常難過。

OpenAI去年7月組建了超級對齊團隊，由楊·萊克和伊爾亞·蘇茨克維領導，目標是在未來4年內解決控制超級智慧AI的核心技術挑戰。該團隊承諾將獲得該公司20%的運算資源，但其實際獲得運算資源卻受到阻礙。

幾個月來，OpenAI一直在流失關注AI安全的員工。自去年11月至今，OpenAI至少有7名註重安全的成員辭職或被開除。

據《連線》證實，OpenAI超級對齊團隊已經解散，餘下成員要么辭職，要么將被納入OpenAI的其他研究工作中。

楊萊克公開離職原因：

團隊逆風前行，拿運算資源很吃力

前OpenAI超級對齊團隊聯合負責人楊萊克（Jan Leike）昨晚連發13條推文，公開了離職原因：

昨天是我作為OpenAI的對齊負責人、超級對齊負責人和執行官的最後一天。

在過去的3年裡，這是一段瘋狂的旅程。我的團隊使用InstructGPT推出了第一個RLHF LLM，發布了第一個可擴展的LLM監督，率先實現了自動化可解釋性和弱到強的泛化。更多令人興奮的事物即將問世。

我愛我的團隊。

我非常感謝和我一起工作的許多了不起的人，包括超級聯盟團隊內部和外部的人。

OpenAI擁有如此多非常聰明、善良和有效率的人才。

離開這份工作是我做過的最艱難的事情之一，因為我們迫切需要弄清楚如何引導和控制比我們聰明得多的AI系統。

我加入是因為我認為OpenAI將是世界上做這項研究最好的地方。

然而，很長一段時間以來，我與OpenAI領導階層對公司核心優先事項的看法一直不合，直到我們終於到了臨界點。

我認為，我們應該把更多的頻寬用於為下一代模型做好準備，包括安全性、監控、準備、對抗穩健性、（超級）一致性、保密性、社會影響和相關主題。

這些問題很難解決，我擔心我們沒有走在到達那裡的軌道上。

過去幾個月裡，我的團隊一直在逆風航行。有時我們在計算上很吃力，完成這項重要的研究變得越來越困難。

建造比人類更聰明的機器本身就是一項危險的嘗試。

OpenAI代表著全人類肩負著巨大的責任。

但過去幾年，安全文化和流程已經讓位給耀眼的產品。

我們早就該認真看待AGI的影響了。

我們必須盡可能優先做好準備。

這樣，我們才能確保AGI造福全人類。

OpenAI必須成為一家安全第一的AGI公司。

對所有OpenAI員工，我想說：

學會感受AGI。

舉止要莊重得體，為你們正在建構的東西。

我相信你們可以「傳遞」所需的文化變革。

我就指望你們了。

全世界都指望著你們。

： openai-heart：’

大量關心AI安全的員工離職，

蘇茨克維半年沒出現在OpenAI辦公室

幾個月來，OpenAI一直在流失那些關心AI安全的員工。

OpenAI超級對齊團隊由OpenAI之前的校準部門的科學家和工程師以及來自公司其他機構的研究人員加入。他們將為內部和非OpenAI模型的安全性提供研究信息，並透過包括研究資助計劃在內的倡議，向更廣泛的AI行業徵求並分享工作。

該團隊負責開發管理和引導「超級智慧」AI系統的方法。根據OpenAI超級對齊團隊的一位人士透露，該團隊承諾將獲得公司20%的計算資源，但對其中一小部分計算的請求經常被拒絕，阻礙了團隊的工作。

一系列問題促使幾名團隊成員本週辭職。

OpenAI沒有立即回覆關於承諾和分配給該團隊的資源的評論請求。

消息人士透露，蘇茨克維對超級對齊團隊很有幫助，不僅貢獻了研究，而且作為OpenAI內部其他部門的橋樑。他也將擔任某種形式的大使，向OpenAI關鍵決策者展示團隊工作的重要性。

蘇茨克維與阿爾特曼之間的矛盾更是增加了他的受關注度。

去年11月，蘇茨克維和OpenAI前董事會突然宣布開除阿爾特曼，理由是阿爾特曼對董事會成員「並不總是坦誠相待」。

在包括微軟在內的OpenAI投資者和該公司許多員工的壓力下，阿爾特曼最終復職，董事會大部分成員辭職換人。據報道，蘇茨克維再也沒有回去工作。

阿爾特曼復職後不久，蘇茨克維曾發布一篇推文：『上個月我學到了很多。其中一個教訓是，「持續打擊，直到士氣提振」這句話的使用頻率超出了它應有的範圍。 ‘

沒多久，這篇推文就被刪除了。

此後在公開場合，蘇茨克維和阿爾特曼繼續保持友誼的跡象，直到本週蘇茨克維宣布離職時，阿爾特曼還將他稱呼為「我親愛的朋友」。

根據外媒報道，自從奪權事變落幕以來，蘇茨克維已經有大約6個月沒出現在OpenAI辦公室了。他一直在遠端領導超級對齊團隊，負責確保未來的AGI與人類的目標一致，而非背道而馳。

這是個遠大的抱負，但它與OpenAI的日常運作脫節。在阿爾特曼的領導下，該公司一直在探索將產品商業化。

對阿爾特曼的信任崩塌：

就像骨牌般一張張倒下

蘇茨克維和萊克並不是唯二離開的人，自去年11月以來，OpenAI至少有5名註重安全的員工辭職或被開除。

關於阿爾特曼「不坦誠」的內因，業界眾說紛紜，有一種猜測是OpenAI秘密取得了重大技術突破，認為蘇茨克維選擇離職是因為他看到了一些可怕的東西，比如一個可能摧毀人類的AI系統。

真正的答案，可能確實跟阿爾特曼有關。

根據Vox報道，熟悉OpenAI的消息人士透露道，安全意識強的員工已經對阿爾特曼失去了信心。

一位不願透露姓名的公司內部人士說：“這是一個信任一點一點崩塌的過程，就像多米諾骨牌一張一張倒下。”

沒有多少員工願意公開談論此事。部分原因是OpenAI以讓員工在離職時簽署包含非貶損條款的離職協議而聞名。如果拒絕簽署，員工就放棄了在公司的股權，這意味著可能會損失數百萬美元。

但有一名前員工拒絕簽署離職協議，以便可以自由批評公司。丹尼爾·科科塔伊洛（Daniel Kokotajlo）於2022年加入OpenAI，希望帶領公司實現AI的安全部署，他一直在治理團隊工作，直到上個月辭職。

「OpenAI正在訓練越來越強大的AI系統，目標是最終全面超越人類智慧。這可能是人類有史以來最好的事情，但如果我們不謹慎行事，也可能是最糟糕的事情，」科科塔伊洛說。

「我加入時滿懷希望，希望OpenAI能夠迎難而上，在他們越來越接近實現AGI的過程中表現得更加負責任。我們中的許多人逐漸意識到這不會發生，」他談道。 “我逐漸對OpenAI領導層及其負責任地處理AGI的能力失去了信心，所以我辭職了。”

儘管在公眾面前展現出友情，但在蘇茨克維試圖趕走阿爾特曼後，人們對他們的友誼產生了懷疑。

阿爾特曼被解僱後的反應也展現了他的性格。他用掏空OpenAI來威脅董事會重新向他敞開大門。

前同事及員工紛紛透露說，阿爾特曼是一位口是心非的操縱者，例如他聲稱自己希望優先考慮安全，但實際行為卻與此相矛盾。

先前阿爾特曼找沙烏地阿拉伯基金支持成立新AI晶片公司的消息，讓有安全意識的員工感到震驚。如果阿爾特曼真的關心以最安全的方式建構和部署AI，為什麼他似乎在瘋狂累積盡可能多的晶片，而這只會加速技術的發展？

一位了解公司內部情況的消息人士稱，對於員工來說，所有這些都導致​​他們逐漸「不再相信OpenAI說要做什麼或說重視某件事時，這些實際上是真的」。

楊·萊克是前DeepMind研究員，在OpenAI期間參與了ChatGPT、GPT-4和ChatGPT前身InstructGPT的開發。在蘇茨克維宣布離職的幾小時後，萊克發了個簡短聲明：“我辭職了。”

沒有熱情而友善地告別，沒有表達對公司領導的信任。

一些關注安全的OpenAI員工評論心碎的表情。

有安全意識的前員工也轉發了萊克的推文，並附上了愛心表情符號。其中一位是利奧波德·阿森布倫納（Leopold Aschenbrenner），他是蘇茨克維的盟友，也是超級對齊團隊成員，上個月被OpenAI解僱。媒體報道稱，他和同團隊的另一名研究員帕維爾·伊茲麥洛夫（Pavel Izmailov）因洩漏資訊而被解僱。但OpenAI並未提供任何洩密證據。

考慮到每個人加入OpenAI時都要簽署的嚴格保密協議，如果阿爾特曼急於擺脫蘇茨克維的盟友，那麼對他來說，即使是最無害的信息，分享也是很容易被描繪成“洩密」。

就在阿申布倫納和伊茲麥洛夫被迫離職的同一個月，安全研究員卡倫奧基夫也離開了公司。

兩週前，另一位安全研究員威廉·桑德斯（William Saunders）在有效利他主義運動成員的在線聚會場所EA論壇上發表了一篇神秘的帖子，總結了他作為超級對齊團隊成員在OpenAI所做的工作。他寫道：“我於2024年2月15日從OpenAI辭職。”

對於為什麼要發布這篇文章？桑德斯回答「無可奉告」。評論者認為他可能受到協議約束。

還有一名從事AI政策和治理工作的OpenAI研究人員最近似乎也離開了該公司。庫倫·奧吉菲（Cullen O’Keefe）於4月辭任政策前沿研究負責人。

將所有這些資訊結合起來，至少有7個人曾試圖從內部推動OpenAI走向更安全的道路，但最終對其阿爾特曼失去了信心。

結語：超級對齊團隊解散後，

誰來確保OpenAI的AI安全？

在萊克和蘇茨克維離開後，關於與更強大模型相關的風險的研究將由OpenAI的另一位聯合創始人約翰·舒爾曼（John Schulman）領導。

而原來的OpenAI超級對齊團隊，不再是一個專門的團隊，而是一個鬆散的研究小組，分佈在整個公司的各個部門。 OpenAI的一位發言人將其描述為「更深入地整合（團隊）」。

“成立超級對齊團隊的重點在於，如果公司成功打造出AGI，實際上會出現不同類型的安全問題，”知情人士說，“這是對未來的一項專門投資。”

即使團隊全力運作，這筆「專項投資」也只佔OpenAI研究人員的一小部分，而且只承諾提供20%的運算能力。現在這些運算能力可能會轉移到其他OpenAI團隊，目前還不清楚是否會將重點放在避免未來AI模型的災難性風險上。

需要明確的是，這並不意味著OpenAI現在發布的產品將毀滅人類。但接下來會發生什麼事呢？

「區分『他們目前是否正在建構和部署不安全的AI系統？』與『他們是否正在安全地建置和部署AGI 或超級智慧？』非常重要。」知情人士認為，第二個問題的答案是否定的。