OpenAI七年元老、安全副總裁Lilian Weng官宣離職
就在剛剛，OpenAI再次痛失一員大將。安全研究副總裁Lilian Weng正式官宣離職。她發出離職長信，回顧了2017年時，自己對OpenAI的使命是多麼著迷。在GPT-4發布後，她又被賦予了一個全新使命：重新思考OpenAI安全系統的願景。
o1-preview，就是她們團隊的最新成果。
如今，在OpenAI工作七年後，她感覺「是時候重新出發了」。
長期以來，Lilian Weng的部落格篇篇都是精品，每每發出，都會引得圈內人士的大討論。
OpenAI的前同事們，紛紛為她送上了祝福。
Jason Wei表示，感謝她所做的貢獻，讓o1-preview成為迄今為止最安全的模型。
OpenAI推理研究員、o1共同作者Noam Brown祝福她，在下一個冒險中一切順利。
OpenAI微調研究員Steven Heidel表示，期待她的下一篇部落格文章。
前OpenAI第一位開發者關係團隊成員、現任Google資深產品經理Logan Kilpatrick則感謝她為推動安全使命所做的一切。
而Lilian Weng這次突然離職，或許也是長時間深思熟慮的結果。
例如維基媒體基金會機器學習總監在幾天前的一則推文，似乎暗示她可能要離開。
離職信全文：我有時間寫部落格了
親愛的朋友們，我做了一個極為艱難的決定，那就是離開OpenAI。 11月15日將是我在辦公室的最後一天。
OpenAI是我作為科學家和領導者成長的地方，我將永遠珍惜與每位共事過和結識的同事在一起的時光。 OpenAI團隊一直是我的知己、良師益友，也是我個人身分認同的重要組成部分。
我依然清楚記得2017年時，我對OpenAI的使命是多麼著迷。那時，我們這群人夢想著一個看似不可能、宛如科幻的未來。
開始，我在這裡研究的是全端機器人挑戰——從深度強化學習演算法，到感知，再到韌體——目標是教會單隻機械手如何解開魔術方塊。整個團隊花了整整兩年時間，但我們最終成功了。
當OpenAI進入GPT範式，我們開始探索如何將最佳AI模型部署到現實世界時，我建立了第一個「應用研究團隊」（Applied Research team）。團隊推出了微調API、嵌入API和審核端點的初始版本，為應用程式安全工作奠定了基礎，並為許多早期API客戶提供了創新解決方案。
在GPT-4發布後，我被賦予了一項新的使命：重新思考OpenAI安全系統的願景，並將工作集中在一個掌控完整安全堆疊的團隊之下。這是我做過最困難、最有壓力，同時也是最令人興奮的事情之一的。
如今，安全系統團隊擁有80多位優秀的科學家、工程師、產品經理和政策專家，我為我們團隊所取得的一切感到無比自豪。我們共同成為每次重大發布的基石——從GPT-4及其視覺和turbo版本，到GPT商店、語音功能和01。
在訓練這些模型既強大又負責任方面的工作上，我們樹立了新的行業標準。我特別為我們最新的成就——o1-preview模型感到自豪，它是我們迄今為止最安全的模型，在保持其實用性的同時，表現出對「越獄」攻擊的卓越抵抗力。
我們所取得的成功，十分令人矚目：
我們訓練模型如何處理敏感或不安全的請求，包括何時拒絕或接受，透過遵循一套明確定義的模型安全行為政策，在安全性和實用性之間取得了良好的平衡。
我們在每次模型發布中都提高了對抗性魯棒性，包括防禦越獄、指令層級，並透過推理能力大大提高了模型的穩健性。
我們設計了嚴格而創新的評估方法，與準備框架保持一致，並為每個前沿模型進行了全面的安全測試和紅隊測試。我們對透明度的承諾體現在我們詳細的模型系統卡中。
我們開發了業界領先的具有多模態能力的審核模型，並免費與公眾分享。我們目前在更通用的監控框架和增強的安全推理能力方面的工作將為更多安全工作流程提供支援。
我們為安全資料日誌記錄、指標、儀表板、主動學習管道、分類器部署、推理時過濾和新型快速回應系統奠定了工程基礎。
回顧我們所取得的成就，我為安全系統團隊的每個成員感到無比自豪，我堅信團隊將繼續蓬勃發展。我由衷地感謝你們，你們是最棒的！
現在，在OpenAI工作了七年之後，我感覺是時候重新出發，探索新的領域了。 OpenAI正處於火箭般的軌道上，我衷心祝福這裡的每個人一切順利。
PS：我的部落格仍然活躍，並將繼續更新。我可能很快就會有更多時間來更頻繁地更新博客，或許還能抽出更多時間來編碼。
OpenAI再失一位首席安全研究員
近幾個月OpenAI儼然有了一種AI界「黃埔軍校」的味道。
技術長Mira Murati、首席研究長Bob McGrew、研究副總裁Barret Zoph、著名研究員Andrej Karpathy和共同創辦人John Schulman紛紛離職。
其中一些人，包括Leike和Schulman，離職後加入了OpenAI的競爭對手Anthropic，而其他人則去創辦了自己的企業。
隨著Ilya Sutskever和Jan Leike的離開，以及超級對齊團隊的解散。在Sam Altman眼中，OpenAI的安全團隊似乎越來越不重要了。
現在，儘管AI安全團隊規模可觀（據稱有超過80名相關的研究人員），但網友們反正是不相信OpenAI還會專心搞模型安全了…
10月，資深政策研究員Miles Brundage離開了OpenAI，並宣佈公司正在解散他曾擔任顧問的通用人工智慧準備團隊。
同一天，前OpenAI研究員Suchir Balaji也在專訪中透露，表示離開OpenAI是因為他認為該公司的技術對社會帶來的危害大於益處。
目前，OpenAI的公司高層和安全研究人員正在進行交接，以接替Weng的職位。
而其發言人表示，“我們相信安全系統團隊將繼續在確保系統安全可靠方面發揮關鍵作用，為全球數億用戶提供服務。”
Lilian Weng：北大本科，高被引學者
Lilian Weng曾是OpenAI安全系統負責人，主要從事機器學習、深度學習等研究。
Weng本科畢業於北京大學資訊系統與電腦科學專業，曾前往香港大學進行短期交流，之後在印第安納大學布魯明頓（Indiana University Bloomington）分校獲得博士學位。
博士期間，Weng的研究領域為複雜系統和網絡，關注社交媒體、社交遊戲、人機互動和複雜資訊網路建模。
打開她的Google學術檔案，還可以看到Weng曾經發表的關於迷因和社群網路的論文。
她曾在eBay、Mozilla等公司做過用戶分析的實習，之後「轉行」成功，進入Facebook和Dropbox從事軟體工程和數據科學的工作。
2018年起，Weng加入OpenAI擔任研究科學家，身為機器人團隊的技術主管，專注於訓練機器人任務的演算法。
2021年，Weng負責領導應用人工智慧的研究團隊，並在2023年成為了安全團隊的負責人。
今年8月，OpenAI將先前的安全團隊負責人Aleksander Madry調任至專注於推理基礎工作的團隊。而原來Madry領導的安全團隊轉由Lilian Weng負責。
隨後，Weng將同時管理專注於長期和短期AI安全的團隊，這項組織決策令一些研究人員擔心，因為長期和短期安全的激勵措施可能會相互衝突。
值得一提的是，Weng在個人網站上撰寫的部落格文章非常受歡迎，基本上都是萬字長文，既有技術乾貨又有觀點輸出，是許多業內人士的參考。
接下來，讓我們期待這位北大校友的更多成就，以及即將出現的乾貨博文吧。
參考資料：