OpenAI聯合創始人Karpathy又雙叒離職了自稱“懂我的都懂”
去年重返OpenAI 的共同創辦人Andrej Karpathy,今天正式官方宣布離職!他剛剛發文稱,未來將開啟個人新項目,希望碰撞新的火花。就在剛剛,OpenAI 聯創Karpathy 突然官宣離職!
大家好,沒錯,我昨天才從OpenAI 離職。
首先要澄清的是,這並非因為任何特殊的事件、問題或紛爭導致(不過,那些陰謀論真的很有趣,歡迎大家繼續提出)。
實際上,在OpenAI 度過的最後一年真的很精彩—— 團隊非常出色,同事們也非常棒,而且未來的發展路線圖也充滿了激動人心的可能,我相信我們都有很多值得期待的事情。
我目前的計劃是專注於我的個人項目,看看能碰撞出什麼火花。對那些一直關注我的人來說,或許能猜到我接下來可能會做些什麼。
據Information 獨家報導稱,Karpathy 正開發一個全新的“AI 助理”,並與OpenAI 的研究主管Bob McGrew 保持著密切合作。
雖然ChatGPT 受到許多人的青睞,但OpenAI 也希望推出一款可以自動執行複雜任務的AI,例如填寫費用報告,並將其輸入會計軟體。
Karpathy 曾在特斯拉擔任AI 高級總監、自動駕駛負責人,並於2022 年7 月宣布離職。 5 來年,他主要負責Autopilot 半自動駕駛軟體的研發工作。
緊接著在23 年2 月,他再次官宣「重新加入OpenAI」。
而現在,整整一年後,他再次官宣離開了OpenAI。 OpenAI 的發言人Kayla Wood 在聲明中表示,「Andrej 離開是為了追求個人專案。我們對他的貢獻表示深深的感激,並祝福他未來一切順利。」目前,他的工作已經交由一位與他有著密切合作的資深研究員接手。
自去年OpenAI 董事會解僱Sam Altman 之後,引發了數名高層員工辭職。在董事會撤回其決定後,這些員工隨Altman 一起返回了公司。
現在,Karpathy 成為OpenAI 首位離職的核心人物。那麼,他所說的專注個人項目,會是什麼呢?
AI 智能體?投身AI 教育?
大概在去年7 月的時候,Karpathy 在一個線下分享活動中,就曾強調了AI 智能體的前景。
當他剛開始在OpenAI 工作時(2016 年左右),業界潮流就是研究如何用強化學習的方法來改進AI 智能體。例如,很多專案都在基於類似雅達利遊戲來製作AI 玩家。
Karpathy 想做的,則是一個適用範圍更廣泛的產品。不過受制於當時的技術,效果並不理想,於是他和OpenAI 就改變了方向,開始做大語言模型了。
如今,AI 智能體重新成為了一個非常有前景的方向。最簡單的例子就是,現在沒有人再像2016 年那樣用強化學習的方法來研究AI 智能體了。
而從OpenAI 離職,可能是他重新看到了現在的技術突破,可能為AI 智能體帶來的全新機會。
有趣的是,Karpathy 最近段時間討論最多的話題,除了Vision Pro 之外,就是一篇關於「學習」的長文。
在這篇文章中,他深入探討了什麼是有價值的學習,包括史丹佛HAI 中心主任manning 等人都進行了轉發。
加上他Youtube 頻道中的內容幾乎都是在教導網友如何理解大模型和相關技術的內容。
所以他之後的內容也許和AI 教育有非常大的關聯。
OpenAI 硬核網紅
在他的個人主頁上,自製了一個工作經歷時間線,可以清楚地看到從2017 年成為OpenAI 聯創之後,加入特斯拉,再回歸OpenAI 的所有過程。
過去一年來,離職特斯拉的Karpathy 透過部落格、發文、講課等方式,逐漸在社群媒體上成為網紅。
他還在自己的YouTube 平台上發布了多種學習課程,目前已上線了8 個影片。
就在他官宣離職的評論下方,網友關心道,是不是代表未來有更多的YouTube 影片上線? Karpathy 本人表示:「兩天前我已經開始製作下一期影片了」!
著名AI 機器學習研究員Sebastian 同樣稱,「聽起來肯定還有更多的教育內容正在籌備中」。
看來離職後的Karpathy,將會有大把的時間更新影片了。
此外,在社群平台上,Karpathy 本人也經常會關註一些熱門研究,並發表自己的評論,有時也會提出自己的觀點。
例如,他曾把大模型比喻為一種作業系統,因其能檢索檔案、編寫程式碼、運行程序,以及理解音訊、影像和人類指令。
再例如,提出對「語言模型幻覺問題」的看法等等。
李飛飛高徒、「用愛發電」的技術大牛
不只是技術網紅,Andrej Karpathy 更是一個不折不扣的技術大牛。
他先在2009 年於多倫多大學獲得電腦科學和物理學雙專業學士學位,而後在2011 年於英屬哥倫比亞大學獲得碩士學位,研究是物理模擬數位的控制器。
在史丹佛讀博的時候,Karpathy 和導師李飛飛共同研究卷積/ 遞歸神經網路架構及其在電腦視覺、自然語言處理及其交叉領域的應用。
師徒二人也一起設計了史丹佛大學的視覺識別卷積神經網路的新課(CS231n),Karpathy 親自擔任首任主講。而這正是史丹佛開設的第一門深度學習課程!
學生人數也從2015 年的150 名成長到2016 年的330 名,再到2017 年的750 名。如今,史丹佛大學的CS231n 已成為深度學習初學者,尤其是CV 方向的初學者必看的基礎課程。
除了大牛李飛飛的“明星效應”,Karpathy 從課程設計到主講,親力親為,貢獻良多。
上學期間,他還跑去Google實習了── 兩次,還是出國的那種,在Google參與了深度學習與電腦視覺計畫。
2015 年,他又到DeepMind 的深度強化學習團隊實習了一波。畢業後,Karpathy 於2016 年入職OpenAI 並擔任研究科學家,負責電腦視覺、生成建模和強化學習的深度學習。
“史丹佛博士生、李飛飛高徒、前OpenAI 研究員及創始人之一”,這些頭銜也讓他在矽谷聲名鵲起。
果然,在OpenAI 只乾了一年半,他就被馬斯克挖去了特斯拉,接替蘋果前高層Chris Lattner,擔任特斯拉人工智慧和自動駕駛視覺總監(Director of AI and Autopilot Vision) 。
由於Karpathy 本人十分喜歡研究神經網絡,他在閒暇之餘寫了不少技術博客,並在Javascript 中開發了多個深度學習庫(如ConvNetJS、RecurrentJS、REINFORCEjs、t-sneJS)。
甚至,還被戲稱為ImageNet 的「人肉參考」。
此外,他一有時間就會去維護自己「用愛發電」的arxiv-sanity,一個可以在過去6 年裡搜尋和整理近10 萬篇關於機器學習arXiv 論文的網站。