大學學歷但創造出GPT OpenAI總裁:他想要的,我們都給
奧特曼稱他是愛因斯坦等級的天才;OpenAI總裁更是直言:只要他想要的,我們都給。 Alec Radford大神離職OpenAI,現在牽出更多細節:改變世界的GPT,竟然是在Jupyter notebook上誕生的。而他只負責提供背後的靈感,剩下的就由工程師來解決。
(網友:那在Excel也可以做到這一點)
奧特曼高度評價:沒有他應有的知名度。
他在Jupyter notebooks上發明了GPT
在奧特曼帖子下面,更多細節軼事被扒了出來。
例如事實是,他差點就放棄了將語言作為通往AGI 的道路。
據這位OpenAI員工描述,在Alec在職最後一天他們有機會第一次謀面,他向Alec詢問了堅持語言模型背後的原因。
大概在2017年,Alec花了幾年時間研究RNN,但進展不大。
於是Alec就覺得很沮喪,就想著要不要退出OpenAI。最後他決定休息一個月來調整,重新思考自己的方案。
回來後不久,Ilya就跟他推薦了Google前同事的新論文,也就是那篇著名的Attention is all you Need。
於是乎,他就開始了新的架構嘗試,並將其與無監督預訓練結合。
結果效果非常好,GPT時代就此開始。
同樣還有CLIP,他曾為此閉關一年來解決電腦視覺問題,最後才得以推出。 CLIP也成為後續解決2D電腦視覺問題的基礎。
不過能造就GPT、CLIP,也是少不了OpenAI諸位同事對他的全力支持——
當時他在Jupyter notebooks上寫程式碼,然後就請研究工程師在那裡翻譯。好奇心勝過一切。
OpenAI總裁Greg Brockman曾提到這位天才:只要他想要的,我們都給。
當時是在2023年SXSW大會上,Greg Brockman表示,Alec Radford對語言非常感興趣,一直在研究如何建造小型聊天機器人。
我們非常喜歡他,所以我們非常支持他做任何他想做的事情。同時,我們也在投資一些嚴肅的項目,我們就想,你知道,無論亞歷克需要什麼,我們都會確保他得到。
也因為如此,2017誕生了第一個有趣的結果——一個根據亞馬遜評論訓練出來的模型,它可以預測下一個角色、下一個角色、下一個字母是什麼。實際上,它學會了最先進的情緒分析分類器。你可以給它一個句子,它會說這是正面的還是負面的。這聽起來並不令人印象深刻,但就是在這一刻,我們知道它一定能成功。 」
還有同行們表示,他的一些想法是整個AI領域研究者們重要靈感來源。而他從來也不吝惜地去分享他的時間和想法。
據這位朋友分享,當時他正在學習ML,在MNIST訓練一個普通的MLP,結果遇到了一個愚蠢的小問題。
然後Alec沒有敷衍,又或者是幫忙修復這個小問題,而是立即開始教關於CNN方面的知識。
奧特曼:愛因斯坦等級的天才
他畢業於富蘭克林歐林工程學院(Franklin W. Olin College of Engineering)。
據網友透露,這是一所規模很小、以專案為導向的工程學院。其聲譽與Rose-Hulman理工學院和Harvey Mudd College等學校類似。
他們的學生在計畫方向上往往有很大的個人自由度,並能直接接觸到大量的教師和研究工作,這與其他院校的研究生經驗不相上下。
隨後加入OpenAI,一干就是八年。
截至今日,他的論文被引數已超過19萬人。被引量排名前三名的論文,分別與GPT-3、CLIP和GPT-2相關。
這三篇論文都為今天的ChatGPT打下了重要基礎,事實上,Alec幾乎參與了OpenAI所有的重大突破。
除了被引量最高的三篇,從第一代GPT到GPT-4o的作者名單中,Alec的名字都赫然在列,並且前兩代中都是第一作者。
Alec同樣作為一作的CLIP,則是OpenAI在多模態路線上的重要成果,甚至在整個產業都極具影響力;同時,Alec也是OpenAI初代繪圖模型DALL·E的參與者。
其他模態方面,OpenAI開源的語音辨識系統Whisper,一作仍是他。不過,最新的o1模型貢獻者清單中已經沒有了Alec的名字。
接下來,奧特曼表示,期待他以獨立開發者的身分與OpenAI合作。
網友:不用博士學位也能幹大事?
Alec Radford的經歷,牽出來更多研究層面的討論。
是不是不用博士學位也能幹大事了?
Stability AI創辦人回憶,他們自己的博士佔比也不高,大概80個研究者/工程師中只有16個博士。
這樣看,博士學位是不是就不是招募中的必選了。
但也有持反對意見,這樣以偏概全未免有點誇張和過於簡化了。博士學位不僅僅是一個證書,更是一個教你如何批判性思考和有系統地解決複雜問題的旅程。
而圍繞著這些細節,另一個討論的主角是Jupyter notebook,網友們直呼:是個誕生天才想法的地方。
所以新的一年,就從開始學習如何使用notebook開始。