OpenAI元老級研究員Alec Radford離職曾主導GPT-1、GPT-2的研發
OpenAI 連續12 天發表會還剩最後一天，期待中的”重磅”遲遲沒來，反而失去了一位核心研究人員。 OpenAI 人事方面的變動仍在繼續。今日，根據外媒The Information 報道，OpenAI 元老級人物Alec Radford 即將離職，離職後進行獨立研究。
據了解Radford 資訊的人士透露，Radford 表示他計劃與OpenAI 以及其他AI 開發者展開合作。
OpenAI 研究主管Mark Chen 在一份聲明中表示：“我們對Alec 及其貢獻有著深深的敬意和感激，並期待在他探索獨立研究的同時，繼續與他合作開展項目。”
也許你沒聽過Radford 這個人，但他參與的研究卻是重量級的，在他2016 年加入OpenAI 後，帶來了一系列革命性突破，比如大家熟知的初代GPT，還主導了GPT- 2 的研發等等。
在前幾天火熱進行的NeurIPS 2024 大會上，OpenAI 前首席科學家Ilya Sutskever 在他的演講中特別提到了Alec Radford、 Dario Amodei 等人參與的GPT-2、GPT-3 開創性工作，它們推動了預訓練時代以及所有進步的來臨。
有人猜測，Radford 的離職預示著GPT-4.5 就要來了。因為之前OpenAI 高階語音模式發布後的第二天，技術長Mira Murati 長宣離職。這麼推算下來，作為GPT 系列的重磅參與者，GPT-4.5 很可能就是明天發布（畢竟是OpenAI 連發12 天的最後一天）。
對此，有人贊同的表示：“也許他想在離開之前完成手頭的項目。這並非完全不可能。”
在這條評論下，有人回答「他雖然做了深入研究，但沒有參與任何發布（沒有走到台前，一直在幕後），不像Murati 或其他已經離開的人。如果他必須等待某件事，那麼在GPT-5 發布後離開會更合適。情況，對他們來說，前景看起來很暗淡。
也有人表示人們低估了Alec 對OpenAI 以及整個AI 研究的影響。他不僅是GPT 和Dall-E 的主要作者，而且很可能引領了公司所有重要的研究方向。甚至表示他的影響力不亞於Ilya。這對OpenAI 來說是一個巨大的損失，但網友同時也希望Alec 可以做一些開放的研究並發表一些東西，這樣整個世界都可以受益。
在此之前，不列顛哥倫比亞大學教授Jeff Clune 在X 上發起了一個討論，「誰是世界上最重要但又最被低估的AI 科學家？在我看來，只有一個明確的正確答案。大多數重大進展背後都有一個人，卻很少被提及或慶祝。
Jeff Clune 毫不猶豫的推薦了Alec Radford，「Radford 顯然是影響力最大但知名度最低的人。他推動了許多令人驚嘆的發展，他應該作為現代生成式人工智慧之父載入史冊。Radford 也是一個非常好的人，不追求榮譽，這也是他很少受到關注的部分原因。 我們更有理由談論他對人工智慧的巨大影響！
“Radford 的研究絕對是領先的。他的貢獻絕對是驚人的，至少三次改變了這個領域！我們欠他很多。”
他全程參與了GPT 系列模型的研發
Alec Radford 是GPT-1 的一作、GPT-2 的共同一作，其中GPT-1 的被引數已經達到了11947，GPT-2 的被引數為14828。
2018 年，GPT-1 開啟了預訓練大模型時代，提出「半監督（semi-supervised）」（後來普遍稱為自監督）的方法，先在沒有標號的數據上面訓練一個預訓練模型，再在少量標號資料上面訓練一個分辨的微調模型。
2019 年，OpenAI 在GPT-1 的基礎上發布了GPT-2，利用無監督預訓練模型做有監督任務。相較於初代模型進行諸多改進，GPT-2 參數達到15 億，可以執行多樣性任務，開始學習在不需要明確監督的情況下執行數量驚人的任務。在GPT-2 階段， OpenAI 去除了GPT-1 階段的監督微調（fine-tuning），成為無監督模型。
GPT-1 論文：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
GPT-2 論文：https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
不僅如此，Alec Radford 也參與了GPT-3 論文的撰寫、以及GPT-4 的預訓練資料與架構研究工作
2020 年，到了GPT-3 階段，參數相較於GPT-2 增加兩個數量級以上，達到了1750 億參數，在許多NLP 數據集上都有很強的性能（包括翻譯、問題解答和完形填空任務），以及一些需要動態推理或領域適應的任務（如解譯單字、在句子中使用一個新單字或執行算術）。
2023 年，GPT-4 開始邁向多模態模型，成為AI 新里程碑，可以解決更複雜的問題、編寫更大型的程式碼，並透過圖片產生文字。 GPT-4 的回答準確性不僅大幅提高，還具備更高水準的識圖能力，且能夠產生歌詞、創意文本，實現風格變化。
GPT-3 論文：https://arxiv.org/pdf/2005.14165
GPT-4 技術報告：https://arxiv.org/pdf/2303.08774
根據Google Scholar 顯示，Alec Radford 的論文被引總數超過了19 萬，其中1 萬以上的達到7 篇，足可見其參與工作的含金量和影響力。
https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs