據外媒MSPoweruser報導，GPT是Generative Pre-training Transformer的簡稱，是由Alec Radford編寫的語言模型，2018年由埃隆·馬斯克的人工智能研究實驗室OpenAI發布。它採用了生成式語言模型（兩個神經網絡通過競爭相互完善），通過對不同的書面材料集與長篇連載文本的預訓練，能夠獲取世界知識並處理長程依賴關係。

GPT-2於2019年2月宣布，是一個無監督的轉化語言模型，它是在800萬份文檔上訓練出來的，共40GB的文本，來自通過Reddit提交分享的文章。埃隆·馬斯克並不願意發布它，因為他擔心它可能被用來向社交網絡發送假新聞。

2020年5月，OpenAI發布了GPT-3，這個模型包含的參數比GPT-2多了兩個數量級（1750億vs 15億個參數），它比GPT-2有了極大的改進。

給予任何文本提示，GPT-3將返回一個文本完成，試圖匹配用戶給它的模式。用戶可以給它”編程”，只需向它展示幾個希望它做的例子，它就會提供一篇完整的文章或故事，比如下面的文字，完全由GPT-3編寫。

GPT-3在許多NLP數據集上都取得了很強的性能，包括翻譯、問題回答和cloze任務，以及一些需要即時推理或領域適應的任務，如在句子中使用一個新詞或執行3位數運算。GPT-3可以生成人類評估人員難以區分的新聞文章樣本。

最後一個應用一直讓OpenAI擔心。GPT-3目前以開放測試版的形式提供，預計最終會推出付費的私人測試版。OpenAI表示，對於明顯有害的用例，如騷擾、垃圾郵件、激進化等傳播，他們將終止API訪問。雖然最明顯受到威脅的人群是那些生產書面作品的人，比如編劇，但AI開發者已經發現了令人驚訝的應用，比如使用GPT-3來編寫代碼。

比如Sharif Shameem就寫了一個佈局生成器，用戶用純文本描述他們想要的東西，模型就會生成相應的代碼。

Jordan Singer同樣創建了一個Figma插件，讓人們可以使用純文本描述創建應用程序。

它甚至可以用來診斷哮喘和開藥。

其他的應用是作為搜索引擎或神諭的一種，甚至可以用來解釋和擴展困難的概念。

雖然看起來這種方法可能會直接導致一個可以像人類一樣理解、推理和對話的通用人工智能，但OpenAI警告說，他們可能遇到了根本性的擴展問題，GPT-3需要幾千petaflop/s- day的計算量，而完整的GPT-2只有幾十petaflop/s-day。

在GitHub上可閱讀更多關於GPT-3的內容。