被刪除的Sam Altman談話紀要:OpenAI也缺GPU 降低成本是首要目標
SamAltman 的歐洲之行仍在進行中。前不久,在倫敦,他和AI 公司HumanLooop 的CEO 進行了一次閉門討論。HumanLoop 是一家幫助開發者在大語言模型上構建應用的公司。HumanLoop 的CEO Raza Habib 記錄了這次談話的要點,並公開在公司官網上。但隨後在OpenAI 的要求下,這份紀要被撤下。這反而增強了外界對這次談話的好奇心。有人推測,是其中所涉及的OpenAI 的一些想法有所更改。
極客公園在瀏覽了這份被刪除的談話紀要後,發現其中不僅涉及Sam 眼中對OpenAI 的短期規劃,也隱藏著獲得微軟雲計算資源大力支持後,OpenAI 所承擔的壓力。畢竟,模型的微調、推理依舊消耗大量計算資源。據The Information 報導,Open AI 的模型已經花費了Microsoft Azure 12 億美元,將計算資源集中於支持OpenAI,也讓微軟的其他部門可使用的服務器受限。
對此,Sam 表示降低成本是目前的首要目標。
此外,Sam 還透露:目前,開放更長的上下文窗口、提供微調API 等服務都受到GPU資源的限制;
這場對話中,Sam Altman 回應了許多外界關心的問題,比如競爭與商業化:
儘管剛剛招聘了一位世界級的產品經理Peter Deng,但OpenAI 不會考慮發布更多的產品;
未來的應用趨勢是大模型的功能嵌入更多APPs,而不是在ChatGPT上生長出更多插件,因為現實中大多數插件並沒有呈現出PMF(Product / Market Fit,即產品市場匹配);
過去幾年,OpenAI 以數百萬倍的速度擴展模型規模,但這樣的速度不可持續。接下來,OpenAI 會繼續以1 到3 倍的速度,增加模型規模,以提升模型性能。
談話紀要公開於5 月29 日,根據網友的記錄,於6 月3 日左右刪除。以下是通過備份獲得的內容:
01. OpenAI 目前受到GPU 的嚴重限制
隨著對話擴展,所需的計算資源呈指數增長
目前OpenAI 的GPU 非常有限,這拖延了他們許多短期計劃。客戶最大的抱怨是API 的可靠性和速度。Sam 承認他們的擔憂,並解釋說,大部分問題是由於GPU 短缺。
The longer 32k context can』t yet be rolled out to more people. OpenAI haven』t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 100k – 1M token context Windows soon (this year) anything bigger would require a research breakthrough.
更長的32K 上下文還不能提供給更多的人。OpenAI 還沒有克服注意力機制的O (n ^ 2) 的擴展問題,儘管看起來,他們很快(今年) 就會擁有100k-1M Token 的上下文窗口。任何更大的窗口都需要研究突破。
注:O (n^2) 意味著,隨著序列長度的增加,執行Attention 計算所需的計算資源呈指數增長。O 用來描述算法時間或空間複雜度增長速度的上限或最壞情況;(n^2)表示複雜度與輸入大小的平方成正比。
微調API 目前也受到GPU 可用性的限制。他們還沒有使用像Adapters 或LoRa 這樣的高效微調方法,因此,通過微調進行運行和管理(模型)非常計算密集。未來將對微調提供更好的支持。他們甚至可能主持一個基於社區的模型貢獻市場。
專用容量供應受GPU 可用性的限制。OpenAI 提供專用容量,為客戶提供模型的私有副本。要獲得這項服務,客戶必須願意承諾預先支付10 萬美元。
02. OpenAI 的近期路線圖
2023,降低智能成本;2024,多模態的有限演示
Sam 也分享了他所看到的OpenAI API 臨時近期路線圖。
2023:
更便宜更快的GPT-4ーー這是他們的首要任務。總體而言,OpenAI 的目標是盡可能地降低「智能成本」,因此他們將努力工作,隨著時間的推移繼續降低API 的成本。
更長的上下文窗口ーー在不久的將來,上下文窗口可能高達100 萬個Token。
微調APIー微調API 將擴展到最新模型,但具體的形式將取決於開發者表明他們真正想要什麼。
一個有狀態的API(stateful API) – 當今天調用聊天API 時,你必須反复通過相同的會話歷史,反复支付相同的tokens。將來會有一個版本的API 可以記住會話歷史記錄。
2024:
多模態– 這作為GPT-4 版本的一部分進行演示,但在更多GPU 上線之前不能擴展到所有人。
03.商業化預判和思考:
插件「沒有PMF」,可能不會很快出現在API 中
很多開發者都對通過API 訪問ChatGPT 插件感興趣,但Sam 說他認為這些插件不會很快發布。除了Brosing 插件之外,其他插件的使用情況表明還沒有PMF(Product/Market Fit)。他指出,很多人認為他們希望自己的應用程序位於ChatGPT 之內,但他們真正想要的是ChatGPT 存在於應用中。
04.除了ChatGPT,OpenAI將避免與其客戶競爭
偉大的公司都有 一個殺手級應用
不少開發者表示,他們對使用OpenAI API 開發感到緊張,因為OpenAI 最終可能發布對他們有競爭力的產品。Sam 說,OpenAI 不會在ChatGPT 之外發布更多的產品。他說,歷史上,偉大的平台公司有一個殺手級應用。ChatGPT 將允許開發者成為自己產品的客戶來改進API。ChatGPT 的願景是成為一個超級智能的工作助理,但很多其他的GPT 用例,OpenAI 不會涉及。
05.需要監管,但不是現在
「我對多少個人和公司 有能力持有大模型表示懷疑」
雖然Sam 呼籲對未來的模型進行監管,但他認為現有模型並不危險,認為監管或禁止它們是一個大錯誤。他再次強調了開源的重要性,並表示OpenAI 正在考慮將GPT-3 開源。他們還沒有開源,部分原因是他對有多少個人和公司有能力持有和服務大型語言模型(LLMs)表示懷疑。
06規模定律仍然適用
幾年數百萬倍的擴展速度,不可能一直持續下去
最近有很多文章聲稱「巨型AI 模型的時代已經過去」。這並不准確。(注:在4 月一場在MIT 的活動中,Sam Altman 曾經表示:我們現在已經接近巨大模型時代的尾聲。)
OpenAI 的內部數據表明,模型性能的規模定律仍然適用,增加模型的大小將繼續提高性能。
由於OpenAI 在短短幾年內就將模型擴大了數百萬倍,這樣的擴展速度不可能持續下去。這並不意味著OpenAI 不會繼續嘗試把模型做得更大,而是意味著,它們每年的規模可能會增加一倍或三倍,而不是增加許多數量級。
規模定律有效對AGI 開發時間線有重要意義。規模定律的假設是我們可能已經具備構建AGI 所需的大部分要素,並且剩下的工作,主要是將現有方法擴展到更大的模型和更大的數據集上。如果規模的時代已經過去,那麼我們可能會離AGI 更遙遠。規模定律繼續適用的事實,強烈暗示著更短的時間線。