Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

GPT-3計劃開源Sam Altman自曝急缺GPU GPT-4多模態能力2024年開放

GPT-3計劃開源Sam Altman自曝急缺GPU GPT-4多模態能力2024年開放

2023-06-04 Comments 0 Comment

聽證會之後,Sam Altman帶著團隊在歐洲開啟了“旅行”。而在最近的一次訪談中,Altman也沒有藏著掖著,自曝自家AI的一切進展,全得等GPU跟上了再說。他討論了OpenAI的API,以及產品計劃,引起了許多人的關注。

許多網友紛紛表示,我喜歡Altman的坦誠。

值得一提的是,GPT-4的多模態能力,2024年應該大部分Plus用戶就能上手了,前提還是有足夠GPU才行。

微軟老大哥斥資12億美元給OpenAI建的超算,還遠遠無法滿足GPT-4運行時所需的算力。畢竟,GPT-4參數據稱有100萬億。

另外,Altman還透露,GPT-3也在OpenAI的開源計劃之中。

不知道是不是這次採訪內容透露了太多OpenAI的“機密”,源文稿目前已被刪除,快點碼了。

劃重點

最新訪談,是來自AI開發平台Humanloop的首席執行官Raza Habib主持,採訪了Altman以及其他20位開發人員。

這次討論涉及到實際的開發者問題,以及與OpenAI的使命和AI的社會影響相關的更大的問題。

以下是關鍵要點:

1. OpenAI急缺GPU

2. OpenAI的近期路線圖:GPT-4多模態2024年開放

3. 通過API訪問ChatGPT插件近期不會發布

4. OpenAI只做ChatGPT這一“殺手級應用”,目標是讓ChatGPT成為一個超級智能的工作助手

5. GPT-3在開源計劃中

6. 模型性能的縮放法則繼續有效

接下來,將從6大點介紹Sam Altman究竟說了啥。

OpenAI目前嚴重依賴GPU

採訪的一切話題都是圍繞,“OpenAI太缺GPU了”。

這已經拖延了他們許多的短期計劃。

目前,OpenAI的許多客戶都在抱怨API的可靠性和速度。Sam Altman解釋道,主要還是GPU太缺了。

OpenAI是英偉達DGX-1超算首位客戶

至於,支持32k tokens的上下文長度還不能推出給更多的人。

由於OpenAI還沒有克服技術上的障礙,看起來他們似乎今年就會有支持100k-1M tokens的上下文,但需要在研究上取得突破。

微調(Fine-Tuning)API也目前受到GPU可用性的限制。

OpenAI還沒有使用像Adapters或LoRa這樣的高效微調方法,因此微調對於運行和管理來說是非常計算密集型的。

不過,未來他們將對微調提供更好的支持。甚至,OpenAI可能會託管一個社區貢獻的模型市場。

最後,專用容量提供也受到GPU可用性的限制。

今年年初,網友爆出OpenAI正在悄悄推出一個新的開發者平台Foundry,讓客戶在專用容量上運行該公司的新機器學習模型。

這一產品就是“為運行較大工作負載的尖端客戶設計”。要使用這項服務,客戶必須願意預付$100k的費用。

然而,從透露的圖片信息可以看出,實例並不便宜。

運行GPT-3.5的輕量級版本,3個月的委託將花費78,000美元,一年將花費264,000美元。

從另一側面也可以看出,GPU消耗價格不菲。

OpenAI近期路線圖

Altman分享了OpenAI API的暫定近期路線圖:

2023:

· 又快又便宜的GPT-4ーー這是OpenAI的首要任務。

總的來說,OpenAI的目標是,盡可能地降低“智能成本”。因此他們將努力繼續降低API 的成本。

· 更長的上下文窗口ーー在不久的將來,上下文窗口可能支持高達100萬個tokens。

· 微調API——微調API將擴展到最新的模型,但具體的形式將取決於開發人員真正想要的是什麼。

· 有記憶的API ーー目前大部分token被浪費在上文的傳輸中,將來會有一個能夠記住對話歷史的API版本。

2024:

· 多模態能力ーーGPT-4發佈時曾演示了強大的多模態能力,但是在GPU得到滿足之前,這一功能還無法拓展到所有人。

插件“沒有PMF”,短期內不會出現在API中

許多開發者對通過API訪問ChatGPT插件非常感興趣,但Sam表示這些插件不會很快發布。

“除了Browsing外,插件系統還沒有找到PMF。”

他還指出,很多人想把他們的產品放到ChatGPT裡,但實際上他們真正需要的是把ChatGPT放到他們的產品裡。

除了ChatGPT,OpenAI不會發布更多產品

OpenAI的每一次動作,都讓開發者們抖三抖。

不少開發人員表示,OpenAI可能發布與他們競爭的產品的時候,對使用OpenAI API構建應用感到緊張。

而Altman表示,OpenAI不會在ChatGPT之外發布更多的產品。

在他看來,偉大的公司有一個“殺手級應用”,ChatGPT就是要做這個創紀錄的應用。

ChatGPT的願景是成為一個超級智能的工作助理。OpenAI不會觸及到更多其他GPT的用例。

監管是必要的,但開源也是必要的

雖然Altman呼籲對未來模型進行監管,但他並不認為現有的模型是危險的。

他認為,監管或禁止現有模型將是一個巨大的錯誤。

採訪中,他重申了自己對開源重要性的信念,並表示OpenAI正在考慮將GPT-3開源。

而現在,OpenAI還沒有開源的部分原因是,他對有多少個人和公司有能力託管,和提供大模型表示懷疑。

模型性能“縮放法則”仍有效

近來,許多文章聲稱,巨型人工智能模型的時代已經結束。然而,並沒有準確反應Altman原意。

OpenAI的內部數據表明,模型性能的縮放法則(scaling laws)仍然有效,讓模型變大將繼續產生性能。

不過,縮放的速度不能維持,因為OpenAI在短短幾年內已經將模型擴大了數百萬倍,未來這樣做將不可持續。

這並不意味著OpenAI不會繼續嘗試使模型更大,只是意味著它們可能每年只會增加1倍/2倍,而不是增加多個數量級。縮放法則繼續有效的事實對AGI開發的時間線有重要的影響。

縮放假設是我們可能已經有了構建AGI所需的大部分部件,剩下的大部分工作將是將現有的方法擴展到更大的模型和更大的數據集。

如果縮放的時代結束了,那麼我們可能應該預期AGI會更遠。縮放法則繼續有效強烈暗示了實現AGI時間線會變短。

網友熱評

有網友調侃道,

OpenAI:必須通過法規來保護我們的護城河。還是OpenAI:Meta在我們的護城河裡撒尿,讓我們也暗示一下我們的模型要開源吧。

還有人稱,如果GPT-3真的開源了,像LLMa一樣,需要大約5天的時間在M1芯片上就能運行了。

社區開發人員能夠幫OpenAI解決GPU瓶頸,前提是他們開源模型。沒幾天,開發者們就能讓其運行在CPU和邊緣設備。

GPU短缺一事,有人認為是OpenAI資金鍊出了問題,買不起。

然而還有人稱,明顯是缺乏供應。除非芯片製造業發生革命,否則相對於消費GPU來說,可能總是會出現供應不足的情況。

還有網友懷疑,英偉達的價值還是被低估?計算需求的階梯式變化可能持續數年…

英偉達剛剛加入萬億美元俱樂部,這樣說來,無限的算力需求或許會成就一個世界超越2萬億美元的芯片廠。

來源:新智元

分享此文:

  • 按一下即可分享至 X(在新視窗中開啟) X
  • 按一下以分享至 Facebook(在新視窗中開啟) Facebook
  • 分享到 WhatsApp(在新視窗中開啟) WhatsApp
  • 按一下以分享到 Telegram(在新視窗中開啟) Telegram
  • 分享到 Pinterest(在新視窗中開啟) Pinterest
  • 分享到 Reddit(在新視窗中開啟) Reddit
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟) 電子郵件
  • 點這裡列印(在新視窗中開啟) 列印

相關


網絡資訊

Post navigation

PREVIOUS
美軍否認進行“AI無人機殺死人類操控員”測試當事人收回言論
NEXT
陳睿不知道的事:B站被金主拋棄UP主血虧150萬

發表迴響取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
赫思醫美
限時免費
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
WordPress資訊
WeChat資訊
PHP資訊
教學資源
開源程序
網頁工具
SEO工具
醫療健康
其他資訊
Content from
Content to
2023 年 6 月
一 二 三 四 五 六 日
 1234
567891011
12131415161718
19202122232425
2627282930  
« 5 月   7 月 »

分類

  • 網站公告
  • 赫思醫美
  • 限時免費
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 其他資訊

彙整

近期文章

  • 暑假矯正季,讓笑容更閃亮! 2025-07-18
  • 告別鬆弛皺紋!熱瑪姬的『射頻技術』如何打造凍齡肌膚? 2025-07-18
  • Firefox新版本將支援Chrome已有多年的WebGPU功能 2025-07-17
  • 彩虹正式上架統信UOS 直接運行Windows應用 2025-07-17
  • 美團高層承諾:將保證美團騎士收入永遠站穩藍領第一梯隊 2025-07-17
  • 科尼賽克CEO直言:電動超跑沒有靈魂我們不造 2025-07-17
  • HTC預告VIVE神秘新品或為首款智慧眼鏡 2025-07-17
  • 據傳PS5 Pro將在明年5月進行性能升級推測為《GTA6》做準備 2025-07-17
  • 德國玩家偏愛A卡銷量佔65%超NV:RX9070XT賣最好 2025-07-17
  • 三星和SK海力士因意外需求推遲DDR4記憶體淘汰計劃 2025-07-17

熱門文章與頁面︰

  • 無3C行動電源禁止登機一文看懂到底什麼是3C認證、如何分辨真偽
  • z-sms – 在線免費云短信臨時手機號接碼平台網頁版
  • 鳥寶寶有多內捲?為了讓父母投餵自己長出恐怖的嘴巴
  • 圖像處理工具Luminar v4.3.0.6160 破解版
  • Paragon Hard Disk Manager Advanced v17.13.1
  • 牛津大學新研究否定世界衛生組織遊戲疾病論斷
  • 小米手機開始限制跨區解鎖BL 國行版設備禁止使用國際帳號申請解鎖
  • 萬能驅動v7.20.1222.1(2021.01.15 發布)正式版-裝機必備的萬能驅動
  • 電腦終於也能刷抖音抖音網頁版詳細體驗
  • 把盒子刷成磚頭又把磚頭刷成盒子,小米盒子3增強版原生安卓刷機

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

赫思醫美

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2025   All Rights Reserved.