Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

Meta內訌大模型團隊人員流失大半算力緊缺竟成導火索

Meta內訌大模型團隊人員流失大半算力緊缺竟成導火索

2023-09-07 Comments 0 Comment

據The Information報導,消息人士表示,Meta參與LLaMA項目的人員大半都已辭職,原因是Meta另一研究團隊(OPT團隊)與LLaMA團隊就算力資源展開了一場內部鬥爭。LLaMA是Meta在今年2月發布的一款開源的人工智能大型語言模型。在今年7月,Meta發布了其最新版本LLaMA 2。相較上一代,LLaMA 2訓練所用的token翻了一倍至2萬億。

而在2月發布的初代LLaMA模型的14位核心原作者中,已有超過一半的人全部離職,包括Timothée Lacroix、Guillaume Lample、Marie-Anne Lachaux、Gautier Izacard等。

論文地址:https://arxiv.org/pdf/2302.13971.pdf

另一OPT團隊則在2022年5月發布了開源大模型OPT-175B,並在幾個月後著手開發與GooglePaLM競爭的競品,準備開發出第二個更大的模型。

而LLaMA團隊開發的模型則比OPT要小。知情人士透露,LLaMA研究團隊認為較小的模型在推理時會高效。但由於LLaMA模型小,因此獲取的算力資源比OPT團隊要少,這或許讓LLaMA團隊的研究人員感受到不被重視。

Meta AI相關負責人Joelle Pineau也在採訪中承認,LLaMA和OPT團隊之間在算力分配上有些緊張。

另外,算力資源內鬥不僅導致了LLaMA團隊半數研究人員的出走,OPT團隊同樣也面臨人員流失的問題。OPT模型的19位原作者中,也有半數已離職Meta。

論文地址:https://arxiv.org/pdf/2205.01068.pdf

原因主要係OPT團隊正在開發的與GooglePaLM競爭的競品,已被Meta放棄。Pineau無奈地表示:“所有研究團隊都想升級自己的模型,這時要么選擇其中一個,要么讓他們合作。”Meta AI的一些高管也表達過質疑稱,OPT和LLaMA兩個團隊項目的相似度過高,卻要競爭有限的算力資源。

最終,Meta AI的領導人決定進行團隊重組,將LLaMA和OPT團隊的部分研究成員聚集起來,成立了生成式AI團隊。

在AI算力競賽中,科技巨頭往往擁有比大多數公司更加充裕的算力資源。而Meta大模型研究人員因算力鬥爭而相繼離職愈發印證了,目前業內算力緊缺程度比想像中還要嚴重,科技巨頭或許也不例外。

分享此文:

  • 按一下即可分享至 X(在新視窗中開啟) X
  • 按一下以分享至 Facebook(在新視窗中開啟) Facebook
  • 分享到 WhatsApp(在新視窗中開啟) WhatsApp
  • 按一下以分享到 Telegram(在新視窗中開啟) Telegram
  • 分享到 Pinterest(在新視窗中開啟) Pinterest
  • 分享到 Reddit(在新視窗中開啟) Reddit
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟) 電子郵件
  • 點這裡列印(在新視窗中開啟) 列印

相關


網絡資訊

Post navigation

PREVIOUS
華為Mate 60 Pro供應鏈虛實:感覺回暖是真巔峰期還沒到
NEXT
特斯拉上海超級工廠第200萬輛整車下線不到40秒下線一台整車

發表迴響取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
限時免費
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
WordPress資訊
WeChat資訊
PHP資訊
教學資源
開源程序
網頁工具
SEO工具
醫療健康
其他資訊
Content from
Content to
2023 年 9 月
一 二 三 四 五 六 日
 123
45678910
11121314151617
18192021222324
252627282930  
« 8 月   10 月 »

分類

  • 網站公告
  • 限時免費
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 其他資訊

彙整

近期文章

  • 《我的世界:追逐天空》更新與Vibrant Visuals 圖形大修將於下週推出 2025-06-13
  • iPadOS 26 為數學筆記帶來新的3D 圖形功能 2025-06-13
  • iOS 26 為CarPlay 增加了新的縮放功能 2025-06-13
  • 最新洩漏的渲染圖顯示三星將推出三款圓盤Galaxy手錶 2025-06-13
  • 波音CEO回應印度墜機事故:願全力配合調查團隊隨時待命 2025-06-13
  • 有部落客的iPhone升級iOS 26時發熱嚴重機身邊緣溢膠 2025-06-13
  • 賈伯斯的名言「求知若渴虛心若愚」廣泛流傳庫克:20年過去至今振聾發軒 2025-06-13
  • 傳微軟取消第一方Xbox掌機計劃 2025-06-13
  • 截至2024年底華為出貨約1.03億台搭鴻蒙系統的手機超iOS成中國第二 2025-06-13
  • 聯發科史上最強SoC天璣9500跑分曝光單核成績逼近4000大關 2025-06-13

熱門文章與頁面︰

  • 您可以在Windows 11 24H2 中找回WordPad
  • 華為12000mAh 40W超級快充移動電源CP12S拆解
  • 一汽豐田開卷電動車全新bZ5開啟預售:入門版價格不超13萬
  • 華為麒麟9600 CPU現真身神秘數字「2035」再次出現
  • CentOS 搭建 YGOPro 服务端 SRVPro
  • Mondoze : 馬來西亞伺服器/ AS152742/純淨 IP/雙ISP住宅伺服器/$8.33/月/2C/2G記憶體/60G/100M
  • 韓國遊戲公司Nexon出售價格或可高達150億美元
  • Office Tab Enterprise 13.10 x86/x64(含:註冊機序列號)
  • Windows 11 KB5055523更新導致部分使用者無法透過PIN或臉部辨識登入
  • 上海兩大機場直通地鐵虹橋到浦東只要40分鐘全程26元

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2025   All Rights Reserved.