Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

超大規模智能模型“悟道2.0”發布參數規模達GPT-3的10倍

超大規模智能模型“悟道2.0”發布參數規模達GPT-3的10倍

2021-06-01 Comments 0 Comment

在1日召開的2021北京智源大會上,北京智源人工智能研究院發布了新版超大規模智能模型“悟道2.0”,這是在今年3月20日發布的“悟道1.0”基礎上更新迭代而來,具備大規模、高精度、高效率的特點。

“悟道”模型旨在打造數據和知識雙輪驅動的認知智能,讓機器像人一樣思考,實現“超越圖靈測試的機器認知能力”。“悟道”團隊在大規模預訓練模型研發上做了很多基礎性工作,形成了自主的超大規模智能模型技術創新體系,擁有理論、工具、模型構建和測評的完整鏈條。

“悟道2.0”模型的參數規模達到1.75萬億,是GPT-3的10倍,打破了之前由Google Switch Transformer預訓練模型創造的1.6萬億參數記錄,是目前中國首個、全球最大的萬億級模型。

image.png

Google萬億模型的核⼼技術MoE(Mixture of Experts)與其分佈式訓練框架和其定制硬件強綁定。“悟道”團隊研究並開源的FastMoE是首個支持PyTorch框架的MoE系統,具有簡單易用、靈活、高性能等特點,並且支持大規模並行訓練。新一代FastMoE,支持Switch、GShard等複雜均衡策略,支持不同專家不同模型,是實現“萬億模型”的關鍵技術。

“悟道2.0”模型在中英雙語共4.9T的高質量大規模清洗數據上進行訓練。訓練數據包含WuDaoCorpora中的1.2TB中文文本數據、2.5TB中文圖文數據,以及Pile數據集的1.2TB英文文本數據。

據介紹,“悟道2.0”在世界公認的9項Benchmark基準測試任務上取得較好的成績。

image.png

新版模型的另一突破在於減少了算力資源、訓練時間等方面的巨大消耗。為提升大規模預訓練模型的產業普適性和易用性,悟道團隊搭建高效預訓練框架,在編碼、模型、訓練、調參和推理等方面效率大幅提升。

(1)高效編碼:研發了最高效、最抗噪的中文預訓練語言模型編碼,解決生僻字等問題;

(2)高效模型:構建了世界首個純非歐空間模型,只需要一半的參數量即可達到近似歐式模型的效果;

(3)高效訓練:世界首創大規模預訓練模型融合框架,形成高效訓練新模式,訓練時間縮短27.3%,速度提升37.5%;

(4)高效微調:世界首創多類別Prompt微調,只需訓練0.001%參數即可實現下游任務適配;

(5)高效推理:世界首創低資源大模型推理系統,單機單卡GPU即可以進行千億參數規模的模型推理。

“悟道”模型在3月首發時已經預告要和一些龍頭企業共同研發應用成果,本次發佈時就宣布了與新華社、美團、小米、快手、搜狗、360、寒武紀、第四範式、好未來、智譜華章等22家合作企業正式簽約。同時啟動“悟道之巔”模型應用大賽,鼓勵開發者利用該模型開發應用案例。

image.png

分享此文:

  • 按一下即可分享至 X(在新視窗中開啟) X
  • 按一下以分享至 Facebook(在新視窗中開啟) Facebook
  • 分享到 WhatsApp(在新視窗中開啟) WhatsApp
  • 按一下以分享到 Telegram(在新視窗中開啟) Telegram
  • 分享到 Pinterest(在新視窗中開啟) Pinterest
  • 分享到 Reddit(在新視窗中開啟) Reddit
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟) 電子郵件
  • 點這裡列印(在新視窗中開啟) 列印

相關


網絡資訊

Post navigation

PREVIOUS
ThinkBook 14p/16p筆記本發布:滿血性能售價4999/8499元起
NEXT
可口可樂中國開售首款蘇打酒精飲料“托帕客”

發表迴響取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
赫思醫美
限時免費
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
WordPress資訊
WeChat資訊
PHP資訊
教學資源
開源程序
網頁工具
SEO工具
醫療健康
其他資訊
Content from
Content to
2021 年 6 月
一 二 三 四 五 六 日
 123456
78910111213
14151617181920
21222324252627
282930  
« 5 月   7 月 »

分類

  • 網站公告
  • 赫思醫美
  • 限時免費
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 其他資訊

彙整

近期文章

  • 暑假矯正季,讓笑容更閃亮! 2025-07-18
  • 告別鬆弛皺紋!熱瑪姬的『射頻技術』如何打造凍齡肌膚? 2025-07-18
  • Firefox新版本將支援Chrome已有多年的WebGPU功能 2025-07-17
  • 彩虹正式上架統信UOS 直接運行Windows應用 2025-07-17
  • 美團高層承諾:將保證美團騎士收入永遠站穩藍領第一梯隊 2025-07-17
  • 科尼賽克CEO直言:電動超跑沒有靈魂我們不造 2025-07-17
  • HTC預告VIVE神秘新品或為首款智慧眼鏡 2025-07-17
  • 據傳PS5 Pro將在明年5月進行性能升級推測為《GTA6》做準備 2025-07-17
  • 德國玩家偏愛A卡銷量佔65%超NV:RX9070XT賣最好 2025-07-17
  • 三星和SK海力士因意外需求推遲DDR4記憶體淘汰計劃 2025-07-17

熱門文章與頁面︰

  • 無3C行動電源禁止登機一文看懂到底什麼是3C認證、如何分辨真偽
  • FF畫師天野喜孝打造巨幅佛經畫風格迷幻完美匹配
  • 您可以在Windows 11 24H2 中找回WordPad
  • 上海兩大機場直通地鐵虹橋到浦東只要40分鐘全程26元
  • Windows及OFFICE激活密鑰+電話激活教程–自用
  • 虹膜識別:築起眼睛裡的安全線
  • 馬雲現身阿里巴巴園區頭戴鴨舌帽手拿咖啡氣色不錯
  • 金庸武侠小说全集(TXT、PDF、插图版)
  • 新研究發現了COVID-18誘發兒童多系統發炎症候群的發病機制
  • 馬斯克對推特有哪些預期?7年營收漲4倍,要靠訂閱發力

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

赫思醫美

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2025   All Rights Reserved.