Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
    • WordPress 插件及主題下載
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

超大規模智能模型“悟道2.0”發布參數規模達GPT-3的10倍

超大規模智能模型“悟道2.0”發布參數規模達GPT-3的10倍

2021-06-01 Comments 0 Comment

在1日召開的2021北京智源大會上,北京智源人工智能研究院發布了新版超大規模智能模型“悟道2.0”,這是在今年3月20日發布的“悟道1.0”基礎上更新迭代而來,具備大規模、高精度、高效率的特點。

“悟道”模型旨在打造數據和知識雙輪驅動的認知智能,讓機器像人一樣思考,實現“超越圖靈測試的機器認知能力”。“悟道”團隊在大規模預訓練模型研發上做了很多基礎性工作,形成了自主的超大規模智能模型技術創新體系,擁有理論、工具、模型構建和測評的完整鏈條。

“悟道2.0”模型的參數規模達到1.75萬億,是GPT-3的10倍,打破了之前由Google Switch Transformer預訓練模型創造的1.6萬億參數記錄,是目前中國首個、全球最大的萬億級模型。

image.png

Google萬億模型的核⼼技術MoE(Mixture of Experts)與其分佈式訓練框架和其定制硬件強綁定。“悟道”團隊研究並開源的FastMoE是首個支持PyTorch框架的MoE系統,具有簡單易用、靈活、高性能等特點,並且支持大規模並行訓練。新一代FastMoE,支持Switch、GShard等複雜均衡策略,支持不同專家不同模型,是實現“萬億模型”的關鍵技術。

“悟道2.0”模型在中英雙語共4.9T的高質量大規模清洗數據上進行訓練。訓練數據包含WuDaoCorpora中的1.2TB中文文本數據、2.5TB中文圖文數據,以及Pile數據集的1.2TB英文文本數據。

據介紹,“悟道2.0”在世界公認的9項Benchmark基準測試任務上取得較好的成績。

image.png

新版模型的另一突破在於減少了算力資源、訓練時間等方面的巨大消耗。為提升大規模預訓練模型的產業普適性和易用性,悟道團隊搭建高效預訓練框架,在編碼、模型、訓練、調參和推理等方面效率大幅提升。

(1)高效編碼:研發了最高效、最抗噪的中文預訓練語言模型編碼,解決生僻字等問題;

(2)高效模型:構建了世界首個純非歐空間模型,只需要一半的參數量即可達到近似歐式模型的效果;

(3)高效訓練:世界首創大規模預訓練模型融合框架,形成高效訓練新模式,訓練時間縮短27.3%,速度提升37.5%;

(4)高效微調:世界首創多類別Prompt微調,只需訓練0.001%參數即可實現下游任務適配;

(5)高效推理:世界首創低資源大模型推理系統,單機單卡GPU即可以進行千億參數規模的模型推理。

“悟道”模型在3月首發時已經預告要和一些龍頭企業共同研發應用成果,本次發佈時就宣布了與新華社、美團、小米、快手、搜狗、360、寒武紀、第四範式、好未來、智譜華章等22家合作企業正式簽約。同時啟動“悟道之巔”模型應用大賽,鼓勵開發者利用該模型開發應用案例。

image.png

分享此文:

  • 分享到 Twitter(在新視窗中開啟)
  • 按一下以分享至 Facebook(在新視窗中開啟)
  • 分享到 WhatsApp(在新視窗中開啟)
  • 按一下以分享到 Telegram(在新視窗中開啟)
  • 分享到 Pinterest(在新視窗中開啟)
  • 分享到 Reddit(在新視窗中開啟)
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟)
  • 點這裡列印(在新視窗中開啟)

相關


網絡資訊

Post navigation

PREVIOUS
ThinkBook 14p/16p筆記本發布:滿血性能售價4999/8499元起
NEXT
可口可樂中國開售首款蘇打酒精飲料“托帕客”

發表迴響取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
限時免費
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
WordPress資訊
WeChat資訊
PHP資訊
教學資源
開源程序
網頁工具
SEO工具
醫療健康
其他資訊
Content from
Content to
2021 年 6 月
一 二 三 四 五 六 日
 123456
78910111213
14151617181920
21222324252627
282930  
« 5 月   7 月 »

分類

  • 網站公告
  • 限時免費
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 其他資訊

彙整

近期文章

  • 美國商務部長雷蒙多:任何旨在規避對華限制的AI晶片都將在隔天被禁止出口 2023-12-04
  • 據稱三星已開始研發1吋影像感測器但預計2025年前不會面世 2023-12-04
  • 哈伯揭示大麥哲倫星雲中的NGC 2210遠古球狀星團 2023-12-04
  • 曝蔚來已獲得獨立造車資質總裁秦力洪:暫無資訊可公佈 2023-12-04
  • QQ音樂綠鑽豪華版自動續費漲價明年1月9日起15元/月 2023-12-04
  • 入華25年首次:本田大規模減員,豐田工廠減產日系車不香了? 2023-12-04
  • 美日韓等22國承諾2050年核電裝機量將成長兩倍 2023-12-04
  • 進步86號太空船搭載重要貨物抵達國際太空站 2023-12-04
  • 全球最大基本收入實驗的初步結果:一次性發錢效果遠勝於定額小量 2023-12-04
  • 華為、江淮合作首車曝光:定位百萬級對標邁巴赫 2023-12-04

熱門文章與頁面︰

  • 打車叫到特斯拉不會開門很尷尬?官方介紹開關門方法
  • Autodesk AutoCAD 2021 正式版註冊版-簡體/繁體中文/英文版
  • 一鍵GHOST v2020.07.20 正式版-硬盤版/光盤版/優盤版/軟盤版
  • 「泰假」贏了瑞幸咖啡狀告泰國瑞幸敗訴
  • 阿拉斯加航空將以19億美元收購夏威夷航空
  • Google Chrome瀏覽器意外出現Status_Access_Violation錯誤而崩潰
  • 索尼新專利表明其正在開發可提供遊戲提示的DualSense手柄
  • 抽查用ChatGPT寫論文,該如何看待?
  • 凱吉《戰爭之王》續集將於2024年在摩洛哥開拍
  • 張朝陽物理課後告誡年輕人:長期被動刷手機人就廢了

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2023   All Rights Reserved.