Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
    • WordPress 插件及主題下載
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

老黃深夜炸場:世界最強AI晶片H200震撼發布性能飆漲90%

老黃深夜炸場:世界最強AI晶片H200震撼發布性能飆漲90%

2023-11-14 Comments 0 Comment

英偉達的節奏,越來越可怕了。就在剛剛,老黃又一次在深夜炸場-發布目前世界最強的AI晶片H200!較前任霸主H100,H200的性能直接提升了60%到90%。不僅如此,這兩款晶片還是互為相容的。這意味著,使用H100訓練/推理模型的企業,可以無縫更換成最新的H200。

全世界的AI公司都陷入算力荒,英偉達的GPU已經千金難求。英偉達先前也表示,兩年一發布的架構節奏將轉變為一年一發布。

就在英偉達宣布這項消息之際,AI公司正為尋找更多H100而焦頭爛額。

英偉達的高階晶片價值連城,已經成為貸款的抵押品。

誰擁有H100,是矽谷最引人注目的頂級八卦

至於H200系統,英偉達表示預計明年第二季上市。

同在明年,英偉達也將發表基於Blackwell架構的B100,並計劃在2024年將H100的產量增加兩倍,目標是生產200多萬塊H100。

而在發布會上,英偉達甚至全程沒有提任何競爭對手,只是不斷強調“英偉達的AI超級計算平台,能夠更快地解決世界上一些最重要的挑戰。”

隨著生成式AI的大爆炸,需求只會更大,而且,這還沒算是H200。贏麻了,老黃真的贏了!

141GB超大顯存,效能直接翻倍!

H200,將為全球領先的AI運算平台增添動力。

它基於Hopper架構,配備英偉達H200 Tensor Core GPU和先進的顯存,因此可以為生成式AI和高效能運算工作負載處理大量資料。

英偉達H200是首款採用HBM3e的GPU,擁有高達141GB的記憶體。

與A100相比,H200的容量幾乎翻了一番,頻寬也增加了2.4倍。與H100相比,H200的頻寬則從3.35TB/s增加到了4.8TB/s。

英偉達大規模與高效能運算副總裁Ian Buck表示——

要利用生成式人工智慧和高效能運算應用創造智能,必須使用大型、快速的GPU顯存,以高速高效地處理大量資料。借助H200,業界領先的端到端人工智慧超算平台的速度會變得更快,一些世界上最重要的挑戰,都可以被解決。

Llama 2推理速度提升近100%

跟前代架構相比,Hopper架構已經實現了前所未有的效能飛躍,而H100持續的升級,和TensorRT-LLM強大的開源函式庫,都在不斷提高效能標準。

H200的發布,讓效能飛躍又升了一級,直接讓Llama2 70B模型的推理速度比H100提高近一倍!

H200是基於與H100相同的Hopper架構。這就意味著,除了新的顯存功能外,H200還具有與H100相同的功能,例如Transformer Engine,它可以加速基於Transformer架構的LLM和其他深度學習模型。

HGX H200採用英偉達NVLink和NVSwitch高速互連技術,8路HGX H200可提供超過32 Petaflops的FP8深度學習運算能力和1.1TB的超高顯存頻寬。

當以H200取代H100,與英偉達Grace CPU搭配使用時,就組成了效能更強勁的GH200 Grace Hopper超級晶片——專為大型HPC和AI應用而設計的運算模組。

下面我們來具體看看,相較於H100,H200的效能提升到底體現在哪些地方。

首先,H200的效能提升最主要體現在大模型的推理表現表現。

如上所說,在處理Llama 2等大語言模型時,H200的推理速度比H100提高了接近1倍。

因為計算核心更新幅度不大,如果以訓練175B大小的GPT-3為例,效能提升大概在10%左右。

顯存頻寬對於高效能運算(HPC)應用程式至關重要,因為它可以實現更快的資料傳輸,減少複雜任務的處理瓶頸。

對於模擬、科學研究和人工智慧等顯存密集型HPC應用,H200更高的顯存頻寬可確保高效地存取和操作數據,與CPU相比,獲得結果的時間最多可加快110倍。

相較於H100,H200在處理高效能運算的應用程式上也有20%以上的提升。

而對於使用者來說非常重要的推理能耗,H200相比H100直接腰斬。

這樣,H200能大幅降低用戶的使用成本,繼續讓用戶「買的越多,省的越多」!

上個月,外媒SemiAnalysis曾曝出一份英偉達未來幾年的硬體路線圖,包括萬眾矚目的H200、B100和「X100」GPU。

而英偉達官方,也公佈了官方的產品路線圖,將使用同一架構設計三款晶片,在明年和後年會繼續推出B100和X100。

B100,性能已經望不到頭了

這次,英偉達更是在官方公告中宣布了全新的H200和B100,將過去資料中心晶片兩年一更新的速率直接翻倍。

以推理1750億參數的GPT-3為例,今年剛發布的H100是前代A100性能的11倍,明年即將上市的H200相對於H100則有超過60%的提升,而再之後的B100,性能更是望不到頭。

至此,H100也成為了目前在位最短的「旗艦級」GPU。

如果說H100現在是科技業的“黃金”,那麼英偉達又成功製造了“鉑金”和“鑽石”。

H200加持,新一代AI超算中心大批來襲

雲端服務方面,除了英偉達自己投資的CoreWeave、Lambda和Vultr之外,亞馬遜雲端科技、Google雲端、微軟Azure和甲骨文雲端基礎設施,都將成為首批部署基於H200實例的供應商。

圖片

此外,在新的H200加持之下,GH200超級晶片也將為全球各地的超級運算中心提供總計約200 Exaflops的AI算力,以推動科學創新。

在SC23大會上,多家頂尖超算中心紛紛宣布,即將使用GH200系統建置自己的超級電腦。

德國尤里希超級運算中心將在超算JUPITER中使用GH200超級晶片。

這台超級計算機將成為歐洲第一台超大規模超級計算機,是歐洲高效能運算聯合專案(EuroHPC Joint Undertaking)的一部分。

Jupiter超級電腦基於Eviden的BullSequana XH3000,採用全液冷架構。

它總共擁有24000個英偉達GH200 Grace Hopper超級晶片,透過Quantum-2 Infiniband互聯。

每個Grace CPU包含288個Neoverse內核, Jupiter的CPU就有近700萬個ARM核心。

它能提供93 Exaflops的低精度AI算力和1 Exaflop的高精度(FP64)算力。這台超級電腦預計將於2024年安裝完畢。

由筑波大學和東京大學共同成立的日本先進高效能運算聯合中心,將在下一代超級電腦中採用英偉達GH200 Grace Hopper超級晶片建構。

作為世界最大超算中心之一的德州高級計算中心,也將採用英偉達的GH200來建構超級電腦Vista。

伊利諾大學香檳分校的美國國家超級運算應用中心,將利用英偉達GH200超級晶片來建構他們的超算DeltaAI,把AI運算能力提高兩倍。

此外,布里斯託大學將在英國政府的資助下,負責建造英國最強大的超級電腦Isambard-AI——將配備5000多顆英偉達GH200超級晶片,提供21 Exaflops的AI運算能力。

英偉達、AMD、英特爾:三巨頭決戰AI晶片

GPU競賽,也進入了白熱化。

面對H200,而老對手AMD的計畫是,利用即將推出的大殺器-Instinct MI300X來提升顯存效能。

MI300X將配備192GB的HBM3和5.2TB/s的顯存頻寬,這將使其在容量和頻寬上遠超H200。

而英特爾也摩拳擦掌,計畫提升Gaudi AI晶片的HBM容量,並表示明年推出的第三代Gaudi AI晶片將從上一代的96GB HBM2e增加到144GB。

英特爾Max系列目前的HBM2容量最高為128GB,英特爾計畫在未來幾代產品中,還要增加Max系列晶片的容量。

H200價格未知

所以,H200賣多少錢?英偉達暫時尚未公佈。

要知道,一塊H100的售價,在25000美元到40000美元之間。訓練AI模型,至少需要數千塊。

在此之前,AI社群曾廣為流傳這張圖片《我們需要多少個GPU》。

GPT-4大約是在10000-25000塊A100上訓練的;Meta需要大約21000塊A100;Stability AI用了大概5000塊A100;Falcon-40B的訓練,用了384塊A100。

根據馬斯克的說法,GPT-5可能需要30000-50000塊H100。摩根士丹利的說法是25000個GPU。

Sam Altman否認了在訓練GPT-5,但卻提過「OpenAI的GPU嚴重短缺,使用我們產品的人越少越好」。

我們能知道的是,等到明年第二季H200上市,屆時必將引發新的風暴。

分享此文:

  • 分享到 Twitter(在新視窗中開啟)
  • 按一下以分享至 Facebook(在新視窗中開啟)
  • 分享到 WhatsApp(在新視窗中開啟)
  • 按一下以分享到 Telegram(在新視窗中開啟)
  • 分享到 Pinterest(在新視窗中開啟)
  • 分享到 Reddit(在新視窗中開啟)
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟)
  • 點這裡列印(在新視窗中開啟)

相關


網絡資訊

Post navigation

PREVIOUS
英偉達最新AI晶片H200或將成為其史上最賺錢產品之一
NEXT
威利·旺卡的新產品線Xbox贈送可食用巧克力手柄

發表迴響取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
限時免費
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
WordPress資訊
WeChat資訊
PHP資訊
教學資源
開源程序
網頁工具
SEO工具
醫療健康
其他資訊
Content from
Content to
2023 年 11 月
一 二 三 四 五 六 日
 12345
6789101112
13141516171819
20212223242526
27282930  
« 10 月   12 月 »

分類

  • 網站公告
  • 限時免費
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 其他資訊

彙整

近期文章

  • 國家疾管局:規範戴口罩預防呼吸道傳染病 2023-12-10
  • 經過50年的搜尋麥哲倫流恆星終於揭開了它神秘的面紗 2023-12-10
  • 麻省理工學院發現的全球降溫現象:構造黏土有效捕捉有機碳 2023-12-10
  • 遙感三十九號衛星發射成功長徵系列火箭第500次飛行 2023-12-10
  • 推特創辦人傑克多西的加密貨幣公司推出BitKey硬體冷錢包售價150美元 2023-12-10
  • 科學家發現異性其實不相吸而是相似的人傾向於互相交往 2023-12-10
  • 美國國家航空暨太空總署的大氣波實驗首次捕捉到中間層影像 2023-12-10
  • 蘋果回應封殺Beeper Mini事件:“我們已採取措施保護我們的用戶” 2023-12-10
  • 哈雷彗星已越過遠日點重新回歸內太陽系預計2061年光臨地球 2023-12-10
  • 美國航空公司每年失去200萬個行李箱一商店打折賣無人認領行李 2023-12-10

熱門文章與頁面︰

  • 世界上有多少個國家
  • 打車叫到特斯拉不會開門很尷尬?官方介紹開關門方法
  • Autodesk AutoCAD 2021 正式版註冊版-簡體/繁體中文/英文版
  • 鳥寶寶有多內捲?為了讓父母投餵自己長出恐怖的嘴巴
  • 盜版Windows 7還能免費升級Windows 10嗎?
  • R星有史以來最美的遊戲?《GTA6》與《荒野大鏢客2》畫面對比
  • 歐盟就《人工智慧法案》達成協議
  • 中國成功發射一箭三星朱雀二號火箭首次商業化交付
  • 玩家未來或有可能在《薩爾達傳說》裡控制薩爾達
  • 《最終幻想16》將沒有續作或衍生作

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2023   All Rights Reserved.