Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
    • WordPress 插件及主題下載
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

谷歌推擁有26000個H100的超算加速AI軍備競賽

谷歌推擁有26000個H100的超算加速AI軍備競賽

2023-05-11 Comments 0 Comment

雲提供商正在組建GPU 大軍,以提供更多的AI 火力。在今天舉行的年度Google I/O 開發者大會上,Google 宣布了一款擁有26,000 個GPU 的AI 超級計算機——A3 ,這個超級計算機是Google與微軟爭奪AI 霸權的鬥爭中投入更多資源進行積極反攻的又一證據。

這台超級計算機擁有大約26,000 個NVIDIA H100 Hopper GPU。作為參考,世界上最快的公共超級計算機Frontier擁有37,000 個AMD Instinct 250X GPU。

對於我們最大的客戶,我們可以在單個集群中構建多達26,000 個GPU 的A3 超級計算機,並正在努力在我們最大的地區構建多個集群,”Google發言人在一封電子郵件中說,並補充說“並非我們所有的位置都將是縮放到這麼大的尺寸。”

該系統是在加利福尼亞州山景城舉行的Google I/O 大會上宣布的。開發者大會已經成為Google許多人工智能軟件和硬件能力的展示。在微軟將OpenAI 的技術應用於Bing 搜索和辦公生產力應用程序之後,Google加速了其AI 開發。

該超級計算機面向希望訓練大型語言模型的客戶。Google為希望使用超級計算機的公司宣布了隨附的A3 虛擬機實例。許多雲提供商現在都在部署H100 GPU,NVIDIA 在3 月份推出了自己的DGX 雲服務,與租用上一代A100 GPU 相比價格昂貴。

Google表示,A3 超級計算機是對現有A2 虛擬機與NVIDIA A100 GPU 提供的計算資源的重大升級。Google正在將所有分佈在不同地理位置的A3 計算實例匯集到一台超級計算機中。

“A3 超級計算機的規模可提供高達26 exaflops 的AI 性能,這大大減少了訓練大型ML 模型的時間和成本,”Google的董事Roy Kim 和產品經理Chris Kleban 在一篇博客文章中說。

公司使用exaflops 性能指標來估計AI 計算機的原始性能,但批評者仍然對其持保留意見。在Google的案例中,被大家詬病的是其結果在以ML 為目標的bfloat16(“brain floating point”)性能中計算出來的,這讓你達到“exaflops”的速度比大多數經典HPC 應用程序仍然使用的雙精度(FP64) 浮點數學要快得多要求。

GPU 的數量已經成為雲提供商推廣其AI 計算服務的重要名片。微軟在Azure 中的AI 超級計算機與OpenAI 合作構建,擁有285,000 個CPU 內核和10,000 個GPU。微軟還宣布了配備更多GPU 的下一代AI 超級計算機。Oracle 的雲服務提供對512 個GPU 集群的訪問,並且正在研究新技術以提高GPU 通信的速度。

Google一直在大肆宣傳其TPU v4 人工智能芯片,這些芯片被用於運行帶有LLM 的內部人工智能應用程序,例如Google的Bard 產品。Google的AI 子公司DeepMind 表示,快速TPU 正在指導通用和科學應用的AI 開發。

相比之下,Google的A3 超級計算機用途廣泛,可以針對廣泛的AI 應用程序和LLM 進行調整。Kim 和Kleban 在博文中表示:“鑑於這些工作負載的高要求,一刀切的方法是不夠的——你需要專為AI 構建的基礎設施。”

就像Google喜歡它的TPU 一樣,NVIDIA 的GPU 已經成為雲提供商的必需品,因為客戶正在CUDA 中編寫AI 應用程序,這是NVIDIA 專有的並行編程模型。該軟件工具包基於H100 的專用AI 和圖形內核提供的加速生成最快的結果。

Google TPU v4

客戶可以通過A3 虛擬機運行AI 應用程序,並通過Vertex AI、Google Kubernetes Engine 和Google Compute Engine 服務使用Google 的AI 開發和管理服務。公司可以使用A3 超級計算機上的GPU 作為一次性租用,結合大型語言模型來訓練大型模型。然後,將新數據輸入模型,更新模型——無需從頭開始重新訓練。

Google的A3 超級計算機是各種技術的大雜燴,以提高GPU 到GPU 的通信和網絡性能。A3 虛擬機基於英特爾第四代Xeon 芯片(代號Sapphire Rapids),與H100 GPU 一起提供。目前尚不清楚VM 中的虛擬CPU 是否會支持Sapphire Rapids 芯片中內置的推理加速器。VM 隨附DDR5 內存。

NVIDIA H100 上的訓練模型比在雲端廣泛使用的上一代A100 GPU 更快、更便宜。人工智能服務公司MosaicML 進行的一項研究發現,H100 在其70 億參數的MosaicGPT 大型語言模型上“比NVIDIA A100 的成本效益高30%,速度快3 倍”。

H100 也可以進行推理,但考慮到H100 提供的處理能力,這可能被認為是矯枉過正。Google雲提供NVIDIA 的L4 GPU 用於推理,英特爾在其Sapphire Rapids CPU 中擁有推理加速器。

“A3 VM 也非常適合推理工作負載,與我們的A2 VM 的A100 GPU 相比,推理性能提升高達30 倍,”Google 的Kim 和Kleban 說。

A3 虛擬機是第一個通過名為Mount Evans 的基礎設施處理單元連接GPU 實例的虛擬機,該單元由Google和英特爾聯合開發。IPU 允許A3 虛擬機卸載網絡、存儲管理和安全功能,這些功能傳統上是在虛擬CPU 上完成的。IPU 允許以200Gbps 的速度傳輸數據。

“A3 是第一個使用我們定制設計的200Gbps IPU 的GPU 實例,GPU 到GPU 的數據傳輸繞過CPU 主機並流經與其他VM 網絡和數據流量不同的接口。與我們的A2 虛擬機相比,這使網絡帶寬增加了10 倍,具有低尾延遲和高帶寬穩定性,”Google高管在一篇博客文章中說。

IPU 的吞吐量可能很快就會受到微軟的挑戰,微軟即將推出的配備NVIDIA H100 GPU 的AI 超級計算機將擁有該芯片製造商的Quantum-2 400Gbps 網絡功能。微軟尚未透露其下一代AI 超級計算機中H100 GPU 的數量。

A3 超級計算機建立在源自公司Jupiter 數據中心網絡結構的主幹上,該主幹通過光學鏈路連接地理上不同的GPU 集群。

“對於幾乎每一種工作負載結構,我們都實現了與更昂貴的現成非阻塞網絡結構無法區分的工作負載帶寬,”Google表示。

Google還分享說,A3 超級計算機將有八個H100 GPU,它們使用NVIDIA 專有的交換和芯片互連技術互連。GPU 將通過NVSwitch 和NVLink 互連連接,其通信速度約為3.6TBps。Azure 在其AI 超級計算機上提供了相同的速度,並且兩家公司都部署了NVIDIA 的電路板設計。

“每台服務器都使用服務器內部的NVLink 和NVSwitch 將8 個GPU 互連在一起。為了讓GPU 服務器相互通信,我們在Jupiter DC 網絡結構上使用了多個IPU,”一位Google發言人說。

該設置有點類似於NVIDIA 的DGX Superpod,它具有127 個節點的設置,每個DGX 節點配備八個H100 GPU。

Google博客:配備NVIDIA H100 GPU 的A3 超級計算機

實施最先進的人工智能(AI) 和機器學習(ML) 模型需要大量計算,既要訓練基礎模型,又要在這些模型經過訓練後為它們提供服務。考慮到這些工作負載的需求,一種放之四海而皆準的方法是不夠的——您需要專為AI 構建的基礎設施。

我們與我們的合作夥伴一起,為ML 用例提供廣泛的計算選項,例如大型語言模型(LLM)、生成AI 和擴散模型。最近,我們發布了G2 VMs,成為第一個提供新的NVIDIA L4 Tensor Core GPU 用於服務生成式AI 工作負載的雲。今天,我們通過推出下一代A3 GPU 超級計算機的私人預覽版來擴展該產品組合。Google Cloud 現在提供一整套GPU 選項,用於訓練和推理ML 模型。

Google Compute Engine A3 超級計算機專為訓練和服務要求最嚴苛的AI 模型而打造,這些模型為當今的生成式AI 和大型語言模型創新提供動力。我們的A3 VM 結合了NVIDIA H100 Tensor Core GPU 和Google 領先的網絡技術,可為各種規模的客戶提供服務:

1. A3 是第一個使用我們定制設計的200 Gbps IPU的GPU 實例,GPU 到GPU 的數據傳輸繞過CPU 主機並流過與其他VM 網絡和數據流量不同的接口。與我們的A2 VM 相比,這可實現高達10 倍的網絡帶寬,同時具有低尾延遲和高帶寬穩定性。

2.我們行業獨一無二的智能Jupiter 數據中心網絡結構可擴展到數万個高度互連的GPU,並允許全帶寬可重新配置的光學鏈路,可以按需調整拓撲。對於幾乎每種工作負載結構,我們實現的工作負載帶寬與更昂貴的現成非阻塞網絡結構沒有區別,從而降低了TCO。

3. A3 超級計算機的規模提供高達26 exaFlops 的AI 性能,這大大減少了訓練大型ML 模型的時間和成本。

隨著公司從訓練過渡到提供ML 模型,A3 VM 也非常適合推理工作負載,與我們由NVIDIA A100 Tensor Core GPU* 提供支持的A2 VM 相比,推理性能提升高達30 倍。

A3 GPU VM 專門為當今的ML 工作負載提供最高性能的訓練,配備現代CPU、改進的主機內存、下一代NVIDIA GPU 和主要網絡升級。以下是A3 的主要特點:

1. 8 個H100 GPU,利用NVIDIA 的Hopper 架構,提供3 倍的計算吞吐量

2.通過NVIDIA NVSwitch 和NVLink 4.0,A3 的8 個GPU 之間的對分帶寬為3.6 TB/s

3.下一代第4 代英特爾至強可擴展處理器

4. 2TB 主機內存,通過4800 MHz DDR5 DIMM

5.由我們支持硬件的IPU、專門的服務器間GPU 通信堆棧和NCCL 優化提供支持的網絡帶寬增加10 倍

A3 GPU VM 是客戶開發最先進的ML 模型的一個進步。通過顯著加快ML 模型的訓練和推理,A3 VM 使企業能夠快速訓練更複雜的ML 模型,為我們的客戶創造機會來構建大型語言模型(LLM)、生成AI 和擴散模型,以幫助優化運營並在競爭中保持領先地位。

此次發布基於我們與NVIDIA 的合作夥伴關係,旨在為我們的客戶提供用於訓練和推理ML 模型的全方位GPU 選項。

NVIDIA 超大規模和高性能計算副總裁Ian Buck 表示:“由下一代NVIDIA H100 GPU 提供支持的Google Cloud 的A3 VM 將加速生成AI 應用程序的訓練和服務。” “在Google雲最近推出G2 實例之後,我們很自豪能夠繼續與Google雲合作,通過專門構建的人工智能基礎設施幫助全球企業轉型。”

對於希望在無需維護的情況下開發複雜ML 模型的客戶,您可以在Vertex AI 上部署A3 VM,Vertex AI 是一個端到端平台,用於在專為低延遲服務和高性能而構建的完全託管基礎設施上構建ML 模型訓練。今天,在Google I/O 2023上,我們很高興通過向更多客戶開放Vertex AI 中的生成AI 支持以及引入新功能和基礎模型來構建這些產品。

對於希望構建自己的自定義軟件堆棧的客戶,客戶還可以在Google Kubernetes Engine (GKE) 和Compute Engine 上部署A3 VM,以便您可以訓練和提供最新的基礎模型,同時享受自動縮放、工作負載編排和自動升級。

“Google Cloud 的A3 VM 實例為我們提供了計算能力和規模,可滿足我們最苛刻的訓練和推理工作負載。我們期待利用他們在AI 領域的專業知識和在大規模基礎設施方面的領導地位,為我們的ML 工作負載提供強大的平台。” -Noam Shazeer,Character.AI 首席執行官

在Google雲,人工智能是我們的DNA。我們應用了數十年為AI 運行全球規模計算的經驗。我們設計了該基礎架構以擴展和優化以運行各種AI 工作負載——現在,我們將其提供給您。

分享此文:

  • 分享到 Twitter(在新視窗中開啟)
  • 按一下以分享至 Facebook(在新視窗中開啟)
  • 分享到 WhatsApp(在新視窗中開啟)
  • 按一下以分享到 Telegram(在新視窗中開啟)
  • 分享到 Pinterest(在新視窗中開啟)
  • 分享到 Reddit(在新視窗中開啟)
  • 按一下即可分享至 Skype(在新視窗中開啟)
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟)
  • 點這裡列印(在新視窗中開啟)

相關


網絡資訊

Post navigation

PREVIOUS
AI頂規芯片需求暴漲傳英偉達緊急向台積電追單先進封裝產能
NEXT
微軟下注核聚變,與Helion簽訂購電協議OpenAI創始人也看好

發表迴響 取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
限時免費
ESET NOD32
WINDOWS 10 &11 INSIDER PREVIEW
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
金融資訊
WhatsApp Stickers教學
WordPress資訊
WeChat資訊
PHP資訊
Plesk資訊
TensorFlow
教學資源
開源程序
網頁工具
SEO工具
醫療健康
旅遊及消閒
其他資訊
Content from
Content to
2023 年 5 月
一 二 三 四 五 六 日
1234567
891011121314
15161718192021
22232425262728
293031  
« 4 月   6 月 »

分類

  • 網站公告
  • 限時免費
  • ESET NOD32
  • WINDOWS 10 &11 INSIDER PREVIEW
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WhatsApp Stickers教學
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • Plesk資訊
  • TensorFlow
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 旅遊及消閒
  • 其他資訊

彙整

近期文章

  • 任天堂俄羅斯負責人現已不再是公司正式僱員 2023-06-02
  • Twitter“翻譯”功能被取消疑似為節省開支 2023-06-02
  • 網紅經濟學家任澤平轉型帶貨開賣生髮油曾炮轟蘋果割韭菜 2023-06-02
  • 美國FTC主席:執法人員“需儘早警惕”AI發展 2023-06-02
  • Chrome、Firefox瀏覽器必裝神器油猴插件有了中文名“篡改猴” 2023-06-02
  • 又一“巨無霸” 國產2萬噸重載自動駕駛列車試驗成功 2023-06-02
  • 革新電化學:納米多孔模型電極的創新 2023-06-02
  • NASA向公眾開放載荷在其Europa Clipper任務中發送他們的名字 2023-06-02
  • 研究發現日本百歲老人腸道中的噬菌體更豐富可能幫助其更長壽 2023-06-02
  • 人工智能繪製的藍圖為預測靈長類乃至人類疾病提供了突破性進展 2023-06-02

熱門文章與頁面︰

  • 打車叫到特斯拉不會開門很尷尬?官方介紹開關門方法
  • DP vs HDMI 誰才是遊戲玩家最佳選擇?
  • 世界上有多少個國家
  • Windows及OFFICE激活密鑰+電話激活教程–自用
  • ESET NOD32 LICENSE KEY (UPDATED 2023-01-17)
  • 把盒子刷成磚頭又把磚頭刷成盒子,小米盒子3增強版原生安卓刷機
  • 下歌吧– 免費的超高、無損等音質音樂下載平台
  • 樓層這麼高,為什麼蟑螂仍能飛簷走壁,寄居家中?
  • Windows 10玩遊戲死機重置顯卡驅動的秘籍你知道嗎?
  • REG007 – 你註冊過哪些網站?一搜便知

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2023   All Rights Reserved.