雲提供商正在組建GPU 大軍，以提供更多的AI 火力。在今天舉行的年度Google I/O 開發者大會上，Google 宣布了一款擁有26,000 個GPU 的AI 超級計算機——A3 ，這個超級計算機是Google與微軟爭奪AI 霸權的鬥爭中投入更多資源進行積極反攻的又一證據。

這台超級計算機擁有大約26,000 個NVIDIA H100 Hopper GPU。作為參考，世界上最快的公共超級計算機Frontier擁有37,000 個AMD Instinct 250X GPU。

對於我們最大的客戶，我們可以在單個集群中構建多達26,000 個GPU 的A3 超級計算機，並正在努力在我們最大的地區構建多個集群，”Google發言人在一封電子郵件中說，並補充說“並非我們所有的位置都將是縮放到這麼大的尺寸。”

該系統是在加利福尼亞州山景城舉行的Google I/O 大會上宣布的。開發者大會已經成為Google許多人工智能軟件和硬件能力的展示。在微軟將OpenAI 的技術應用於Bing 搜索和辦公生產力應用程序之後，Google加速了其AI 開發。

該超級計算機面向希望訓練大型語言模型的客戶。Google為希望使用超級計算機的公司宣布了隨附的A3 虛擬機實例。許多雲提供商現在都在部署H100 GPU，NVIDIA 在3 月份推出了自己的DGX 雲服務，與租用上一代A100 GPU 相比價格昂貴。

Google表示，A3 超級計算機是對現有A2 虛擬機與NVIDIA A100 GPU 提供的計算資源的重大升級。Google正在將所有分佈在不同地理位置的A3 計算實例匯集到一台超級計算機中。

“A3 超級計算機的規模可提供高達26 exaflops 的AI 性能，這大大減少了訓練大型ML 模型的時間和成本，”Google的董事Roy Kim 和產品經理Chris Kleban 在一篇博客文章中說。

公司使用exaflops 性能指標來估計AI 計算機的原始性能，但批評者仍然對其持保留意見。在Google的案例中，被大家詬病的是其結果在以ML 為目標的bfloat16（“brain floating point”）性能中計算出來的，這讓你達到“exaflops”的速度比大多數經典HPC 應用程序仍然使用的雙精度(FP64) 浮點數學要快得多要求。

GPU 的數量已經成為雲提供商推廣其AI 計算服務的重要名片。微軟在Azure 中的AI 超級計算機與OpenAI 合作構建，擁有285,000 個CPU 內核和10,000 個GPU。微軟還宣布了配備更多GPU 的下一代AI 超級計算機。Oracle 的雲服務提供對512 個GPU 集群的訪問，並且正在研究新技術以提高GPU 通信的速度。

Google一直在大肆宣傳其TPU v4 人工智能芯片，這些芯片被用於運行帶有LLM 的內部人工智能應用程序，例如Google的Bard 產品。Google的AI 子公司DeepMind 表示，快速TPU 正在指導通用和科學應用的AI 開發。

相比之下，Google的A3 超級計算機用途廣泛，可以針對廣泛的AI 應用程序和LLM 進行調整。Kim 和Kleban 在博文中表示：“鑑於這些工作負載的高要求，一刀切的方法是不夠的——你需要專為AI 構建的基礎設施。”

就像Google喜歡它的TPU 一樣，NVIDIA 的GPU 已經成為雲提供商的必需品，因為客戶正在CUDA 中編寫AI 應用程序，這是NVIDIA 專有的並行編程模型。該軟件工具包基於H100 的專用AI 和圖形內核提供的加速生成最快的結果。

Google TPU v4

客戶可以通過A3 虛擬機運行AI 應用程序，並通過Vertex AI、Google Kubernetes Engine 和Google Compute Engine 服務使用Google 的AI 開發和管理服務。公司可以使用A3 超級計算機上的GPU 作為一次性租用，結合大型語言模型來訓練大型模型。然後，將新數據輸入模型，更新模型——無需從頭開始重新訓練。

Google的A3 超級計算機是各種技術的大雜燴，以提高GPU 到GPU 的通信和網絡性能。A3 虛擬機基於英特爾第四代Xeon 芯片（代號Sapphire Rapids），與H100 GPU 一起提供。目前尚不清楚VM 中的虛擬CPU 是否會支持Sapphire Rapids 芯片中內置的推理加速器。VM 隨附DDR5 內存。

NVIDIA H100 上的訓練模型比在雲端廣泛使用的上一代A100 GPU 更快、更便宜。人工智能服務公司MosaicML 進行的一項研究發現，H100 在其70 億參數的MosaicGPT 大型語言模型上“比NVIDIA A100 的成本效益高30%，速度快3 倍”。

H100 也可以進行推理，但考慮到H100 提供的處理能力，這可能被認為是矯枉過正。Google雲提供NVIDIA 的L4 GPU 用於推理，英特爾在其Sapphire Rapids CPU 中擁有推理加速器。

“A3 VM 也非常適合推理工作負載，與我們的A2 VM 的A100 GPU 相比，推理性能提升高達30 倍，”Google 的Kim 和Kleban 說。

A3 虛擬機是第一個通過名為Mount Evans 的基礎設施處理單元連接GPU 實例的虛擬機，該單元由Google和英特爾聯合開發。IPU 允許A3 虛擬機卸載網絡、存儲管理和安全功能，這些功能傳統上是在虛擬CPU 上完成的。IPU 允許以200Gbps 的速度傳輸數據。

“A3 是第一個使用我們定制設計的200Gbps IPU 的GPU 實例，GPU 到GPU 的數據傳輸繞過CPU 主機並流經與其他VM 網絡和數據流量不同的接口。與我們的A2 虛擬機相比，這使網絡帶寬增加了10 倍，具有低尾延遲和高帶寬穩定性，”Google高管在一篇博客文章中說。

IPU 的吞吐量可能很快就會受到微軟的挑戰，微軟即將推出的配備NVIDIA H100 GPU 的AI 超級計算機將擁有該芯片製造商的Quantum-2 400Gbps 網絡功能。微軟尚未透露其下一代AI 超級計算機中H100 GPU 的數量。

A3 超級計算機建立在源自公司Jupiter 數據中心網絡結構的主幹上，該主幹通過光學鏈路連接地理上不同的GPU 集群。

“對於幾乎每一種工作負載結構，我們都實現了與更昂貴的現成非阻塞網絡結構無法區分的工作負載帶寬，”Google表示。

Google還分享說，A3 超級計算機將有八個H100 GPU，它們使用NVIDIA 專有的交換和芯片互連技術互連。GPU 將通過NVSwitch 和NVLink 互連連接，其通信速度約為3.6TBps。Azure 在其AI 超級計算機上提供了相同的速度，並且兩家公司都部署了NVIDIA 的電路板設計。

“每台服務器都使用服務器內部的NVLink 和NVSwitch 將8 個GPU 互連在一起。為了讓GPU 服務器相互通信，我們在Jupiter DC 網絡結構上使用了多個IPU，”一位Google發言人說。

該設置有點類似於NVIDIA 的DGX Superpod，它具有127 個節點的設置，每個DGX 節點配備八個H100 GPU。

Google博客：配備NVIDIA H100 GPU 的A3 超級計算機

實施最先進的人工智能(AI) 和機器學習(ML) 模型需要大量計算，既要訓練基礎模型，又要在這些模型經過訓練後為它們提供服務。考慮到這些工作負載的需求，一種放之四海而皆準的方法是不夠的——您需要專為AI 構建的基礎設施。

我們與我們的合作夥伴一起，為ML 用例提供廣泛的計算選項，例如大型語言模型(LLM)、生成AI 和擴散模型。最近，我們發布了G2 VMs，成為第一個提供新的NVIDIA L4 Tensor Core GPU 用於服務生成式AI 工作負載的雲。今天，我們通過推出下一代A3 GPU 超級計算機的私人預覽版來擴展該產品組合。Google Cloud 現在提供一整套GPU 選項，用於訓練和推理ML 模型。

Google Compute Engine A3 超級計算機專為訓練和服務要求最嚴苛的AI 模型而打造，這些模型為當今的生成式AI 和大型語言模型創新提供動力。我們的A3 VM 結合了NVIDIA H100 Tensor Core GPU 和Google 領先的網絡技術，可為各種規模的客戶提供服務：

1. A3 是第一個使用我們定制設計的200 Gbps IPU的GPU 實例，GPU 到GPU 的數據傳輸繞過CPU 主機並流過與其他VM 網絡和數據流量不同的接口。與我們的A2 VM 相比，這可實現高達10 倍的網絡帶寬，同時具有低尾延遲和高帶寬穩定性。

2.我們行業獨一無二的智能Jupiter 數據中心網絡結構可擴展到數万個高度互連的GPU，並允許全帶寬可重新配置的光學鏈路，可以按需調整拓撲。對於幾乎每種工作負載結構，我們實現的工作負載帶寬與更昂貴的現成非阻塞網絡結構沒有區別，從而降低了TCO。

3. A3 超級計算機的規模提供高達26 exaFlops 的AI 性能，這大大減少了訓練大型ML 模型的時間和成本。

隨著公司從訓練過渡到提供ML 模型，A3 VM 也非常適合推理工作負載，與我們由NVIDIA A100 Tensor Core GPU* 提供支持的A2 VM 相比，推理性能提升高達30 倍。

A3 GPU VM 專門為當今的ML 工作負載提供最高性能的訓練，配備現代CPU、改進的主機內存、下一代NVIDIA GPU 和主要網絡升級。以下是A3 的主要特點：

1. 8 個H100 GPU，利用NVIDIA 的Hopper 架構，提供3 倍的計算吞吐量

2.通過NVIDIA NVSwitch 和NVLink 4.0，A3 的8 個GPU 之間的對分帶寬為3.6 TB/s

3.下一代第4 代英特爾至強可擴展處理器

4. 2TB 主機內存，通過4800 MHz DDR5 DIMM

5.由我們支持硬件的IPU、專門的服務器間GPU 通信堆棧和NCCL 優化提供支持的網絡帶寬增加10 倍

A3 GPU VM 是客戶開發最先進的ML 模型的一個進步。通過顯著加快ML 模型的訓練和推理，A3 VM 使企業能夠快速訓練更複雜的ML 模型，為我們的客戶創造機會來構建大型語言模型(LLM)、生成AI 和擴散模型，以幫助優化運營並在競爭中保持領先地位。

此次發布基於我們與NVIDIA 的合作夥伴關係，旨在為我們的客戶提供用於訓練和推理ML 模型的全方位GPU 選項。

NVIDIA 超大規模和高性能計算副總裁Ian Buck 表示：“由下一代NVIDIA H100 GPU 提供支持的Google Cloud 的A3 VM 將加速生成AI 應用程序的訓練和服務。” “在Google雲最近推出G2 實例之後，我們很自豪能夠繼續與Google雲合作，通過專門構建的人工智能基礎設施幫助全球企業轉型。”

對於希望在無需維護的情況下開發複雜ML 模型的客戶，您可以在Vertex AI 上部署A3 VM，Vertex AI 是一個端到端平台，用於在專為低延遲服務和高性能而構建的完全託管基礎設施上構建ML 模型訓練。今天，在Google I/O 2023上，我們很高興通過向更多客戶開放Vertex AI 中的生成AI 支持以及引入新功能和基礎模型來構建這些產品。

對於希望構建自己的自定義軟件堆棧的客戶，客戶還可以在Google Kubernetes Engine (GKE) 和Compute Engine 上部署A3 VM，以便您可以訓練和提供最新的基礎模型，同時享受自動縮放、工作負載編排和自動升級。

“Google Cloud 的A3 VM 實例為我們提供了計算能力和規模，可滿足我們最苛刻的訓練和推理工作負載。我們期待利用他們在AI 領域的專業知識和在大規模基礎設施方面的領導地位，為我們的ML 工作負載提供強大的平台。” -Noam Shazeer，Character.AI 首席執行官

在Google雲，人工智能是我們的DNA。我們應用了數十年為AI 運行全球規模計算的經驗。我們設計了該基礎架構以擴展和優化以運行各種AI 工作負載——現在，我們將其提供給您。