亞馬遜發力捍衛雲端地位:升級自研AI晶片發布聊天機器人Q 搶先用Grace Hopper
亞馬遜發力捍衛在雲端運算領域的領先地位,一邊升級自研的雲端晶片、推出亞馬遜版的GPT——人工智慧(AI)聊天機器人,一邊深化同英偉達的合作,推出基於英偉達晶片的新服務、和英偉達共同研發超級電腦。
AWS的副總裁Dave Brown表示,透過將自研晶片的設計重點放在對客戶重要的實際工作負載上,AWS能為他們提供最先進的雲端基礎架構。這次推出的Graviton4是五年內的第四代晶片產品,隨著人們對生成式AI 興趣的高漲,第二代AI晶片Trainium2 將幫助客戶以更低的成本和更高的能效更快地訓練自己的機器學習模型。
Graviton4運算效能較前代提升多達30%
美東時間11月28日週二,亞馬遜旗下雲端運算業務AWS宣布,推出新一代的AWS自研晶片。其中,通用晶片Graviton4的運算效能較前代Graviton3提高多達30%,核心增加50%,記憶體頻寬提升75%,進而在亞馬遜雲端伺服器託管服務Amazon Elastic Compute Cloud(EC2)上提供最高性價比與能源利用效果。
Graviton4也透過對所有高速實體硬體介面進行完全加密來提高安全性。AWS稱,Graviton4 將應用於記憶體優化的Amazon EC2 R8g 實例,讓客戶可以改善高效能資料庫、記憶體快取和大數據分析工作負載的執行。R8g 實例提供更大的實例大小,比前代R7g實例的vCPU 高出最多三倍的,記憶體高三倍。
應用Graitons4的電腦將在未來幾個月內上市。AWS稱,啟動Garviton計畫約五年來,已生產超過200萬個Garviton處理器,AWS EC2的前100位用戶都選擇使用Graviton。
Trainium2速度提高四倍訓練兆參數級模型
AWS的另一款新品-新一代AI晶片Trainium2速度比前代Trainium1快四倍,將能在EC2 UltraCluster中部署多達10萬個晶片,讓用戶能在很短的時間內訓練數以萬億參數的基礎模型(PM)和大語言模型(LLM),同時能源利用率較前代提高多達兩倍。
Trainium2 將用於Amazon EC2 Trn2 實例,單一實例中包含16 個Trainium 晶片。Trn2 實例旨在幫助客戶在下一代EC2 UltraCluster中擴展晶片應用數量至多達10萬個Trainium2 晶片,聯通AWS Elastic Fabric Adapter (EFA) petabit級網絡,提供高達65 exaflops 的算力。
AWS稱,Trainium2將從明年開始用於支援新的服務。
升級版Grace Hopper的首家大客戶DGX雲採用GH200 NVL32 速度最快GPU驅動AI超算
除了自研晶片,AWS週二還在年度大會re:Invent期間同英偉達共同宣布,擴大策略合作,提供最先進的基礎設施、軟體和服務,協助客戶的生成式AI創新。
AWS 將成為第一家在雲端採用全新多節點NVLink技術英偉達H200 Grace Hopper超級晶片的雲端服務商,也就是說,AWS將是升級版Grace Hopper的第一個大客戶。
英偉達的H200 NVL32 多節點平台將32 個Grace Hopper晶片與NVLink 和NVSwitch 技術共同用於一個實例。該平台將用於與亞馬遜網路EFA連接的Amazon EC2實例,並由高級虛擬化(AWS Nitro System) 和超大規模集群(Amazon EC2 UltraClusters) 提供支持,使亞馬遜和英偉達共同的客戶能夠擴展部署數以千計計的H200晶片。
英偉達和AWS將共同在AWS上託管英偉達的AI 訓練即服務DGX Cloud,它將是第一個採用GH200 NVL32 的DGX 雲,能為開發人員提供單一實例中最大的共享記憶體。AWS 的DGX雲將提高尖端生成式AI 和超過1兆參數的大語言模型的訓練。
英偉達和AWS 正在共同研發名為Ceiba 的項目,設計世界上速度最快的GPU驅動AI 超級計算機,這是一個採用GH200 NVL32 和Amazon EFA 互連的大規模系統。它是搭載1.6384萬塊GH200超級晶片的超級計算機,AI處理能力達65 exaflops。英偉達將用它推動下一波生成式AI 創新。
企業客戶機器人亞馬遜Q預覽版上線協助在AWS上開發App
除了晶片和雲端服務,AWS還推出了自己的AI聊天機器人預覽版,名為亞馬遜Q。它是生成式AI技術支援的新型數位助手,可根據企業客戶的業務進行工作,幫助企業客戶搜尋資訊、編寫程式碼和審查業務指標。
Q接受了AWS內部有關程式碼和文件的部分培訓,可供AWS雲端的開發者使用。
開發者可以用Q在AWS上建立App、研究最佳實務、改正錯誤、獲得為App編寫新功能的協助。使用者可以透過對話式的問答功能與Q進行交互,學習新知識、研究最佳實踐以及了解如何在AWS上建立App,無需將注意力從AWS 控制台上移開。
Q也將被加入亞馬遜的企業智慧軟體、呼叫中心工作人員和物流管理的程式。AWS表示,客戶可以根據公司的數據或個人資料,對Q進行客製化。
Q 對話式問答功能目前在所有提供企業AWS的地區提供預覽版。