黃仁勳自曝英偉達最強Rubin架構數百萬GPU叢集將至人形機器人是未來
昨晚,英偉達揭露未來三代資料中心半導體技術路線圖,新GPU架構每年一更:2025年推出Blackwell Ultra GPU(8S HBM3e 12H);2026年推出Rubin GPU(8S HBM4);2027年推出Rubin Ultra GPU(12S HBM4),新一代基於Arm的Vera CPU,以及NVLink 6 Switch(3600GB/s)。
Rubin和Vera的命名皆源自美國天文學家Vera Rubin。她對宇宙暗物質研究有重大貢獻。
▲維拉·魯賓
「我在這裡向你們展示的所有這些晶片都在完全開發中,百分之百。」英偉達創始人兼CEO黃仁勳說,英偉達的更新節奏以年為單位,所有架構都是兼容的,「以一年為週期,我們把所有東西推向技術極限」。
身為本週台北國際電腦展COMPUTEX 2024開幕前的重磅演講嘉賓,黃仁勳甩出未來三代GPU架構這項重磅披露,顯得誠意十足。
身為晶片圈“頂流”,黃仁勳這次到台灣省再度引起轟動。他前幾天相當繁忙,又是跟台積電創始人張忠謀、聯發科董事長蔡明介、廣達董事長林百里等大佬聚餐,又是拉著92歲高齡的張忠謀去體驗逛夜市,所到之處都受到巨星級歡迎,從具體行程到宴請菜都被台媒扒個底朝天。
連續數日霸屏台灣科技頭條,只是「皮衣老黃」黃仁勳來台的開胃菜。
週日晚上19點09分,正餐來了——
最近英偉達市值穩定在2.7兆美元,黃仁勳儼然人逢喜事精神爽,穿著標誌性的黑色皮衣一路小跑登台,滿面笑容地向台灣大學綜合體育館內的6500名與會者用中文問候:「大家好!
台下也是大佬雲集,有美超微CEO梁見後、華碩董事長施崇棠、鴻海董事長劉揚偉、聯發科總經理陳冠州等。
黃仁勳在演講中忍不住提起到台灣夜市,說自己很喜歡逛夜市,因為很喜歡看人,自己臉上有道疤就是小時候去夜市時被不慎割傷的,所以對夜市印像很深。他還特別稱讚了一位賣了43年水果的老闆娘。
在介紹基於英偉達Earth-2數位孿生地球和英偉達CorrDiff生成式AI模型生成的12倍高分辨率天氣預測模型時,他更是全程中文,流利不卡頓。
老黃中文進步這麼大?隨後黃仁勳自揭謎底:都是AI生成的!
他還在現場展示了Blackwell晶片主機板,稱這是「世界上最複雜、性能最高的電腦」。
黃仁勳說,自己這場演講主要談三件事:一是其工作的意義;二是什麼是生成式AI以及它對各行業的影響;三是英偉達的藍圖和下一步。
他堅信下一波AI浪潮是實體AI,看著好人形機器人,還站在大螢幕顯示的9款人形機器人之間張開雙臂展示。
01 .
8年AI算力漲1000倍,能耗降到1/350
黃仁勳說,英偉達立足於電腦圖形、模擬和AI的交叉領域,這是英偉達的靈魂。加速運算和AI技術將會重塑電腦產業。
他強調加速運算能達到永續成長,表示CPU的效能擴展已經大大放緩,頂不住持續暴增的運算需求、資料處理需求、資料中心電量、電腦成本了,而更好的辦法就是加速運算。
一如既往,黃仁勳現場算賬,說明「買越多,省越多」。
英偉達透過GPU+CPU組合,實現了高達100倍的加速,同時功耗僅增加到3倍,成本僅增加到1.5倍。
「100倍的速度意味著97%、98%的節省。所以當我們從100倍的速度到200倍的速度再到1000倍的速度,節省、計算的邊際成本繼續下降。」黃仁勳說。
英偉達的軟體組合也不斷壯大。
黃仁勳再度強調CUDA的前瞻性和主導地位。透過CUDA+GPU的組合拳,英偉達實現安裝量一路上漲、開發者和應用越來越多、研發規模擴大、性能越來越好的良性循環。
英偉達在1000美元的PC上增加了一張500美元的GPU,效能大幅提升;一個10億美元的資料中心加上5億美元的GPU,就能變成AI工廠。
黃仁勳說,很多公司花了數億美元在雲端處理數據,透過加速運算,可以節省數億美元。
8年內英偉達AI算力增加了1000倍,能以更低成本去訓練大模型。例如訓練1.8兆參數、8兆token的GPT-4,所需能耗從8年前Pascal架構的1000GWh減少到Blackwell的3GWh。
也就是說將能耗足足降至8年前的1/350。
黃仁勳也分享說,Blackwell將生成token的能耗降至8年前的1/45000。
以前用Pascal產生1 token的能耗相當於2個200W燈泡運行2天,讓GPT-4產生一個單字大約需要3個token。現在1 token只用0.4J能耗。
有Blackwell還不夠,必須製造更大的機器,英偉達建造它的方式是風冷DGX和液冷MGX。黃仁勳活像現場帶貨,對這些大機器挨個安麗。
其中DGX的AI算力提升到上一代的45倍,達到1440PFLOPS,而能耗僅為上一代的10倍。
黃仁勳還拿了張GeForce顯示卡跟機櫃比較大小。
新一代DGX能搭載72個GPU,背後由NVLink 5000條電纜組成的主幹支持,能為一個機架節省20kW電能。
02 .
英偉達計劃每年推出Spectrum-X新品,資料中心將進入數百萬GPU時代
「數百萬GPU資料中心的時代即將來臨!」黃仁勳宣布每年推出新的Spectrum-X產品。
NVIDIA Spectrum-X是全球首款專為AI打造的乙太網路平台,可將網路效能較傳統乙太網路平台提升1.6倍,能加快AI工作負載的處理、分析與執行速度。
Spectrum-X800為數萬個GPU而設計,X800 Ultra為數十萬個GPU而設計,X1600則可擴展至數百萬個GPU。
CoreWeave、Lambda等AI雲端服務供應商率先採用Spectrum-X。
英偉達計劃每年推出Spectrum-X新品,提供更高的頻寬、更多的連接埠、更強大的軟體功能集與可程式能力,並持續提升AI乙太網路效能。
03 .
AI工廠將掀起新產業革命,AMD和英特爾均支持MGX架構
黃仁勳極力描繪生成式AI時代的巨大市場機會:「有史以來第一次,IT產業,這是3兆美元,3兆美元的IT產業即將創造出能夠直接服務於100萬億美元產業的東西。
他展示了英偉達如何從Blackwell晶片等一系列先進技術和產品的組合,壘起層層疊疊的機架、集群,最終形成由32000張GPU組成的AI工廠。
永擎電子、華碩、技嘉、鴻佰科技、英業達、和碩、QCT、超微、緯創、緯穎等企業正在打造基於英偉達技術的雲端、專用系統和邊緣AI系統。
NVIDIA MGX模組化參考設計平台為電腦製造商提供了一個參考架構,以便其能夠以快速且低成本的方式建構超過100種的系統設計配置。
MGX加入了對Blackwell產品的支持,包括專為大語言模型推理、檢索增強生成和資料處理而打造的全新GB200 NVL2平台。
已有超过25家合作伙伴的90多套已发布或正在开发中的系统使用了MGX参考架构,较去年来自6家合作伙伴的14套系统有显著增加。
透過採用MGX,開發成本大幅降低,較之前最多降低了3/4;開發時間縮短到僅6個月,較之前減少了2/3。
AMD和英特爾都支援MGX架構,並首次計劃打造基於他們自己CPU主機處理器的模組設計,包括下一代AMD Turin平台和基於P核心的第六代英特爾至強處理器(原Granite Rapids)。
04 .
從幾天縮至幾分鐘,NIM服務改變生成式AI模型部署方式
NVIDIA NIM推理微服務能將企業部署生成式AI應用的時間從幾天壓縮到幾分鐘。
該服務提供了一種簡單、標準化的方式,透過經優化的容器形式提供AI模型,可部署在雲端、資料中心或工作站上。
現在,全球2,800萬開發者可下載NIM,因此輕鬆建構Copilot、聊天機器人等生成式AI應用。
與未使用NIM相比,在NIM中運行Meta Llama 3-8B可產生高達3倍的生成式AI token。這有助於企業在相同運算基礎架構上大幅提高效率。
企業可使用NIM來運行用於生成文字、圖像和視訊、語音以及互動式數位人的應用程式。
200家技術合作夥伴正在將NIM整合到他們的平台中以加速生成式AI部署。
開發者可從Hugging Face上輕鬆存取和運行Meta Llama 3模型的NIM服務。
「今天我們在Hugging Face上發布了全面優化的Llama 3,」黃仁勳說,「你可以在任何雲端中運行它。下載容器,並將其存入資料中心,然後就可以託管,並提供給客戶使用。
ai.nvidia.com網站有超過40個英偉達及社群模式可作為NIM端點體驗,包括Databricks DBRX、Google開放模式Gemma、Meta Llama 3、微軟Phi-3、Mistral Large、Mixtral 8x22B、Snowflake Arctic等。
黃仁勳相信未來每家公司都會有NIM agent,分別負責釐清任務、拆解子任務、執行,透過分工協作完成任務。
05 .
未來數位人會像人一樣交互,PC將是重要AI平台
未來數位人會是什麼樣子?
黃仁勳展示了一段視頻,電腦可以像人一樣互動,例如用手機攝像頭掃過四周的環境,數位人就會做出判斷:“你似乎正在進行某種錄製或製作佈景中?”
數位人將徹底改變客服、廣告、遊戲產業。例如,你用手機掃描廚房後,數位人可以成為AI室內設計師,產生幾種設計選項並採購家具;數位人還可以成為AI客服代理、數位醫療工作者,或者成為AI品牌大使,引領行銷廣告新潮流。
黃仁勳說,PC將成為非常重要的AI平台,並發表4款新款RTX AI PC。
英偉達在全球有1億台GeForce RTX AI PC的使用者基礎,將透過200多款RTX AI筆記型電腦和500多款採用AI技術的應用程式和遊戲來改變消費者的體驗。
RTX套件和為NVIDIA ACE數位人平台新推出的基於PC的NIM推理微服務,將進一步提高AI的可訪問性。
英偉達也發布了搭載RTX的AI助理技術演示G-Assist項目,展示了針對PC遊戲和應用的上下文感知輔助功能,相當於為玩家添加了一個能隨時諮詢攻略的遊戲AI助手外掛。
微軟和英偉達正一起幫助開發者將新的生成式AI功能加入Windows原生和Web應用程式中,讓開發者能透過API工具輕鬆存取由RTX加速的SLM(小型語言模型)。
黃仁勳相信,未來PC將成為一個AI,會一直在後台協助你,還將運行由AI增強的應用程序,並且能承載帶有數位人類的應用程式。
06 .
下一波AI浪潮是實體AI,人形機器人將被機器人工廠量產
接下來要做什麼呢?
在黃仁勳看來,下一波AI浪潮是物理AI,也就是理解物理定律的AI。
物理AI是指能理解指令,並在現實世界中自主執行複雜任務的模型。
今天大多數AI並不理解物理定律,不以物質世界為基礎。而產生影像、視訊、3D圖形和許多物理現象,需要基於物理並理解物理定律的AI。
為我們工作的AI,必須理解世界模型,才能理解如何解釋世界、如何感知世界。多模態大語言模型的突破,它使機器人能夠學習、感知和理解周圍的世界,並規劃它們將如何行動。
從影片中學習是一種途徑,另一種方法是合成、模擬數據,還有利用電腦相互學習。如果AI數據是透過強化學習演算法合成的,那麼數據產生的速度將會持續變快,需要更大的GPU。
英偉達正在努力透過推進英偉達機器人軟體堆疊來加速生成實體AI,包括用於模擬應用的NVIDIA Omniverse平台、Project GR00T人形機器人通用基礎模型和Jetson Thor機器人電腦。
“機器人時代已經到來。”黃仁勳說,“AI的下一波浪潮已經到來。由實體AI驅動的機器人技術將徹底改變行業。這不是未來。這正在發生。”
他預言,總有一天,所有移動的東西都將是自主的,世界各地研究人員和公司都在開發由物理AI驅動的機器人,「機器人將遍布所有工廠。工廠將實現對機器人的統籌,這些機器人將製造新的機器人產品。
黃仁勳相信,下一個將由機器人工廠生產的大批量機器人產品很可能是人形機器人。
他現場展示了全球最大電子製造商鴻海集團(富士康如何利用NVIDIA Omniverse、Isaac和Metropolis創建其用於訓練機器人的複雜工廠數位孿生,以更高精度優化工作流程並降低成本。
Omniverse是機器人可以學習如何成為機器人的一個虛擬世界模擬開發平台,結合了即時、基於實體的渲染、實體模擬和生成AI技術,能夠在虛擬環境中整合來自領先產業工具3D資料的平台,幫助鴻海團隊優化操作流程的設備佈局,AI攝影機透過NVIDIA Metropolis監控工人安全。
然後,鴻海可以使用工廠數位孿生作為虛擬培訓環境來模擬、測試和驗證其基於NVIDIA Isaac Perceptor加速庫構建的自主移動機器人(AMR),以及由NVIDIA Isaac Manipulator AI模型提供支援的AI機器人機械手臂。
Isaac平台採用模組化設計,擁有一整套NVIDIA加速庫、AI基礎模型和模擬技術,今天起可供機器人製造商整合到其技術堆疊中,助力其提高工廠、倉庫和配送中心的工作效率。
比亞迪電子、西門子、泰瑞達、Alphabet旗下公司Intrinsic等全球十多家領先的機器人企業正在採用NVIDIA Isaac機器人平台。
100多家公司正在採用Isaac Sim來模擬、測試和驗證機器人應用。 Agility、波士頓動力公司、Figure AI、傅利葉智慧、Sanctuary AI正在使用Isaac Lab。
黃仁勳說,英偉達將為每種類型的機器人系統創建平台,包括機器人工廠和倉庫、用於操縱物體的機器人、移動機器人,以及人形機器人。
建造具有生成實體AI的機器人需要3台電腦:NVIDIA AI超級電腦來訓練模型,NVIDIA Jetson-Orin和下一代Jetson-Thor機器人超級電腦來運行這些模型,機器人還需用Omniverse在模擬世界中學習和完善技能。
07 .
結論:新一輪工業革命開始,英偉達力推新型資料中心
「新一輪工業革命已經開始。許多企業和地區正在與英偉達合作推動價值萬億美元的傳統數據中心向加速計算轉型,並建造一種新型數據中心「AI工廠」來生產新的商品——AI 。
他回顧:「過去12年,我們意識到計算的未來將發生根本性的變化,直到今天,這真的和我之前說的完全一樣,2012年前的GeForce和今天的英偉達,公司已經發生了巨大的變化。
英偉達的路線圖將每年更新,其基本理念是「打造資料中心規模,以每年的節奏分步驟實現、並向客戶交付產品,在各領域實現技術突破」。
黃仁勳承諾不會止步於此,希望英偉達繼續提高性能、降低訓練和推理成本、擴展AI功能,讓每家公司都能接受。
本週,全球科技產業的目光將持續聚焦在中國台北。 AMD董事長兼CEO蘇姿豐、英特爾CEO基辛格、高通總裁兼CEO安蒙、恩智浦CTO Lars Reger、聯發科CEO蔡力行等晶片巨頭的高層都將在COMPUTEX發表演講,對這場科技盛會及其台系夥伴表現出絕對的重視。