GTC 2021開幕演講內容回顧:NVIDIA推出首款CPU 狂捧ARM生態
今日凌晨,一年一度影響人工智能及高性能計算技術盛會NVIDIA GTC如期而至,這是GTC大會繼去年後第二次在線上舉行。NVIDIA(英偉達)創始人黃仁勳依然穿著拉風的皮衣,在自家廚房舉辦發布會。可以明顯看到,老黃的頭髮更白了,也更長了。
去年NVIDIA重磅發布旗艦A100 GPU以及一系列服務器、集群、超算,轟動整個人工智能領域,如今,老黃帶著一系列軟硬件新品高調回歸。
萬萬沒想到,這一次,全球GPU霸主NVIDIA推出了一款基於Arm的數據中心CPU!
在宣布400億美元收購Arm的6個月後,NVIDIA連發三款基於Arm IP打造的處理器,包括全球首款專為TB級加速計算而設計的CPU NVIDIA Grace、全新BlueField-3 DPU,以及業界首款1000TOPS算力的自動駕駛汽車SoC。
“我們每年都會發布激動人心的新品。三類芯片,逐年飛躍,一個架構。”黃仁勳說,數據中心路線圖包括CPU、GPU和DPU這三類芯片,而Grace和BlueField是其中必不可少的關鍵組成部分。每個芯片架構歷經兩年的打磨週期(週期內可能出現轉變),一年專注於x86平台,另一年專注於Arm平台。
此外,NVIDIA還公佈了與亞馬遜AWS、Ampere Computing、聯發科和Marvell等基於Arm的CPU平台的合作夥伴關係。
在軟件方面,超大規模語言模型訓練與推理問答引擎Megatron、實時對話式AI平台Jarvis、AI網絡安全框架Morpheus、Omniverse企業版、由GPU加速的量子電路模擬框架CuQuantum等一系列最新進展首次揭曉。
顯然,面向數據中心異構計算的新天地,NVIDIA正集合軟硬件技術優勢,打出高調的組合拳。
一、3款自研Arm芯:首顆數據中心CPU落地全球最快AI超算
此次發布會令人最印象深刻的,就是NVIDIA在助推Arm生態方面不遺餘力,從自研CPU、DPU、自動駕駛處理器到GPU的合作夥伴,從雲、高性能計算、邊緣計算到PC,無處不Arm。
先來看下這次發布的五款硬件新品:
1、首顆數據中心CPU:落地全球最快AI超算
黃仁勳宣布的第一個重磅新品,是一款專為大規模人工智能和高性能計算應用而設計的CPU——NVIDIA Grace。
絕大多數的數據中心仍將繼續使用現有的CPU,而Grace主要將用於計算領域的細分市場,預計將於2023年可供貨。
由於超大規模的模型很難完全放進GPU內存,如果存儲在系統內存,訪問速度則會大大受限,這款CPU的問世主要即是為了解決這一瓶頸。
NVIDIA Grace以發明了世界上第一個編譯器、被稱為“計算機軟件工程第一夫人”的先驅計算機科學家Grace Hopper命名,具體有3點創新進步:
(1)內置下一代Arm Neoverse內核,每個CPU能在SPECrate2017_int_base基準測試中單位時間運行超過300個實例;
(2)採用第四代NVIDIA NVLink,從CPU到GPU連接速度超過900GB/s,達到相當於目前服務器14倍的帶寬;從CPU到CPU的速度超過600GB/s。
(3)擁有最高的內存帶寬,採用的新內存LPDDR5x技術,帶寬是LPDDR4的兩倍,能源效率提高了10倍,能提供更多計算能力。
明年將有兩台性能強大的AI超級計算機面世,都將採用NVIDIA Grace,據稱其與NVIDIA GPU緊密結合,性能將比目前最先進的NVIDIA DGX系統(在x86 CPU上運行)高出10倍。
這兩台AI超算中,瑞士國家計算中心(CSCS)正在打造一個算力可達20Exaflops的系統,美國洛斯阿拉莫斯國家實驗室(Los Alamos National Laboratory)也將為其研究人員配備新AI超算。
2、Bluefield-3 DPU:220億晶體管
在黃仁勳看來,負責在數據中心傳輸和處理數據的數據處理單元(DPU),正與CPU、GPU共同組成“未來計算的三大支柱”。
NVIDIA全新BlueField-3 DPU包含220億個晶體管,採用16個Arm A78 CPU核心、 18M IOPs彈性塊存儲,加密速度是上一代的4倍,並完全向下兼容BlueField-2。
BlueField-2能夠卸載相當於30個CPU核的工作負載,而BlueField-3實現了10倍的加速計算性能提升,能夠替代300個CPU核,以400Gbps的速率,對網絡流量進行保護、卸載和加速。該處理器也是首款支持第五代PCIe總線並提供數據中心時間同步加速的DPU。
BlueField-3通過NVIDIA DOCA(集數據中心於芯片的架構)軟件開發包為開發者提供一個完整、開放的軟件平台,開發在BlueField DPU上開發軟件定義和硬件加速的網絡、存儲、安全和管理等應用。DOCA已於今日發布並提供下載。
新一代BlueField-3 DPU預計將於2022年第一季度發布樣品,第四代BlueField DPU將包含640個晶體管,算力達1000TOPS,網絡速率達800Gbps。
3、車輪上的數據中心:業界率先達成1000TOPS
NVIDIA DRIVE Atlan是新一代AI自動駕駛汽車處理器,算力將達到1000TOPS,約是上一代Orin處理器的4倍,超過了絕大多數現有無人駕駛出租車的子女計算能力。
這是DRIVE平台首次集成DPU,通過Arm核為自動駕駛汽車帶來數據中心級的網絡,致力於應用到2025年的車型。
該SoC採用下一代GPU的體系結構、新型Arm CPU內核、新深度學習和計算機視覺加速器,並內置為先進的網絡、存儲和安全服務的BlueField DPU,網絡速度可達400Gbps。
黃仁勳誇讚說:“Atlan集NVIDIA在AI、汽車、機器人、安全和BlueField安全數據中心領域的所有技術之大成,堪稱一項技術奇蹟。”
4、便捷式AI數據中心和DGX SuperPod雙升級
黃仁勳還宣布升級NVIDIA專為工作組打造的“便攜式AI數據中心”NVIDIA DGX Station,以及NVIDIA專為密集型AI研發打造的AI數據中心產品NVIDIA DGX SuperPod。
全新DGX Station 320G借助320GB超快速HBM2e連接至4個NVIDIA A100 GPU,內存帶寬達到每秒8TB。然而,僅需將其插入普通的壁裝電源插座即可使用,耗電量只有1500W。
黃仁勳說,達到這種性能的CPU集群成本約為100萬美元,而DGX Station僅需14.9萬美元。
DGX SuperPOD使用全新80GB NVIDIA A100,將其HBM2e內存提升至90TB,實現2.2EB/s的總帶寬。要實現如此的帶寬,需要11000台CPU服務器,大約相當於有250個機櫃的數據中心,比SuperPOD多15倍。
目前它已經升級至採用NVIDIA BlueField-2,且NVIDIA如今還為該產品提供配套的NVIDIA Base Command DGX管理和編排工具。
5、Aerial A100:5G+AI的新型邊緣計算平台
黃仁勳還提到了NVIDIA的AI-on-5G計算平台,這是一款專為邊緣設計、將5G和AI相結合的新型計算平台。該平台將採用NVIDIA Aerial軟件開發套件與NVIDIA BlueField-2 A100,將GPU和CPU組合成“有史以來最先進的PCIE卡。”
富士通、谷歌云、Mavenir、Radisys和Wind River等合作夥伴都在開發適用於NVIDIA AI-on-5G平台的解決方案。
二、協作亞馬遜自研CPU支持雲服務,打造Arm+GPU新PC
除了推出基於Arm的CPU外,NVIDIA還宣布一系列與Arm處理器設計商的合作進展,包括將為亞馬遜AWSGraviton2 CPU提供GPU加速、為科學和AI應用開發提供支持的全新HPC開發者套件、提升邊緣視頻分析和安全功能、打造新一類基於Arm並搭載NVIDIA RTX GPU的新款PC等。
這些舉動反映出無論是市場還是NVIDIA自身,對基於Arm的解決方案的興趣已經超出移動領域。
1、NVIDIA GPU搭配亞馬遜自研CPU賦能雲服務
2021年下半年,基於亞馬遜雲科學(AWS)自研服務器處理器AWS Graviton2的Amazon EC2實例將與NVIDIA GPU相結合,在雲端部署。
這一新組合將實現降低成本、支持更豐富的遊戲串流體驗、優化雲上安卓遊戲和人工智能推理、以更低成本提供更高的AI推理性能等優勢。
黃仁勳說:“我們致力於將Arm生態系統擴展到移動和嵌入式系統以外的市場,而今日宣布的新合作夥伴,正是我們邁出的第一步。 ”
2、新HPC開發者套件,支持科學和AI應用開發
為了更好地支持科學和AI應用開發,面向高性能計算領域,NVIDIA推出了全新HPC開發者套件。
NVIDIA全新HPC開發者套件為超級計算機提供了一個高性能、高能效的平台,該平台結合了1個Ampere Altra CPU(包含80個Arm Neoverse核,運行頻率高達3.3GHz)、雙NVIDIA A100 GPU(每個GPU可提供312TFLOPS的FP16深度學習性能)、兩個用於加速網絡、存儲和安全的NVIDIA BlueField-2 DPU。
該開發者套件包含一套NVIDIA編譯器、庫和工具,可用於創建HPC和AI應用,以及將其遷移到GPU加速的Arm計算系統中,將於2021年第三季度上市,多家頂尖研究機構已率先展開部署。
3、加速邊緣安全功能,打造由GPU驅動的新PC
今天NVIDIA還宣布了提升邊緣視頻分析和安全功能、打造新一類基於Arm並搭載NVIDIA RTX GPU的新款PC等進展。
在邊緣計算領域, NVIDIA正擴大與Marvell的合作,將基於Arm的OCTEON DPU與GPU相結合,加速AI工作負載,實現網絡優化和安全。
在PC領域, NVIDIA與全球最大的基於Arm的SoC供應商之一聯發科合作,共同打造一個採用Arm核與NVIDIA顯卡、支持Chromium、Linux和NVIDIA SDK的參考平台,將GPU的性能及先進的AI、光線追踪圖形等技術帶入Arm PC平台。
此外,NVIDIA也正與富士通、SiPearl等其他合作夥伴共同致力於擴展Arm生態系統。
三、更多AI平台落地,首秀量子電路模擬框架
NVIDIA在去年推出了一個機架比肩AI數據中心的AI系統DGX A100、AI算力高達700 PFLOPS的集群DGX SuperPOD、千萬億級工作組服務器DGX Station A100。
面向AI應用需求,NVIDIA已經提供Megatron、Jarvis、Merlin、Maxine、Isaac、Metropolis、Clara和DRIVE、以及各種可使用TAO進行定制化的預訓練模型。
今天,NVIDIA進一步強化企業計算服務,不僅推出大型語言模型訓練與推理問答引擎、宣布對話式AI平台最新落地進展,還展示了其量子電路模擬框架。
1、NVIDIA EGX:擴大認證服務器生態系統
為進一步實現AI民主化,黃仁勳發布了來自頂尖製造商的新系列NVIDIA認證系統,即大容量企業級服務器,現已通過認證。
這一系統可運行NVIDIA AI Enterprise軟件套件,該套件得到了全球應用最廣泛的計算虛擬化平台——VMware vSphere 7的獨家認證。
NVIDIA今日推出多款新系統,以擴大NVIDIA認證服務器生態系統。這些新系統配備用於主流AI和數據分析的NVIDIA A30 GPU,以及用於AI圖形、虛擬工作站以及混合計算和圖形工作負載的NVIDIA A10 GPU。
2、Megatron:超大型語言模型訓練與推理
黃仁勳發布了用於訓練Transformers的超大語言模型的NVIDIA Megatron Triton推理服務器。
Transformers已幫助開發者在自然語言處理領域取得了突破性進展,能夠生成文檔摘要、將電子郵件中的短語補充完整、對測驗進行評分、生成體育賽事現場評論、甚至生成代碼。
使用Megatron Triton的DGX A100能在1秒內做出響應,可同時支持16項查詢,而雙插座CPU服務器支持1條問詢就超過了1分鐘。
3、Jarvis:實時對話式AI平台現可使用
Jarvis是一個基於NVIDIA GPU提供實時性能的靈活、多模態對話式AI服務應用框架,可幫助開發者輕鬆實現實時語音識別、轉錄、摘要、翻譯、封閉式字幕、虛擬助手、聊天機器人等功能。
現在,NVIDIA已經是一個生產就緒、現已可用的端到端對話式AI模型,企業可基於自身數據和特定需求對模型做進一步的微調,並使用NGC實現在雲或邊緣快速部署定制化語言型AI服務。
為幫助客戶將自身專業知識應用於AI領域,黃仁勳還宣布推出NVIDIA TAO,其可以運用客戶和合作夥伴的數據,對NVIDIA預訓練模型進行微調和適配,同時保護數據隱私。
4、Morpheus:AI網絡安全應用框架
為了保障現代化數據中心的安全,黃仁勳宣布推出基於NVIDIA GPU、BlueField DPU、Net-Q網絡遙測軟件和EGX的新型AI框架而構建的NVIDIA Morpheus數據中心安全平台,能夠對完整的數據包進行實時檢測、預防安全威脅,現可搶先試用。
作為一個基於AI的雲原生網絡安全框架,NVIDIA Morpheus通過在邊緣和AI技術的結合,利用實時的遙測、策略執行及操作,可以在不犧牲成本和性能的情況下分析更多的安全數據,識別、捕捉和應對以往無法識別的威脅和異常情況,如未加密敏感數據的洩露、網絡釣魚攻擊和惡意軟件。
Morpheus與BlueField DPU相結合,使網絡中的每個計算節點都成為邊緣網絡防禦傳感器,企業無需複制數據,也能夠以線速分析每個數據包。相比之下,傳統的AI安全工具通常只能採樣5%左右的網絡流量數據,因此威脅檢測算法並非基於完整的模型。
同步推出的BlueField-3可為NVIDIA Morpheus提供實時的網絡可視化、網絡威脅的檢測與響應、以及監控、遙測和代理服務。開發者還能夠在現有IP投資的基礎上,使用深度學習模型來創建自己的Morpheus AI功能。
5、CuQuantum:量子電路模擬框架
為加快有賴於量子位(或量子比特,能作為單個的0或1存在,也可以同時作為二者存在)的量子計算研究,黃仁勳推出了cuQuantum,為量子電路模擬器提供加速。
這是專為模擬量子電路而設計的加速庫,適用於張量網絡求解器和狀態向量求解器,經過優化後,可以擴展到大GPU顯存、多個GPU和多個DGX節點。
運行cuQuantum基準測試時,狀態向量模擬在雙CPU服務器上需要10天,但在DGX A100上只需2小時,DGX上的cuQuantum可以高效模擬10倍的量子位,從而助力研究人員設計出更完善的量子計算機。
四、公佈自動駕駛新平台,擴大與沃爾沃合作
自動駕駛汽車(AV,Autonomous vehicles)是NVIDIA近年來極其重視的賽道之一。除了前文提及的1000TOPS自動駕駛處理器外,此次黃仁勳還推出了Hyperion 8 AV平台,並宣布沃爾沃汽車擴大與NVIDIA的合作。
NVIDIA Hyperion 8 AV平台是一個先進的數據採集、開發和測試平台,包含參考傳感器、自動駕駛汽車和中央計算機、3D地面真實數據記錄儀、網絡以及所有必要的軟件。
沃爾沃汽車從2016年開始借助高性能且高能效的NVIDIA DRIVE的算力,基於NVIDIA DRIVE Xavier,為新車型開發AI輔助駕駛功能,軟件則由沃爾沃汽車旗下的自動駕駛軟件開發公司Zenseact自主研發。
黃仁勳說,將於2022年投產的NVIDIA自動駕駛汽車計算系統級芯片NVIDIA DRIVE Orin,旨在成為汽車的中央電腦。
而沃爾沃汽車將為新一代汽車的自動駕駛計算機配備NVIDIA DRIVE Orin。
這意味著兩家公司的合作深入到更多軟件定義車型,首發就是將於2022年發布的新一代XC90。
五、推出英偉達Omniverse企業版,賦能Drive SIM 2.0
黃仁勳強調說,NVIDIA是一家軟件平台公司,並大力發展NVIDIA AI和將3D世界連接至共享虛擬世界的NVIDIA Omniverse。
NVIDIA Omniverse是一款多GPU可擴展的雲原生平台,支持建模、佈局、著色、合成、渲染、動畫等一系列構建3D虛擬建模所需的功能,用於仿真、協作和自主機器訓練。
其特點還包括:具有高物理精度、能夠充分運用RTX實時路徑追踪和DLSS、可以使用NVIDIA MDL模擬材料、可以使用NVIDIA PhysX模擬物理學並且與NVIDIA AI完全集成。
黃仁勳提到:“Omniverse旨在創建共享虛擬3D世界,就像尼爾·斯蒂芬森在1990年代早期的小說《雪崩》中所描述的科幻虛擬空間那樣。”
去年12月,NVIDIA推出了Omniverse公測版本。自公測版發布以來,建築、遊戲以及大型廣告公司等合作夥伴都將Omniverse運用到其工作中。
從今年夏季開始,NVIDIA將提供Omniverse企業授權許可。
黃仁勳還宣布DRIVE Sim將於今年夏季開放供業界使用。他提到Omniverse中的DRIVE數字孿生是能夠與車隊中每一位工程師和每一輛車互聯的虛擬空間。
正如Omniverse能夠構建汽車生產工廠的數字孿生一樣,DRIVE Sim也可用於創建自動駕駛汽車的數字孿生,並將其用於自動駕駛汽車的開發。
此外,NVIDIA正與寶馬合作打造一個完全採用數字化設計的未來工廠,自始至終在Omniverse中進行模擬,創建數字孿生,並讓機器人與人類協同工作開展運營。
結語:NVIDIA集齊“未來計算的三大支柱”
總體來看,NVIDIA今日公佈的多項成果與進展,為基於Arm的解決方案帶來更多可能性,NVIDIA這又打造硬件又優化軟件的勢頭,更加彰顯了其主導數據中心領域AI和HPC市場的決心,也為頗負盛名的GTC大會打出了響亮的頭炮。
此次GTC線上大會共超過10萬人註冊參會,共計將舉行1600多場技術演講。在接下來的5天內,3位圖靈獎得主、12位戈登-貝爾獎得主、10位奧斯卡獎得主,以及來自微軟、Arm、奧迪汽車、亞馬遜、通用電氣、微軟等企業的領導人均將在此次科技盛會上發表演講。
從最新一系列努力來看,NVIDIA身上早已貼上遠多於GPU巨頭的更多標籤,成為全棧計算平台。首款數據中心CPU的發布,也宣告著NVIDIA的異構計算佈局再添新的關鍵元件,數據中心產品線集齊CPU、GPU、DPU這“未來計算的三大支柱”。
NVIDIA正卯足了勁兒推進將GPU與Arm系CPU相結合的生態發展,這一切顯然還只是開始。
芯東西(ID:aichip001)
作者| 心緣
編輯| 漠影