黃仁勳:AI資料中心可擴展至百萬晶片效能年翻倍,能耗年減2-3倍
本週,英偉達CEO黃仁勳接受了《No Priors》節目主持人的採訪,就英偉達的十年賭注、x.AI超級集群的快速發展、NVLink技術創新等AI相關話題進行了一場深度對話。黃仁勳表示,沒有任何物理定律可以阻止將AI資料中心擴展到一百萬個晶片,儘管這是一個難題,多家大公司包括OpenAI、Anthropic、Google、Meta和微軟等,都在爭奪AI領域的領導地位,競相攀登科技的高峰,但重新創造智慧的潛在回報是如此之大,以至於不能不去嘗試。
摩爾定律曾是半導體產業發展的核心法則,預測晶片的電晶體數目每兩年會翻倍,進而帶來效能的持續提升。然而,隨著物理極限的接近,摩爾定律的速度開始放緩,晶片效能提升的瓶頸逐漸顯現。
為了解決這個問題,英偉達將不同類型的處理器(如GPU、TPU等)結合起來,透過平行處理來突破傳統摩爾定律的限制。黃仁勳表示,未來10年,運算效能每年將翻倍或三倍,而能源需求每年將減少2-3倍,我稱之為「超摩爾定律曲線」。
黃仁勳還提到,我們現在可以將AI軟體擴展到多個數據中心:“我們已經做好準備,能夠將計算擴展到前所未有的水平,而我們正處於這一領域的起步階段。”
以下是黃仁勳講話的亮點:
1.我們在未來10年進行了重大的投資。我們正在投資基礎設施,打造下一代AI運算平台。我們在軟體、架構、GPU以及所有實現AI開發所需的元件上都進行了投資。
2.摩爾定律,即晶體管數目每兩年翻倍的預言,曾經是半導體產業的成長指南。然而,隨著物理極限的接近,摩爾定律已不再能夠單獨推動晶片性能的提升。為了解決這個問題,英偉達採用了類似「異構運算」的方式,即將不同類型的處理器(如GPU、TPU等)結合起來,透過平行處理來突破傳統摩爾定律的限制。英偉達的技術創新,如CUDA架構和深度學習優化,使得AI應用得以在超越摩爾定律的環境中高速運作。
3.我們推出了NVLink作為互連技術,它使得多個GPU能夠協同工作,每個GPU處理工作負載的不同部分。透過NVLink,GPU之間的頻寬和通訊能力大幅提升,使得資料中心能夠擴展並支援AI工作負載。
4.未來的AI應用需要動態和彈性強的基礎設施,能夠適應各種規模和類型的AI任務。因此,英偉達致力於建構可以靈活配置和高效運作的基礎設施,滿足從中小型AI專案到超大規模超級運算叢集的需求。
5.建構AI資料中心的關鍵是要同時優化效能和效率。在AI工作負載中,你需要龐大的電力,而散熱成為一個巨大的問題。所以我們花了大量時間優化資料中心的設計和運營,包括冷卻系統和電力效率。
6.在硬體快速發展的背景下,保持軟體與硬體架構的兼容性顯得格外重要。黃仁勳提到,我們必須確保我們的軟體平台,如CUDA,可以跨代硬體使用。開發者不應當每次我們推出新晶片時都被迫重寫程式碼。因此,我們確保保持向後相容,並讓軟體能夠在我們開發的任何新硬體上高效運行。
7.我們正在建立一個超級集群,叫做X.AI,它將成為世界上最大的AI超級運算平台之一。這個超級叢集將提供支援一些最雄心勃勃的AI專案所需的運算能力。這是我們推動AI前進的一大步。
8.擴展AI資料中心的一個大挑戰是管理它們消耗的巨大能源。問題不僅僅是建立更大、更快的系統。我們還必須處理運行這些超大規模系統時面臨的熱能和電力挑戰。為了應對這一切,需要創新的工程技術來確保基礎設施能夠應對。
9.AI在晶片設計中的作用日益重要,黃仁勳指出,AI已經在晶片設計中發揮重要作用。我們使用機器學習來幫助設計更有效率的晶片,速度更快。這是我們設計下一代英偉達晶片的關鍵部分,並幫助我們建立專為AI工作負載優化的晶片。
10.英偉達市值的激增是因為我們能夠將公司轉型為AI公司。我們從一開始是GPU公司,但我們已經轉型成了AI運算公司,這項轉型是我們市值成長的關鍵部分。 AI技術的需求正在快速成長,我們處於一個能滿足這項需求的有利位置。
11.具象化AI是指將AI與物理世界結合。透過這種方式,AI不僅可以在虛擬環境中進行任務處理,還能在現實世界中進行決策並執行任務。具象化AI將推動智慧硬體、自動駕駛等技術的快速發展。
12.AI不只是工具,它也可以成為’虛擬員工’,幫助提升工作效率。 AI能夠在資料處理、程式設計、決策等領域取代或輔助人類工作,進而改變整個勞動市場和工作方式。
13.AI將在科學與工程領域產生巨大影響,特別是在藥物研發、氣候研究、物理實驗等領域。 AI將幫助科學家處理大量數據,揭示新的科學規律,並加速創新。它還將在工程領域優化設計,提高效率,推動更具創新性的技術發展。
14.我自己也在日常工作中使用AI工具,來提高效率和創造力。我認為,AI不僅能夠幫助我們處理複雜的數據和決策任務,還能提升我們的創意思維和工作效率,成為每個人工作中不可或缺的一部分。