GTC對話黃仁勳:老黃眼中的「GPU」和別人有很大差別
氣氛突然嚴肅了起來。「有媒體認為你要么是AI 時代的達文西,要么是AI 時代的奧本海默,你怎麼看?」「奧本海默是造炸彈的,我們(英偉達)不干這個。」面對這個多少有點戲謔的問題,英偉達創始人、CEO 黃仁勳遲疑片刻,非常認真地回答了出來。
當地時間3 月19 日,以堪比流行巨星的熱度完成了GTC 2024 的開場演講後第二天,黃仁勳接受了全球媒體採訪。
黃仁勳給在場媒體重新解釋了一遍「演唱會」上的要點|圖片來源:極客公園
無論是宏大問題例如“AGI 何時到來”、“英偉達如何看待中國市場”,或者是具體到新推出的NIM 軟體如何應用,這位全球市值第三公司的掌舵人,都能將問題分解並抽象成更容易理解的層次,用簡單的比喻回答出來,雖然其中可能不乏「太極」的嫌疑,但至少令人難以懷疑回答者的誠懇。
在兩萬億的市值新高度下,老黃認為,GPU 晶片市場,不是英偉達的追求——“英偉達不造晶片,英偉達造數據中心”,為此,英偉達搭建了所有:硬體、軟體、服務,讓客戶決定怎麼購買自己的資料中心。
GTC 2024 Keynote 演講中,老黃展示的5 重點:
新工業革命(加速運算和生成式AI)下,英偉達的新基礎建設包括:Blackwell 平台;NIMS;NEMO 和NVIDIA AI Foundry;Omniverse 和ISAAC 機器人。|圖片來源:NVIDIA
01 GTC 新品的中國市場計劃
Q:新的網路和技術計劃向中國銷售多少?有任何中國特定SKU的資訊可以揭露嗎?是否為該市場做出了任何考慮或改變?
黃仁勳:我還沒有向你宣布這一點,你很貪婪(哈哈),這就是全部答案。現在對於中國,我們有L20 和H20 晶片符合出口要求,我們正在盡最大努力為中國市場組織調配資源。
02 AI Foundry 的目標
Q:你在主題演講中提到AI Fou d ry 正在許多企業起作用,這個計劃的整體策略和長期目標是什麼?
黃仁勳:AI Foundry 的目標是建立軟體。這不是指軟體作為工具,任何人都有這樣的軟體。很久以前創建的兩個最重要的軟體,一個叫做Office,它讓軟體變得RTS(Real-Time Software,即時軟體)。
另一個非常重要的軟體叫做cuDNN(CUDA 深度神經網路庫)。我們有AI 所有這些不同的。未來的庫是一個微服務,因為未來的庫不僅僅用數學來描述,還用AI 來描述。未來,它們都將變成NIMs(微服務)。
這些NIM 是超級複雜的軟體,你所要做的就是來到我們的網站。你可以選擇用戶在那裡,或者下載它、在另一個雲端運行它,或者下載在你的本地電腦上運行。當運行你的工作站、你的資料中心時,這項服務將使它們非常高效,所以這是在環境中使用的新方式。現在,當你作為一個企業運行這些庫時,我們有一個軟體許可(Liscence)的授權作業系統可用,你可以以4500 美元/GPU/年的價格使用這些服務。
03 Blackwell 定價
Q:你之前說最新一代AI晶片Blackwell 的定價在3 萬至4 萬美元,有更精確的資訊嗎?
黃仁勳:這很難說,我也只是試著讓大家對我們產品的定價有一定體感,並不打算給具體報價。
Blackwell 系統的定價非常不同,因為每個人想要的配置都不同。如果不只使用Blackwell,Blackwell 系統通常包括NV-Link 在裡面,所以不同系統的定價不同。像往常一樣,定價範圍通常視TCO(總體擁有成本)而定。
英偉達不造晶片,英偉達造資料中心,為此我們搭建了所有任務,引入所有軟體,調整它使資料中心系統盡可能地運作良好。然後,瘋狂的部分來了,我們將資料中心聚合成更小的部分,允許客戶根據自己的特定需求對其進行修改,這包括網路、儲存、控制平面、安全性和管理模組,想辦法把資料中心整合到客戶的系統中,最終,客戶決定如何購買它,所以跟過去銷售晶片不同,Blackwell 的定價不是晶片的事,我們的商業模式也反映了這一點。
英偉達的機會不是GPU 晶片,是資料中心,資料中心正在快速走向加速,這是每年2500 億美元的市場,並以每年20% 至25% 的速度成長,這主要是由於AI 方面的需求。其中,英偉達會佔據重要的份額,從1 兆美元升至2 兆美元,我認為是合理的。
黃仁勳:你說的GPU,跟我說的GPU,腦海中想像的差距非常大|圖片來源:極客公園
04 Sam Altman 要擴張到晶片產業
Q:Sam Altman 一直在與晶片產業的人們談論擴大AI晶片的規模。他有跟你談過這個問題嗎?
黃仁勳:我不知道他的意圖。他認為生成式AI會變得很大,在這一點我很認同。
今天電腦產生像素的方式是從數據集中檢索數據,處理數據,然後傳遞數據。在整個過程中,人們認為需要消耗的能源非常少,但這恰恰相反。原因是每次你觸摸手機、每個提示,需要與數據集賽跑並返回。從數據集中檢索數據,使用CPU 收集所有必要的部分,然後以一種從推薦系統的角度看有意義的方式組合信息,然後將結果信息發送回用戶,這個過程需要大量的計算。
這就像每次問我一個問題,我都需要跑回辦公室檢索信息,這需要大量的精力。未來,越來越多的計算將是產生的,而不是基於檢索的。當然,這個生成過程必須是智慧的、與上下文相關的。我相信,未來人們電腦上的幾乎每一個像素、每一次互動都將透過生成過程產生,我相信Sam 也這麼認為。希望透過Blackwell 新一代架構能為生成式AI 這個領域做出重大貢獻。現在大多數體驗還是基於檢索的,但是如果未來每個人的人機互動都是生成式的體驗,我會很驚訝。這是一個巨大的機會。
05 個人大模型會是什麼樣子?
Q:我完全同意你對未來軟體的定義,我們的生活也在透過LLM發生很大變化。在基礎模型方面,你認為未來會是什麼樣的?
黃仁勳:核心是,我們如何擁有個人的大模型?有一些方式可以做到。開始,我們認為這個過程可能需要微調(fine tuning),在持續使用的過程中,持續微調。
但是,正如你所知,微調是相當耗時的。然後我們發現了提示詞工程(prompt engineering),發現了上下文學習(context learning),發現了工作環境(working environment)等等。
我認為答案將是所有這些的組合。在未來,你可以透過只微調一層叫Lora 的權重(weights),鎖定其他部分不必微調,從而低成本地做微調,你可以做提示詞共創、上下文學習、增加模型記憶,所有這些成就了你獨特的大模型,可以在雲端運行,也可以在你的本地電腦上運行。
06 對AI 晶片新創公司的看法
Q:昨天在你的主題演講後,晶片公司Groq 發推文說自家晶片跑得仍然更快,你怎麼看AI晶片新創公司的評論?
黃仁勳:我還沒了解那麼多(哈哈),不評論了。
任何以token 方式做產生的模型都需要其獨特的方式,因為Transformer 不是任何一個模型的名稱。
這些模型總體基於Transformer 技術,都利用了Transformer 注意力機制,但模型與模型之間存在巨大差異。有的模型用了混合專家模型(Mixture of Experts),混合模型裡有的是兩個專家模型,有的是四個專家模型,這些模型等待訊息,以及路由分發,裡面的一切步驟都不同,模型中的每一個都需要特殊優化。
此時,如果計算單元被設計成只能以特定的方式、做特定的事情,它就是一個可配置的電腦,而不是可編程配置的計算機,就無法受益於軟體創新的速度和潛力。
就像CPU 的奇蹟不可低估一樣,這麼多年,CPU 一直是CPU 的原因,是它克服了這些年來設置在PC 主機板上的可配置硬件,軟體工程師的才能可以透過CPU 來實現。相反,如果你把它固定在晶片上,你就斷了軟體工程師能帶給晶片的聰穎智慧。
這就是英偉達晶片能夠在不同的AI 模型架構(從AlexNet 一直到Transformer)下,都能表現出色的原因,英偉達找到了一種方法,從一種非常專業的計算形式中受益。晶片在這裡被用來促進軟體,而英偉達的工作是促進發明,促進像ChatGPT的發明。
07 機器人空間模擬如何利用語言模型?
Q:你講述了使用生成式AI和模擬/模擬(simulation)來大規模訓練機器人,但是有很多事情我們不知道如何很好地模擬,特別是當涉及到結構性的環境,如何突破限制繼續訓練機器人?
黃仁勳:有許多方法可以做到這一點。首先,你可以在我們的語言模型上下文中建構你的問題或觀點。
大型語言模型以不受約束和非結構化的方式運行,這同時也是它的潛力之一。它從文本中學到了很多東西,但可能不適合泛化。它們如何在空間中泛化是一種“魔力”,機器人的ChatGPT時刻可能就在眼前。
為了克服這個問題,你可以指定上下文和問題,例如告訴它處在特定條件的廚房。透過應用ChatGPT 的魔力,機器人可以有效地泛化並產生對軟體有意義的token。一旦你的電腦感官識別了這些token,機器人可以根據這些例子進行歸納。
08 預判下一個ChatGPT 時刻
Q:你提到一些產業先迎來ChatGPT 時刻。哪些產業會率先改變?可以分享你看到的突破,尤其讓你令人興奮的案例嗎?
黃仁勳:有很多例子。我對Sora非常興奮,去年在wayve 上看到了同樣的能力,這是關於文生影片的例子。
為了產生一個這樣的視頻,模型必須對物理規律有感知,例如把放在桌子上,而不是中間;走路的人是在地面上。不能違背物理規律。
另一個例子是我們用Earth-2 來預測極端天氣影響。這是一個關鍵的研究領域,因為極端天氣事件會對當地社區造成毀滅性的影響。利用Earth-2,可以在3 公里尺度預測極端天氣事件的影響。這是對現有方法的重大改進,現有方法需要的超級電腦要大2.5 萬倍。
產生新藥物和蛋白質是另一個非常令人印象深刻的潛在用例。這是透過像Alphago 這樣的強化學習循環來實現的,它允許在不消耗純物質的情況下探索大分子空間,這有可能徹底改變藥物發現。
這些是非常有影響力的東西,機器人技術也是如此。
在3 月18 日的GTC 開場演講中,老黃注視著最新的Blackwell 架構產品|圖片來源:極客公園
09 晶片出口管制如何影響英偉達
問:對晶片的出口管制,以及地緣政治,會對英偉達產生什麼影響?
黃仁勳:有兩件事我們必須馬上去做。第一,了解所有政策,以確保其合規;第二,也要提高供應鏈韌性。
關於後者,我舉個例子。當我們把Blackwell 晶片配置成DGX處理器時,其中有60 萬個零件來自世界各地,很多來自中國。就像全球汽車供應鏈的複雜性一樣,供應鏈的全球化很難被打破。
10 和台積電的關係
問:你能談談與台積電的關係嗎?在過去的幾年裡,隨著不斷晶片封裝的複雜性,台積電如何幫助英偉達實現目標的?
黃仁勳:與台積電的合作是我們最緊密的合作之一,因為我們要做的事情非常困難,而他們能做得非常好。
我們從台積電得到了運算單元,CPU、GPU 裸晶片,良率很好。記憶體是來自美光、海力士、三星,而這些組裝必須在台灣完成。所以,供應鏈並非易事,需要公司之間的協調。這些大公司與我們一起合作,也逐漸意識到,更密切的合作是非常必要的。
我們從各家公司取得零件,然後組裝,第三家公司測試,第四家公司組成系統,當然這個大系統最後是為了建成一個超級計算機,再進行測試。最終,我們建立了資料中心。想像下,所有的加工製造就是為了形成一個巨大的資料中心。整個供應鏈從上到下複雜度非常高,因為我們不僅僅是組裝,除了晶片本身是個奇蹟外,我們做成了巨大而龐雜的系統。
所以,當人們問我對GPU是什麼感受時,可能一部分覺得它有點像Soc (整合晶片)而已,而我看到的是架子、線纜、交換器等等。這才是我心中GPU 和軟體的模型。台積電真的很重要。
11 雲端業務的策略
Q:英偉達正在向雲端業務轉型,其他雲端廠商則在做自己的晶片。他們會影響你的定價策略嗎?英偉達雲端業務的策略是什麼?會向中國客戶銷售DGX 雲端業務嗎?
黃仁勳:英偉達與雲端服務供應商合作,將其硬體和軟體放入他們的雲端中,這樣做的目標是將客戶帶到他們的雲端。
英偉達是一家運算平台公司,我們開發軟體,我們有一群追隨英偉達的開發者,因而,我們為使用英偉達DGX 的雲端服務供應商(CSP)創造需求、帶去客戶。
12“當代達文西”,還是“奧本海默”?
Q:你曾說AGI 將在5 年內到來,這個時間預測會有改變嗎?AGI 的加速到來會讓你感到害怕嗎?有人說你是當代達文西(多才多藝、做出如此貢獻),也有人說你是當代的奧本海默,你怎麼看?
黃仁勳:奧本海默是造炸彈的,我們(英偉達)不幹這個。
先具體定義AGI,這樣我們才能知道什麼程度才算到達AGI、什麼時候到達。如果AGI 意味著在大量的測驗集上,數學測驗、閱讀測驗、邏輯測驗、醫學考試、法律考試、GMAT、SAT 等等,軟體程式可以做到比大多數人類更好,甚至比所有人都好,那麼電腦在5 年內可以實現AGI。