黃仁勳加州理工畢業典禮演講:人工智慧是我們這個時代最重要的技術
英偉達公司執行長黃仁勳週五(6月14日)在加州理工學院(Caltech)畢業典禮上發表演講,鼓勵畢業生在逆境中努力,不斷尋求新的機會。
黃說,加州理工學院因其畢業生受人尊敬而聞名,如諾貝爾物理學獎得主理查德-費曼(Richard Feynman)、諾貝爾化學獎得主萊納斯-鮑林(Linus Pauling )和半導體先驅卡佛-米德(Carver Mead),他因創造了”摩爾定律”一詞而功不可沒。黃教授鼓勵畢業生投身於人工智慧領域,他認為人工智慧是現代電腦領域發展最快的領域之一。
黃還說,Nvidia 的兩位首席科學家都來自加州理工學院,並提醒畢業生,該公司將繼續招募新的工程師。他開玩笑說,Nvidia 是一家非常適合工作的公司,公司的老闆也非常出色。
黃也向應屆畢業生提出了人生建議,鼓勵他們珍惜與父母相處的時光。他說,他的孩子們直到晚年才搬出家,經過反思,他非常珍惜與孩子們在一起的所有時光。
黃仁勳說,他很榮幸去年在國立台灣大學的畢業典禮上發表了類似的演講,分享了Nvidia 一路走來的歷程和經驗教訓。他指出了公司的挫折和成功,並承認要開拓新的科技領域,犯錯是必要的。
他說,現代計算產業的早期是以IBM System 360 為基礎的。黃說,基本的電腦架構、理念和策略仍然來自這個運算系統,儘管它是在黃出生一年後推出的。
在IBM System 360 之後,Huang 說最重要的運算創新是中央處理器,它推動了運算產業的指數級成長。黃說,CPU 帶動了軟體產業的發展,而軟體產業已成為一個價值數兆美元的產業。
Huang認為,現在社會正處於加速運算的時代,運算任務被卸載到平行工作的GPU上。黃說,計算已經達到了一個臨界點,迎來了深度學習和其他進步。
Huang說,現代GPU必須在每一層都進行重塑,包括系統連接和軟體。為了實現深度學習,數以千計的工程師必須在相關專案上工作十多年,這花費了Nvidia 數十億美元的投資。
「2016年,我們發布了人工智慧超級電腦DGX-I,我把它交付給了一家無人知曉的新創公司OpenAI。2022年,也就是十年後,計算量增加了百萬倍,公司推出了ChatGPT,現在很多人都知道了。
他說,Nvidia 已經從一家製造GPU 的圖形公司轉變為製造大規模資料中心級超級電腦的人工智慧公司。計算堆疊使用GPU 來處理由超級電腦訓練的大型語言模型,而不是由CPU 來處理指令。
黃認為,在未來,電腦將對任務進行推理、規劃和執行。他認為下一波人工智慧浪潮將涉及機器人技術,這是人工智慧的一種實體表現形式,將包括小型機器人和整個倉庫。
Huang 描述了公司在與AMD、英特爾、高通等業界重量級公司合作時遇到的一系列挫折。在經歷了每一次障礙之後,公司都進行了轉型,並尋求新的機遇,例如生產第一台機器人電腦。
十年後的今天,Huang 說他對公司的進步感到非常高興。諷刺的是,機器人計算機甚至沒有圖形功能,而這正是公司的核心優勢之一。
他說,未來是不確定的,可能會打出壞牌,他鼓勵年輕的畢業生”迅速擺脫困境”。
以下是演說全文:
黃仁勳:女士們,先生們,羅森鮑姆校長、尊敬的教職員工、貴賓、自豪的父母,最重要的是,加州理工學院2024 屆的畢業生!今天對你們來說真是快樂的一天。你必須看起來更興奮。你知道你從加州理工學院畢業了。這是偉大的理查德·費曼、萊納斯·鮑林和對我和我們行業影響很大的卡弗·米德的學校。是的,這是一件大事。
今天是無比自豪和喜悅的一天。這是你們所有人的夢想成真。但不僅僅是你們。因為你們的父母和家人為看到你們達到這一里程碑做出了無數的犧牲。所以讓我們抓住這個機會,祝賀他們,感謝他們,讓他們知道你愛他們。
你不想忘記這一點,因為你不知道自己會在家裡住多久。你今天要非常感激。身為一個驕傲的父母,我真的很喜歡我的孩子們沒有搬出去。每天見到他們真是太好了。但現在他們搬出去了,這讓我很難過。所以希望你們能花點時間和父母在一起。
你們在這裡的旅程證明了你們的性格、決心和為夢想做出犧牲的意願。你應該感到自豪。做出犧牲、忍受痛苦和磨難的能力,這些特質在生活中是必要的。
你和我有一些共同點。首先,NVIDIA 的兩位首席科學家都來自加州理工學院。我今天發表演講的原因之一是我在招募。所以我想告訴你們,NVIDIA 是一家非常棒的公司。我是個非常好的老闆,深受大家喜愛。來NVIDIA 工作吧。
你和我都對科學和工程充滿熱情。雖然我們相差約40 年,但我們都處於職業生涯的巔峰。對於所有關注NVIDIA 和我的人,你們都知道我的意思。只是對你們來說,你們還有許多許多的巔峰要走。我只希望今天不是我的巔峰。不是巔峰。所以我會像以前一樣努力工作,確保我未來還有更多的巔峰。
去年我發表畢業典禮演講,分享了幾個關於NVIDIA 旅程的故事和我們學到的可能對畢業生有價值的經驗教訓。我不得不承認我不喜歡給建議,尤其是對別人的孩子。所以我今天的建議將主要隱藏在一些我喜歡的故事和我享受的一些生活經驗中。
我相信我是當今世界上任職時間最長的科技CEO。在這31 年的時間裡,我成功地做到了不破產、不厭倦、不被解僱。因此,我很榮幸能夠享受人生的許多經歷,從創建NVIDIA 開始,從無到有,再到今天。所以我談到了創建CUDA的漫長道路。我們花了20 多年發明的程式設計模型,它正在徹底改變當今的運算。
我談到了我們曾經參與的一個非常公開的、被取消的世嘉遊戲機項目,以及知識誠實。我知道理查德·費曼非常關心並經常談論這一點,知識誠實和謙遜拯救了我們的公司。以及如何撤退,策略性撤退,是我們最好的策略之一。所有這些都是我在畢業典禮上談到的違反直覺的教訓。
但我鼓勵畢業生參與人工智慧,這是我們這個時代最重要的技術。我稍後會再談一點,但你們都知道人工智慧。很難不沉浸其中,被它包圍,不被大量關於它的討論所包圍。當然,我希望你們所有人都在使用它,玩弄它,並取得一些令人驚訝的結果,有些是神奇的,有些是令人失望的,有些是令人驚訝的。但你必須享受它,你必須參與其中,因為它發展得如此之快。這是我所知道的唯一一項同時以多個指數級發展的技術。所以這項技術變化得非常非常快。
所以我建議學生們奔跑,不要走路,參與人工智慧革命。然而,一年後,它發生了令人難以置信的變化。所以今天,我想做的是從我的角度與你們分享我對你們即將畢業的一些重要事情的看法。
這些是正在發生的非凡的事情,你們應該有一個直覺的理解,因為這對你很重要,對產業也很重要,希望你們能抓住眼前的機會。電腦產業正在從基礎開始轉型,確切地說是從螺柱開始轉型。一切都在從頭開始改變。在每個層面,很快,每個產業也都會改變。原因很明顯,因為如今計算機是最重要的知識工具。它是每個行業和每個科學領域的基礎。如果我們如此深刻地改變計算機,那麼當然會對每個行業產生影響。我稍後會談到這一點。當你進入行業時,了解正在發生的事情很重要。
現代計算可以追溯到IBM System 360。那是我從中學習的架構手冊。這是一本你不需要學習的架構手冊。從那時起,已經提出了許多更好的文件和更好的電腦和架構描述。但System 360 在當時非常重要。事實上,System 360 的基本思想、架構和原則至今仍主導著電腦產業。它是在我出生一年後推出的。
80 年代,我是第一代VLSI 工程師之一,他們從Mead 和Conway 的里程碑式教科書中學習設計晶片。我不確定這裡是否還在教這本教科書。它應該在VLSI 系統的介紹中。基於Carver Mead 在加州理工學院的晶片設計方法和教科書方面的開創性工作,徹底改變了IC 設計。它使我們這一代能夠設計超巨型晶片,並最終設計出CPU。 CPU帶來了計算的指數級成長。性能、令人難以置信的技術進步,即所謂的摩爾定律,推動了資訊科技革命。
我們這一代參與的工業革命見證了世界從未見過的大規模生產。看不見的東西的大規模生產,易於複製,軟體的大規模生產。它導致了一個價值3兆美元的產業。當我坐在你這個位置上時,IT行業還很小,而透過銷售軟體賺錢的想法只是幻想。然而,今天,軟體是我們行業生產的最重要的商品、最重要的技術和產品創造之一。
然而,Dennard縮放、電晶體縮放和指令級並行性的極限已經降低了CPU效能。而CPU效能成長放緩正發生在運算需求持續呈指數級成長的時候。如果不加以解決,計算需求和電腦能力之間呈指數級增長的差距,計算能耗和成本、通貨膨脹最終將扼殺每個行業。我們可以看到計算通貨膨脹的明顯跡象。
經過二十年的發展,NVIDIA的CUDA,NVIDIA的加速運算為我們指明了前進的道路。這就是我來這裡的原因。因為產業終於意識到了加速計算的驚人有效性,而就在我們目睹了幾十年後的計算通貨膨脹之時。透過將耗時的演算法卸載到專門用於平行處理的GPU,我們通常可以實現十倍、百倍甚至千倍的加速,從而節省資金、成本和能源。
我們現在加速了從電腦圖形、光線追蹤(當然還有基因定序、科學計算、天文學、量子電路模擬、SQL資料處理,甚至熊貓資料科學)等應用領域。加速計算已經達到了一個臨界點。這是我們對電腦產業的第一個偉大貢獻。我們對社會的第一個偉大貢獻。這就是我們進行加速計算的原因。現在它為我們提供了一條可持續計算的前進道路,隨著計算需求的不斷增長,成本將繼續下降。加速運算帶來的時間、成本或能源節省的百倍、千倍,肯定會在其他地方引發新的發展。
直到深度學習進入我們的意識,我們才知道它是什麼。一個全新的計算世界出現了。 Geoffrey Hinton、Alex和Ilya 使用NVIDIA CUDA GPU訓練AlexNet,並在2012年ImageNet挑戰賽中獲勝,震驚了電腦視覺社群。這是深度學習的重要時刻,也是大爆炸,標誌著人工智慧革命開始的關鍵時刻。
我們在AlexNet改變了公司之後所做的決定值得注意。我們在AlexNet改變了公司和其他一切之後所做的決定。我們看到了深度學習的潛力,並且相信,只是透過原則思維相信,透過我們自己對深度學習可擴展性的分析相信,我們相信這種方法可以學習其他有價值的功能。也許深度學習是一種通用函數學習器。有許多問題很難或不可能用基本的第一原理來表達。所以當我們看到這一點時,我們認為,這是我們真正需要關注的技術,因為它的限制可能僅受模型和資料規模的限制。
然而,當時也存在挑戰。這是2012年,2012年剛過不久。如果不建構這些龐大的GPU集群,我們如何探索深度學習的極限?當時我們是一家相當小的公司。建造這些龐大的GPU叢集可能要花費數億美元。但如果我們不這樣做,就無法保證在擴大規模後會有效。但是,沒有人知道深度學習可以擴展到多遠。如果我們不建造它,我們永遠不會知道。這就是其中之一,如果你建造了它,他們會來嗎?我們的邏輯是,如果我們不建構它,他們就不會來。
因此,我們根據我們的第一原則信念和分析致力於此,我們讓自己相信這將非常有效。當公司相信某件事時,我們應該採取行動。因此,我們深入研究了深度學習,並在接下來的十年中系統地重新發明了一切。我們重新發明了每個計算層。從GPU本身開始。現代GPU的發明與我們最初發明的過去的GPU截然不同,我們繼續發明了幾乎所有其他計算方面。互連、系統、網絡,當然還有軟體。
我們投資了數十億美元。我們向未知領域投資了數十億美元。十年來,數千名工程師致力於深度學習,推動和擴展深度學習,但並不真正知道我們能將這項技術帶到多遠。我們投資了數十億美元,設計和製造了超級計算機,以探索深度學習和人工智慧的學習極限。
然後在2016年,我們發布了DGX-1。我們的第一台人工智慧超級計算機,我將第一台交付給了舊金山的一家新創公司。無人知曉的新創公司。我的一群朋友正在研究人工智慧。一家名為OpenAI的公司。
2022年,AlexNet誕生10年後,運算能力成長了約一百萬倍。一百萬倍。如果你能想像一下如果你的筆記型電腦的功能強大一百萬倍會是什麼樣子。一百萬倍後,OpenAI推出了ChatGPT,AI開始成為主流。
在這十年中,NVIDIA從一家圖形公司(許多人可能最初知道我們是一家製造GPU的公司)轉型為製造大型資料中心級超級電腦的AI公司。我們徹底改變了公司。我們也徹底改變了計算。今天進行計算的基本方式已經發生了根本性的變化。計算堆疊現在使用GPU來處理在超級電腦上訓練的大型語言模型,而不是處理程式設計師編寫的指令的CPU。我們現在正在創建人類無法編寫的軟體。我們現在正在創建能夠完成10年前人類無法想像的事情的軟體。計算機現在是意圖驅動的,而不是指令驅動的。告訴計算機你想要什麼,它會弄清楚怎麼做。和人類一樣,AI應用程式將理解任務原因,規劃和協調一個大型語言模型團隊來執行任務。未來的應用程式將以與我們非常相似的方式運作和執行,組成專家團隊,使用工具,推理和計劃,並執行我們的使命。
軟體和軟體可以做的事情已經完全改變了。甚至我們的產業在改變和轉型的過程中也創造了另一個產業,一個世界從未見過的產業。一個產業正在我們眼前形成。人工智慧的輸入和輸出是Token。對在座的所有工程師來說,你們都知道我的意思。這些是嵌入智慧的浮點數。公司現在正在建構一種以前不存在的新型資料中心,專門生產智慧Token,本質上是人工智慧工廠。就像尼古拉·特斯拉發明的交流發電機一樣,在過去的工業革命中,我們現在有了人工智慧Token生成器。它們將成為新工業革命的工廠。
有大型工業生產能源、電力。我們現在有一個大型產業生產一種看不見的東西,叫做軟體。在未來,在不久的將來,我們將擁有生產製造智慧Token的產業——人工智慧產生器。一種新的計算模型已經出現,一個新的產業也出現了。這一切都是因為我們從第一原則推理,形成了我們對未來的信念,並根據這些信念採取行動。
人工智慧的下一波浪潮是機器人技術。人工智慧除了語言模型之外,還有一個物理世界模型。我們與數百家公司合作,製造機器人、機器人車輛、拾取和放置手臂、人形機器人,甚至整個巨大的機器人倉庫。但與我們的人工智慧工廠策略和我們在那裡的經驗不同,這些策略和經驗實際上是透過推理和深思熟慮的行動形成的,而我們的機器人之旅則源於一系列挫折。
如你所知,NVIDIA發明了GPU。這是在我們發明人工智慧工廠之前。我們對電腦產業的第一個偉大貢獻是透過可程式著色器重新發明電腦圖形。我們在2000年發明了GPU和可程式著色。我們希望將GPU整合到每台電腦中,因此我們開始將GPU與主機板晶片結合,並推出了當時適用於AMD CPU的出色整合顯示卡晶片。我們的晶片組業務一炮打響。我認為它幾乎在一夜之間從零發展到10億美元。
但突然之間,AMD想要控制PC中的所有技術,而我們想要保持獨立,因此他們收購了ATI,不再需要我們。我們轉向了英特爾。這可能不是一個好主意,但我們轉向了英特爾並協商了使用英特爾CPU的許可。蘋果對我們正在開發的產品感到興奮,並要求我們與他們合作開發一款新電腦,也就是第一款MacBook Air。英特爾看到這種情況後決定不再讓我們這樣做,於是他們終止了我們的協議。
我們再次轉變了方向,這次,我們獲得了ARM 的許可,並建立了一個低功耗SoC,一個行動SoC。世界上第一個SoC 本質上是一台計算機,一台功能齊全的計算機,這真是令人難以置信。我們的晶片讓Google很興奮,他們要求我們開發一款新設備,結果就是Android行動裝置。
但是高通決定不讓我們這麼做。所以他們不想讓我們連接到他們的數據機,如果不連接調變解調器,就很難製造行動裝置。而且當時也沒有其他LTE 數據機公司。所以我們不得不退出行動裝置市場。
這幾乎是按年發生的。我們會製造出一些東西,它會非常成功,引起巨大的轟動,然後一年後,我們被踢出這些市場。好吧,沒有更多的市場可以依靠,我們決定製造一些我們確定沒有客戶的東西。因為有一件事是可以肯定的,那就是沒有客戶的地方也沒有競爭對手。沒有人關心你。
所以我們選擇了一個沒有客戶的市場,一個0 億美元的市場,那就是機器人市場。我們製造了世界上第一台機器人計算機,它處理一種當時沒人理解的演算法,即深度學習。這已經是10 多年前的事了。 10 年後,我對我們所取得的成就以及創造下一波人工智慧的機會感到非常高興。
更重要的是,我們培養了敏捷性和韌性文化。一個接一個的挫折,我們擺脫了它,滑向下一個機會。每一次,我們都獲得了技能並增強了我們的性格。我們加強了我們的企業性格。我們的公司很難分心,很難氣餒,如今,我們遇到的任何挫折都看起來不像是機會。
諷刺的是,我們今天製造的機器人電腦甚至不需要圖形,這就是我們開始旅程的原因。所以我們今天所處的位置告訴我們一些事情,也教會了我們一些東西。正如理查費曼所說,世界是不確定的,世界可能不公平,給你發難牌。迅速擺脫它。顯然,你對你的書籍過於關注了。迅速甩掉它。來吧,這很聰明。我笑了。那裡還有另一個機會,或創造一個機會。
讓我再給你講一個故事。我過去每年夏天都會在我們的一個國際站點工作一個月。當我們的孩子十幾歲的時候,我們在日本度過了一個夏天。一個週末,我們參觀了京都和銀廟。如果你還沒機會去,你一定要去。它以其精緻的苔蘚花園而聞名。我們參觀的那天是典型的京都夏日。悶熱潮濕,黏稠,熱氣從地面散發出來。空氣很濃,靜止不動。我們和其他遊客一起漫步在精心修剪的苔蘚花園中。我注意到那個孤獨的園丁。
現在記住,苔蘚花園,這是銀廟,苔蘚花園非常大。它和這個庭院差不多大。它收藏了世界上幾乎所有種類的苔蘚,是最大的收藏。而且保存得非常好。
我注意到那位孤獨的園丁蹲在那兒,用竹鑷子小心翼翼地摘著青苔,然後把它放進竹籃裡。這是一把竹鑷子。只有這一位園丁。而且竹籃裡看起來是空的。有那麼一瞬間,我以為他正在從一堆想像中的死苔中摘取想像中的青苔。
於是我走到他面前,問他:「你在幹嘛?」他用英語說:「我在摘死苔蘚。我在照顧我的花園。」我說:「但是你的花園那麼大。」他回答說:“我已經照料我的花園25年了。我有充足的時間。”
那是我一生中最深刻的學習之一。它真的教會了我一些東西。這位園丁致力於他的手藝,並從事他一生的工作。當你這樣做時,你就有充足的時間。
我每天早晨都以同樣的方式開始做事,我每天早晨都先做優先順序最高的工作。我有一個非常清晰的優先列表,我先從優先順序最高的工作開始。在我上班之前,我的一天就已經很成功了。我已經完成了我最重要的工作,可以將這一天奉獻給幫助他人。當人們為打擾我而道歉時,我總是說,我有足夠的時間。我確實有。
2024年畢業生們,我幾乎無法想像有誰比你們更能為未來做好準備。你們全心投入,努力工作,在世界上最負盛名的學校之一獲得了世界一流的教育。當你進入下一個階段時,請吸取我的教訓,希望它們能幫助你。
我希望你相信一些東西,一些非傳統的、未被探索的東西。但要讓它變得明智,讓它變得合理。然後全心投入實現它。你可能會找到你的GPU,你可能會找到你的CUDA,你可能會找到你的生成式AI,你可能會找到你的NVIDIA。
我希望你們能將挫折視為新的機會。你的痛苦和苦難將增強你的性格、你的韌性和敏捷性,它們是終極的超能力。在我最重視的所有能力中,智力並不是最重要的。我忍受痛苦和折磨的能力,我長時間工作的能力,我應對挫折和看到眼前機會的能力,我認為這些都是我的超能力。我希望你也有。
我希望你能找到一門手藝。我希望你能找到一門手藝。第一天就決定並不重要。甚至在短期內做決定也不重要。但我希望你能找到一門手藝,你想用一輩子去精進它,磨練它的技能,讓它成為你一生的事業。
最後,優先考慮你的生活。有很多事情要做。有很多事情要做。但優先考慮你的生活,你就有足夠的時間去做重要的事情。
恭喜,2024年的畢業生!