英偉達是怎麼在發佈會里造出來一個假CEO的?
” 啥? 之前英偉達發佈會上的老黃不是真人,是渲染出來的空氣老黃? “今天早上托尼一到公司,就聽到有幾個同事,正圍在一起討論這個聽起來有點奇怪的話題。 仔細一打聽,原來是量子位發佈的一篇文章,裡面提到說老黃今年 4 月 GTC 的視頻演講,是電腦渲染出來的假人。
要是英偉達真的已經達到了這樣的技術,托尼覺得人類進入到《刀劍神域 》以及《頭號玩家 》的世界也不會太遠了。
那到底是咋回事兒呢?
帶著強烈的好奇心,托尼從頭到尾去看了一下英偉達發佈在計算機圖形圖像特別興趣小組 SIGGRAPH 在今年的特別會議上,所發佈的視頻。
這是一支英偉達出的宣傳片,標題是 ” Connecting in the Metaverse : The Making of the GTC Keynote ” ( 連接元宇宙, GTC 主題演講是怎麼製作的。 )
裡面有關 「空氣老黃 」 的部分大概是這樣的。
在 2020 年推出 RTX30 系列顯卡的時候,老黃第一次用到了自家的廚房來當作自己的演講背景,也誕生了把顯卡從烤箱裡拿出來的名場景。
儘管這個創意很棒,但老黃覺得,” 廚房發佈會 ” ( kitchen Keynote )還有進步的空間,畢竟觀眾都喜歡有新鮮感的東西。
於是在今年的英偉達發佈會之前,老黃就給自家的團隊派了任務,讓他們整個新活,最好能秀秀肌肉。
而這段創意,就是是老黃在介紹自家的 ARM CPU 時,加上的轉場特效以及後面的硬體介紹。
轉場效果▼
根據這支官方影片給出的信息,托尼認為整場發佈會除了這段之外,別的應該都是真人實拍。
而為了完成廚房 「 百變金剛 」 的特效,製作團隊在老黃家廚房的角角落落,拍了上百張的照片取材,並把老黃廚房裡的所有物件都做了精細的建模。
動畫建模 ▼
他們還調皮的在其中一些物件上做了點彩蛋,比如他們在咖啡研磨器上打上了 Nvidia 的字樣。。。
把橄欖油罐子的名稱改為了自家的 AI 訓練軟體 ” Tao ” 。。。
最搞笑的是他們還在背景裡放了一個老黃的樂高小人。
當然廚房的變化,是在為接下來的大場面做鋪墊。
可以確定的是,在這個遠景鏡頭中介紹 CPU 時出現的老黃,是建模合成的假老黃。
這段內容要是不仔細看,也確實不知道是真人,當時托尼看的時候,還以為這個場景只是簡單的綠幕摳圖特效。
當然,至於廚房裡的老黃是不是 ” 假 ” 的,現在似乎引起了一些爭議。
但實際上,製作團隊真的是用建模和渲染的方式,造出了這麼一個「 空氣老黃 」 ,而渲染出一個活動的人,要比渲染靜態的廚房要難上許多。
這個效果的呈現和現在電影和遊戲中真人摳圖 CG 的流程差不多,首先需要給老黃本人來一通 360 度無死角的 3D 掃描拍攝,包括了臉部和全身。
甚至還給老黃的皮衣單獨做了掃描。。。
在有了基礎的身體信息之後,再把這些照片導入電腦,建出了一個老黃的模型,為了讓這個模型做到以假亂真,英偉達拿出來自己的看家本領——用 AI 來訓練 ” 空氣老黃 ” 的面部表情。
托尼感覺這個過程有點像前一陣大火的” Deepfake “換臉技術,只不過他們是把老黃真實的照片結合到老黃的模型臉上,真上加真,最後的呈現效果也更像那麼回事了。
他們還用到了一個叫 Audio2Face 的軟體,讓老黃臉部的模型肌肉,能隨著他說話的聲音來做出變化。
至於身體的的動作,則是請了一位演員來模仿老黃在說話時的動作、形態,在用專業的設備捕捉完一系列的動作之後,” 空氣老黃 “就進入到最後的渲染階段了。
巧了,這部分又是英偉達的強項,在用自家的光線追蹤調整完效果之後,英偉達直接調用最不缺的 GPU 算力,分分鐘把” 空氣老黃 “打造到最佳狀態。
大家發現了沒有,這支影片表面上是在解密英偉達發佈會的幕後製作,實際是秀了一波大肌肉。
繁雜的操作加上不同專業軟體之間的協同,正常製作那麼一個特效,肯定要花上不少功夫。
那為什麼英偉達可以做的那麼高效呢? 猝不及防的東西來了。
這是因為英偉達官方打造了一個叫 Omniverse 的平臺,專門為各種圖形處理軟體,提供了很強的技術支援。
這個軟體的靈感來自於一個叫” Metaverse 元宇宙 “的概念,它原是指一個平行於現實世界的虛擬世界,所有現實世界的人,在這個虛擬世界都會有一個分身,很多輕小說和二次元作品都沿用過這樣的世界觀。
川原礫: ” 這個我熟! ” ▼
說出來你可能不信, ” 元宇宙 ” 這個概念這兩年在互聯網上的熱度真的
很高,Facebook的CEO紮克伯格還特意建立了一開發小組,劍指未來。
之前差評君有科普過相關的內容,想要瞭解 ” 元宇宙 ” 的同學可以跳轉閱讀一下。
而英偉達的 Omniverse ,是把打造” 元宇宙 “的這些軟體工具,一個個都串聯了起來,提升創造虛擬世界的效率。
有一說一托尼覺得這個創意還挺吸引人的。
雖然說現在我們離那樣的世界還很遠,但 Omniverse 平臺上的功能,也確實站在了生產者的角度在思考問題。
比如說在汽車行業,它就有著不小的作用。
Omniverse 在寶馬那,把它的超級工廠整個渲染出來,渲染的畫面也極其逼真,包括各種材質上的燈光,以及工廠里工作的工人,都原原本本的渲染出來。
這還沒有結束, Omniverse 搭配 AI 還能對工廠的配置策略進行優化,針對不同的車型,能隨時對流水線進行模組化的修改,從而更加準確的提高工廠的生產效率。
除了模擬造車,它還能類比汽車試驗。
比如可以在 Omniverse 裡類比汽車的風洞試驗,獲取風阻係數參數和各項測試數據。 除此之外,它還能真實類比出各類試驗,既可以幫助車企節省試驗成本,還能簡化開發流程。
相比於做汽車試驗,接下來這個訓練自動駕駛就更厲害了。
目前汽車自動駕駛的數據採集,需要在實際的場景和道路進行,並且反覆多次的訓練,費時費力。
而 Omniverse 可以建立出更加特徵鮮明的真實環境,在虛擬環境中進行加快自動駕駛演算法的測試和視覺學習。
再舉個例子來說,當前依靠端到端策略的自動駕駛車型,往往更加依賴車輛的視覺識別系統。
但它們經常會把路邊看板的人像照片識別成真正的人,然後記錄在冊,這會大大降低視覺系統的訓練效率。
而 Omniverse 所建立的類比道路環境,並不會把路邊的人像看板去掉,而是加強看板人像的特徵,讓 AI 能更好的分辨人和人像,就是分清什麼是真人什麼是人的照片。
之所以說它可以打造” 元宇宙 「,可能本質上還是因為它描繪的未來足夠強大,也足夠方便。
它不僅打通了各個專業領域 3D 建模軟體的互通操作,還開放了統一的 API ,讓消費者們可以直接在平臺上修改內容、替換素材。
這對於內容生產者來說, Omniverse 避免了來回導出大素材量檔時的風險。
另一方面, Omniverse 上的素材庫和渲染功能,極大的緩解了建模軟體臃腫難用的現狀。
就拿建築軟體 Sketchup 草圖大師來說,要是想在建完模之後進行渲染,大都會安裝一個叫 V-Ray 的外掛程式。
用過的都知道, V-Ray 版本的匹配問題以及時不時的崩潰,經常讓消費者欲哭無淚。
而且 V-Ray 在渲染的時沒法做到即時預覽,每次都需要先渲一張小圖看效果,然後調整參數進行修改,並需要自己去添加素材資源。
而 Omniverse 上強大的即時渲染器和豐富的素材庫,要是真的有想英偉達宣傳的那麼強大,那麼對於創作者來說,這功勞不亞於盜取火種的普羅米修斯。
目前在 Omniverse 上,它支援Ps 、虛幻引擎、 Unity 、 Maya 瑪雅、 Sketchup 草圖大師、 Rhino 犀牛、 Revit等繪圖、建模軟體,涵蓋了建築、遊戲、工業設計、影視等各行各業。。。
對於圖形工作者來說,屬實是一大福音。
總的來說,英偉達構造的 Omniverse 在未來的前景,真的無可限量。