看完這場震驚所有人的「虛擬人」對話,我覺得元宇宙可能真是要來了
元宇宙這個概念,自從2021年被祖克柏帶火後,給人的感覺一直就像個“最熟悉的陌生人”,總是若即若離,忽遠忽近的。說直白點兒,就是大家都覺得它存在感不夠強,沒有想像的那麼厲害。因為提起元宇宙,網友們腦海中的印象還是這樣的:
祖克柏曾遭到「群嘲」的著名Horizon Worlds虛擬形象自拍,圖片來自Facebook
但短短一年,一場長達1小時,發生在元宇宙世界的隔空對話就橫空出世,炸翻了社群網路。這次輪到網友傻眼,紛紛驚呼,怎麼一不留神它就悄悄進化成這樣了?!
近日,麻省理工學院科學家、同時也是人工智慧大佬和知名播客主播的Lex Fridman,對Meta執行長馬克·祖克柏進行了一場關於擴增實境、AI和大語言模型的深度訪談。
與以往不同的是,這次兩人沒有在物理世界碰面,而是相隔大半個美國,在元宇宙裡以超逼真的3D虛擬形象完成了對話。截至矽星人發稿時,這場名為「First Interview in Metaverse」的訪談已在X(原Twitter)上狂攬近1千3百萬觀看量。
圖片來自Lex Fridman Youtube頻道
影片開頭,Lex Fridman的全身版高清數位分身出現在一片白色未來感空間中,他說:「儘管Mark和我在現實世界中相隔數百英里,但由於我們的形像都以照片級精度的3D模型建模,並伴隨空間音頻相互呈現,我倆就像在同一個房間面對面交流。這項技術實在太令人驚嘆了!我認為這將是未來人類在互聯網上更深度有意義連結彼此的方式。 」
兩人在訪談中都戴著Meta Quest Pro VR頭戴裝置。可能是因為視野裡的效果太過真實,Lex一度像個好奇寶寶,除了咧嘴“傻笑”,就是不停感嘆:“我在哪兒?Mark真的是你嗎?這太棒了!你不介意我離你太近吧?”
當然,視線距離是可以調整的。不僅如此,你還可以透過控製手柄來調整光源位置,找到最凸顯自己臉部優點的照明角度。
祖克柏介紹說,與Horizon Worlds中的卡通版本或視訊傳輸不同,創建這些全新模擬真人的Meta Codec虛擬形象,需要對用戶的各種面部表情和動作細節進行廣泛掃描,而後建模並壓縮成一個編碼版本。
隨後,頭戴裝置的即時眼部和臉部追蹤功能會捕捉使用者表情,映射到3D虛擬化身上,並「發送編碼版本的你應該看起來的樣子」給虛擬世界或會議通話另一端的人們,在他們眼前呈現一個足以以假亂真的你。
由於元宇宙裡的形象資料是以編碼形式傳輸,所以除了逼真之外,也比發送完整的沉浸式影片更節省頻寬。
從訪談影片來看,虛擬化身呈現出對真人細節的還原能力確實太強,用Lex的話來說,「它捕捉到了一切,包括人臉上的缺陷。對我來說,這些缺陷正是人的微妙之處,這些小雀斑、皺紋、不對稱的臉頰、笑的時候眼角的表情……它們讓我更加享受其中,意識到完美並不是沉浸的關鍵。”
「眼睛的確很重要,」祖克柏說:「許多研究證明,人的溝通主要是靠表情和肢體完成的,而不是靠語言。Meta一直努力用自己的經典虛擬系統捕捉這些表情,透過照片般的真實體驗,帶來特殊的臨場感。」他認為這也觸及了虛擬實境和擴增實境的視覺核心,就是令人們不論在世界上的哪一個地方,都會感覺在一起。
想像未來進入會議室,有些人實際在現場,有些人則以這種逼真的虛擬形態出現,並透過結合混合實境技術疊加在物理環境上:你以為TA坐在桌子邊跟你聊項目,其實TA遠在千里之外;夜深人靜一個人在外地想家的時候,帶上頭顯親人就近在咫尺。而對面人的一顰一笑,每一個細微的面部表情,都可以幾乎沒有延時和耗損地立體真實再現。
體驗過程中,Lex一直禁不住驚呼這太美妙了,「我此刻心跳很快,對話的親密感可以這樣遠程實現。我感受到了情緒,也感覺到你我真實存在。這是我人生中最難實現置信的體驗之一,真的大開眼界!”
不過要說明的是,實現影片中的對話效果目前對一般人還不是那麼容易。在開始訪談前,兩人都曾提前飛到匹茲堡,在Meta Codec計畫組進行了融合當前軟硬體最高技術、長達數小時的細節掃描。
在前幾天剛結束的Connect大會上祖克柏說過,他最大的願景就是讓那些高大上的科技變得親民,改變大多數人的生活。那麼這次,他對未來又有什麼構想呢?
小札表示現在我們才剛開始。先掃描少數人,收集足夠的表情數據,探索整個流程能簡化到什麼程度,進而在應用到大量人群時更流暢。雖然目前這項技術還沒完全準備好推向市場,但在未來幾年內,會持續調整和優化,以便早日應用到工作場景,解決生產力問題。
Meta正在努力實現的是,只要用手機進行非常快速的人臉掃描,例如拿起手機在臉前晃動、說幾句話、做一些表情,全程可能只需兩三分鐘,就產生如同現在的通話品質。如何在保證體驗的同時更有效率,仍是接下來面臨的挑戰之一。
Lex認為,全新的Meta Codec Avatars顯然已經越過了曾經的“恐怖谷底”,鏡頭裡的小扎看起來完全和本人一樣,接著他試探性地笑著問:“所以我們也不需要胳膊和腿了,對吧?”
“不不,這些我們還是會解決的”,扎克伯格趕忙解釋道,“實際上有個問題是,高精度的全身掃描需要強大的算力支持,無論對於頭顯的傳感器還是渲染能力。所以我們或許會考慮以較低的保真度還原身體,例如仍保留大的動作,但臉才是最需要解析的東西。畢竟眉毛移動一毫米就會傳達截然不同的情緒,相較之下,手臂移動一吋也顯得沒那麼重要了。”
Horizon Worlds裡的虛擬形象曾因蒼白的表情和缺少下半身被人們形容為”恐怖谷效應“,圖片來自Meta
兩人後來也聊到了剛問世的Quest 3、擴增實境、元宇宙中的人工智慧和人類的未來。Lex把這次和祖克柏的訪談調侃成“網路裡表情最僵硬的兩個人在元宇宙的相遇”,他覺得在這個虛擬空間裡,自己的表現力更容易被捕捉到,能更真實地傳達情緒:「我真希望更多的人能來親自體驗!」小札也表示非常期待網友們看到這集播客後的反應,唯一擔心的是觀眾透過2D螢幕,能否真地感受到這種呼之欲出的真實震撼感。
而從網友們的留言來看,顯然不只感受到,而且被結實地震撼了。
即使這幾個月已經被Google、微軟、特別是OpenAI的ChatGPT幾輪暴風更新洗禮過,也算見過大世面,這次元宇宙裡的採訪還是超越了人們的認知範圍。全球頂級Youtuber 野獸先生(MrBeast)在影片下留言說,「我們是怎麼從像素虛擬人來到這裡的,我到底錯過了什麼!」其他人也紛紛跟帖表示「這是我見過最難以置信的事情之一」。
有人說,在引領科技創新的強者隊伍裡,Meta永遠佔有一席之地。被質疑、取笑甚至詬病了那麼久,元宇宙還是進化成這樣強大的3.0形態來了。
Lex說,我看到了未來。
祖克柏說,我相信接下來的一年會相當瘋狂。
不論Meta未來會怎樣發展,走向如何,這場史上首次跨越百英里、元宇宙中的「真人」隔空對話都具有里程碑式的意義。而生於這個時代,見證一切不可能變成可能的我們,本身就已經夠幸運。