視效公司聯合藝術家用虛擬人技術“復活”馬丁·路德·金
這是馬丁·路德·金(以下簡稱為MLK)第六次登上《時代周刊》的封面。不同於以往的是,這位美國民權運動領袖以“虛擬人”的面目出現。這同時也是《時代周刊》第一次在封面刊登現實人物的數字形象。
封面上如同照片般寫實的臉龐,是由好萊塢頂級視效公司數字王國聯合藝術家Hank Willis Thomas 通過虛擬人技術創作而成。而這只是《時代周刊》和眾合作方籌備了3 年之久的《大遊行》預告。
據籌備方介紹,“《大遊行》是一個開創性的沉浸式展覽,將重現美國歷史上最具標誌性的時刻之一——1963 年人們為爭取就業和自由的『向華盛頓進軍』遊行”。戴上VR 頭顯後,觀眾看到的不再是以往二維的,粗顆粒感的黑白影像,MLK 彷彿就在人們面前,如歷史刻畫的那樣激昂,最後脫稿呼喊著“我有一個夢想” 。
一位前往芝加哥DuSable Museum 體驗的觀眾彷彿身臨其境,他說廣場上熙熙攘攘,甚至擔心會被人群踩扁。那一年,超過25 萬不同種族的民眾浩浩蕩盪聚集在林肯紀念堂,一直延伸至國家廣場和倒影池周圍。
復活馬丁·路德·金
《大遊行》的總體驗時長約40 分鐘,除了音頻史料播放和更傳統的博物館展示外,籌備方還製作了10 分鐘左右的VR 體驗。在只有14 平方米大的空間裡,4 位觀眾將同時戴上VR 頭顯“穿越”回1963 年。
“幾千小時的鑽研,就為了真實還原8 月那特殊的一天。”《時代周刊》的CEO Edward Felsenthal 說道,“我們希望,它不僅能改變我們看待歷史的方式,還能幫助我們所有人意識到,我們自己的聲音能夠對世界產生積極的影響。”而要想達到Felsenthal 想要的效果,當天的場景和發表演講的MLK 必須足夠真實。為此,數字王國的工作人員前往國家廣場,並利用被攝物體影像來重建物體空間位置和三維形狀,數字化繪製遊行地點的地圖。再結合史料和遊行親歷者的描述,最後,團隊將數據轉化成50 年前的場景。
“體驗”,而不是“閱讀”,這是人們能感受到更多力量的原因|維基百科
他們啟用了過去十年裡一直在公開表演《我有一個夢想》的演講家Stephon Ferguson,這樣,重現MLK 就有了一個紮實、可信的動作基礎。數字王國用動作捕捉系統Masquerade 跟踪了Ferguson 的身體和麵部的細節,再將眼睛位置、頭骨形狀、膚色、體型等信息和MLK 進行比較,動畫師會在這個完成了50% 的模型上繼續填入MLK 的特徵。
團隊收集了大量相關的視頻和圖片,提取出MLK 在當天不同角度的姿態和光影體現。在動捕方面,他們設計了一些能夠盡可能觸動Ferguson 面部肌肉的“愚蠢句子”,開始對錶演者進行三維成像捕捉。接著,他們在Ferguson 臉上畫了190 個標記點,並在給他戴上一個以60 幀每秒速度運行的頭戴式攝像機,再讓他穿上一套動作捕捉服。隨後,Ferguson 開始演繹《我有一個夢想》。通過對他面部和肢體的捕捉,團隊將這些信息映射到MLK 已有的數字肖像上。得益於基於龐大數據收集的機器學習,動畫師們只需在細節上進行微調和完善,以不斷接近真實。
《時代周刊》形容這段VR 體驗是“迄今為止在虛擬現實中最逼真的人類表演”。“體驗”,而不是“閱讀”,這是人們能感受到更多力量的原因,聯合創作者Alton Glass 表示。
Chicago Tribune 記者Steve Johnson 這樣描述,“當他結束最後一段時,他激動地說『終於自由了』,然後從講台上走下來,直視著你這個觀察者的眼睛——然後保持著那個眼神,就像配音演員問的那樣,『你將因什麼上街去?』——那種魔力,會讓你不寒而栗。”
生成“人”,而非副本
用虛擬人技術復活死者,並不是一件新鮮的事。2012 年,數字王國就用全息影像技術“復活”了已故說唱歌手2Pac,在當年的Coachella 音樂節上,2Pac 和同台歌手一起點燃了現場。一年後,他們又“復活”了鄧麗君。
如果說“2Pac”和“鄧麗君”是為現實中的人生成一個副本,那由三星旗下創新實驗室STAR Labs獨立開發的“人工智人”NEON,則是從模仿人再到完全脫離人的形態。
“NEON 就像是一個全新物種”,它的發明者Pranav Mistry 在CES 2020 的展台上介紹說,“地球上現存有幾百萬種生物,我們希望NEON 可以成為其中新的一員。”據官方介紹,NEON 是一種由AI 所驅動的虛擬存在,擁有和真人一致的音容、笑貌和言談舉止,擁有表達情感和智慧的能力。
它同樣真實到讓人不寒而栗。
NEON 的生成基於CORE R3 和SPECTRA 兩個引擎。前者是現實、實時、回應(Real, Realtime, Responsive)的縮寫,“它使得NEON 能夠生成栩栩如生的現實,並實時地做出回應。甚至可以控制NEON 眼睛睜開的大小。”另外,“CORE R3系統的時延幾毫秒不到,”Mistry 說道。後者則負責提供情報,學習,情感和記憶,就這樣,NEON 虛擬人在對人物原始面部、聲音等數據進行捕捉並學習之後,可以自主創建未錄入過的新的表情、動作、對話,甚至能說其他語言。
和虛擬MLK 不同的是,NEON 虛擬人的每個姿態或許都可以稱為“原創”。前者更多的是重現被複製者的意識,更多的是一種“聯動”;而後者則更像是把已有的,被打碎的數據重新組裝出另一個全新的人。
STAR Labs 戰略負責人Bob Lian 告訴鈦媒體,NEON 將在服務業和娛樂業施展拳腳,虛擬人不會倦怠,理論上能保證他們在消息交流上提供更好的客戶體驗。
在娛樂業,“NEON 可以被用在電影、短片甚至MV 中,創造新內容。”Bob 說道。數字王國的業務主要是為電影作品、大型直播活動和前沿應用量身構建虛擬人、生物與角色。
在虛擬MLK 問世之前,國內的巨頭也看到了虛擬人的潛力。騰訊除了在2018 年領投了“只需一張照片和語音片段就能打造一個『虛擬明星』”的ObEN,其旗下AI Labs 在2019 年6 月還發布了首個電競虛擬人“TEG(天鵝靜)”。阿里達摩院也於今年1 月宣布了與AI 數字明星開發商環球墨非的戰略合作。