AI對應配音改演員口型湯姆·漢克斯也能流利說日語
近日,英國AI創企Flawless使用Deepfake(深度偽造技術)調整演員面部表情,讓他們改變口型說外語,解決觀眾觀看外國電影時演員口型與字幕或配音不同步的問題。該公司將這一可視化翻譯技術產品命名為TrueSync,在該工具下,湯姆·漢克斯在《阿甘正傳》中也可以流利地說著日語。
電影使用TrueSync再製作後,即使一名演員用英語拍攝了一部電影,對於聽中文配音的電影觀眾來說,似乎所有的演員都在講中文。
一、多語言可視化翻譯,Deepfake釋放電影潛力
使用Deepfake技術改變視頻存在一定風險,因為這會創造從未發生過的場景,讓演員講出他們沒有說過的話,例如楊冪換臉等視頻的出現給當事人帶來一定的困擾。
但Deepfake技術也可以讓電影製作更為便捷,成本更低,釋放電影真正的潛力。
事實證明,以前將外國電影進行多語言配音或字幕更改的方式,會降低電影畫質,對外國觀眾來說觀看較差。
Flawless公司的TrueSync工具將Deepfake技術用於電影製作,電影製品人和內容所有者都可以利用TrueSync工具將外語電影視覺翻譯成任何觀眾的母語。
二、變口型後電影沒法看?最大限度保留表演細節
Flawless匯集AI科學家、電影製片人和技術人員,所研發的TrueSync工具是全球首個使用AI以多種語言創建完美對口型可視化的系統。
TrueSync可以最大限度的保留原版電影的質量和沈浸感,保留所有演員特質表演細節。
因此,大家無需擔心Deepfake技術會破壞電影整體情緒。
在計算機圖形學的飛速發展下,Deepfake技術也在不斷迭代。
現在,業餘創作者只需要用手機和電腦,也可以創作出好萊塢水準的電影,而無需耗費好萊塢電影類似的成本。
例如,曾經在視頻剪輯中手動擦除對像是一個非常耗時的過程,需要逐幀調整,而現在剪輯軟件已經可以自動處理了。
三、剪輯師、鬼畜者福音,“AI換嘴”技術已逆天
近年來,AI圖像處理能力正持續突破,各國AI換口型技術也在不斷創新迭代。
印度海德拉巴大學和英國巴斯大學研發了一個名為Wav2Lip的AI模型,可以在視頻中同步生成準確唇語。任何人物身份,甚至包括卡通人物,任何語音和語言,都可以將口型視頻高精度同步到任何目標語音。
▲Wav2Lip技術下配口型
美國華盛頓大學基於公開的奧巴馬音視頻片段,用AI分析了數百萬幀影像,以確定奧巴馬嘴唇、牙齒、嘴角等臉部變化,生成了口型幾乎完美匹配、高度逼真的假視頻。
▲奧巴馬換口型技術流程圖
此外,斯坦福大學、馬克斯普朗克信息學研究所、普林斯頓大學和Adobe Research的研究人員組織了一個團隊,創建了一種AI算法,給定任意文本就能隨便改變一段視頻里人物說的話,並且改動後看不出篡改痕跡。
▲改變文字後生成新視頻
結語:Deepfake提升視頻生產效率
在Deepfake技術的發展下,電影製作商不僅可以降低電影譯製成本,還可以在演員念錯台詞時進行補救,從整體上提升電影生產效率。
誕生於2017年的Deepfake雖近年來飽受非議,但隨著相關監管的嚴格以及技術人員素養的提升,Deepfake商用場景不斷拓展,逐漸在內容生產領域顯現出自己的潛力。