AI換臉用來拍電影？迪士尼自研算法突破百萬高清像素
AI換臉又一次刷爆了朋友圈，最近雲畢業正當時，各家科技公司順勢推出了自己的AI換臉技術，結果又被同學們玩壞了！換臉這件事絕不能少了業界大佬們！不得不說，好看是不分性別的，彥宏兄氣質滿分！
仔細來看，AI換臉技術近些年還是成熟不少，整體的面部貼合度、細節處理都有了明顯的提升。近日，Deepfake領域再一次取得了重要突破。據了解，迪士尼公司公佈了一項最新研究成果，聲稱其人臉交換技術可達到業內最高水平。
從效果圖來看，果然一點挑不出毛病！
據了解，迪士尼研究室與蘇黎世聯邦理工學院合作基於GAN提出了一種新型算法，它可以自動實現圖像/視頻中的人臉交換，同時保證數百萬級的高分辨率。
更值得關注的是，目前這項研究成果已初步計劃用於好萊塢大片製作，據說因為它可以改善電影質量和後期製作成本。
走進好萊塢大片的Deepfake
人臉交換在電影行業並不罕見。在一些好萊塢大片經常會用到替身演員完成一些專業的、高難度動作。為了保證電影效果，後期製作會花費大量成本。然而常見的計算機圖形合成技術，效果常常差強人意，甚至會翻新重拍。
這在時間和金錢方面都是非常大的成本消耗，因此，迪士尼公司特此聯合蘇黎世聯邦理工學院開展了此項合作研究。
近日，迪士尼公司對完宣稱，他們研究了一款新型人臉交換技術，可用於電影或電視劇製作。他們聲稱該技術可在人臉交換過程中產生高分辨率，逼真的圖像/視頻，非常適合大屏幕播放。
局部融合更考驗換臉的技術難度。為了驗證算法性能，研究人員他們沒有對人臉的眼部、唇部等局部器官進行了融合，效果也是非常驚人。
基於圖一，圖二、三分別進行了唇部和眼部的局部人臉融合，可以看出局部融合度非常高，高清、自然，看不出一點破綻。同時它能夠隨著唇部抖動實時貼合，毫無跳脫感。而且研究人員證實，視頻中的人臉交換一般比靜態圖像效果更好。
局部人臉交換在動態視頻中的融合優勢，這在電影場景中是非常必要的。
更值得關注的是它可以產生百萬級像素的分辨率。不過，研究人員表示他們採用了一種漸進式的方法（Progressive Training）對源視頻/圖像進行預訓練，算法可從中提取較高分辨率圖像。下圖可明顯看到經訓練的人臉像素遠高於未經訓練的結果。
研究人員介紹，基於高清分辨率和局部融合技術的新型算法最大限度地擴展了人臉交換在電影中的應用。除了替身演員的全臉交換外，如需要刻畫一位年齡逐漸增長的任務或已經進入垂暮之年的老人，可以根據需要為角色添加細微皺紋、髮型和體態。
另外，它可以與其他作品完成表演上的替換，當然這裡可以對原視頻的背景和光照進行特殊處理，以使他可以融入電影場景中。這也是區別於傳統後期製作的一種新方法。
基於梳狀模型的最新算法
那麼這項AI換臉技術是如何實現的呢？我們先來看一組完整的換臉路徑圖：
步驟1和2：對源圖像進行面部識別、特徵提取，以及標準化剪裁（1024×1024）;
步驟3：將圖像輸入通用編碼器進行模型訓練；
步驟4：將解碼後輸出的圖像與需要匹配的目標進行多頻帶混合，最終得到人臉交換後的效果圖。
其中通用編碼器的訓練模型是一個關鍵，這裡研究人員採用的是一種漸進式梳狀網絡結構（Comb Model）面部交換主要是通過域轉移的方法來實現。我們使用通用編碼器將經預處理的圖像嵌入共享的潛在空間中，然後使用與之對應的解碼器將這些嵌入映射回像素空間中。通常域轉移主要在這兩個空間中進行切換，但在本文中，研究人員擴展了一種新的思路。
如我們圖中看到的，經編碼器處理的圖像，被解碼器分支到P個域中，研究人員將這種架構成為梳狀模型。這裡各個編碼器就相當於梳狀結構的“齒子”。
在這裡，單個梳狀模型可以處理多個源目標的人臉融合，而且與雙向模型相比，它可以有效減少訓練的時間，同時明顯提高圖像的保真度。
如前文所說，模型訓練採用的是一種漸進式的方式。該過程通過對高分辨率圖像進行下採樣，得到低分辨率圖像，然後在訓練中再逐步輸入高分辨率，逐漸擴展網絡的容量，最終得帶高保真圖像。
不過，這裡要注意的是，最終輸出的圖像分辨率會受到原始數據集圖像分辨率的限制。如果數據集缺乏高分辨率，可以採用超分辨率的方式對圖像進行預處理，不過最好採用特定於面部的SR訓練方法。
除此之外，研究人員介紹，梳狀模型和多頻帶的混合策略，還有助於保持融合背景的光線和對比度。
對比分析，優勢明顯
研究人員將漸進式梳狀模型與目前三種開源的人臉技術，分別為Deepfake、DeepFaceLab和Nirkin et aI進行了對比研究。其中，Nirkin et aI採用三維可變模型，不需要預訓練。後兩者採用Y形自動編碼器結構的實現。
本次試驗對五組人臉進行了對比。前兩列分別源圖像和目標圖像，需要進行AI融合，從之後的圖像可以看，本次研究模型在細節融合、圖像分辨率以及陰影處理上，要高於其他算法模型。
而且，它採用的多頻帶混合在消除偽影方面要明顯優於泊松混合。DeepFakes和DeepFaceLab都的使用是泊松混合（Poisson）。
不過，研究也存在明顯的局限性，比如顯示無法對戴眼鏡的人進行穩定的人臉交換，不是因為眼鏡部分無法渲染，而是無法將臉部與周圍圖像混合。研究人員曾嘗試調整輸入源與之相匹配，但結果時好時壞。、
不過，研究人員也解釋在實際應用或電影場景中，可能影響不大。