研究人員開發出一種深度學習方法能夠將照片的部分內容製作成動畫
我們都曾在某個時候看過一張照片,比如海洋、雲彩或瀑布,在短時間內,我們會感覺到照片在動。通常情況下,這種感知的運動只是我們頭腦中的一個錯覺。而華盛頓大學的研究人員藉此開發了一種新的深度學習方法,可以將照片的某些部分做成動畫。
華盛頓大學的深度學習方法可以將可流動的材料變成動畫,如瀑布、煙霧或云彩。該大學開發的技術只需要一張瀑布的照片就能製作動畫。只要無縫循環播放這種短視頻,就可以給人以水不斷運動的印象。
這幾乎就像能夠把任何照片變成類似於蘋果公司的實時照片,在靜止的圖像之前捕捉一秒鐘左右的運動。該項目的研究人員說,他們的方法的獨特之處在於,它不需要任何用戶輸入或額外的信息。這個過程只需要一張圖片,並產生一個高分辨率、無縫循環的視頻,通常看起來像一個真實的視頻。
開發該技術是一個挑戰。據研究人員稱,這實際上要求他們預測未來。該系統包含兩部分,第一部分預測拍攝照片時事物的運動情況。該信息被提取並用於創建動畫。
估算運動需要研究人員用成千上萬的瀑布、河流、海洋和其他具有流動運動的材料的視頻來訓練一個神經網絡。訓練過程要求神經網絡在只給出第一幀時猜測視頻的運動。神經網絡將其預測與實際視頻進行比較,並學會識別線索,如溪流中的漣漪,以幫助預測接下來會發生什麼。研究人員創造了一種他們稱之為”對稱濺射”的概念,預測了一幅圖像的未來和過去,將它們結合成一段單一的動畫。