YouTube網紅程序員修復美、日、俄多國古老街景視頻
油管上一位Up主,修復歷史視頻上了癮。目前,他已經利用AI技術修復了百年前的紐約、東京等地的街頭視頻。繼上次感受百年前老北京街景之後,讓我們穿越到百年前的東京、紐約街頭看看吧!
同一時期,全球其它城市又是什麼模樣?一位來自俄羅斯的工程師Denis Shiryaev(丹尼斯·謝里亞耶夫),用AI 技術修復了多部老視頻,也在YouTube 上火了一把。
從1896 年的莫斯科,到1911 年的紐約,再到1913 年的東京,Denis 讓網民們感受到了百年前,這些城市的風情。
修復《火車進站》一戰成名
今年2 月,Denis Shiryaev 在YouTube 上傳了一段用AI 技術修復的人類史上第一部電影——《火車進站》。
讓他意外的是,這段視頻一夜走紅,截至目前這段修復電影已達到400 多萬次的播放量。
https://tv.sohu.com/s/sohuplayer/iplay.html?bid=210922132
修復後的彩色有聲版《火車進站》
125年後,原本僅僅50秒的無聲黑白電影,被Denis利用AI技術加上了色彩,並將其升級為4K、60 fps畫質的高清版本,讓現在的我們,得以看到更加真實的歷史畫面。
紐約、東京、莫斯科視頻修復:給網友交作業
在第一次的修復作品獲得巨大反響之後,Denis 應廣大網友請求,接著又修復了多段老視頻,帶大家感受百年前的莫斯科、紐約和東京。
中圖為Denis Shiryaev
1896 莫斯科:熱鬧的商業街頭
Denis 的AI 時光機,首先選擇了1896 年的莫斯科,這座城市於1147 年沿莫斯科河而建,至今已有近900 年曆史。
19 世紀末的俄羅斯,剛剛完成工業革命,各類工業和貿易的企業已達兩萬多個,工人人數達到了12 萬。
https://tv.sohu.com/s/sohuplayer/iplay.html?bid=210922075
特維爾大街,至今仍是莫斯科最繁華的商業、娛樂中心
視頻中所記錄的正是莫斯科的特維爾大街,商舖林立,馬車、警察、商人熙熙攘攘。
沿著這條街步行不到2 公里,即可到達當時的沙皇住所,也是現在俄羅斯的總統府—— 著名的克林姆林宮。
1911 紐約:歐洲移民的美國夢
Denis 還選擇了1911 年紐約市的一段著名視頻,進行了修復。
這段時長8 分35 秒的視頻,把人們帶回到1911 年,當時的美國,正處於快速城市化時期,第二次工業革命在美國創造了大量就業機會。
https://tv.sohu.com/s/sohuplayer/iplay.html?bid=210922418
原片由瑞典某公司拍攝,名為《紐約之旅》,由現代藝術博物館於2018 年公開
19 世紀末20 世紀初,大批因社會停滯而陷入失業的歐洲人,選擇遠渡重洋去追尋“美國夢”。
來自歐洲的移民潮達到高峰。其中最著名的就是1912 年4 月,從英國出發的泰坦尼克號。
在《紐約之旅》的開頭中,也是一艘遊輪緩緩駛向高樓林立,車水馬龍,繁華熱鬧的紐約。
1913-1915 東京:明治維新後的穩定繁榮
這段原素材,由外國攝影師在1913 年至1915 年間的日本東京拍攝,拍攝期間,第一次世界大戰(1914-18 年)剛剛拉開序幕。
而此時的日本,經過明治維新後的數十年平穩發展,正是一片盛世。東京的人口恢復到明治維新前的最高水平,超過200 萬人。
https://tv.sohu.com/s/sohuplayer/iplay.html?bid=210922874
網友評論:那時候人們盯著攝像頭
就像它是一個外形探測器一樣
街頭上身著西服的日本老師,頭戴禮帽的路人,無不體現著當時的日本,正經歷著西方文化與東方文化交融的變革時刻。
能夠實現這些結果,Denis Shiryaev 謙虛地表示,都要歸功於DAIN、ESRGAN、DeOldify 等AI 技術。通過這些技術,任何人都可以做到。
老視頻修復三步套路:提升畫質、插幀、上色
提升畫質利器:Gigapixel AI
據Denis 介紹,他首先使用了Topaz Labs 開發的商業圖像編輯軟件Gigapixel AI,將原本分辨率極低的視頻,按比例放大600%,提升為4K 畫質。
Gigapixel AI 的工作原理類似於ESRGAN(一種超分辨率復原技術),利用其專有的插值算法(interpolation algorithm),可以分析圖像並識別細節和結構,進一步“完成”圖像。
為了避免放大後的圖像模糊,該軟件利用深度卷積神經網絡技術,分析了數百萬張成對的圖像,了解圖像中的細節如何丟失,然後在新圖像中將細節填充進去。
該軟件已支持常見的視頻格式無損放大
補幀模型:DAIN
接著,Denis 使用深度感知視頻幀插值模型DAIN,在現有視頻片段的關鍵幀之間,靠模型的“想像”創建並插入視頻里以前並不存在的幀,以此將視頻的幀率增加到60 幀每秒。
DAIN(Depth-Aware Video Frame Interpolation)是上海交通大學一位博士生包文博開發的插幀算法,該算法可以從把30 幀的視頻“腦補”成480 幀,讓視頻更流暢。
將30 fps 視頻補幀到60 fps 後的效果對比
上色:DeOldify
在上色環節,作者使用了DeOldify,該技術的開發者目的就是為舊照片著色。其原理是使用NoGAN 技術,它結合了GAN 訓練的優點,比如出色的上色效果,同時也消除了一些副作用,比如畫面著色不穩定、閃爍的現象。
項目作者給出的上色示例,原照片拍攝於1890 年代後期
最後,對於早期的一些無聲視頻,Denis 還為其加上了一些和視頻相對應的音效素材,讓整體的視聽效果更為真實。
Denis 表示,自己熱愛機器學習技術領域,修復古老視頻只是他對這種技術應用的結果展示。他會繼續在GitHub 上尋找此類技術,並在博客持續分享自己的學習結果。
1988 年出生的Denis 經常在Instagram 上曬一些旅行照
看來是一位熱愛技術也熱愛生活的小哥哥