Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

只需2張照片就能2D變3D 這個AI能自己腦補蠟燭吹滅過程

只需2張照片就能2D變3D 這個AI能自己腦補蠟燭吹滅過程

2022-05-16 Comments 0 Comment

2張廢片啪地一合!錯過的精彩瞬間立刻重現,還能從2D升到3D效果。看,小男孩可愛的笑容馬上躍然浮現:吹滅生日蛋糕蠟燭的瞬間也被還原了出來:

咧嘴笑起來的過程看著也太治癒了吧~

咱就是說,這回相機裡熊孩子/毛孩子的廢片終於有救了!

而且完全看不出是後期合成的效果,彷彿是原生拍攝的一般。

這就是Google、康奈爾大學、華盛頓大學最近聯合推出的成果,能只用2張相近的照片還原出3D瞬間,目前已被CVPR 2022收錄。

論文作者一作、二作均為華人,一作小姐姐本科畢業於浙江大學。

用2張照片正反向預測中間場景

這種方法適用於兩張非常相似的照片,比如連拍時產生的一系列照片。

方法的關鍵在於將2張圖片轉換為一對基於特徵的 分層深度圖像(LDI),並通過場景流進行增強。

整個過程可以把兩張照片分別看做是“起點”和“終點”,然後在這二者之間逐步預測出每一刻的變化。

具體來看,過程如下:

首先,將兩張照片用單應矩陣(homegraphy)對齊,分別預測兩張照片的稠密深度圖。

然後將每個RGBD圖像轉換為彩色的LDI,通過深度感知修復背景中被遮擋的部分。

其中,RGB圖像即為普通RGB圖像+深度圖像。

之後用二維特徵提取器修復LDI的每個顏色層,以獲取特徵層,從而生成兩份特徵圖層。

下一步就到了 模擬場景運動部分。

通過預測兩個輸入圖像之間的深度和光流,就能計算出LDI中每個像素的場景流。

而如果想要兩張圖之間渲染出一個新的視圖、並提升到3D,在此需要將兩組帶特徵值的LDI提升到一對3D點雲中,還要沿著場景流雙向移動到中間的時間點。

然後再將三維的特徵點投影展開,形成正向、反向的二維特徵圖及對應深度圖。

最後將這些映射與時間線中對應時間點的權重線性混合,將結果傳給圖像合成網絡,就能得到最後的效果了。

實驗結果

從數據方面來看,該方法在所有誤差指標上,均高於基線水平。

在UCSD數據集上,這一方法可以保留畫面中的更多細節,如(d)所示。

在NVIDIA數據集上進行消融實驗表明,該方法在提高渲染質量上表現也很nice。

不過也存在一些問題:當兩張圖像之間的改變比較大時,會出現物體錯位的現象。

比如下圖中酒瓶的瓶嘴移動了,不該發生變化的酒杯也搖晃了起來。

還有照片如果沒有拍全的地方,在合成的時候難免會出現“截肢”的情況,比如下圖中餵考拉的手。

團隊介紹

該研究的一作為Qianqian Wang,現在在康奈爾大學讀博四。

她本科畢業於浙江大學,師從周曉巍。

研究興趣為計算機視覺、計算機圖形學和機器學習。

二作是Zhengqi Li,博士畢業於康納爾大學,本科畢業於明尼蘇達大學,目前在Google Research。

曾獲提名CVPR 2019最佳論文,Google2020博士獎研金,2020年Adobe Research獎學金,入圍百度2021年AI華人新星百強榜單。

參與此項研究的還有華盛頓大學教授Brian Curless。

他還提出過另一種方法能夠實現類似效果,同樣只用到了2張照片,通過新型幀插值模型生成連貫的視頻。

論文地址:

https://3d-moments.github.io/

分享此文:

  • 按一下即可分享至 X(在新視窗中開啟) X
  • 按一下以分享至 Facebook(在新視窗中開啟) Facebook
  • 分享到 WhatsApp(在新視窗中開啟) WhatsApp
  • 按一下以分享到 Telegram(在新視窗中開啟) Telegram
  • 分享到 Pinterest(在新視窗中開啟) Pinterest
  • 分享到 Reddit(在新視窗中開啟) Reddit
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟) 電子郵件
  • 點這裡列印(在新視窗中開啟) 列印

相關


網絡資訊

Post navigation

PREVIOUS
英飛凌:芯片在多個地方進行製造是明智之舉
NEXT
聯想拯救者Y9000X輕薄遊戲本真機外形公佈

發表迴響取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
限時免費
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
WordPress資訊
WeChat資訊
PHP資訊
教學資源
開源程序
網頁工具
SEO工具
醫療健康
其他資訊
Content from
Content to
2022 年 5 月
一 二 三 四 五 六 日
 1
2345678
9101112131415
16171819202122
23242526272829
3031  
« 4 月   6 月 »

分類

  • 網站公告
  • 限時免費
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 其他資訊

彙整

近期文章

  • 全面推動「凋零骷髏塔」標準化建設的網路大狂歡是怎麼開啟的? 2025-05-23
  • Windows記事本不再「簡單」 微軟為其新增AI寫作功能 2025-05-23
  • 基於Sora的微軟新工具Bing Video Creator挑戰Veo 各平台均可免費用 2025-05-23
  • 科學家發明結合紅外線和可見光的夜視鏡片 2025-05-23
  • Bluesky 將開始驗證「知名」用戶 2025-05-23
  • Anthropic CEO稱人工智慧模式產生的幻覺其實比人類少 2025-05-23
  • 這些韓國老年海女已擁有基因層面的“超能力” 2025-05-23
  • 防止顯示卡接口燒熔玩家給RTX 4090電源線裝上保險絲還有更狠的 2025-05-23
  • BMWSpeedtop概念車官圖發表售價超過400萬的雙門獵裝轎跑 2025-05-23
  • 馬雲上榜《時代》全球百大慈善人物榜單 2025-05-23

熱門文章與頁面︰

  • 您可以在Windows 11 24H2 中找回WordPad
  • 南加州大學研究發現司美格魯肽可抑制對酒精的渴望
  • 鳥寶寶有多內捲?為了讓父母投餵自己長出恐怖的嘴巴
  • 基於Sora的微軟新工具Bing Video Creator挑戰Veo 各平台均可免費用
  • CCleaner全家桶激活密鑰
  • 蘇聯的三進位電腦 為什麼被二進位幹掉了?
  • 烏魯木齊地窩堡機場正式更名“天山機場”
  • "91大神"偷拍百名女性獲刑:曾任外企高管年薪百萬
  • 微軟常用運行庫合集2020.04.10 合集(更新到Visual C++ 2019 Redistributable 14.26.28720.3)
  • Windows 11看視頻還要錢?教你免費安裝HEVC視頻擴展

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2025   All Rights Reserved.