NVIDIA演示Instant NeRF:數秒內將2D照片合成為3D場景
NVIDIA 最新的AI 演示給人留下了很深的印象:該工具可以將數十張2D 快照渲染成為3D 場景。在視頻中寫道,75 年前寶利來(Polaroid)實現了照片在幾分鐘內成像,而現在NVIDIA 能夠在幾秒內讓2D 照片合成3D 場景。
正如你在下面動圖中所看到的,一個穿著像安迪·沃霍爾(Andy Warhol)的模特拿著一個老式的寶麗來相機。該工具被稱為Instant NeRF,指的是”神經輻射場”–由加州大學伯克利分校、Google研究院和加州大學聖地亞哥分校的研究人員在2020年開發的一項技術。
如果你想要一個關於神經輻射場的詳細解釋,你可以在這裡閱讀。但簡而言之,該方法映射了不同2D 鏡頭的顏色和光線強度,然後生成數據,將這些來自不同有利位置的圖像連接起來,渲染出一個完成的3D場景。除了圖像之外,該系統還需要關於攝像機位置的數據。
幾年來,研究人員一直在改進這種從2D到3D的模型,為成品渲染增加更多細節,並提高渲染速度。NVIDIA表示,其新的Instant NeRF模型是迄今為止開發的最快的模型之一,將渲染時間從幾分鐘縮短到“幾乎瞬間”完成的過程。
NVIDIA的Isha Salian寫道:“Instant NeRF可用於為虛擬世界創建頭像或場景,以3D方式捕捉視頻會議參與者及其環境,或者為3D數字地圖重建場景。”這項技術可用於訓練機器人和自動駕駛汽車,通過捕捉現實世界物體的二維圖像或視頻片段來了解它們的大小和形狀。它還可以用於建築和娛樂業,快速生成真實環境的數字代表,創作者可以在此基礎上進行修改和構建”。