World Labs的人工智慧可從單張照片產生互動式3D場景
World Labs 是一家由人工智慧先驅李飛飛創辦的新創公司,該公司發布了其首個項目:一個人工智慧系統,可從單張圖像生成類似於視頻遊戲的3D 場景。許多人工智慧系統都能將照片轉化為三維模型和環境。 但是,World Labs 的場景是獨一無二的,因為它們是互動的,而且是可修改的。
世界實驗室在一篇部落格文章中寫道:”[我們的技術]可以讓您進入任何圖像,並以三維方式進行探索。除了輸入圖像之外,一切都會生成”。
World Labs 的系統將影像轉換為可探索的互動式3D 場景。圖片來源:世界實驗室
任何人只要有鍵盤和滑鼠,就可以在World Labs 網站上的示範中探索人工智慧生成的場景,這些場景看起來令人印象深刻–雖然有點卡通。 它們是在瀏覽器中即時渲染的,有一個可控攝像頭,可調節模擬景深(DoF)。 景深效果越強,背景物體越模糊。
World Labs 的系統是新興人工智慧類別”世界模型”的一部分。這些模型可以模擬遊戲和3D 環境,但有偽造和一致性問題。 例如,新創公司Decart 的Minecraft 模擬世界模型Oasis解析度較低,很快就會”忘記”關卡的佈局。
相較之下,World Labs 的方法可以確保場景在生成後保持不變,並遵守基本的物理定律,這意味著它們具有實體感和深度。
World Labs 的系統還可以在場景中套用互動效果和動畫,例如改變物件的顏色和動態照明背景。
由World Labs 系統產生的場景。圖片來源:世界實驗室
“大多數生成式人工智慧工具都是製作圖片或影片等2D 內容,”World Labs 寫道。 “三維生成則提高了控制和一致性。 這將改變我們製作電影、遊戲、模擬器和其他物理世界數位表現形式的方式”。
現在,當然還有改進的空間。 World Labs 的場景並不是完全可探索的–你的移動被限制在一個很小的區域內。 偶爾也會出現渲染錯誤,例如物體以不自然的方式混合在一起。但世界實驗室表示,這只是一個”早期預覽”。
這家新創公司在部落格中寫道:”我們正在努力改進生成世界的大小和保真度,並嘗試讓用戶與之互動的新方法。”
World Labs 網站上的部分示範。 效果可即時應用於場景。圖片來源: World Labs
World Labs 於今年稍早成立,已募集了2.3 億美元的風險投資,投資者包括Andreessen Horowitz (a16z)、Ashton Kutcher、英特爾資本、AMD Ventures 和 Eric Schmidt。 該公司的估值超過10 億美元,希望在2025 年推出首款產品。
除互動場景外,World Labs 還計劃開發對藝術家、設計師、開發人員、電影製作人和工程師等專業人士有用的工具。 它的目標客戶包括視頻遊戲開發商和電影製片廠。