新的Meta 3D Gen可在一分鐘內根據文本生成高品質的3D素材
創建3D 資產是最耗時、最具挑戰性的創意任務之一。如果人工智慧助理能夠根據文字輸入生成三維內容,那麼它將使三維內容創作普及化,並對視頻遊戲和電影行業以及AR 和VR 應用程式的開發大有幫助。
Meta 的人工智慧研究團隊最近推出了Meta 3D Gen (3DGen),這是一個用於文字到3D 素材生成的最先進的新系統。 Meta 聲稱,這套新系統可以在一分鐘內產生高品質的3D 素材。產生的三維素材將具有高解析度紋理和材質貼圖。 3DGen 還支援基於物理的渲染(PBR)和對先前生成的3D 素材進行生成再紋理。
Meta 3D Gen 結合了兩個主要組件:文字到3D 生成和文字到紋理生成。下面是它的工作原理:
- 第一階段:三維素材產生–根據使用者提供的文字提示,第一階段使用Meta 的三維素材產生模型(AssetGen)建立初始三維素材。這一步驟將產生帶有紋理和PBR 材質貼圖的3D 網格。推理時間約30 秒。
- 第2 階段:
- 用例1:產生三維紋理細化–根據階段1 產生的三維素材和初始文字提示,階段2 將為此素材產生更高品質的紋理和PBR 貼圖。它使用Meta 的文字到紋理生成器Meta 3D TextureGen。推理時間約20 秒。
- 用例2:產生三維(再)紋理–給定一個未紋理化的三維網格和一個描述其所需外觀的提示。階段2 也可以從頭開始為此三維素材產生紋理(網格可以是先前產生的,也可以是藝術家創作的)。推理時間約20 秒。
您可以在這裡閱讀Meta 3D Gen 的技術論文全文。
Meta 公司也發表了技術論文,介紹他們用於高品質三維模型生成和基於文字提示的紋理生成的方法,這些方法是Meta 3D Gen 系統的基礎。