只要0.5秒Stability AI新模型超快產生3D影像
生成式人工智慧(AI)明星新創公司Stability AI 8月發表最新突破性3D模型Stable Fast 3D,將單張圖片產生3D影像的速度大幅提升。 Stability AI今年3月發布的3D模型SV3D需要多達10分鐘產生3D資產,基於TripoSR的新模型Stable Fast 3D完成同樣的任務只需0.5秒,現已可以在Hugging Face上使用。
Stability AI介紹,Stable Fast 3D只需0.5 秒即可將單一輸入影像轉換為詳細的3D 資產,認為該創新模型為三維重建領域的速度和品質樹立了新的標竿。它能快速產生完整的3D資產,包括UV分割網路、材料參數和降低光照烘焙的反照率顏色,而且使用者可選四邊形或三角形重新網格化,處理時間僅會增加100到200毫秒。
Stable Fast 3D問世代表Stability AI在縮短AI模型處理時間上實現重大飛躍。
今年3月Stability AI發布了3D模型Stable Video 3D (SV3D),它在Stable Video Diffusion的基礎上進行改進,只需一張圖就能產生對應的3D模型,適用於新視角合成任務和3D生成的任務。 SV3D需要多達10分鐘產生3D資產,而Stable Fast 3D完成相同的任務只需0.5秒,將速度提高了1200倍。
Stability AI發表Stale Fast 3D時特別提到,該模型在幾個關鍵領域超越競爭對手,其中之一是:在7GB顯示卡記憶體VRAM的GPU 上,每次產生3D資產只需0.5 秒,而在Stability AI API 上需要將近一秒。此外,此模型具有高品質的UV分割網路和材質參數,可減少紋理中的糾纏照明,並能產生附加材質參數和法線貼圖。
Stability AI稱,Stable Fast 3D基於該公司和Tripo AI合作開發的模型TripoSR,可顯著改進架構並強化功能。該模型適用於遊戲和虛擬實境(VR)開發者,以及零售、建築、設計和其他圖形密集型行業的專業人士。在遊戲和電影製作中有多種用例:
- 在實驗是關鍵的預製作期間,用該模型實現快速推理。
- 遊戲的靜態資產(背景物件、雜物、家具)
- 電子商務的3D 模型
- 增強顯示(AR)/VR 的快速模型建立。
目前,Stable Fast 3D可透過Stability AI 的聊天機器人Stable Assistant 和Stability AI API 使用。使用者可以在AI開源社群Hugging Face上使用該模型,Stability AI基於免費用於研究、非商業和商業用途的Stability AI 社群許可而發布。
Stability AI官員宣推出Stable Fast 3D後,社群媒體的網友迅速回帖回應,有網友問,該模型生成的UV網絡有多清晰,有多少個多邊形。有網友稱,喜歡Stability AI在發布模型時附上的那個動圖,它展示了機器吐出通用的AI 圖像模型,並將它們直接扔進垃圾桶。有網友問,可不可以把生成的3D成果列印出來。
有評論稱,目前,3D 世界的內容創作是一個瓶頸。我們不想花錢請人手作元宇宙。自動產生資產應該是預設的,就像在現實世界中一樣。 Stability AI 的新模型是朝著正確方向邁出的一大步。