Google推出Lumiere生成式AI 可基於文字提示創建逼真的圖像和影片
Google剛剛推出了一款新的生成式人工智慧工具Lumiere,它將幫助你透過基於文字的命令創建更逼真的圖像和影片。 Lumiere 的一大亮點是,它能夠製作出看起來逼真的動作,而且不會出現不連貫的情況。之所以能做到這一點,是因為軟體能在同一時間創建所有視訊幀,而不是先實際使用關鍵幀,然後再對其進行訓練,以學習動作應該如何進行。
這聽起來可能不令人印象深刻,但有了最新的生成式人工智慧工具的幫助,我們就能走得更遠,創造出令人驚嘆的作品。
Lumiere 也使用擴散機率模型來幫助產生影像。這與時空U-Net 結合。對於那些不了解的人來說,U-Net 是一種架構,它能帶來時間上的放大和縮小,以及添加到圖像中的注意力區塊。最棒的是,這個新的生成式人工智慧工具可以與許多其他模型一起使用,這將有助於創建比我們之前看到的任何圖像和影片更逼真的圖像和影片。
Lumiere 可用於建立以下內容:
- 電影膠片將影像的單一部分製作成動畫
- 動畫影片中的一個物體可以被另一個物體取代
- 風格化生成:任何創作的藝術風格都可以改為其他風格
- 圖像到影片:幫助製作任何所需圖像的動畫
- 視頻到視頻:允許用戶創建不同藝術風格的視頻
在撰寫本文時,Lumiere創建的影片長度最長僅為5 秒,而且還不具備創建視訊轉換和多角度相機的功能。另外值得注意的是,如果你想試試Lumiere,光是標準GPU 是不行的。 PC本身必須有強大的圖形處理能力,否則工具根本無法運作。
訪問試用: