Adobe在Adobe MAX大會上宣布推出Firefly視訊生成模型，並強化了現有的影像、向量和設計模型。 Firefly視訊模型已進入有限公開測試階段，成為首個可安全用於商業用途的生成式AI視訊模型。

最新的Firefly影像模型Firefly Image 3將允許使用者在幾秒鐘內產生影像，速度較上一版提升了四倍。同時，基於Firefly視訊生成模型，Premiere Pro也進行了重要更新。 Premiere Pro新增了三個主要功能，分別是文生影片、圖生影片和生成擴充（Generative Extend）。

▲使用產生擴充功能填補影片素材缺失片段（影片來源：Adobe）

透過文生影片功能，使用者可模擬調整攝影機角度、運動和縮放等參數，進一步細化影片；透過圖生影片功能，使用者可在文字提示旁邊另外新增參考影像，以產生更符合想像的影片。用戶甚至可以透過一張靜圖重製現有視頻，實現視覺上的再加工；透過生成擴展功能，用戶可直接對視頻進行微調，而不至於重新拍攝。

用戶在使用這三個功能時，均需要等待約90秒才能產生影片。採用文生影片與圖生影片功能產生的影片最長為5秒，解析度最高為720P，幀率為每秒24幀。採用產生擴充功能的影片最多可延長2秒，影片背景音效延長10秒。

▲使用文生模型產生影片（影片來源：Adobe）

Firefly視訊模型作為Adobe生成式AI套件的擴展，已被整合到其雲端套裝軟體Adobe Creative Cloud的多款應用中，包括修圖軟體PS、向量圖形設計軟體Illustrator、內容創作工具Adobe Express和視訊編輯軟體Premiere Pro等，以支援各種創意工作流程。自2023年發布以來，Firefly已累積產生超過130億張影像，僅在過去六個月就產生60億張。

一、Firefly進行公開測試，AI影片最多可產生5秒，影片擴充最多延長2秒

本次影片編輯軟體Premiere Pro的重大更新，一是幫助使用者自動擴充開頭片尾，二是類比相機進行一鍵調參，三是實現影片一鍵重拍。

1. 產生擴充：適合微小調整，影片延長最多2秒，音效最多延長10秒

生成擴充由Firefly模型支持，現已在Premiere Pro Beta版本中進行測試。此工具能夠實現影片素材的自動擴展，填補影片空白、實現畫面平滑過渡，以及延長影片的開頭片尾。

延長視頻，即如果視頻的開頭或結尾略短，生成擴展功能可自動進行素材填充。產生擴充功能還可以幫助微調影片中景，也就是它能發現拍攝過程中的視線偏移或意外移動，並進行修正。

目前，生成擴充功能最多支援影片延長2秒，以滿足用戶微調影片的需要，一定程度上免去重新拍攝素材的麻煩。產生擴展功能的分辨率是720P或1080P分辨率，24幀每秒。

此外，生成擴充功能也能用於音訊剪輯，它可以將影片中的音效或環境背景音擴展最多十秒鐘，但不會延長語音對話或音樂。

▲新產生擴充工具可以填補通常需要完全重新拍攝的素材中的空白（圖片來源：Adobe）

2. 文生視頻：可仿照攝影機直接調參，最多生成5秒視頻

Adobe的文生模型和圖生模型於9月首次發布，目前正在Firefly Web應用程式中作為有限的公開測試版推出。

文生模型的功能與Runway和OpenAI的Sora等其他影片產生器類似，使用者只需輸入想產生的影片的文字描述即可。這個文生模型可以模擬真實電影、3D動畫和定格動畫等多種風格來產生影片。

此外，使用者可以透過文生模型，仿照攝影機調整影片拍攝參數。使用者可以透過模擬攝影機角度、運動和拍攝距離等，來進一步細化生成的影片。

▲透過相機控制選項來調整產生影像的範例（圖源：Adobe）

3、圖生視頻：一張圖直接重製視頻，但無法完全取代重拍

圖生視頻相較於文生視頻，在功能上更進一步。圖生影片允許使用者在文字提示的基礎上，添加參考圖像，以產生更符合想像的影片。

用戶還可以上傳已有影片的單幀，一鍵創建完整的特寫鏡頭，來製作影片花絮。

圖生視訊模型可實現視訊重拍。使用者可以上傳靜態圖片來重新製作視頻，直接對原始視頻中的人物動作進行操作和修改，實現視覺上的再加工。

然而，科技媒體The Verge的測試表明，這項技術目前還無法完全取代重新拍攝，其生成結果存在瑕疵。例如，測試中出現了電纜晃動和背景移動等問題，產生的影片在某些細節處理上不夠精確。

▲原始剪輯（影片來源：Adobe）

▲使用影像到視訊工具「重製」鏡頭，注意看黃色電纜搖晃了（影片來源：Adobe）

目前，Adobe的文生視頻和圖生視頻，二者生成的視頻長度均最多5秒，最高分辨率為720P，幀率為每秒24幀。 OpenAI的Sora聲稱可以生成長達一分鐘的視頻，並能在保持視覺質量的同時滿足用戶的提示要求，但其並未向公眾開放使用。

▲此模型僅限於產生大約4秒長的剪輯。幼龍在岩漿中爬行的範例（影片來源：Adobe）

二、增強影像、向量和設計模型功能更新，Firefly Services將支援批次創建

自2023年推出以來，Firefly陸續被引入PS、Express、Illustrator、3D繪圖軟體Substance 3D中，並支援Creative Cloud應用程式中的各種工作流程。

本次更新，Adobe在PS中推出了全新的AI生成工作區（測試版），並由Firefly模型支援。它能幫助設計師進行創意構思和迭代，簡單操作即可產生視覺效果。

同時，Adobe更新了Illustrator，並引入最新的Firefly向量模型（測試版）。新功能包括產生形狀填充、重新著色和文字到圖案等，設計師可以快速產生和優化向量圖形，並控制圖案中元素的密度，靈活調整設計複雜度，實現個人化創作。

此外，Adobe預覽了一款新功能Project Concept，旨在促進團隊協作中的創意開發。此功能允許多人在同一畫布上即時構思和重新混合影像內容。

▲Project Concept範例（圖來源：Adobe）

今年3月，Adobe推出了企業導向的創意與產生API集合Firefly Services。 Firefly Services支援企業自有資料對模型進行客製化、微調，同時可與PS、Illustrator、Express等Adobe產品結合使用，簡化創意流程。

本次產品更新，Firefly Services將支援配音和唇形同步功能，目前兩個功能已進入測試階段。使用者可以利用生成式AI將影片中的口語對話翻譯成不同語言，同時確保唇形與原始聲音匹配同步。

另外，Firefly Services也將支援批次創建，簡化影像大小調整、背景刪除等任務。

迄今為止，已有多位知名客戶使用了Adobe Firefly Services，包括PepsiCo/Gatorade、IBM、Mattel、IPG Health和德勤等。他們透過Firefly優化工作流程並擴展內容創建，讓創意人員有更多時間探索創意願景。

三、Firefly訓練資料合法且豐富，支援超過100種語言文字提示

商業可用性是AI視訊生成產業的關鍵問題。先前，Runway公司在訓練其AI影片產生工具Gen-3時，涉嫌非法使用了大量YouTube影片和盜版電影，侵犯了內容創作者權益並違反了YouTube使用規則。

Adobe強調其AI功能根據公司製定的AI道德原則開發，強調問責制、責任和透明度。 Adobe表示其基於AI視訊模型支援的工具是「商業安全的」。 Firefly的訓練資料來自Adobe授權內容（如Adobe Stock）和公共領域內容，能夠確保生成作品的安全性和合規性。

Firefly支援超過100種語言的文字提示。自2019年創立內容真實性計畫以來，Adobe廣泛採用內容憑證作為數位內容透明度的業界標準。該內容憑證目前已獲得3700多名會員的支持。

內容憑證就像數位內容的「營養標籤」。當使用者在Creative Cloud中選擇Firefly支援的功能時，內容憑證會標明生成式AI的使用情況。此外，內容憑證也會嵌入使用者使用Firefly建立或編輯的視頻，以揭露AI的使用和所有權。

結論：Adobe正式入局AI影片生成，與OpenAI等展開競爭

從去年3月發布第一版Firefly，到今年首次公開測試，Adobe在AI視訊生成技術商業化應用上邁出了重要一步。

現階段，Adobe的圖生影片模型無法完全取代重新拍攝，生成結果仍有瑕疵。而且相較於宣稱能產生一分鐘影片的Sora，Adobe的文生影片和圖生影片的最大長度僅5秒。但是，Adobe的這些工具至少是公開可用的。 OpenAI的Sora、Meta的Movie Gen和Google的Veo等AI影片產生工具的內容均還不可用。

在有限公開測試階段，Firefly相關產品免費使用，用戶也可前往官網申請加入候補名單。

目前，Adobe尚未宣布任何客戶使用其影片產生工具。但據Adobe透露，百事可樂旗下的運動飲料品牌佳得樂將在一個網站上使用其圖像生成模型，顧客可以在該網站上購買定製版瓶子。全球最大的玩具公司美泰兒一直在使用Adobe工具來幫助設計其芭比娃娃系列的包裝。

面對OpenAI、Runway、Google和Meta等競爭對手，Adobe將未來押注在使用合法資料訓練的模型上，以確保其AI生成內容可在商業作品中合法使用。

Firefly視訊模型憑藉其使用授權內容的訓練數據，確保了產生內容的版權合規性。這項優勢使得產生的內容能夠合法應用於商業項目，這對企業和品牌而言非常重要。而其他影片生成模型則因訓練資料來源不明或未經授權，頻頻捲入版權和道德爭議。