剛剛，奧特曼發布OpenAI首個視頻生成模型Sora。完美繼承DALL·E 3的畫質和遵循指令能力，能產生長達1分鐘的高清影片。

AI想像中的龍年春節，紅旗招展人山人海。

有緊跟舞龍隊伍抬頭好奇官網的兒童，還有不少人掏出手機邊跟邊拍，海量人物角色各有各的行為。

雨後東京街頭，潮濕地面反射霓虹燈光影效果堪比RTX ON。

行駛中的列車窗外偶遇遮擋，車內人物倒影短暫出現非常驚艷。

也可以來一段好萊塢大片質感的電影預告：

豎屏超近景視角下，這隻蜥蜴細節拉滿：

網友直呼game over，工作要丟了：

甚至有人已經開始「悼念」一整個產業：

AI理解運動中的物理世界

OpenAI表示，正在教導AI理解和模擬運動中的物理世界，目標是訓練模型來幫助人們解決需要現實世界互動的問題

根據文字提示生成視頻，僅僅是整個計劃其中的一步。

目前Sora已經能產生具有多個角色、包含特定運動的複雜場景，不僅能理解使用者在提示中提出的要求，還要了解這些物體在物理世界中的存在方式。

例如一大群紙飛機在樹林中飛過，Sora知道碰撞後會發生什麼，並且表現出其中的光影變化。

一群紙飛機在茂密的叢林中翩翩起舞，在樹林中穿梭，就像候鳥一樣。

Sora還可以在單一影片中創建多個鏡頭，並依靠對語言的深入理解準確地解釋提示詞，保留角色和視覺風格。

美麗、白雪皚皚的東京熙熙攘攘。鏡頭穿過熙熙攘攘的城市街道，跟著幾個人享受美麗的雪天並在附近的攤位購物。絢麗的櫻花花瓣隨著雪花隨風飄揚。

對於Sora目前存在的弱點，OpenAI也不避諱，指出它可能難以準確模擬複雜場景的物理原理，並且可能無法理解因果關係。

例如“五隻灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”，狼的數量會變化，一些憑空出現或消失。

該模型還可能混淆提示的空間細節，例如混淆左右，並且可能難以精確描述隨著時間推移發生的事件，例如遵循特定的相機軌跡。

如提示詞「籃球穿過籃框然後爆炸」中，籃球沒有正確被籃框阻擋。

技術方面，目前OpenAI透露的不多，簡單介紹如下：

Sora是一種擴散模型，從噪音開始，能夠一次產生整個影片或擴展影片的長度，

關鍵之處在於一次產生多幀的預測，確保畫面主體即使暫時離開視野也能保持不變。

與GPT模型類似，Sora使用了Transformer架構，具有強烈的擴展性。

在數據方面，OpenAI將視訊和圖像表示為patch，類似於GPT中的token。

透過這種統一的資料表示方式，可以在比以前更廣泛的視覺資料上訓練模型，涵蓋不同的持續時間、解析度和縱橫比。

Sora建立在過去對DALL·E和GPT模型的研究之上。它使用DALL·E 3的重述提示詞技術，為視覺訓練資料產生高度描述性的標註，因此能夠更忠實地遵循使用者的文字指令。

除了能夠僅根據文字指令生成視頻之外，該模型還能夠獲取現有的靜態圖像並從中生成視頻，準確地讓圖像內容動起來並關注小細節。

該模型還可以獲得現有影片並對其進行擴展或填充缺失的幀，請參閱技術論文以了解更多資訊（稍後發布）。

Sora 是能夠理解和模擬現實世界的模型的基礎，OpenAI相信這項功能將成為實現AGI的重要里程碑。

奧特曼線上接單

目前已有一些視覺藝術家、設計師和電影製作人（以及OpenAI員工）獲得了Sora存取權限。

他們開始不斷po出新的作品，奧特曼也開始了線上接單模式。

帶上你的提示詞@sama，就有可能收到產生好的影片回覆。

來源：量子位