OpenAI的文生視訊模型Sora刷屏了。它有多震撼呢？這麼說吧，上一次這麼瘋狂的刷屏可能還是人類第一次見到ChatGPT的時候。以及，Sora之前幾小時Google剛推出了它最強的LLM Gemini1.5，並試圖宣稱自己終於殺死了GPT-4，然而，顯然現在沒人關注了。

因為看完Sora你可能會發現，OpenAI自己可能要用它先殺死GPT-4了。

每個人都可以創造自己的世界了

先來看看Sora。

人們一直期待GPT-5，但Sora帶來的轟動不亞於一次GPT-5的發表。

作為OpenAI 首推的文本轉視頻模型，Sora能夠根據文本指令或靜態圖像生成長達1分鐘的視頻，其中包含精細複雜的場景、生動的角色表情以及復雜的鏡頭運動。同時也接受現有影片擴充或填補缺失的畫面。

每個提示60秒的影片長度與Pika Labs的3秒、Meta Emu Video的4秒、和Runway公司Gen-2的18秒相比，妥妥地鐵贏了。並且從官方發布的演示來看，無論從影片流暢度或細節表現能力上，Sora的效果都相當驚艷。

例如官推裡這14秒的東京雪景影片。

提示詞：Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and als at nearby stalls. Gorgeous sakura snowy weather and als at nearby stalls。

「美麗的，被雪覆蓋的東京正繁忙著。鏡頭穿過繁忙的城市街道，跟隨著幾個享受雪景和在附近攤位購物的人。美麗的櫻花瓣隨風飄落，與雪花一同飛舞。”

穿著時尚的女性漫步在霓虹背景的東京街頭，地面有積水倒影。

對於五官和皮膚的刻畫十分真實，特別是痘印和法令紋，細節讓人驚嘆。

猛獁象自冰河雪原中緩步從來，背後升騰起雪霧。

燭火旁純真頑皮的3D動畫小怪物，光影、表情和毛茸茸的細節滿分：

一名24歲女性的眼睛特寫，足以以假亂真。

無人機視角的海浪拍打著Big Sur加瑞角海岸崖壁，落日灑下金色光芒。

窗台上的花朵開放縮時影像：

民眾上街舞龍，慶祝中國農曆春節。

可愛小貓咪在線安撫起床氣。

夜晚街道跑著的快樂小狗。

兩艘微型海盜船在一杯咖啡裡對峙。

加州淘金時代罕見「歷史影像」流出— 像嗎？ Sora做的。

目前Sora還在測試階段，僅對部分評估人員、視覺藝術家、設計師和電影製作人們開放存取權限，拿到試用資格的人們已經開始想像力橫飛。

Sam Altman就轉發網友用Sora製作的“金光燦燦動物園”視頻，玩起了自己的“What”梗：

他也邀請大家踴躍提出想用Sora製作影片的提示詞，團隊馬上為大家生成，瞬間8千多條回覆。

網友腦洞大開，要看海洋生物的自行車公開賽。

兩隻金毛在山上戴著耳機開播客。

當然也不忘cue一下去向成謎的Ilya，要求生成一個「Ilya眼中的真實世界」。

不過OpenAI也表示，雖然Sora 對自然語言有著深入的理解，能夠準確洞悉提示詞，生成表達豐富的內容，並可以創建多個鏡頭、保持角色和視覺風格的一致性，但仍不可避免地存在一些弱點。

例如，它在準確模擬複雜場景的物理現象方面存在困難，也可能不理解特定的因果關係。比方說“一個人咬一口餅乾後，餅乾上可能並沒有咬痕。”

模型也可能混淆提示的空間細節，像是弄錯左右。或「在準確體現隨時間發生的事件方面遇到困難，例如遵循特定的攝影機軌跡」。

Sora也使用了DALL·E 3的recaptioning技術，該技術涉及為視覺訓練資料產生高度描述性的標題。因此模型能夠更忠實地按照使用者在生成影片中的文字指令進行操作。

它能夠一次性生成整個視頻，或擴展已生成的視頻使其變長。透過讓模型一次預見多幀，解決了即使主體暫時離開視線也能保持不變的挑戰性問題。

關於安全性，OpenAI表示正與錯誤訊息、仇恨內容和偏見等領域的專家合作，對模型進行對抗性測試。同時也開發幫助偵測誤導性內容的工具，辨識影片是否由Sora產生。對於違反使用政策的文字提示，例如暴力、仇恨和侵犯他人智慧財產權等內容，將拒絕顯示給使用者。

除此之外，為DALL·E 3產品建構的現有安全方法也同樣適用於Sora。

「儘管進行了廣泛的研究和測試，我們仍無法預測人們將如何利用我們的技術，也無法預見人們如何濫用它。這就是為什麼我們相信，從真實世界的用例中學習，是隨時間構建越來越安全的AI系統的關鍵組成部分。”

OpenAI對Sora信心滿滿，認為這為模型理解和模擬真實世界奠定了基礎，是「實現AGI的重要里程碑」。

網友們也第n+1次紛紛哀悼起相關賽道的公司們：

“OpenAI就是不能停止殺死創業公司。”

“天哪，現在起我們要弄清楚什麼是真的，什麼是假的。”

“我的工作沒了。”

“整個影像素材行業被血洗，安息吧。”

能殺死GPT-4的世界模型？這不就是嗎

OpenAI一如既往沒有給出很詳細的技術說明，但有些只言片語已經足夠讓你浮想聯翩。

其中最吸引我們注意的第一個點，就是對資料的處理。

Sora是擴散模型（diffusion model），採用類似GPT的Transformer架構。而在解決訓練中文字資料與視訊資料之間的統一方面，OpenAI表示，他們在處理影像和視訊資料時，把它們分割後得到的最小單元，稱為小塊（patches），也就是對應LLM裡的基本單元tokens。

這是一個很重要的技術細節。把它當作模型處理的基本單元，使得深度學習演算法更有效地處理各種視覺數據，涵蓋不同的持續時間、解析度和寬高比。

從最終的震撼效果來看，你很難不得出這樣一個結論：對語言的理解能力，是可以遷移到對更多形態的數據的理解方法上去的。

先前的Dalle-3的效果就被公認很大程度來自OpenAI在GPT上累積的領先N代的語言能力，即使是個圖像為輸出的模型，語言能力提升也是至關重要的。而今天的視訊模型，也是如此。

至於它是如何做到的，有不少業界的專家給出了相同的猜測：它的訓練資料裡使用了遊戲領域最前端的物理引擎Unreal Engine5，簡單粗暴的理解，就是語言能力足夠強大之後，它帶來的泛化能力直接可以學習引擎生成的圖像視頻數據和它體現出的模式，然後還可以直接用學習來的，引擎最能理解的方式給這些利用了引擎的強大技術的視覺模型模組下指令，產生我們看到的逼真強大的對物理世界體現出「理解」的影片。

基於這個猜測，OpenAI簡短的介紹中的這句話似乎就更重要了：

“Sora 是能夠理解和模擬現實世界的模型的基礎，OpenAI相信這一功能將成為實現AGI的重要里程碑。”

理解，現實，世界。

這不就是人們總在爭論的那個唯一有可能「幹掉」GPT-4的世界模型。現在，OpenAI搞出來了它的雛形，擺在了你的面前。

看起來，這個模型學會了關於3D 幾何形狀和一致性的知識，而且並非OpenAI訓練團隊預先設定的，而是完全是透過觀察大量資料自然而然地學會的。負責Sora訓練的OpenAI科學家Tim Brooks表示，AGI將能夠模擬物理世界，而Sora就是邁向這個方向的關鍵一步。

顯然，在OpenAI眼裡，它不只是一個“文生視訊模型”，而是更大的東西。

我們如果嘗試進一步給一個暴論，就是：語言是理解一切的基礎，理解了影片後，世界模型才會到來。

或許這才是比今天刷屏感慨「現實不存在了」之外，更恐怖的地方。這可能是人類通往AGI的另一個ChatGPT時刻。