“一句話生成視頻”AI 爆火:分辨率達到480×480 只支持中文輸入
一周不到,AI 畫師又“進階”了,還是一個大跨步—— 直接1 句話生成視頻的那種。輸入“一個下午在海灘上奔跑的女人”,立刻就蹦出一個4 秒32 幀的小片段:
![](https://i0.wp.com/static.cnbetacdn.com/article/2022/0603/a132eff73a49c9e.gif?w=640&ssl=1)
又或是輸入“一顆燃燒的心”,就能看見一隻被火焰包裹的心:
![](https://i0.wp.com/static.cnbetacdn.com/article/2022/0603/87688416097abe1.gif?w=640&ssl=1)
這個最新的文本-視頻生成AI,是清華& 智源研究院出品的模型CogVideo。
Demo 剛放到網上就火了起來,有網友已經急著要論文了:
![](https://i0.wp.com/x0.ifengimg.com/res/2022/0CE19833E14CB27210DC523E3133B9260080943A_size2721_w480_h661.gif?w=640&ssl=1)
![](https://i0.wp.com/static.cnbetacdn.com/thumb/article/2022/0603/ac5132e4d0effe6.png?w=640&ssl=1)
CogVideo“一脈相承”於文本-圖像生成模型CogView2,這個系列的AI 模型只支持中文輸入,外國朋友們想玩還得借助Google翻譯:
![](https://i0.wp.com/static.cnbetacdn.com/thumb/article/2022/0603/0ed314fb68f9b70.png?w=640&ssl=1)
看完視頻的網友直呼“這進展也太快了,要知道文本-圖像生成模型DALL-E2 和Imagen 才剛出”
![](https://i0.wp.com/static.cnbetacdn.com/thumb/article/2022/0603/a7881df86751269.png?w=640&ssl=1)
還有網友想像:照這個速度發展下去,馬上就能看到AI 一句話生成VR 頭顯裡的3D 視頻效果了:
![](https://i0.wp.com/static.cnbetacdn.com/thumb/article/2022/0603/81a46ad5118909e.png?w=640&ssl=1)
所以,這只名叫CogVideo 的AI 模型究竟是什麼來頭?
生成低幀視頻後再插幀
團隊表示,CogVideo 應該是當前最大的、也是首個開源的文本生成視頻模型。
在設計模型上,模型一共有90 億參數,基於預訓練文本-圖像模型CogView2 打造,一共分為兩個模塊。
第一部分先基於CogView2,通過文本生成幾幀圖像,這時候合成視頻的幀率還很低;
第二部分則會基於雙向注意力模型對生成的幾幀圖像進行插幀,來生成幀率更高的完整視頻。
![](https://i0.wp.com/static.cnbetacdn.com/thumb/article/2022/0603/a4ec7a5dc09b3fa.png?w=640&ssl=1)
在訓練上,CogVideo 一共用了540 萬個文本-視頻對。
這裡不僅僅是直接將文本和視頻匹配起來“塞”給AI,而是需要先將視頻拆分成幾個幀,並額外給每幀圖像添加一個幀標記。
這樣就避免了AI 看見一句話,直接給你生成幾張一模一樣的視頻幀。
其中,每個訓練的視頻原本是160×160 分辨率,被CogView2 上採樣(放大圖像)至480×480 分辨率,因此最後生成的也是480×480 分辨率的視頻。
至於AI 插幀的部分,設計的雙向通道注意力模塊則是為了讓AI 理解前後幀的語義。
![](https://i0.wp.com/static.cnbetacdn.com/article/2022/0603/d5ec7e7ce657e7d.png?w=640&ssl=1)
最後,生成的視頻就是比較絲滑的效果了,輸出的4 秒視頻幀數在32 張左右。
在人類評估中得分最高
這篇論文同時用數據測試和人類打分兩種方法,對模型進行了評估。
研究人員首先將CogVideo 在UCF-101 和Kinetics-600 兩個人類動作視頻數據集上進行了測試。
![](https://i0.wp.com/static.cnbetacdn.com/thumb/article/2022/0603/911835d48dd8844.png?w=640&ssl=1)
其中,FVD(Fréchet 視頻距離)用於評估視頻整體生成的質量,數值越低越好;IS(Inception score)主要從清晰度和生成多樣性兩方面來評估生成圖像質量,數值越高越好。
整體來看,CogVideo 生成的視頻質量處於中等水平。
但從人類偏好度來看,CogVideo 生成的視頻效果就比其他模型要高出不少,甚至在當前最好的幾個生成模型之中,取得了最高的分數:
![](https://i0.wp.com/static.cnbetacdn.com/thumb/article/2022/0603/4b02669c527085b.png?w=640&ssl=1)
具體來說,研究人員會給志願者一份打分錶,讓他們根據視頻生成的效果,對幾個模型生成的視頻進行隨機評估,最後判斷綜合得分:
![](https://i0.wp.com/static.cnbetacdn.com/thumb/article/2022/0603/8fe378523a911b2.png?w=640&ssl=1)
CogVideo 的共同一作洪文逸和丁銘,以及二作鄭問迪,三作Xinghan Liu 都來自清華大學計算機系。
此前,洪文逸、丁銘和鄭問迪也是CogView 的作者。
論文的指導老師唐杰,清華大學計算機系教授,智源研究院學術副院長,主要研究方向是AI、數據挖掘、機器學習和知識圖譜等。
對於CogVideo,有網友表示仍然有些地方值得探究,例如DALL-E2 和Imagen 都有一些不同尋常的提示詞來證明它們是從0 生成的,但CogVideo 的效果更像是從數據集中“拼湊”起來的:
![](https://i0.wp.com/static.cnbetacdn.com/thumb/article/2022/0603/50281e56512aa97.png?w=640&ssl=1)
例如,獅子直接“用手”喝水的視頻,就不太符合我們的常規認知(雖然很搞笑):
![](https://i0.wp.com/static.cnbetacdn.com/article/2022/0603/425022c42eb68ce.gif?w=640&ssl=1)
(是不是有點像給鳥加上兩隻手的魔性表情包)
![](https://i0.wp.com/x0.ifengimg.com/res/2022/709E26C21710CDADBCC536D3D26FACCCE559B0A3_size5378_w480_h307.gif?w=640&ssl=1)
但也有網友指出,這篇論文給語言模型提供了一些新思路:
用視頻訓練可能會進一步釋放語言模型的潛力。因為它不僅有大量的數據,還隱含了一些用文本比較難體現的常識和邏輯。
![](https://i0.wp.com/static.cnbetacdn.com/thumb/article/2022/0603/33626816a2b6f2a.png?w=640&ssl=1)
目前CogVideo 的代碼還在施工中,感興趣的小伙伴可以去蹲一波了~
項目&論文地址:
https://github.com/THUDM/CogVideo
來源:量子位