能生成完整劇集的AI來了GPT-4輔助寫劇本幾秒生成一集《南方公園》
目標是讓AI過上自己的生活。從1997年流行至今的動畫劇集《南方公園》今年3月剛剛更新完第26季,不過說起下面這集,你可能不太會有印象。卡特曼有一天從最近的好萊塢抗議AI罷工事件中得到啟發,突發奇想要做一個新的商業項目:一款名叫Queepi的在線深度偽造(Deepfake)服務,來給現成的影視作品裡的角色換臉,解決好萊塢將沒有新作供應的危機。
他先找到了Bizney公司,想讓Bizney成為Queepi的天使投資人,卻被發言人告知,“除非你能找到另一個願意投資你的人”。
接著卡特曼又和他的小老弟Butters找到了投資中介人Andreessen,一番討論之後決定先找幾個演員談談肖像權合作。
第一個是哈里森·福特。但福特拒絕了卡特曼,原因是他已經和某個非常有名的科技巨頭簽訂了類似的合作。
第二個是梅麗爾·斯特里普。斯特里普先是表明自己堅定地站在好萊塢罷工者們一邊,接著以AI會模糊現實和虛假的界限、搶走演員們的飯碗為由拒絕了卡特曼。她也神秘地說自己和某個科技巨頭有約在先了。
第三個是湯姆·克魯斯。從湯姆·克魯斯這里卡特曼才知道,這幾個大牌演員共同的簽約對像是——埃隆·馬斯克。
湯姆·克魯斯沒有明確拒絕卡特曼,反而樂意充當中間人介紹馬斯克給卡特曼認識。
馬斯克這邊正在策劃一個把一批知名演員送上火星,美其名曰保護人類文化遺產的項目。有湯姆·克魯斯在一邊說好話,馬斯克決定考慮考慮投資卡特曼這個“變革娛樂產業”項目的事情。
故事的結局是,開始卡特曼還開心地跑到Bizney公司準備這家正在觀望的公司入夥,不多久就得知,老奸巨猾的馬斯克根本沒有把他的項目放在心上,繼續忙他的火星計劃去了。
這個名為《Queepi窘境》的滑稽故事看起來和《南方公園》的其他故事都是差不多的畫面和風格,但炸裂的消息是,這個故事從頭到尾的編劇、導演、剪接和配音,都是由AI完成的。
一家名叫Fable的舊金山初創公司在最近發布了這個叫做“Showrunner”的AI技術成果。Showrunner目前能夠在一些既有的影視作品(IP)的基礎上,生成以用戶的想法為主的全新作品。
Fable成立於2018年,最早是作為Facebook(現Meta)旗下Oculus的一個部門誕生,早期主要在做VR電影的相關項目。
Fable曾憑藉VR電影《Henry》拿到了它的第一座艾美獎,後來又憑藉由其打造的虛擬人Lucy出演的VR電影《Wolves in the Walls》再度拿下艾美獎。而就在7月早前,虛擬人Lucy還獲得了皮博迪獎。
不過,現在Fable則把相當一部分精力放在了探索AI內容上。
“Lucy的問題在於她沒有過去,因為她從未真正生活過。”Fable的CEO Edward Saatchi不久前在接受采訪時說道,“她是一個虛擬人,但她無法通過說’我也有寵物,後來它死了,所以我知道那種感覺’這樣的話和真人產生關聯。”
讓AI擁有自己的生活,這幾乎成為Fable探索AI的出發點。
Showrunner便是這家公司目前AI研究成果的一次集中展示。
除了文章開頭提到的故事,Fable其實還用Showrunner生成了另外幾個與之劇情相關聯的《南方公園》的故事。比如其中一個就是關於Bizney公司創造了一個種族歧視的機器人豬伴侶,結果給公司造成了公關噩夢。
另一個故事講的則是,投資中介人Andreessen發現馬斯克綁架了好萊塢知名演員到火星和他一起生活,並從90年代就開始對他們出演的電影進行深度偽造。
從Fable發布的論文來看,Showrunner用到了由其命名的Show-1模型,並且該模型主要用到了OpenAI的大語言模型GPT-4,圖像自定義的擴散模型和多智能體模擬等來進行訓練。
如,GPT-4主要用來影響模擬中的智能體(角色)並生成《南方公園》劇集的場景。
有趣的是,GPT-4的訓練數據集原本就包括了《南方公園》大部分劇集,所以它已經對每個角色的個性和語言風格都提前有了了解,所以這次也無需做定制。
擴散模型方面,Fable則從以往的劇集素材中收集了一個由大約1200個人物和600張背景圖片組成的綜合數據集,作為模型學習該劇風格的原材料。
經過擴散模型的訓練,可以為每個新作品生成新的單個角色和單獨背景,來為後續拼接做準備。
多智能體模擬則是讓劇中的角色智能體真正能“擁有自己生活”的關鍵一步,想像一下《西部世界》裡的場景,此時劇中的角色等於說已經可以進行相互訓練了。
而到了用戶這裡,操作界面就變得非常簡單。
用戶只需要進入Fable搭載了Showrunner技術的產品“Simulation”,在《南方公園》大地圖中選擇一個期望的主角,以及其他的角色、場景等,並輸入一段prompt,稍等片刻就可以生成一個嶄新的故事。
比如開頭提到的故事,輸入的prompt就是:
卡特曼聽說美國演員工會正在進行罷工,孩子們都在擔心未來不會有新的作品推出。卡特曼宣布了他的商業創意:一個叫做Queepi的在線深度偽造服務。
對故事的干預程度也完全可以根據用戶自己的偏好而定。
Fable稱,用戶可以通過以下三種方式來生成故事:一是讓Simulation自動創建劇集,二是給出一兩句話的提示,三是針對細節,可以逐個場景編輯對話場景並重新生成。
此外,用戶甚至還能把自己作為主角或其他角色放進去。
Show-1的角色擴散模型允許用戶通過圖像到圖像的Stable Diffusion,根據自己的長相創建一個角色,作為參與的智能體加入模擬。由於用戶也可以克隆自己的聲音,因此通過擴散模型創建用戶自己的角色也不是難事。
Fable的CEO Saatchi就創建角色主演了自己的《南方公園》劇集。
從最後的效果來看,新生成的劇集幾乎已經是“以假亂真”的程度。
拿《Queepi窘境》這集來說,儘管它可能不是最有趣的故事,但它已經完整地包含了開頭、中間的轉合和結尾,並且當中的13個角色,每個人的台詞都符合各自的背景、個性、語言風格和動機,甚至交代地點的空鏡也非常貼合。
把它放給一個不知情的觀眾看,可能也很難想像這是AI創作出的作品。
這樣的跨越意義非同尋常。
從目前許多大模型的表現來看,一般擅長的都是完成短期任務。就像可能在幾天前用戶想靠大模型生成一段視頻,方法還都是比如先用ChatGPT生成劇本,用Midjourney或Stable Diffusion生成人物形象,再用Runway之類的視頻生成工具去生成畫面,最後再把片段剪接到一起。
還沒有一個模型能夠生成足夠完整、有構思規劃的長篇故事和影視劇集。
更重要的是,AI智能體們可能從此將像《西部世界》裡演繹的那樣擁有自己的棲身之地,在這裡它們有完整的生命,可以彼此對話,產生連接,發生故事……
Fable似乎也並不滿足於只借助他人的IP去生成《南方公園》這樣的新故事。早先,Saatchi就宣布Fable將創建一個充滿AI角色的世界——這些角色將由真人訓練,在虛擬世界中生活。
“我們推出Simulation的目標是通用人工智能(AGI),”Fable幾天前通過@fablesimulation 的官方賬號發文談到,“AI是真正活著的,而不像很多聊天機器人一樣只在人類有需求的時候才被喚醒, ‘AI人’能夠在模擬世界中每天過著真實的生活,並隨時間慢慢成長。”
Fable還希望用戶能夠像“那就是真實的人在生活”那樣看待現在這些AI生成的劇集。
對此,英偉達首席AI科學家Jim Fan還興奮地斷言,“多智能體模擬,將是新興智能的下一個前沿。 ”
不過,Fable風險可能在於,它現在剛好站在了好萊塢抗議AI罷工的風波之中。
7月中旬,繼編劇停工兩個多月之後,美國演員公會也發起了罷工,要求抵制潛在的AI侵襲。據稱這可能導致60多年來美國電影業最嚴重的一次癱瘓。
Fable做的事,看上去恰好一拳打在了編劇演員們的憤怒點上。
拿《南方公園》來說,據報導,這部劇的每一集都是在6天之內製作完成——在開會腦暴之後,編劇寫出劇本,然後由動畫師、編輯、技術人員和音響工程師組成的整個團隊完成製作,一周下來要工作100-120小時。
但隨著Simulation這樣的產品出現,不知道又會有多少人丟掉飯碗。甚至有媒體稱Simulation的推出是“所有好萊塢從業者恐懼的總和”。
從社交網站的評價來看,網友對Simulation生成《南方公園》劇集這件事的評價還是比較兩級的。支持者期待著能用這一工具改寫爛尾的《權力的遊戲》,驚嘆於它的模仿能力,甚至預言它將能提高影視團隊的生產力。
反對者則認為,Simulation並不懂什麼是影視製作,稱它竊取了他人的成果,AI就是純粹的VC騙局;
潘多拉的魔盒一旦打開,就關不上了。
也或許是出於輿論壓力,Fable的公開發言都在反復強調《南方公園》劇集的生成“僅供研究使用”,“我們不會開放讓用戶創造自己的《南方公園》劇集的功能,因為這不是我們的IP!”
據Fable稱,其正在與創作者合作,會在今年晚些時候宣布幾個基於原創IP的Simulations生成的電視節目,包括了一個太空探索模擬“獎金”,一個諷刺矽谷的模擬“退出矽谷”,以及一款可玩性較高的偵探模擬“查理·木星”。
Saatchi似乎沒有那麼擔心Fable的未來,幾天前他在採訪中就針對當前好萊塢的罷工風波表示,
“我們覺得(推出Simulations的)時機是正確的。通過發布研究成果,我們希望好萊塢工會能夠協商強有力的保護措施保證藝術家的權益,同時知識產權持有者也需要弄清楚如何與商業化的人工智能公司進行談判。”“這次罷工是製定未來十幾年規則最大的槓桿時刻。”