朋友，你知道這個英文單詞是什麼嗎？Pneumonoultramicroscopicsilicovolcanoconiosis.這個世界公認最長—— 由45 個字母組成的單詞，意思是“因肺部沉積火山矽質微粒所引起的疾病”（俗稱火山矽肺病）。但如果說，現在不是讓你拼讀這個單詞，而是…… 把它給畫出來呢？（讀都讀不出來，還畫畫？？？）

谷歌最新提出來的一個AI——Parti，它就能輕鬆hold 住這事。

在把這個單詞“投餵”給Parti 後，它就能有模有樣地生成多張合情合理的肺部疾病圖片：

但這只是Parti 小試牛刀的能力，據谷歌介紹，它是目前最先進的“文本轉圖像”AI。

例如，跟它說句：“把悉尼歌劇院和巴黎鐵塔做個結合”，輸出結果是這樣的：

（不知道的還真以為是畫報呢）

而且在算法路數上，還不同於谷歌自家的Imagen，Parti 可以說是把“AI 作畫”卷出了新高度。

就連谷歌AI 負責人Jeff Dean 也連發數條推文，玩得不亦樂乎：

可擴展到200 億參數：更逼真，更“聰明”

事實上，Parti 的能力還不止於此。

得益於模型可擴展到200 億參數，一方面，它生成的圖像更加細節逼真。

不管是短短幾個字，還是五十多個個單詞的小段落，都能清晰展現出來。

比如，The back of a violin，小提琴的背面。

亦或是照著梵高《星空》來描述的夜晚畫面。ps，這段有67 個單詞。

結果Parti 也不在話下，一攬子把各種風格的圖全給你畫出來了~

這也正是Parti 的第二大能力，不光細節到位，風格也能做到多變。

還有像“浣熊穿正裝，頭戴禮帽，拄著拐杖，拿著個垃圾袋”這種奇特的描述，它也能在整出花活的同時還不落細節。

風格上，則有梵高風、埃及法老風、像素風、中國傳統繪畫風、抽象主義風……

甚至有時候它還會講雙關笑話。

（Toad’ay，癩蛤蟆）

具體在測試結果上，MS-COCO、Localized Narrative（LN，4 倍長的描述）上FID 分數，Parti 都取得了最先進的結果。

尤其在MS-COCO 零樣本的FID 得分僅為7.23，微調FID 得分為3.22，超過了此前的Imagen 和DALL-E 2。

所有組件都是Transformer

時隔一個月，谷歌再把AI 作畫卷出新高度，結果作者卻說：秘訣很簡單。

Parti 主要是將文本生成圖像視作序列到序列之間建模。這有點類似於機器翻譯，將文本標記作為編碼器的輸入，目標輸出從文本變成了圖像。

從結構上看，它的所有組件只有三部分：編碼器、解碼器以及圖像標記器，且都是基於標準Transformer。

首先，使用基於Transformer 的圖像標記器ViT-VQGAN，將圖像編碼為離散的標記序列。

然後再通過Transformer 的編碼-解碼結構，將參數擴展到200 億。

以往關於文本生成圖像的研究，除了最早出現的GAN，大體可以分成兩種思路。

一種是基於自回歸模型，首先文本特徵映射到圖像特徵，再使用類似於Transformer 的序列架構，來學習語言輸入和圖像輸出之間的關係。

這種方法的一個關鍵組成部分就是圖像標記器，將每個圖像轉換為一個離散單元的序列。比如DALL-E 和CogView，就採用了這一思路。

另一種則是這段時間以來進展頻頻的路線——基於擴散的文本到圖像模型，比如DALL-E 2 和Imagen。

他們摒棄了圖像標記器，而是採用擴散模型來直接生成圖像。可以看到的是，這些模型產生的圖像質量更高，在MS-COCO 零樣本FID 得分更好。

而Parti 模型的成功，則證明了自回歸模型可以用來改善文本生成圖像的效果。

與此同時，Parti 還引入並發布了新的基準測試——PartiPrompts，用於衡量模型在12 個類別和11 個挑戰方面的能力。

但Parti 還是有一定的局限性，研究人員也展示了一些bug：

比如，對否定的描述就沒招了~

一個沒有香蕉的盤子，旁邊一個沒有橙汁儿的玻璃杯。

還會犯一些常識性錯誤，例如不合理地縮放。比如這張圖，機器人竟然比賽車高出好幾倍。

一個穿著賽車服和黑色遮陽板的閃亮機器人自豪地站在一輛F1 賽車前。太陽落在城市景觀上。漫畫書插圖。

谷歌“自己卷自己”

在這項研究來自Google Research，團隊中的華人居多。

研究核心工作人員包括Yuanzhong Xu、Thang Luong 等，目前均就職於谷歌從事AI 相關研究工作。

（Thang Luong 在谷歌學術上的引用量高達20000+）

△ 左：Yuanzhong Xu；右：Thang Luong

不過有意思的是，同為“說句話讓AI 作畫”，同為出自谷歌之手的Imagen，它跟Parti 還真有點千絲萬縷的關係。

在Parti 的GitHub 的項目文檔中就有提到：

感謝Imagen 團隊，他們在發布Imagen 之前與我們分享了其最近完整的結果。

他們在CF-guidance 方面的重要發現，對最終的Parti 模型特別有幫助。

而且Imagen 的作者之一Burcu Karagol Ayan，也參與到了Parti 的項目中。

（有種穀歌“自己卷自己”那味了）

不僅如此，就連“隔壁”DALL-E 2 的作者Aditya Ramesh，也給Parti 在MS-COCO 評價方面做了討論工作。

以及DALL-Eval 的作者們，也在Parti 數據方面的工作提供了幫助。

還有一件事

有一說一，就“文本生成圖像”這事，可不只是研究人員們的寵兒。

網友們在“玩”它這條路上，也是樂此不疲（腦洞不要太大好吧）。

前一陣子讓Imagen 畫一幅宋朝“虎戴VR”，直接演變成AI 作畫大戰。

△ 圖：Imagen 作畫

DALL・E、MidJourney 等“聞訊趕來”參與其中。

△ DALL・E 作畫

甚至還有把Wordle 和DALL-E 2 搞到一起的：

……

不過回歸到這次的Parti，好玩歸好玩，但還是有網友提出了“直擊靈魂”的問題：

啥時候商業化？要是自己“關門玩”就沒意思了。

Parti 論文地址：

https://parti.research.google/

GitHub 項目地址：

https://github.com/google-research/parti

參考鏈接：

[1]https://twitter.com/lmthang/status/1539664610596225024

[2]https://gizmodo.com/new-browser-game-combines-dall-e-mini-and-wordle-1849105289

[3]https://imagen.research.google/

來源：量子位