人類幼崽2歲就能做的事，AI竟然才學會？早在2017年，就有網友吐槽：2歲幼童只要見過一次犀牛的照片，就能在其他圖片裡認出不同姿勢、視角和風格的卡通犀牛，但AI卻做不到。

直到現在，這一點終於被科學家攻克了！

最新研究發現，只要給AI餵3-5張圖片，AI就能抽像出圖片裡的物體或風格，再隨機生成個性化的新圖片。

有網友評價：非常酷，這可能是我這幾個月來看到的最好的項目。

它是如何工作的？

讓我們先來看幾個例子。

當你上傳3張不同角度的陶瓷貓照片，可能會得到以下4張新圖像：兩隻在船上釣魚的陶瓷貓、陶瓷貓書包、班克斯藝術風格的貓以及陶瓷貓主題的午餐盒。

同樣的例子還有藝術品：

鎧甲小人：

碗：

不只是提取圖像中的物體，AI還能生成特定風格的新圖像。

例如下圖，AI提取了輸入圖像的繪畫風格，生成了一系列該風格的新畫作。

更神奇的是，它還能將兩組輸入圖像相結合，提取一組圖像中的物體，再提取另一組的圖像風格，兩者結合，生成一張嶄新的圖像。

除此之外，有了這個功能，你還可以對一些經典圖像“下手”，給它們添加一些新元素。

那麼，這麼神奇的功能背後是什麼原理呢？

儘管近兩年來，大規模文本-圖像模型，如DALL·E、CLIP、GLIDE等，已經被證明有很強的自然語言推理能力。

但有一點：如果用戶提出一些特定的需求，比如生成一張包含我最喜歡的童年玩具的新照片，或者把孩子的塗鴉變成一件藝術品，這些大規模模型都很難做到。

為了應對這一挑戰，研究給出了一個固定的、預先訓練好的文本-圖像模型和一個描述概念的小圖像集（用戶輸入的3-5張圖像），目標是找到一個單一的詞嵌入，從小集合中重建圖像。由於這種嵌入是通過優化過程發現的，於是稱之為“文本倒置（Textual Inversion）”。

具體來說，就是先抽像出用戶輸入圖像中的物體或風格，並轉換為“S∗”這一偽詞（pseudo-word），這時，這個偽詞就可以被當作任何其他詞來處理，最後根據“S∗”組合成的自然語句，生成個性化的新圖像，比如：

“一張S∗在海灘上的照片”、”一幅掛在牆上的S∗的油畫”、”以S2∗的風格畫一幅S1∗”。

值得注意的是，由於本次研究應用了一個小規模、經過策劃的數據集，因此在生成圖像時能有效地避免刻板印象。

例如下圖，當提示“醫生”時，其他模型傾向於生成白種人和男性的圖像，而本模型生成圖像中則增加了女性和其他種族的人數。

目前，該項目的代碼和數據已開源，感興趣的小伙伴可以關註一下。

作者介紹

該篇論文來自特拉維夫大學和英偉達的研究團隊，作者分別是Rinon Gal、Yuval Alaluf、Yuval Atzmon、Or Patashnik、Amit H. Bermano、Gal Chechik、Daniel Cohen-Or。

第一作者Rinon Gal，是特拉維夫大學的計算機科學博士生，師從Daniel Cohen-Or和Amit Bermano，主要研究方向是在減少監督的條件下生成2D和3D模型，目前在英偉達工作。

參考鏈接：

[1]

https://textual-inversion.github.io/

[2]https://github.com/rinongal/textual_inversion

[3]https://arxiv.org/abs/2208.01618

[4]https://twitter.com/_akhaliq/status/1554630742717726720

[5]https://rinongal.github.io/

來源：量子位