英偉達的最新AI工具又讓網友用戶們激動了。 “我已經等不及了！” 一位網友在看完演示視頻后表示。 對於「手殘黨」來說，英偉達的EditGAN簡直就是零基礎P圖神器。 能夠高品質、高精細度地對圖像進行修改，讓P圖方式從未如此容易。

例如，讓畫像和雕塑「擠眉弄眼」：

只要你會上傳圖片、能畫草圖，就能夠輕鬆P圖。 如此「魔性」的工具，難怪得到了網友熱捧。

EditGAN甚至能精細到修改車輪輻條大小和方向：

當然，真人照片也不在話下，如控制人眼朝向、頭髮量等：

還能給貓咪修改耳朵大小：

而你要做的，只是上傳一張圖片，然後由程式生成一張語義分割草圖，直接在草圖上塗抹修改。

△在草圖中加入牙齒部分，人就笑了

EditGAN只會修改你想要改變的部位，其他部分都原封不動。

和最近的GauGAN2一樣，英偉達也為EditGAN開發了一個電腦軟體：

這項研究已經被NeurIPS 2021接收。

本文一作是來自多倫多大學的華人博士生凌歡，他同時在該校人工智慧研究院（Vector Institute）和英偉達做研究。

首個GAN驅動的圖像編輯器

研究人員表示，EditGAN是第一個GAN驅動的圖像編輯框架，它的主要特點是：

1、提供非常高的精度編輯，

2、只需要很少的註釋訓練數據，

3、可以即時互動式運行，

4、允許多個編輯的直接合成，

5、適用於真正的嵌入式、GAN生成甚至域外圖像。

首先，EditGAN使用StyleGAN2生成圖像。

StyleGAN2的工作流程是：獲取圖像，將其編碼到潛在空間，並使用生成器將這個編碼子空間轉換為另一個圖像。

但問題在於，這個空間是多維的，我們很難將其可視化，也很難確定該子空間的哪一部分負責重建圖像中的哪個特徵。

通常，需要龐大的標註數據集，才能知道模型中潛在空間哪一部分控制哪些特徵。

而EditGAN僅通過對少數標記的數據集示例進行學習，就能將分割與圖像相匹配，從而實現圖像圖像的編輯。

EditGAN保留了完整的圖像質量，同時提供了前所未有的細節和自由度。

更重要的是EditGAN不僅知道潛在空間對應控制那個部分，而且還將它們與草圖對應起來。 這樣，我們就可以通過修改草圖輕易地修改圖像了。

EditGAN基於DatasetGAN，結合了圖像建模及其語義分割。

EditGAN的關鍵思想在於利用圖像和像素級語言分割聯合分佈。

具體而言，就是將圖像嵌入GAN的潛在空間，並根據分割編輯執行條件潛在代碼優化。

以上展示了EditGAN的訓練過程：修改語義分割並優化共用的潛在代碼，與編輯區域內的新分割，以及編輯區域外的RGB外觀保持一致。 相應的梯度通過共用生成器進行反向傳播。

為了攤銷優化，作者在實現編輯的潛在空間中找到”編輯向量”。 該框架允許學習任意數量的編輯向量，然後以即時的速率直接應用於其他圖像。

P圖工具即將發佈

作者團隊在英偉達內部GPU集群上使用V100執行底層 StyleGAN2、編碼器和分割分支的訓練以及嵌入和編輯的優化。

該專案使用了大約14000個GPU 小時，其中大約3500個 GPU 小時用於最終實驗，其餘用於研究專案早期階段的探索和測試。

至於EditGAN的運行，在V100上進行30 （60） 步優化需要 11.4 （18.9） 秒。

雖然訓練不起，但是用訓練好的模型來P圖還是有可能的。

此前英偉達發佈的Canvas就集成了GauGAN2等最新成果，可以用手繪草圖生成精細的PS檔。

可能Canvas也會很快集成EditGAN的吧。

有個好消息是，英偉達表示，將會代碼和編輯工具軟體即將推出。 你是是不是迫不及待想嘗試一把了？