Nvidia研究人員設計出用較少數據訓練GAN的方法
Nvidia的研究人員創造了一種用於訓練生成式對抗網絡(GANs)的增強方法,這種方法需要的數據較少。Nvidia已經製作了GAN用於創作風景畫等藝術作品的案例,最近又製作了一個用於視頻會議的GAN。GAN是人工智能的一種形式,它將一個生成器網絡與一個判別器網絡對立起來,以創建圖像或視頻)。
一般而言,訓練GAN可能需要多達10萬張以上的圖像,但在”用有限數據訓練生成式對抗網絡”一文中詳述的一種稱為自適應判別器增強(ADA)的方法,可以用少10到20倍的數據實現結果。
“小數據集的關鍵問題是,判別器對訓練實例的過度擬合;其對生成器的反饋變得毫無意義,訓練開始出現分歧,”論文寫道。”我們在幾個數據集上證明,現在只需使用幾千張圖片就可以獲得良好的結果,通常用少一個數量級的圖片就可以匹配StyleGAN2的結果。”
今年早些時候,來自Adobe Research、MIT和清華大學的研究人員共同詳細介紹了DiffAugment,這是GANs的另一種增強方法。
Nvidia圖形研究副總裁David Luebke表示,任何做過實用數據科學的人都知道,絕大部分時間都花在收集和策劃數據上。這有時被稱為ETL管道:提取、轉換和加載。他說,當與時間不多的註釋者合作時,這一點可能更加重要。
論文作者認為,減少數據限制可以使研究人員有能力檢查GANs的新用例。除了創建人或動物的假照片之外,研究人員認為GANs可能會在醫學成像數據中得到應用。
“如果你有一位專攻某種特定病症的放射科醫生……讓他或她坐下來為你標註5萬張圖像這種事情大概率不會發生……但讓他們標註1000張圖像似乎很有可能。Luebke說:”這確實改變了一個實用的數據科學家需要投入到數據策展中的工作量,因此,它使得做探索變得更加容易。”。
本週發表的一篇詳細介紹該方法的論文,作為神經信息處理網絡NeurIPS會議的一部分,這是世界上最大的年度人工智能研究會議。
“用有限的數據訓練生成式對抗網絡”並不是唯一的GAN相關論文。另一篇研究論文介紹了Discriminator Driven Latent Sampling(DDLS),在使用CIFAR-10數據集進行評估時,該方法實現了現成GAN的性能改進。該論文由MILA魁北克人工智能研究所和谷歌大腦研究人員撰寫,其中包括Yoshua Bengio和蒙特利爾谷歌大腦小組負責人、NeurIPS會議總主席Hugo Larochelle。