麻省理工學院的新型生成式AI在影像生成方面勝過Diffusion模型
麻省理工學院的CSAIL 推出了PFGM++,這是一個結合了擴散和泊松過程的人工智慧模型。它透過複製電場行為產生卓越的影像,代表了生成式人工智慧的飛躍。受物理學啟發,新的生成模型PFGM++ 在影像生成方面優於擴散模型。生成式人工智慧目前正處於熱門話題的風口浪尖上,它有望創造一個由簡單到複雜的世界–簡單的分佈演變成複雜的圖像、聲音或文字模式,使人工智慧變得驚人地真實。
隨著麻省理工學院電腦科學與人工智慧實驗室(CSAIL)的研究人員將創新的人工智慧模型帶入生活,想像的領域不再只是抽象的概念。他們的新技術整合了兩個看似毫不相關的物理定律,這兩個定律是迄今為止表現最好的生成模型的基礎:擴散(通常說明元素的隨機運動,如熱量滲透房間或氣體膨脹到空間)和泊松過程(借鑒管理電荷活動的原理)。
Ezoic 這種和諧的融合使其在生成新影像方面表現出色,超越了現有的先進模型。自問世以來,”泊松流生成模型++”(PFGM++)已在從抗體和RNA 序列生成到音訊製作和圖形生成等多個領域找到了潛在應用。
該模型可以產生複雜的模式,如創建逼真的圖像或模仿真實世界的過程。PFGM++ 建立在團隊去年的研究成果PFGM 的基礎上。PFGM 從被稱為”泊松”方程式的數學方程式中汲取靈感,然後將其應用到模型試圖學習的資料中。為此,研究小組使用了一個巧妙的技巧:他們為模型的”空間”增加了一個額外的維度,有點像從二維草圖變成三維模型。這個額外的維度提供了更大的操作空間,將資料置於更大的背景中,並幫助人們在產生新樣本時從各個方向接近資料。
麻省理工學院核子科學實驗室理論物理中心理論粒子物理學家、美國國家科學基金會人工智慧與基礎交互作用研究所(NSF AI IAIFI)所長傑西-塔勒(Jesse Thaler)說:”PFGM++是物理學家和電腦科學家跨學科合作推動人工智慧進步的一個範例。近年來,從逼真的圖像到清晰的文字流,基於人工智慧的生成模型產生了無數令人瞠目的成果。值得注意的是,一些最強大的生成模型是以物理學中久經考驗的概念為基礎的,例如對稱性和熱力學。PFGM++ 從基礎物理學中汲取了一個世紀之久的概念–時空可能存在額外的維度–並將其轉化為一個強大而穩健的工具,用於生成合成但真實的數據集。我很高興看到’物理智能’正在以無數種方式改變人工智能領域”。
PFGM 的基本機制並不像聽起來那麼複雜。研究人員將數據點比喻為一個維度擴展世界中平面上的微小電荷。這些電荷會產生一個”電場”,電荷會沿著電場線向上移動,進入一個額外的維度,從而在一個巨大的假想半球上形成均勻分佈。生成過程就像倒帶一樣:從半球上均勻分佈的一組電荷開始,沿著電場線追蹤它們回到平面的過程,它們就會對齊,從而與原始數據的分佈相符。這個有趣的過程讓神經模型能夠學習電場,並產生與原始數據一致的新數據。
PFGM++ 模型將PFGM 中的電場擴展到一個複雜的高維框架。當不斷擴展這些維度時,意想不到的事情發生了–模型開始類似於另一類重要的模型,即擴散模型。這項工作就是要找到正確的平衡。PFGM 模型和擴散模型處於光譜的兩端:一個強大但處理複雜,另一個簡單但不那麼堅固。PFGM++ 型號在堅固性和易用性之間找到了平衡點。這項創新為更有效率地生成圖像和圖案鋪平了道路,標誌著技術向前邁出了重要一步。除了尺寸可調外,研究人員還提出了一種新的訓練方法,可以更有效地學習電場。
為了將這個理論付諸實踐,研究小組解析了一對微分方程,詳細說明了這些電荷在電場中的運動。他們使用弗雷謝特起始距離(FID)評分對其性能進行了評估,這是一種廣為接受的指標,用於評估模型生成的圖像與真實圖像相比的品質。PFGM++ 進一步展示了更高的抗錯能力和對微分方程中步長的穩健性。
展望未來,他們的目標是完善該模型的某些方面,特別是透過分析神經網路的估計誤差行為,系統地確定為特定資料、架構和任務量身定制的D 的”甜蜜點”值。他們還計劃將PFGM++ 應用於現代大規模文字到圖像/文字到影片的生成。
“擴散模型已成為生成式人工智慧革命背後的重要推動力,”OpenAI 研究科學家宋洋說。”PFGM++ 對擴散模型進行了強大的泛化,透過提高影像產生對擾動和學習錯誤的穩健性,使用者可以產生更高品質的影像。此外,PFGM++ 還發現了靜電與擴散模型之間的驚人聯繫,為擴散模型研究提供了新的理論見解。”
NVIDIA 資深研究科學家Karsten Kreis 表示:「泊松流生成模型不僅依賴於基於靜電學的優雅物理啟發式表述,而且在實踐中提供了最先進的生成模型性能。它們甚至優於目前在文獻中占主導地位的流行擴散模型。這使它們成為非常強大的生成建模工具,我設想它們將應用於從數位內容創建到生成藥物發現等多個領域。更廣泛地說,我相信,探索更多由物理學啟發的生成建模框架在未來大有可為,而泊松流生成模型只是一個開始。”