Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

谷歌用新AI超越自己:讓Imagen能夠指定生成對像風格隨意轉換

谷歌用新AI超越自己:讓Imagen能夠指定生成對像風格隨意轉換

2022-08-27 Comments 0 Comment

給Imagen加上“指哪打哪”的能力,會變得有多強?只需上傳3-5張 指定物體的照片,再用文字描述想要生成的背景、動作或表情,就能讓指定物體“閃現”到你想要的場景中,動作表情也都栩栩如生。不止是動物,其他物體像墨鏡、書包、花瓶,也都能做出幾乎以假亂真的成品:

屬於是發朋友圈也不會被別人看出破綻的那種。(手動狗頭)

這個神奇的文字-圖像生成模型名叫DreamBooth,是Google的最新研究成果,基於Imagen的基礎上進行了調整,一經發布就在Twitter上引發熱議。

有網友調侃:這簡直是最先進的梗圖生成器。

目前相關研究論文已上傳至arXiv。

幾張照片就能“環遊世界”

在介紹原理前,讓我們先來看看DreamBooth的各種能力,包括換景、指定動作表情服飾、更迭風格等。

如果你是個“鏟屎官”,有了這個模型的“換景能力”,就能足不出戶送自家狗子走出家門,凡爾賽宮裡、富士山腳下……通通不在話下。

△光照也比較自然

不僅如此,寵物的 動作和表情也都能隨意指定,屬實是把“一句話P圖”的細節拿捏到位了。

除了上面的“基操”以外,DreamBooth甚至還能更換各種照片風格,也就是所謂的“加濾鏡”。

例如,各種“世界名畫”畫風、各種視角的狗子,簡直不要太藝術:

至於給它們 加上裝飾?各種cosplay的小道具,也是小菜一碟。

除此之外,無論是更換顏色:

還是更魔幻一點,更換物種,這只AI也都能做到。

那麼,如此有趣的效果背後的原理是什麼呢?

給輸入加個“特殊標識符”

研究人員做了個對比,相較於其他大規模文本-圖像模型如DALL-E2、Imagen等,只有採用DreamBooth的方法,才能做到對輸入圖像的忠實還原。

如下圖所示,輸入3張右邊錶盤上畫著黃色“3”的小鬧錶,其中DreamBooth生成的圖像完美保留了鐘錶的所有細節,但DALL-E2和Imagen幾次生成的鐘都與原來的鐘“有那麼點差異”。

△李逵和“李鬼”

而這也正是DreamBooth最大的特點——個性化表達。

用戶可以給定3-5張自己隨意拍攝的某一物體的圖片,就能得到不同背景下的該物體的新穎再現,同時又保留了其關鍵特徵。

當然,作者也表示,這種方法並不局限於某個模型,如果DALL·E2經過一些調整,同樣能實現這樣的功能。

具體到方法上,DreamBooth採用了給物體加上“特殊標識符”的方法。

也就是說,原本圖像生成模型收到的指令只是一類物體,例如[cat]、[dog]等,但現在DreamBooth會在這類物體前加上一個特殊標識符,變成[V][物體類別]。

以下圖為例,將用戶上傳的三張狗子照片和相應的類名(如“狗”)作為輸入信息,得到一個經過微調的文本-圖像擴散模型。

該擴散模型用“a [V] dog”來特指用戶上傳圖片中的狗子,再把其帶入文字描述中,生成特定的圖像,其中[V]就是那個特殊標識符。

至於為什麼不直接用[V]來指代整個[特定物體]?

作者表示,受限於輸入照片的數量,模型無法很好地學習到照片中物體的整體特徵,反而可能出現過擬合。

因此這裡採用了微調的思路,整體上仍然基於AI已經學到的[物體類別]特徵,再用[V]學到的特殊特徵來修飾它。

以生成一隻白色的狗為例,這裡模型會通過[V]來學習狗的顏色(白色)、體型等個性化細節,加上模型在[狗]這個大的類別中學到的狗的共性,就能生成更多合理又不失個性的白狗的照片。

為了訓練這個微調的文本-圖像擴散模型,研究人員首先根據給定的文本描述生成低分辨率圖像,這時生成的圖像中狗子的形像是隨機的。

然後再應用超分辨率的擴散模型進行替換,把隨機圖像換成用戶上傳的特定狗子。

研究團隊

DreamBooth的研究團隊來自Google,第一作者是Nataniel Ruiz。

Nataniel Ruiz是波士頓大學圖像和視頻計算組的四年級博士生,目前在Google實習。主要研究方向是生成模型、圖像翻譯、對抗性攻擊、面部分析和模擬。

來源:量子位

分享此文:

  • 按一下即可分享至 X(在新視窗中開啟) X
  • 按一下以分享至 Facebook(在新視窗中開啟) Facebook
  • 分享到 WhatsApp(在新視窗中開啟) WhatsApp
  • 按一下以分享到 Telegram(在新視窗中開啟) Telegram
  • 分享到 Pinterest(在新視窗中開啟) Pinterest
  • 分享到 Reddit(在新視窗中開啟) Reddit
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟) 電子郵件
  • 點這裡列印(在新視窗中開啟) 列印

相關


網絡資訊

Post navigation

PREVIOUS
華為Mate 50 Pro將採用1.5K劉海曲面屏:支持人臉識別
NEXT
驍龍6 Gen 1 SoC完整規格表洩露:4納米、5G支持等

發表迴響取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
赫思醫美
限時免費
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
WordPress資訊
WeChat資訊
PHP資訊
教學資源
開源程序
網頁工具
SEO工具
醫療健康
其他資訊
Content from
Content to
2022 年 8 月
一 二 三 四 五 六 日
1234567
891011121314
15161718192021
22232425262728
293031  
« 7 月   9 月 »

分類

  • 網站公告
  • 赫思醫美
  • 限時免費
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 其他資訊

彙整

近期文章

  • 暑假矯正季,讓笑容更閃亮! 2025-07-18
  • 告別鬆弛皺紋!熱瑪姬的『射頻技術』如何打造凍齡肌膚? 2025-07-18
  • Firefox新版本將支援Chrome已有多年的WebGPU功能 2025-07-17
  • 彩虹正式上架統信UOS 直接運行Windows應用 2025-07-17
  • 美團高層承諾:將保證美團騎士收入永遠站穩藍領第一梯隊 2025-07-17
  • 科尼賽克CEO直言:電動超跑沒有靈魂我們不造 2025-07-17
  • HTC預告VIVE神秘新品或為首款智慧眼鏡 2025-07-17
  • 據傳PS5 Pro將在明年5月進行性能升級推測為《GTA6》做準備 2025-07-17
  • 德國玩家偏愛A卡銷量佔65%超NV:RX9070XT賣最好 2025-07-17
  • 三星和SK海力士因意外需求推遲DDR4記憶體淘汰計劃 2025-07-17

熱門文章與頁面︰

  • 無3C行動電源禁止登機一文看懂到底什麼是3C認證、如何分辨真偽
  • FF畫師天野喜孝打造巨幅佛經畫風格迷幻完美匹配
  • 您可以在Windows 11 24H2 中找回WordPad
  • 上海兩大機場直通地鐵虹橋到浦東只要40分鐘全程26元
  • Windows及OFFICE激活密鑰+電話激活教程–自用
  • 虹膜識別:築起眼睛裡的安全線
  • 馬雲現身阿里巴巴園區頭戴鴨舌帽手拿咖啡氣色不錯
  • z-sms – 在線免費云短信臨時手機號接碼平台網頁版
  • 圖像處理工具Luminar v4.3.0.6160 破解版
  • 金庸武侠小说全集(TXT、PDF、插图版)

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

赫思醫美

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2025   All Rights Reserved.