高通在移動端演示利用Stable Diffusion技術以最快速度在本地生成AI圖像
高通公司正在展示其在移動領域的人工智能能力,展示了其聲稱的人工智能圖像生成器Stable Diffusion在智能手機上有史以來最快的部署。在一個演示視頻中,高通公司展示了1.5版本的Stable Diffusion系統在15秒內生成512 x 512像素的圖像。雖然高通公司沒有說這是什麼手機,但它表示這是由其旗艦產品驍龍8 Gen2(去年11月推出,有一個以人工智能為中心的Hexagon處理器)驅動的。該公司的工程師還在軟件方面做了各種定制優化,以使Stable Diffusion的運行達到最佳狀態。
運行像Stable Diffusion這樣的程序需要大量的計算能力(它是人工智能圖像生成的主力),大多數在移動端提供此類服務的應用程序在雲端進行所有處理,而不是本地的智能手機或平板電腦,即使在一台配置較好的筆記本電腦上以這種方式生成圖像也需要幾分鐘,所以在幾秒鐘內從手機上獲得一張512 x 512的圖片是令人印象深刻的。
高通公司在測試設備上生成的更多示例圖像,提示”超級可愛的穿盔甲的絨毛貓戰士,逼真,4K,超詳細,vray渲染,虛幻引擎……”
高通公司聲稱這是一個速度紀錄,該公司介紹說這是Stable Diffusion首次在Android系統上本地運行。之前一篇來自開發者Ivon Huang的博文顯示了他們是如何讓Stable Diffusion系統在由高通驍龍865和8GB內存驅動的索尼Xperia 5 II上運行的。不過,正如Huang在一條推文中指出的,用這種設置生成一張512 x 512的圖像需要一個小時。
另一個有用的比較是與iOS的比較。早在12月,蘋果發布了讓Stable Diffusion在其機器學習框架Core ML上本地運行所需的優化。因此,今天為了測試該系統,我們通過帶有Core ML加速的Draw Things應用程序,讓Stable Diffusion1.5在iPhone 13上運行。在這種設置下,生成一張512 x 512的圖像需要大約一分鐘,因此,高通公司再次在速度上獲勝,其使用的是較新的硬件和未公開的定制優化包,而iOS的測試是在2021年的手機上使用第三方應用程序完成的。
拋開所有這些限制,高通公司的進步仍然令人印象深刻,即使這只是一個演示。讓大型人工智能模型在移動設備上本地運行,比依賴雲計算有各種優勢,例如便利性(你不需要移動連接)、成本(當服務器賬單到期時,開發者不會向用戶收費)和隱私(本地運行意味著你不會將數據發送到別人的電腦上)方面。
這是人工智能快速實現產品化的事實,而且它正在快速發生。