谷歌發文解釋為什麼要在Chrome中內建本地AI模型:為開發者提供設備端應用
谷歌發文解釋為什麼要在Chrome 中內建本地AI 模型:主要是為開發者提供的,讓開發者可以直接在網站或PWA 應用程式中呼叫本地AI 模型處理資料。呼叫本地模型好處多多,包括速度更快、更好的隱私性、免費使用無需支付token 費用等。
谷歌目前已經嘗試在Chrome 瀏覽器中內建AI 模型,該模型需要下載到本地後使用,模型版本為Google Gemini Nano 版本。
這個模型並不是提供給一般使用者的,主要是給開發者使用,讓開發者可以在網站或PWA 應用程式裡呼叫本地AI 模型執行運算,而不需要呼叫某些雲端模型。
最重要的是經過Google的最佳化,Gemini Nano 版可以在本地使用硬體加速功能,無論是GPU、NPU 甚至是CPU 都可以用來運算。
使用本地模型的好處有很多:
本地處理敏感資料:設備端AI 可以改善隱私保護,例如處理敏感資料時可以透過端對端加密為使用者提供AI 功能。
流暢的使用者體驗:在某些情況下無需來回往返伺服器即可獲得近似即時的答案。
對AI 的存取權限更高:設備端可以承擔一些處理負載,以換取對功能的更多存取權限,即如果使用雲端AI 用戶可能需要額外付費分攤開發者的token 費用,如果僅在本地處理那麼這些費用就可以省了。
離線使用AI:顯然設備端的本地AI 是可以在離線狀態下使用的,這意味著某些PWA 類別應用在離線情況下也可以處理內容。
亦或者採用混合架構:
對於簡單的任務使用本地AI 處理是可以的,但如果需要進行複雜的任務開發者應考慮使用服務端實現,也就是繼續呼叫雲端AI。
第二種是保持AI 功能的彈性,當網路連線順暢的情況下開發者可以呼叫雲端AI,如果網路不暢或離線則可以回退到本機AI 處理。
第三種是安全回退:採用內建AI 的瀏覽器需要一定的時間,而且某些型號或某些太舊的裝置可能無法使用本機AI,這種情況下開發者可以繼續呼叫雲端AI。
Chrome 內建AI 為所有開發者提供通用模型:
現階段開發者透過瀏覽器運行AI 要么直接調用雲端AI 要么需要下載本地模型,而不同的開發者和不同的網站採用的AI 模型不同,用戶可能需要下載一大堆模型。
Chrome 內建AI 模型為所有開發者提供通用模型,這些模型一次下載即可使用,在使用者已經下載過模型的情況下,呼叫模型的PWA 應用程式可以做到開箱即用。
這種方式應該可以大幅提高PWA 應用程式對AI 功能的採用率,提高使用者體驗的同時也可以減少開發者許多繁雜的工作。