HuggingFace推出iOS應用程式無需連網即可使用本地視覺模型描述使用者周圍的內容
人工智慧新創公司HuggingFace 日前在Apple App Store 推出名為 HuggingSnap 的新應用,該應用程式的主要功能是呼叫iPhone 相機查看周圍的事物,用戶可以進行任意提問例如識別物體、解釋場景、閱讀文字等。

該應用程式最大的特點就是不需要將資料傳送到雲端,HuggingSnap 應用程式使用HuggingFace 內部的視覺模型smolvlm2 來即時分析手機看到的內容。
以人工智慧配合攝影機進行即時實體辨識並不是新鮮事,ChatGPT 等應用程式已經提供類似功能,但HuggingSnap 的特點在於完全基於本地AI 模型進行運算。

HuggingFace 表示:HuggingSnap 可以離線工作、節省電量並在手機上處理所有數據,該應用在購物、旅行、學習或只是探索周圍環境時非常有用,HuggingSnap 為您的iPhone 帶來智慧視覺AI。
實際上該應用的用途非常廣泛,例如幫助兒童了解周圍的物體、幫助愛好者了解花草樹木、幫助視覺障礙者播報和描述周圍的物體等等。
只是smolvlm2 模型在本地運行那麼必然對算力有要求,HuggingFace 並未提到機型限制,或許是這個模型經過優化已經可以在iPhone 上運行。
另外該應用不僅支援在iOS 18 + 系統上運行,還支援在macOS 15.0 + 系統上運行,但僅限於搭載Apple M 晶片的Mac,不支援搭載英特爾CPU 的Mac,最後還支援visionOS 2.0+。