Mozilla基金會計劃推出離線的本地AI 讓每個人都可以私密使用AI
目前AI 技術的快速發展已經讓許多用戶日常工作離不開AI,不過現在的AI 多數都是基於雲端運行的,也就是用戶提交的資料有潛在的洩漏風險。這時候關注隱私的謀智基金會站出來了,謀智基金會宣布推出一個名為Llamafile 的新開源計劃,該開源計劃目標是幫助人們在自己的硬體上運行大型語言模型,不需要專用的GPU 、CPU 或NPU(但有GPU 的話可以更好的運作)。
Llamafile 的工作原理是將人工智慧聊天機器人的所有複雜性壓縮為一個文件,然後該文件可以在Windows、Mac、Linux、OpenBSD、FreeBSD、NetBSD 上運行,幾乎不需要安裝或配置,也就是即開即用。
這種LLM 是完全在本地運行的,不需要以來第三方商業公司提供的雲端算力,數據也都是保存在本地的,不會離開用戶的設備,甚至如果用戶願意的話,可以將自己的日常對話後的機器人模型複製到其他機器上繼續使用,這樣不用重新優化提示字。
目前謀智基金會並不是唯一一家要打造本地AI 的公司,谷歌最近向Pixel 8 Pro 提供的Gemini 變種版本AiCore 實際上就是一種本地AI,利用本地設備的算力來執行某些操作,不過目前AiCore 的公開資訊還比較少。
謀智基金會相信開源是解決各類隱私問題最有力的解決方案之一,可以透過開源解決隱私、存取、控制的問題,也就是我們的對話被誰聽到?我們的數據會被如何處理?誰能決定AI 回答或不回答某些問題。
至於Llamafile 項目,目前謀智基金會已經注意到一些比較有潛力的項目,第一個是Llama.cpp 項目,這個開源項目讓普通的消費級設備也可以運行LLM,而且速度並不算慢;第二個是Cosmopolitan 項目,該項目可以一次編譯程式在各種作業系統和硬體上運行。
當然這個專案沒這麼快搞定,謀智基金會希望開發者或對LLM 感興趣的用戶一起參與:https://github.com/Mozilla-Ocho/llamafile