AMD推出開源專案「GAIA」實現本地大模型高效運行
AMD宣布推出專為本機運行大語言模型(LLM)設計的開源應用GAIA,目前支援Windows平台。 GAIA是一款生成式AI應用,可在Windows PC上實現在地化私密運行LLM,並針對銳龍AI 300系列處理器進行了最佳化。此應用透過NPU提升AI任務效能,並支援混合部署量化LLM。

GAIA基於ONNX TurnkeyML的Lemonade SDK開發,採用檢索增強生成(RAG)技術,支援Llama、Phi等主流模型。其四大功能模組包括Chaty聊天機器人、Clip視訊搜尋專家、Joker笑話產生器和Simple Prompt測試工具。
AMD提供一般版和混合版安裝方案,普通版相容於任意Windows設備,混合版專為銳龍AI 300系列最佳化。 GAIA的本地化處理確保資料隱私,回應延遲降低至毫秒級,並支援離線運行。本專案採用MIT開源協議,未來或擴展至多平台支援。