借助Llamafile 的最新更新，在本機系統上運行龐大的LLM 模型變得更容易了，因為採用AVX-512 的AMD Ryzen CPU 效能提升了10 倍。Phoronix報導，Llamafile 的最新更新現在支援AVX-512 指令集，使支援AVX-512 的CPU 在使用該軟體時效能大幅提升。

據悉，AMD 的Zen 4″Ryzen”CPU 在使用新更新後，提示評估速度將提高十倍，最終使該工具的LLM 效能更有效率。

對於不了解Llamafile 的人來說，它只需部署一個可執行文件，將LLM 模型與運行該模型所需的程式庫結合在一起即可。 Mozilla Ocho 開發了這項工具，旨在透過利用CPU 和GPU 的執行能力，讓更多人了解LLM。

不過，Llamafile的開發仍處於早期階段，因此還存在一些不準確的地方，我們相信一旦邊緣運算的發展勢頭強勁，這些問題很快就會得到解決。

你可以透過GitHub 存取最新版本。請注意，AMD 的Ryzen CPU 是唯一支援AVX-512 指令的消費級晶片，而英特爾已經放棄了對它的支持，因為害怕這會影響其至強晶片的銷售。這使得AMD 的Ryzen 平台對於希望運行AVX-512 應用程式的用戶來說更具優勢。