搭載M3 Ultra的Mac Studio在本地運行大規模DeepSeek R1 AI模型
YouTuber Dave Lee示範了配備M3 Ultra 晶片的蘋果新Mac Studio 如何在本地高效運行龐大版本的DeepSeek R1 AI 模型,前提是用戶為機器配備最大512GB 內存。
根據Lee 的測試,6,710 億參數的AI 模型可以直接在蘋果高階工作站上執行,但需要大量記憶體資源,消耗404GB 儲存空間,並需要透過終端命令手動分配448GB 虛擬記憶體。
M3 Ultra 的統一記憶體架構是實現此效能的關鍵,它允許系統高效處理DeepSeek R1 的4 位元量化版本。 量化略微降低了準確性,但它保持了所有參數,每秒可提供約17-18 個標記,足以滿足許多實際應用的需要。
最令人印象深刻的是,Mac Studio 在實現這項效能的同時,功耗還不到200 瓦。 而在傳統PC 硬體上實現與之相當的效能則需要多個GPU,耗電量約為其十倍。
在本地運行此類高級人工智慧模型的能力為醫療保健數據分析等敏感應用提供了隱私優勢,因為在這些應用中,將資訊發送到雲端服務會引發安全性問題。

不過,這樣的效能並不便宜–配置M3 Ultra 和512GB 記憶體的Mac Studio 起價約為10000 美元。 如果將M3 Ultra Mac Studio 的性能發揮到極致,配備16TB SSD 儲存和32 核心CPU、80 核心GPU 和32 核神經引擎的Apple M3 Ultra 晶片的價格將高達14099 美元。
蘋果稱M3 Ultra 是其發布的最快的Mac 晶片,這要歸功於該公司使用”UltraFusion”技術將兩個M3 Max 晶片融合在一起的策略。 這使得該晶片的規格是M3 Max 的兩倍。