AMD銳龍AI處理器輕鬆本地跑DeepSeek:最高支援70B參數
DeepSeek持續火爆,大家都在體驗,但因為伺服器承受能力有限,經常會遇到無響應,因此本地部署體驗就成了更好的選擇,具體規模取決於硬體配置。AMD是最早在x86處理器領域引進AI能力的,銳龍7040系列就率先整合了獨立的NPU AI引擎,此後的銳龍8040系列、銳龍AI 300系列、銳龍AI MAX 300系列都越強大。
AMD銳龍AI處理器擁有目前業界最強的NPU,算力高達50 TOPS(每秒50兆次運算),自然是體驗DeepSeek的上佳選擇。
如果你有一台銳龍AI筆記本,現在就可以透過LM Studio,輕鬆在本地部署、體驗DeepSeek R1精簡版推理模型。

具體操作方式如下:
1.安裝AMD Adrenalin 25.1.1或更新版顯示卡驅動。
2.開啟lmstudio.ai/ryzenai,並下載LM Studio 0.3.8或更新版本。
3.安裝啟動LM Studio,可以直接跳過引導畫面。
4、點選「發現」(discover)標籤頁。
5.選擇適合自己的DeepSeek R1 Distill。具體如何選擇見後。
6.在軟體頁面右側,勾選「Q4 KM」量化模式,然後點選「下載」。
7.下載完成後,返回聊天選項頁,從下拉式選單中選擇DeepSeek R1 distill,並確保勾選「手動選擇參數」( manually select parameters )選項。
8.在「GPU卸載」(GPU offload)中,將滑桿移到最大值。
9.點選「模型載入」(model load)。
10、好了,可以在本地體驗DeepSeek R1推理模型了!


不同參數規模的大模型,決定了其性能和體積,因此不同的硬體設備需要選擇最適合自己的參數量。
如果是頂級的銳龍AI MAX+ 395處理器,搭配64GB、128GB內存,最高可以支援DeepSeek-R1-Distill-Llama-70B,注意64GB內存的話需要將可變顯存設為高。
搭配32GB內存,可變顯存自訂為24GB,則能支援到DeepSeek-R1-Distill-Qwen-32B。
如果是銳龍AI HX 370、AI 365處理器,搭配24GB、32GB內存,可以支援DeepSeek-R1-Distill-Qwen-14B。
如果是銳龍7040/8040系列,需要搭配32GB內存,才能支援DeepSeek-R1-Distill-Qwen-14B。

另外,AMD推薦將所有Distill運行在Q4 KM量化模式。
如果你使用的是桌上型電腦,AMD RX 7000系列顯示卡也都已支援本地部署DeepSeek R1。
其中,RX 7900 XTX旗艦顯示卡最高支援DeepSeek-R1-Distill-Qwen-32B,RX 7900 XT、7900 GRE、7800 XT、7700 XT、7600 XT皆可支援DeepSeek-R1-Distill-RX 10460104604604 604622204604604 則適合發售Distill-Llama-8B。
