微軟為Copilot+ PC 提供經過提煉的DeepSeek R1 模型
DeepSeek 征服了行動世界,現在正在向Windows 擴展,令人驚訝的是,它得到了微軟的全力支持。昨天,這家軟體巨頭將DeepSeek R1 模型添加到其Azure AI Foundry,以允許開發人員使用它來測試和建立基於雲端的應用程式和服務。今天,微軟宣布將R1 的精簡版本引進Copilot+ PC。

精簡模型將首先提供給搭載驍龍X 晶片的設備、搭載英特爾酷睿Ultra 200V 處理器的設備,然後是搭載AMD Ryzen AI 9 的PC。
第一個模型將是DeepSeek-R1-Distill-Qwen-1.5B(即15 億參數模型),更大、更強大的7B 和14B 模型即將推出。這些模型將可從微軟的AI 工具包下載。
微軟調整了這些模型,使其在搭載NPU 的裝置上運作。嚴重依賴記憶體存取的操作在CPU 上運行,而計算密集型操作在NPU 上運行。透過最佳化,微軟成功實現了快速的第一個字元時間(130 毫秒)和短提示(少於64 個代幣)每秒16 個字元的吞吐率。

微軟是OpenAI(ChatGPT 和GPT-4o 的製造商)的堅定支持者並有著深度投資,但它似乎並不偏袒——它的Azure Playground 有GPT 模型(OpenAI)、Llama(Meta)、Mistral(一家AI公司),現在還有DeepSeek。
如果您喜歡本機AI,請先下載適用於VS Code 的AI 工具包。從那裡,您應該能夠在本地下載模型(例如,“deepseek_r1_1_5”是1.5B 模型)。最後,在Playground 中點擊“嘗試”,看看這個精煉版R1 有多聰明。
“模型精煉”,有時也稱為“知識精煉”,是採用大型AI 模型(完整的DeepSeek R1 有6710 億個參數)並將其盡可能多的知識轉移到較小的模型(例如15 億個參數)的過程。這不是一個完美的過程,精煉模型的性能不如完整模型- 但其較小的尺寸使其可以直接在消費硬體上運行(而不是花費數萬美元的專用AI 硬體)。