國產GPU鼎力支援摩爾線程快速部署DeepSeek
DeepSeek V3、R1系列開源AI大模型在多語言理解、複雜推理任務中展現了卓越性能,不僅推動了AI技術的普及與發展,更是對開源社群的極大貢獻。目前,各家科技巨頭都已紛紛開始支援、部署DeepSeek,國產硬體也正在加速支援。
作為國產全功能GPU創新企業,摩爾線程快速實現了DeepSeek蒸餾模型推理服務的高效部署,可讓更多開發者基於摩爾線程全功能GPU,進行AI應用創新。
一鍵體驗地址:

此外,使用者也可以基於摩爾線程MTT S80、MTT S4000顯示卡,進行DeepSeek-R1蒸餾模型的推理部署。
其實早在1月28日,就已經有B站UP主在摩爾線程MTT S80上手動完成實作:

透過DeepSeek提供的蒸餾模型,能夠將大規模模型的能力遷移至更小、更有效率的版本,在國產GPU上實現高性能推理。
摩爾線程基於自研全功能GPU,透過開源與自研雙引擎方案,快速實現了DeepSeek蒸餾模型的推理服務部署。
開源框架適配:
基於Ollama開源框架,摩爾線程完成DeepSeek-R1-Distill-Qwen-7B蒸餾模型的部署,並在多種中文任務中展現了優異的性能,驗證摩爾線程自研全功能GPU的通用性與CUDA兼容性。
自研引擎加速:
通过摩尔线程自主研发的高性能推理引擎,结合软硬件协同优化技术,通过定制化的算子加速和内存管理,显著提升了模型的计算效率和资源利用率。
這款引擎不僅支援DeepSeek蒸餾模型的高效運行,也為未來更多大規模模型的部署提供了技術保障。
最後,摩爾線程即將開放自主設計的誇娥(KUAE)GPU智算集群,全面支援DeepSeek V3、R1模型,以及新一代蒸餾模型的分散式部署。
誇娥集群整合先進推理技術與分散式運算框架,將確保大規模模型的高效穩定運行,協助開發者快速實現業務落地。
