最快的N卡和最快的A卡跑DeepSeek誰比較快? RTX 5090比RX 7900 XTX快一倍
最快的N卡和最快的A卡跑DeepSeek誰比較快?最新消息顯示,RTX 5090在DeepSeek R上的推理性能比AMD的RX 7900 XTX快得多,性能至少翻了一倍。測試顯示,在多個DeepSeek R1型號中,RTX 5090明顯領先RX 7900 XTX,也比RTX 4090快了不少。

在Distill Qwen 7b和Distill Llama 8b模型中,此RTX 5090每秒可運行200個Tokens,幾乎是RX 7900 XTX 的兩倍。
1月31日,NVIDIA宣布,NIM已經可以使用DeepSeek-R1。NIM,即NVIDIA Inference Microservices,是一種雲端原生微服務技術,可簡化生成式AI模式在雲端、資料中心及GPU加速工作站上的部署流程

NVIDIA官網發布文章指出,DeepSeek-R1是最先進的推理開放模型,會對查詢進行多次推理處理,使用連鎖思考、共識和搜尋方法來產生最佳答案。
文章寫道,為了幫助開發者安全地試驗這些功能,並建立自己的專門代理,DeepSeek-R1模型現已作為NVIDIA NIM微服務預覽版上線使用。
