最壕DeepSeek玩家8台Mac跑R1 10萬+湊496GB顯存才能跑4bit量化版
DeepSeek-R1,正在接受全球網友真金白銀的檢驗。花30秒用manim代碼製作解釋勾股定理的動畫,一次完成沒有錯誤。為了玩這樣的模型,有人花上10萬多元,組7台M4 Pro Mac mini+1台M4 Max Macbook Pro的家用超算。
總計496G顯存(64*7+48),才能跑起個4bit量化版,但屬實算得上「家用AGI」配置了。
另一個極端是選擇R1資料蒸餾版Qwen 1.5B小模型,小到瀏覽器就能跑,每秒能輸出60個tokens。
同時,各種榜單也在抓緊測試,紛紛跑出了結果。
R1橫掃各大榜單
首先是LiveBench,與LiveCodeBench一樣,題目是隨時間更新的,所以相對受認可。
R1的表現在o1-preview到o1之間,其中只有數據一項超過o1。
不過再帶上成本成本約1/30這個條件看,又是不一樣的感覺,給老哥整無語了。
唯一的抱怨是上下文視窗太短。
o1系列一戰成名的ARC-AGI,測試結果分為公開資料和私有資料兩部分。
DeepSeek R1在私有資料上解決了15.8%的問題,與DeepSeek-V3相比翻倍還多。
公開數據上更解決了20.5%的問題,與DeepSeek-V3相比上漲約46%。
總的來看,DeepSeek-R1表現與o1-preview相近,但稍低。
但同樣,帶幾毛錢就能解決一題,o1系列至少要10塊這個背景來看,又是不一樣的感覺。
考驗任務規劃能力的PlanBench,同樣的劇本再次上演。
在開發者Xeophon自己的個人測試上,甚至超過了o1-preview。
在同一個測試上,R1數據蒸餾的Qwen 32B,與DeepSeek-V3,GPT-4o和Gemini Flash處於同一水平。
最後,還有人從中看到新的創業機會。
誰來建構一個平台,能輕鬆地在DeepSeek R1上進行OpenAI風格的強化微調。
至少在短期內,是一個巨大的機會。
R1在正確資料和微調方法下,可能在特定任務上大幅提升。
參考連結:
[1]https://x.com/alexocheema/status/1881561143736664180
[2]https://x.com/reach_vb/status/1881809400995934640
[3]https://livebench.ai/#/
[2]https://x.com/arcprize/status/1881761987090325517
[3]https://x.com/TheXeophon/status/1881443117787984265