還沒等到官宣，Deepseek-v3竟意外曝光了？ ！根據Reddit網友爆料，v3已在API和網頁上發布，部分榜單跑分也新鮮出爐。在Aider多語言程式設計測驗排行榜中，Deepseek-v3一舉超越Claude 3.5 Sonnet，排在第1位的o1之後。 （相較於Deepseek-v2.5，完成率從17.8%大幅上漲至48.4%。）

且在LiveBench測評中，它是目前最強開源LLM，並在非推理模型中僅次於gemini-exp-1206，排在第二。

目前Hugging Face上已經有Deepseek-v3（Base）的開源權重，只不過還沒上傳模型介紹卡了。

綜合網路多方爆料來看，Deepseek-v3相比前代v2、v2.5有了極大提升——

與v2、v2.5配置對比

首先，Deepseek-v3基本配置如下：

• 採用685B參數的MoE架構；
• 包含256個專家，使用sigmoid函數作為路由方式，每次選取前8個專家(Top-k=8)；
• 支援64K上下文，預設支援4K，最長支援8K上下文；
• 約60個tokens/s；

BTW，在Aider測評中擊敗Claude 3.5 Sonnet的還是Instruct版本（該版本目前未發布）。

為了進一步了解Deepseek-v3的升級程度，機器學習愛好者Vaibhav (VB) Srivastav（以下簡稱瓦哥）也深入研究了配置文件，並總結出v3與v2、v2.5的關鍵差異。

與v2（今年5月6日官宣開源）比較的結果，經AI整理成表格如下：

可以看出，v3幾乎是v2的放大版，在每項參數上都有較大提升。

而瓦哥重點指出了模型結構的三個關鍵變化：

第一，在MOE結構中，v3使用了sigmoid作為閘控函數，取代了v2中的softmax函數。這允許模型在更大的專家集合上進行選擇，而不像softmax函數傾向於將輸入分配給少數幾個專家。

第二，v3引進了一個新的Top-k選擇方法noaux_tc，它不需要輔助損失。

簡單理解，MoE模型通常需要一個輔助損失來幫助訓練，主要用於更好地學習如何選擇Top-k個最相關的專家來處理每個輸入樣本。

而新方法能在不依賴輔助損失的情況下，直接透過主要任務的損失函數來有效地選擇Top-k個專家。這有助於簡化訓練過程並提高訓練效率。

對了，為便於理解，瓦哥用DeepSeek逐步解釋了這個方法。

這是一種基於群體的專家選擇演算法，透過將專家劃分為不同的小組，並在每個小組內部選擇最優秀的k名專家。

第三，v3增加了一個新參數e_score_correction_bias，用於調整專家評分，在專家選擇或模型訓練過程中獲得更好的性能。

此外，v3與v2.5（本月10日官宣開源）的比較也出爐了，後者主要支援連網搜尋功能，相較於v2全面提升了各項能力。

同樣經AI整理成表格如下：

具體而言，v3在配置上超越了v2.5，包括更多的專家數量、更大的中間層尺寸，以及每個token的專家數量。

看完上述結果，瓦哥連連表示，明年有機會一定要見見中國的開源團隊。 (doge）

網友實測Deepseek-v3

關於v3的實際表現，另一位獨立開發者Simon Willison（Web開發框架Django的創辦人之一）也在第一時間上手測試了。

例如先來個自報家門。

我是DeepSeek-V3，

基於OpenAI的GPT-4架構…

再考考影像生成能力，生成一張鵜鶘騎自行車的SVG圖。

最終圖形be like:

對了，在另一個網友的測試中，Deepseek-v3也回答自己來自OpenAI？ ？

該網友推測，這可能是因為在訓練時使用了OpenAI模型的回應。

不過不管怎樣，還未正式官宣的Deepseek-v3已在LiveBench坐上最強開源LLM寶座，在一些網友心中，這比只搞期貨的OpenAI遙遙領先。 (手動狗頭）