DeepSeek的「蒸餾模型」何以超越原創? 「常見技術」引發爭議
中國人工智慧新創公司DeepSeek在過去一周成為矽谷熱議的對象,並觸發了本週一美國科技股「崩盤」。 1月29日,OpenAI最新稱,它發現有證據表明中國人工智慧新創公司DeepSeek使用其專有模型來訓練自己的開源模型,並暗示這可能違反了OpenAI的服務條款。
但OpenAI並沒有進一步列舉哪些證據。 OpenAI的服務條款規定,使用者不能「複製」其任何服務或「使用其輸出來開發與OpenAI競爭的模型」。

一種「常見技術」引發爭議
與Meta的Llama開源模型可免費使用不同,OpenAI的模型系統是封閉的,但個人用戶仍可付費接取其程式設計介面(API)以取得資料。截至發稿,DeepSeek尚未回應。
此前,美國政府表示正在組織專家緊急評估DeepSeek的技術及影響。美國白宮AI和加密貨幣事務負責人大衛·薩克斯(David Sacks)表示,未來幾個月,美國領先的人工智慧公司將採取措施,試圖防止其他公司對「蒸餾技術」的取得。
DeepSeek模型取得的技術突破已經引起美國總統川普的關注。川普週一表示,DeepSeek這款中國AI應用程式應該成為美國公司的“激勵因素”,他表示:“如果中國業界能夠開發出更便宜的人工智慧技術,美國公司也會效仿。你不必花費數十億美元,而是花更少的錢,希望找到相同的解決方案。
數據蒸餾是一種業界常見的技術做法,是指透過一系列演算法和策略,將原始的、複雜的數據進行去噪、降維、提煉等操作,從而得到更為精煉、有用的數據。數據蒸餾的目的是將複雜模型的知識提煉到簡單模型。
根據DeepSeek-V3的技術文檔,該模型使用資料蒸餾技術產生的高品質資料提升了訓練效率。透過現有的高品質模型來合成少量高品質數據,作為新模型的訓練數據,從而達到接近在原始數據上訓練的效果。
「以前的大模型訓練相當於使用題海戰術,在大量的數據中訓練。而蒸餾就相當於讓在題海戰術裡磨練過的優秀大模型充當新模型的老師,篩選出有效題目,再讓新的大模型訓練。
不過先前有學者認為,蒸餾技術存在“隱性天花板”,它雖然可以提高模型訓練效率,但藉此開發的模型無法超越基礎模型的能力,當考慮到需要將能力擴展到新領域或應對以前從未見過的挑戰時,這種限制就愈發成為問題;而且這種技術在多模態數據方面效果不好。
而DeepSeek的模型從某種程度上打破了這種業內普遍存在的觀念,其大模型的水平已經能與原始的基礎模型相提並論。這是引發美國擔憂的根本原因之一。就在1月28日凌晨,DeepSeek發布了最新視覺模型Janus-Pro,在多模態理解和文生圖指令遵從能力都收穫了顯著提升,並在多個基準上超越了DALL-E 3與Stable Diffusion 。
英國倫敦大學學院(UCL)榮譽教授和電腦科學家彼得·本特利曾在接受採訪時表示:「蒸餾技術對一些不具備OpenAI或Google這樣巨額研發預算的小型機構的研究進展將會產生重大影響。 」
「蒸餾模型」何以超越原創?
一位美國科技巨頭公司AI相關專案開發人員對第一財經記者表示:「我並不認為蒸餾類似Llama這樣的開源模型有什麼問題,尤其是像DeepSeek這樣在蒸餾後採取開源的模型,其實是有存在的合理性的,這樣能加速大模型的迭代,沒有必要所有的公司都從頭開始訓練大模型,這會導致資源的浪費。
他也表示,全球許多AI新創公司也同樣使用多種大模型的蒸餾融合技術,形成了所謂的「多專家模型」(MoE),這樣的蒸餾模型是有可能在性能方面超越原始模型的,因為它有更強的泛化能力,得到的資訊更加豐富,提升最終性能。
「這就好比你有一個團隊,裡面有本科生、研究生、博士生、工業界初級工程師、資深工程師,當你遇到問題時,可以把不同難度的任務分派給不同的’專家’。這樣會以最高效的方式給出最匹配的答案。
上述人士分析稱,關鍵的核心問題不在於DeepSeek蒸餾了其他大模型,而是為何同樣是在蒸餾開源模型的基礎上,DeepSeek能夠脫穎而出,以如此低廉的成本價格就能實現如此高的性能,並不是所有的公司投入這些資源後都能夠實現的。
他認為,DeepSeek完美平衡了多專家模型、訓練時間,預訓練、後訓練等工作,使得投入和產出達到一個最高效的值。 「當你做得好到對別人有威脅了,總會有一些官司找上門。」他說。
但也有AI研究人員指出,過度依賴蒸餾技術的“捷徑”,會導致研發人員為了快速取得成果而放棄對基礎模型的探索。上海交通大學副教授劉鵬飛曾在一篇學術報告中提到:「蒸餾技術為在數學推理任務中取得顯著性能提升提供了一條誘人的捷徑。雖然這種方法帶來了直接且可見的好處,但它掩蓋了一系列深刻的挑戰,無法提出根本性的解決方案。