谷歌論文提前揭示o1模型原理:AI大模型競爭或轉向硬件
OpenAI最強模式o1的護城河已經沒有了?僅在OpenAI發布最新推理模型o1幾日之後,海外社交平台Reddit 上有網友發帖稱谷歌Deepmind在8 月發表的一篇論文內容與o1模型原理幾乎一致,OpenAI的護城河不復存在。
澎湃科技(www.thepaper.cn)注意到,GoogleDeepMind團隊於今年8月6日發布上述論文,題為《優化LLM 測試時計算比擴大模型參數規模更有效率》(Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters)。
谷歌DeepMind團隊今年8月6日發布的論文
在這篇論文中,研究團隊探討了大模型(LLM)在面對複雜問題時,是否可以透過增加測試時的計算量來提高決策品質。這項研究表明,增加測試時(test-time compute)計算比擴展模型參數更有效。基於論文提出的計算最優(compute-optimal)測試時計算擴展策略,規模較小的基礎模型在某些任務上可以超越一個14倍大的模型。
無獨有偶,另一篇由谷歌和史丹佛大學研究人員於今年1月發表的論文《思維鏈賦能Transformer 解決本質上的串行問題》(Chain of Thought Empowers Transformers to Solve Inherently Serial Problems)也提出了類似的觀點。該論文探討了「思維鏈」(Chain of Thought,簡稱CoT)技術,旨在突破Transformer 模型在串行推理方面的限制。
傳統的Transformer模型擅長並行計算,但在處理需要邏輯推理的複雜問題時表現不佳。 CoT的核心思想是讓模型模擬人類的思考方式,透過產生一系列中間推理步驟,來解決複雜問題。
OpenAI 近期發表的o1 模型,或正是上述理念的實踐。 o1模型在給出答案之前,會產生一系列中間推理步驟,不斷完善自己的思考過程,嘗試不同的策略,並能辨識自身錯誤。隨著更多強化學習與思考時間,o1的表現持續提升的。
有網友表示,「所有的秘密突破和演算法最終都會隨著頂尖開發者在產業內的流動而傳播到其他公司和開源社群。」Google也表示沒有人擁有護城河,這也促使OpenAI將o1-mini的速度提高7倍,每天能使用50條;o1-preview則提高每週50條。
有網友評論道:「唯一可能形成護城河的是硬件,至少在可預見的未來是這樣。」也有人認為,如果AI大模型公司無法解決對顯存的依賴,英偉達可能會直接掌控誰能夠獲得計算能力。而如果微軟或谷歌開發出在自研晶片上運行速度快10倍的模型,情況也會改變。
目前,英偉達在AI大模型算力的分配上佔據主導地位。值得注意的是,OpenAI近期也被曝出其首款晶片計劃,採用台積電最先進的A16級工藝,專為Sora視頻應用打造。這些跡象表明,大模型的競爭已不僅限於模型本身,硬體能力也成為關鍵因素。在AI領域,誰能擁有更強大的算力,誰就可能在下一階段的競爭中佔優勢。