LeCun被痛批：你把Meta搞砸了燒掉千億算力折騰20年徹底失敗
「一位頂尖科學家，有數千億美元的資源，卻仍然能把Meta搞砸了！」最近，圈內對LeCun的埋怨和批評，似乎越來越壓不住了。有人批評說，Meta之所以潰敗，LeCun的教條主義就是罪魁禍首。但LeCun卻表示，自己嘗試了20年自回歸預測，徹底失敗了，所以如今才判LLM死刑！
憑藉GPT/o系列、Gemini 2.5、Claude的強大能力，OpenAI、Google、Anthropic紛紛在AI大戰中各領風騷。
唯獨Meta，沒有走在前沿。
Llama 4自發布以來種種拉跨的表現，讓Meta在某種程度上淪為了業界的「笑柄」。甚至有離職研究者都刻意在履歷上標明，自己並未參加Llama 4的訓練。
在這樣的背景下，業界最近對Yann LeCun的批評之風，是越來越盛了。
儘管這位圖靈巨頭是一位頂級科學家，然而，他能夠動用數千億的資本用於計算資源和內部研究，但仍然把Meta搞砸了。
那麼，他的問題，究竟出在哪裡呢？
有人說，Meta在LLM大戰中之所以落後，恰恰就是因為LeCun一直在積極表達自己對LLM前進方向的反感與拒絕。
如果在幾十年後回望，LeCun今天的態度或許是對的，但跟奧特曼這類持硬核態度的激進分子相比，這種心態絕對會讓Meta在當前的競爭中處於劣勢。
如果一個大公司的首席人工智慧科學家，都不相信自己正在投入工作的架構，而對於自己所信仰的架構卻沒有足夠驚豔的成果，那麼，造成目前的局面，就是顯而易見的事情了。
LeCun對於LLM路線的不看好，被許多網友評論為「教條主義」。
“許多頂尖科學家都有這種毛病：因為太過自我，認為自己才最了解一切，因此難以轉型。甚至有時，這些頂級人物的教條會直接影響到科學進步。”
對此，有人總結出了Meta失敗的幾個核心原因。
LeCun反對LLM的論調
Meta在MoE架構還是新手
開源發布過早導致的失敗
研究產品團隊的不協調，組織與管理的不善
當然，第一代Llama的出現，依然對於開源界有著石破天驚的意義，可在每天都在大爆炸的AI圈，這彷彿已經是五百年前的事了。
接下來，除非LeCun真的能成功開闢新範式，實現JEPA這樣的世界模型，要么，Meta就只能繼續在AI競賽中落後。
下面讓我們來看看，近期LeCun對LLM「判死刑」的種種言論。
首先，LLM已經是過去式了
在英偉達2025 GTC大會上，LeCun表示了這樣的觀點：“我對LLM不再感興趣了！”
他認為，如今LLM已經是過去式了，而我們的未來，在於四個更有趣的領域：理解物理世界的機器、持久記憶、推理和規劃。
不過有趣的是，如今Llama的下載量已經達到了十億次，這意味著人們對LLM有強烈的需求，多少與「LLM已過時」的觀點矛盾了。
言歸正傳，在演講中LeCun表示，縱觀整個AI歷史，幾乎每一代研究者都在發現新範式時宣稱，“就是它了！再過五年、十年，我們就能造出在所有領域都比人類更聰明的機器。”
七十年來，這種浪潮差不多每十年就會出現一次，而這一波，也同樣會被證明是錯的。
所以，「只要把LLM繼續無限放大，或者讓它們生成成千上萬段Token序列，再從中挑出好的，就能獲得人類級智能；兩年內數據中心裡就會誕生一個天才之國」的論調，在他看來完全就是胡說八道。
尤其是LLM所使用的Token，在刻畫物理世界這件事上，完全不是一種好的方法。原因很簡單：Token是離散的。
在典型的LLM裡，可選Token只有十萬級左右。於是，當你讓模型去預測文字序列的下一個Token時，它只能輸出一個機率分佈，但永遠不可能百分之百地給出那個唯一正確的Token。
對文字來說，這套做法的問題還不大；但在影片等既高維又連續的自然資料面前，所有想透過像素預測影片來讓系統理解世界、建構世界模型的嘗試，幾乎全部失敗。
同樣地，即使只是訓練神經網路去學習影像的優質表徵，凡是依賴從損壞或變換後的影像重建原圖的技術，也基本上以失敗告終。
其次，自回歸LLM絕對“藥丸”
在今年3月底的2025美國數學會聯合會議上，LeCun則發表了一個題為「通往人類水平人工智慧的數學障礙」的演講。
在LeCun看來，如今的機器學習的水平依舊拙劣。它的學習效率極低——模型往往要經歷成千上萬次樣本或試驗才能達到目標表現。
雖然自監督學習的確改變了AI，但它仍然非常有限。而動物和人類卻能極快地掌握新任務、理解世界運作方式，能夠推理、規劃，還能擁有常識──它們的行為是由目標驅動的。
相較之下，自迴歸的LLM，則是透過預測序列中的下一個字或符號來訓練的；這個序列可以是文字、DNA、樂譜、蛋白質等離散符號。
然而，自迴歸預測存在一個根本性難題。
本質上，它是發散的：設想生成的符號是離散的，每輸出一個符號，就有多達100 000種可能。
如果把所有可能的Token序列視為一棵分叉度100000的巨型樹，只存在一小棵子樹對應於「合格答案」的所有延續。
問題在於，這棵「正確子樹」僅是整棵樹的微小子集。
若假設每生成一個符號就有獨立的錯誤機率e，那麼長度為n的序列完全正確的機率，便是(1‑e)^n。
即便e極小，此機率仍會隨n呈指數級衰減，而在自回歸框架下，這就無從補救。
因此，LeCun的判斷是：自回歸的大語言模型注定被淘汰！幾年後，任何一個理智的人都不會再使用它們。
這就是LLM所謂幻覺的根源：它們會胡說八道，本質上就是自回歸預測所導致的。
在LeCun看來，在建構AI系統的新概念上，我們遺漏了非常重要的東西。
僅靠把LLM塞進更大的資料集，我們永遠無法抵達人類級AI。但現在別說復現數學家或科學家，我們連模仿一隻貓都做不到。
家貓能規劃複雜動作，擁有因果模型，預知自身行為後果，而人類就更卓越了，10歲的孩子第一次就能把餐桌收拾乾淨、把餐具放進洗碗機——這就是零樣本學習。
如今，AI已能通過律師資格考試、解數學題、證明定理──可L5自動駕駛汽車在哪？家用機器人又在哪裡？
我們仍造不出能真正應對現實世界的系統。事實證明，物理世界遠比語言複雜得多。
這，就是莫拉維克悖論。
人類覺得麻煩的任務──例如計算積分、求解微分方程式、下棋、規劃穿越多座城市的路線──對電腦而言卻輕而易舉。
這說明，若有人把“人類智能”稱作“通用智能”，那純屬無稽之談——我們根本不具備通用智能，而是高度專門化。
典型的現代LLM，大概是在2×10¹³（約20兆）個token上訓練的。若以每Token 3位元組計算，總量就是6×10¹³位元組，向上取整約10¹⁴位元組。要讓任何一個人讀完這些文本，得花上幾十萬年。
但一個4歲的小孩，雖然醒著的時間總共只有16000小時，但來自視覺、觸覺、聽覺等感官的物理世界信息，讓他在這段時間裡積累的信息量，同樣達到了10¹⁴字節。
也就是說，如果AI無法透過觀察世界來學習其運作規律，我們就永遠到不了人類層次──因為文字裡根本沒有那麼多資訊。
在Meta，他們不使用AGI這一說法，而是高階機器智能（Advanced Machine Intelligence，AMI）：
• 能透過感官輸入自行學習世界模型與心智模型，進而掌握直覺物理與常識；
• 擁有持久記憶；
• 能夠規劃複雜的動作序列；
• 具備推理能力；
• 在設計之初就確保可控與安全，而不是事後靠微調彌補。
LeCun預計在三到五年內，Meta就能在小規模上把這件事跑通；之後就看如何把它們擴展，直到真正做到人類級智能。
AMI的認知架構，可以簡述如下。
• 世界模型；
• 若干目標函數；
• 行動體－負責優化動作以最小化代價；
• 短期記憶，對應大腦中的海馬體；
• 感知模組－幾乎整個大腦後部都在做這件事；
• 以及一個配置器。
所以，究竟要如何才能讓系統從視訊等感官輸入中，學到世界的心智模型？
能不能藉用自迴歸預測的思路，像訓練LLM一樣訓練生成式架構，去預測影片接下來會發生什麼，例如未來幾幀？
答案是不行。
LeCun表示，自己已經在這條路上折騰了20年，徹底失敗。
它適合離散符號的預測，但我們不知道該如何有意義地在表示機率密度函數的高維連續空間中，預測一個視訊幀。
而他的解決方案，就是一種被稱為JEPA（Joint Embedding Predictive Architecture，聯合嵌入預測架構）的技術。
LeCun表示，如果自己的判斷沒錯，而且採用JEPA確實比生成式架構更可靠，那麼所有人就該把生成式架構徹底丟掉。
他也承認，在如今人人都在聊GenAI的大環境下，自己卻對他們說：「放棄GenAI吧！」像極了一個異類。
總之，LeCun在演講最後給了鏗鏘有力的吶喊。
如果你對人類層級的AI感興趣，就不要專注於大語言模式。
如果你是AI領域的博士生，你絕對不應該從事LLM的工作，因為你把自己置於與擁有成千上萬GPU的大型團隊競爭的位置，你將無法做出任何貢獻。
他表示，如果我們能在接下來五年內或十年內，解決一些真正的問題，那我們就能走上一條通往能規劃和推理的真正智慧系統的道路。
而唯一可行的方法，就是開源。
LeCun表示，如果自己成功了，那AI將成為放大人類智慧的一種工具，這只會對人類有好處。
積壓在心底的陳年往事
而LeCun分享一件陳年往事，則讓我們能夠些許洞察到他的內心世界。
2022年，LeCun和Meta的幾位同事訓練出了一個LLM，把能找到的整個科學文獻都塞了進去。
這個模型取名為Galactica。他們寫了一篇長論文詳述訓練過程，開源了程式碼，也上線了一個所有人都能試玩的線上Demo。
結果，這個項目就在推上被噴得體無完膚。
許多人喊著“這東西太可怕了，它會摧毀整個科學交流體系”，因為連傻瓜都可以寫出一篇聽起來像模像樣的“論吃碎玻璃有益健康”的科學論文了。
負面評論如同海嘯般襲來，可憐的同事們夜不能寐，最後只能被迫撤下Demo，只留下論文和開源程式碼。
當時他們的結論是：世界還沒準備好接受這種技術，也沒人真正感興趣。
結果三週後，他們迎來了暴擊：ChatGPT上線了，大眾的反應儼然是「救世主再臨」。
LeCun和同事們面面相覷，對於大眾突如其來的這股熱情百思不得其解。
Meta真不行了？不見得
雖然質疑聲不斷，但LeCun同樣擁有一些堅定的支持者。
正如有人在聽完他演講後，動容地表示——
“我真心敬佩LeCun，一位現實主義者，開源倡導者，一個絕非跟風炒作的人。儘管他因為反對LLM教條而招致很多仇恨，但我仍尊重他的誠實。”
「很高興在如今這個時代，聽到有人談論LLM的局限性，尤其是他還在為一家股東公司工作。只有我們忽略炒作，關注局限性、失敗的可能性以及其他工程原則時，AI才會是安全的。”
即便麵對如今表現不佳的Llama 4，這些支持者依然堅信，在幾個月內我們就會看到令人印象深刻的進展。
在一篇名為「即使LLM到達平台期，也不一定意味著人工智慧寒冬」的貼文中，有人堅定支持了LeCun的路線。
在發文者看來，雖然如今的大實驗室都在專注於LLM，但仍有一些較小的實驗室在探索替代路徑。
他表示，自己一直以為Meta的LeCun團隊是唯一一個在研究基於自我監督、非生成、視覺系統的團隊。
但就在幾週前，有一群研究者發布了一種新的架構，建立在LeCun一直倡導的許多想法之上。
論文網址：https://arxiv.org/abs/2503.21796
在某些情況下，甚至超過了LeCun自己的模型。
而且，在過去幾年中，已經有越來越多的類似JEPA的系統出現，LeCun在影片中也提到它們。
其中有些來自較小的團隊，有些則來自Google。
如果哪一天，LLM這條路真的行不通，陷入停滯，或許我們會看到資金投入的下降，因為目前的投資其實很多都是基於公眾和投資者的熱情之上的。
但是，這並不意味著AI寒冬。過去之所以有寒冬，是因為人們從未被AI真正「震撼」過一次。
但自從ChatGPT誕生，人們已經見到如此「聰明」的AI，這就讓AI領域吸引了前所未有的關注，這種熱情並沒有消退跡象。
與其說我們會進入AI寒冬，不如說我們正在看到一種從主導範式轉向更多樣化格局的轉變。
對整個人類來說，這是一件好事。當涉及到像智慧這樣難以複製的領域時，不把所有雞蛋放在一個籃子裡，才是最聰明的做法。
參考資料：