外媒爆料，Meta正在加急研發全新開源大模型，對標GPT-4，參數量比Llama 2還要大上數倍。Meta這是又要顛覆AI社區了？根據外媒《華爾街日報》消息，Meta正在加緊開發新的大語言模型，能力將完全對標GPT-4，預計將於明年推出。

消息還特別強調了，Meta新的大語言模型將比Llama 2大數倍，而且大概率還是會開源，支持免費商用。

自從年初Meta將LlaMA“不小心”洩露出來之後，到7月份Llama 2的開源發布，Meta漸漸找到了自己在這次AI浪潮中的獨特位置——AI開源社區的旗幟。

01

人員震盪不斷，模型能力有硬傷，靠開源坐回主桌

年初，在OpenAI用GPT-4引爆了科技行業之後，Google，微軟也相繼推出了自己的AI產品。

在5月份的時候，美國監管層就邀請了當時他們認為AI行業相關的頭部企業CEO，開了一個圓桌會議，討論AI技術的發展。

OpenAI，Google，微軟，都被邀請了，甚至還包括了初創公司Anthropic，但是卻沒有Meta的身影。當時官方對Meta缺席的回應是：“我們只邀請在AI行業中最頂尖的公司。”

好事沒有輪上Meta，但是麻煩卻源源不斷地找上門來。

先是6月初國會一封質詢信直接寄到的小紮手上，措辭嚴厲的要求他說明3月份LlaMA洩漏事故的前因後果。

而在後來的幾個月時間裡，即便在Llama 2發布之後，Meta之前花重金打造的AI團隊卻依然在逐漸分崩離析。

在Llama 2的致謝中，提到的4位最先發起這項研究的團隊，其中三位已經離職，目前僅有Edouard Grave還在Meta。

業界大牛何愷明，也將離開Meta，回歸學術界。

根據最近The Information的爆料文章，Meta的AI團隊，因為對於內部算力的爭奪，摩擦不斷，人員陸續離開。

在這樣的大背景下，小扎自己應該也很清楚，Meta自己的大語言模型，也確實沒有辦法和業內最前沿的GPT-4沾邊。

不論是在各個方向的基準測試還是從用戶反饋來看，Llama 2和GPT-4的差距依然還比較大。

在各項基準測試中，開源的Llama 2和GPT-4還有不小差距

網友的實際體驗也在不斷強調GPT-4比Llama 2依然領先不少

於是，小扎決定讓Meta直接在模型開源之路上繼續一路狂奔。

也許小扎背後的邏輯是這樣的：Meta模型能力一般，打不過閉源大佬，藏著掖著也沒啥意義。那就索性開源讓AI社區以自家模型為基礎來不斷迭代，擴大自己產品在業界的影響力。

而且小扎也不止一次的在公開場合表示，開源社區針對自己模型的迭代會讓自己的技術團隊獲得啟發，從而在未來開發出更有競爭力的產品。

小扎在Fridman的播客中強調，開源能讓Meta從社區中吸取靈感，而且未來Meta可能會推出閉源模型。參見：https://lexfridman.com/mark-zuckerberg-2/

而事實也證明，Meta的這個選擇確實是正確的。

雖然在算力資源和技術實力上比不上Google，OpenAI，但是Meta的Llama 2等開源模型對於開源社區的吸引力依然是首屈一指的。隨著Llama 2慢慢成為AI開源社區的“技術底座”，Meta也在行業中找到了自己的生態位。

最明顯的一個標誌是，馬上9月份將要召開的國會AI閉門會議之中，小扎終於成為了監管層的座上賓，和Google、OpenAI等行業最前沿的公司CEO一同作為代表，對於AI行業監管發出自己的聲音。

而如果明年Meta推出的新模型，能夠繼續保持進步，獲得和GPT-4持平的能力，一方面能讓開源社區繼續拉近與閉源巨頭的差距，坐實了“開源社區與行業最先進水平差距在一年左右”的說法。

另一方面，小扎在採訪中也曾透露，如果未來大模型能力進一步提升，Meta可能會推出自己的閉源模型。如果新的模型能進一步迫近行業SOTA，也許就離Meta推出自己的閉源模型不遠了。

雖然Meta看起來在這波AI浪潮中已經暫時落後了，但是小扎的野心也不甘心只做一個追隨者。

在“AI三巨頭”Yann Lecun的指引下，Meta也正在為顛覆整個行業做著準備。

02

Meta的未來

所以，這個傳說中能比肩GPT-4的神秘大模型之後，Meta AI未來會是什麼樣子？

因為目前還沒有具體信息，我們也只能做一番猜測，比如從Meta AI首席科學家LeCun的態度入手。

當紅炸子雞GPT，一直是LeCun批評和鄙視的人工智能發展路線。

今年2月4日，LeCun就直白地表示，“在通往人類級別AI的道路上，大型語言模型完全是一條歪路”。

他認為這種根據概率生成自回歸的大模型最多活不過5年，因為這些人工智能只是在大量的文本上訓練的，它們無法理解現實世界。

所以這些模型既不會計劃也不能推理，它們擁有的只是上下文學習能力。

嚴肅的說，這些在LLM上訓練的人工智能幾乎毫無“智能”可言。

而LeCun期待的，則是能夠通向AGI的“世界模型”。

世界模型能夠學習世界如何運作，更快速地進行學習，為完成複雜任務做出計劃，並隨時應對不熟悉的新情況。

這與需要大量預訓練的LLM不同，世界模型能夠像人類一樣，從觀察中找到規律，適應新環境、掌握新技能。

相較於OpenAI在LLM領域不斷精進深耕的策略，Meta力求多樣化的模型開發。

今年6月14日，Meta發布了一個“類人”的人工智能模型I-JEPA，也是史上第一個基於LeCun世界模型願景關鍵部分的AI模型。

論文地址：https://arxiv.org/abs/2301.08243

I-JEPA能夠理解圖像中的抽象表徵，並通過監自督學習獲取常識。

並且I-JEPA不需要額外的人工製作的知識作為輔助。

之後，Meta推出了Voicebox，這是一個全新的突破性語音生成系統，基於Meta AI 提出的一種新方法——流匹配。

它可以合成六種語言的語音，執行去噪、編輯內容、轉換音頻風格等操作。

Meta還發布了通用的具身AI agents。

通過語言引導技能協調（LSC），機器人能夠在部分預先映射的環境中，進行自由的移動、拾取。

在多模態模型的開發中，Meta也與眾不同。

ImageBind，第一個能夠從六種不同模態綁定信息的人工智能模型。

它賦予機器全面的理解能力，將照片中的物體與它們的聲音、三維形狀、溫度以及運動方式聯繫起來。

而來自Meta AI和CMU_Robotics共同開發的RoboAgent，讓機器人可以獲得各種各樣的非平凡技能，並將它們推廣到數百個生活場景中。

同時，所有這些場景的數據都比該領域先前的工作少一個數量級。

對於這次爆料的模型，有網友表示，希望他們繼續開放源代碼。

不過也有網友表示，Meta要到2024年初才會開始訓練。

但令人欣慰的是，Meta依舊釋放了自己將繼續堅持原有戰略的信號。