新版Llama 3 70B反超405B Meta開卷後訓練Google馬斯克都來搶鏡
OpenAI「雙12」剛進行到第二天,就把大模型圈攪得好不熱鬧!一邊是Meta沒預告就發布了Llama 3.3,70B版本就能實現以前405B的效能。
另一邊Google的Gemini也上線了新的實驗版模型,再一次登上大模型競技場榜首。
有網友感嘆,o1、Llama 3.3和新版Gemini接連發布,馬斯克的Grok3也要來,還有GPT-4.5初露端倪……這簡直是最棒的一個聖誕季。
Llama 3.3:70B實現405B效果
Llama 3.3目前只有70B一個型號。
但在指令遵循(IFEval)、數學(MATH)、推理(GPQA Diamond)等領域,水平都超過了七月發布的Llama 3.1 405B。
在語言(MMLU)、代碼(HumanEval)、長文本和多語言能力上,成績也和Llama 3.1 405B比較接近。
而在工具使用(BFCL)上,和405B的差距則顯得稍大。
不過,Llama 3.3的使用成本比Llama 3.1 405B低很多。
雖然Llama本身是免費的,但是各個大模型平台的服務價格也可以作為衡量成本的一個參考。
在Meta合作的平台當中,Llama 3.3最便宜的價格是0.1/0.4美元每百萬輸入/輸出Token。
而Llama 3.1 405B,則1美元每百萬輸入token,是Llama 3.3的10倍,輸出token為1.8美元,是Llama 3.3的4.5倍。
Meta生成式AI團隊領導者Ahmad Al-Dahle表示,Llama 3.3能用70B實現405B的效果,主要是“運用了後訓練技術的最新進展”,並點名其中包括在線偏好優化(online preference optimization)。
Meta AI官方帳號也提到,Llama 3.3的進步歸功於新的對準過程和線上強化學習技術的進步。
目前,Llama 3.3的模型權重已在官網和Hugging Face上開放下載。
Gemini迎來週歲生日
Gemini 1206上線的這一天,剛好是Gemini的一歲生日。
不過,從節奏和以日期命名的方式來看,Gemini更像是例行更新(上一個版本是1121)。
當然成績還是很不錯的,直接登上了lmsys大模型競技場的榜首。
而且不只是總成績奪冠,困難提示詞、代碼、數學、創意寫作等各個單項排名也都是第一。
實際上,Gemini此前有個1114版本,也當了一周的“榜一大哥”,後來被更新的GPT-4o給比了下去。
現在的最新版本,又讓Gemini重新回到了榜單上的王座。
此外,GoogleAI Studio產品負責人(原OpenAI開發者社群主管)Logan介紹,Gemini 1206擁有2百萬token的上下文窗口,目前可透過GoogleAI Studio和Gemini API免費使用。
Google首席科學家Jeff Dean表示,取得這樣的成績是對Gemini生日最好的慶祝方式。
不過也有網友給Google潑了盆冷水,表示o1還沒出現在這個榜單上,而且GPT-4.5就要來了,Google第一的位置恐怕很快又會被OpenAI奪走。
還有一件事
除了Google和Meta,馬斯克xAI也被盛傳即將發布Grok 3。
有網友發現,正在測試的Grok 2 mini消失了,認為這是要發Grok 3的徵兆。
除了對Grok 3的猜測,還有一條更確定的訊息──先前要充會員才能用的Grok,現在可以免費用了。
不過免費用戶用量比較有限,每兩小時只能處理10則訊息,圖片分析一天只能處理三張。
有趣的是,我們試了試詢問Grok自己,它也表示Grok 3計劃在這個月上線。
但抓馬的是,點進後面引用的消息來源,發現這位部落客也是問Grok之後發的貼文…
那麼,在這個發布密集的十二月,你最鍾意或最期待哪一款產品呢?
來源:量子位