不到兩週後，我們可能會見到迄今為止最強大的開源Llama 3模型。美東時間7月12日週五，媒體引述一名Meta Platforms的員工消息稱，Meta計劃7月23日發布旗下第三代大語言模型（LLM）Llama 3的最大版本。這個最新版模型將擁有4050億參數，也將是多模態模型，這意味著它將能夠理解和生成圖像和文字。該媒體未透露這最強版本是否開源。

Meta公司拒絕對上述消息置評。週五盤中，低開的Meta股價跌幅收窄，盤初曾跌3.6%，午盤跌不足2%，仍將在周四大幅回落超4%後連跌兩日，或將刷新6月28日以來收盤低點。

去年7月Meta發布的Llama 2有三個版本，最大版本70B的參數規模為700億。今年4月，Meta發布Llama 3Meta，稱它為「迄今為止能力最強的開源LLM」。當時推出的Llama 3有8B和70B兩個版本。

Meta CEO祖克柏當時稱，大版的Llama 3將有超過4000億參數。 Meta並未透露會不會將4000億參數規模的Llama 3開源，當時它還在接受訓練。

對比前代，Llama 3有了質的飛躍。 Llama 2使用2兆個token進行訓練，而訓練Llama 3大版本的token超過15 兆。

Meta稱，由於預訓練和訓練後的改進，其預訓練和指令調優的模型是目前8B和70B兩個參數規模的最佳模型。在訓練後程序改進後，模型的錯誤拒絕率（FRR）大幅下降，一致性提高，模型反應的多樣性增加。 在推理、程式碼產生和指令追蹤等功能方面，Llama 3相比Llama 2有極大改進，讓Llama 3更容易操控。

4月Meta展示，8B和70B版本的Llama 3指令調優模型在大規模多任務語言理解資料集（MMLU）、研究生程度專家推理（GPQA）、數學評測集（GSM8K）、程式設計多語言測驗（HumanEval ）等方面的評估分數都高於Mistral、Google的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的預訓練Llama 3多種效能評測優於Mistral、Gemma、Gemini和Mixtral。

當時社交媒體的網友評論稱，根據基準測試，目前的Llama 3模型不完全是GPT-4 級別的，但仍在訓練中的較大尺寸的模型將達到GPT-4 級別。

英偉達資深科學家Jim Fan認為，Llama 3的推出已經脫離了技術層面的進步，更是開源模型與頂尖閉源模型可分庭抗禮的象徵。

從Jim Fan分享的基準測試可以看出，Llama 3 400B 的實力幾乎媲美Claude“超大杯”以及新版GPT-4 Turbo，將成為“分水嶺”，相信它將釋放巨大的研究潛力，推動整個生態系統的發展，開源社群或將能用上GPT-4等級的模型。

此後有消息稱，研究人員尚未開始對Llama 3進行微調，還未決定Llama 3是否將是多模態模型；正式版的Llama 3將在今年7月正式推出。

有別於OpenAI等開發商，Meta致力於開源LLM，不過，這條賽道也越來越擁擠。 Google、特斯拉CEO馬斯克旗下的xAI和Mistral 等競爭對手也發布了免費的AI模型。

Llama 3問世後，同在4月相的4800億參數模型Arctic擊敗Llama 3、Mixtra，刷新了全球最大開源模型的紀錄。

Arctic基於全新的Dense-MoE架構設計，由一個10B的稠密Tranformer模型和128×3.66B的MoE MLP組成，並在3.5萬億個token上進行了訓練。相較於Llama 3 8B和Llama 2 70B，Arctic所用的訓練計算資源不到它們的一半，評估指標卻取得了相當的分數。