Meta 推出更有效率的新型Llama 3.3 70B 車型
Meta 已宣布其Llama系列生成式人工智慧模型的最新成員: Llama 3.3 70B。在X 上的貼文中,Meta 的生成式人工智慧副總裁Ahmad Al-Dahle 表示,純文字Llama 3.3 70B 以更低的成本提供了等效於Meta 最大Llama 模型Llama 3.1 405B 的效能。
了解更多:
Al-Dahle 写道:”通过利用后训练技术的最新进展……该模型以显著降低的成本提高了核心性能。”图表显示,Llama 3.3 70B 在多项行业基准测试中的表现优于Google的 Gemini 1.5 Pro、OpenAI 的 GPT-4o 和亚马逊新发布的 Nova Pro,其中包括评估模型理解语言能力的 MMLU。 Meta 发言人通过电子邮件表示,该模型能在数学、常识、指令遵循和应用程序使用等方面有所改进。
Llama 3.3 70B(可從人工智慧開發平台Hugging Face 和包括Llama官方網站在內的其他來源下載)是Meta 的最新力作,其目的是透過”開放”模型在人工智慧領域佔據主導地位,這些模型可用於各種應用並實現商業化。
Meta 的條款限制了某些開發者使用Llama 模型的方式:月用戶超過7 億的平台必須申請特殊許可。 但對許多人來說,Llama 模型並非嚴格意義上的”開放”,這並不重要。 例如,根據Meta 的數據,Llama 的下載量已超過6.5 億次。
Meta 在內部也利用了Llama。 Meta執行長馬克-祖克柏(Mark Zuckerberg)表示,該公司的人工智慧助理Meta AI完全由Llama模型提供支持,目前已擁有近6億月活躍用戶。 祖克柏稱,Meta AI有望成為全球使用人數最多的人工智慧助理。
對Meta 來說,Llama 的”開放”性質是福也是禍。 11 月,一份報告稱,中國軍方研究人員使用Llama 模型開發了國防聊天機器人。 對此,Meta 向美國國防承包商提供了Llama模型。
Meta 也對自己是否有能力遵守歐盟為人工智慧制定法律和監管框架的法律《人工智慧法》表示擔憂,稱該法律的實施”太難以預測”。 該公司面臨的問題是歐盟隱私權法GDPR 中有關人工智慧訓練的相關規定。 Meta 利用Instagram 和Facebook 用戶的公開資料訓練人工智慧模型,這些資料在歐洲受GDPR 保障。
今年早些時候,歐盟監管機構要求Meta 停止對歐洲用戶資料的訓練,同時對該公司的GDPR 合規性進行評估。 Meta 對此做出了讓步,但同時也認可了一封公開信 ,呼籲對GDPR 進行”現代解釋”,不要”拒絕進步”。
Meta 也未能倖免於其他人工智慧實驗室面臨的技術挑戰,它正在加強運算基礎設施,以訓練和服務未來幾代的Llama 模型。 該公司週三宣布,將在路易斯安那州建造一個價值100 億美元的人工智慧資料中心,這是該公司有史以來建造的最大的人工智慧資料中心。
祖克柏在今年8 月的Meta 第四季財報電話會議上表示,為了訓練下一套主要的Llama 模型(Llama 4),公司需要的運算能力將是訓練Llama 3 所需的運算能力的10倍。
訓練大型語言模型是一項成本高昂的工作。 在伺服器、資料中心和網路基礎設施投資的推動下,Meta 公司2024 年第二季的資本支出從去年同期的64 億美元增至85 億美元,增幅近33%。