Meta 公司開發了最大的基礎開源大型語言模型之一Llama，該公司認為未來將需要更強的運算能力來訓練模型。馬克-祖克柏（Mark Zuckerberg）在本週二的Meta 第二季財報電話會議上表示，為了訓練Llama 4，公司需要比訓練Llama 3 多10 倍的運算能力。但他仍然希望Meta 能夠提高訓練模型的能力，而不是落後於競爭對手。

祖克柏說：「訓練Llama 4 所需的運算量很可能是我們訓練Llama 3 所需的運算量的近10 倍，而且未來的模型還會繼續成長。很難預測未來幾代人的發展趨勢。

Meta於今年4 月發布了擁有800 億個參數的Llama 3。該公司上週發布了該模型的升級版，名為Llama 3.1 405B，擁有4 050 億個參數，成為Meta 最大的開源模型。

Meta 公司財務長蘇珊李（Susan Li）也表示，公司正在考慮不同的資料中心項目，並建立能力來訓練未來的人工智慧模型。她說，Meta 預計這項投資將在2025 年增加資本支出。

訓練大型語言模型是一項成本高昂的工作。在伺服器、資料中心和網路基礎設施投資的推動下，Meta 的資本支出從去年同期的64 億美元增至2024 年第二季的85 億美元，成長了近33%。

根據The Information 的報告，OpenAI 在訓練模式上花費了30 億美元，另外還以折扣價從微軟租用了40 億美元的伺服器。

“隨著我們擴大生成式人工智慧的訓練能力，以推進我們的基礎模型，我們將繼續以靈活的方式建立我們的基礎設施。這將使我們能夠將訓練能力用於基因人工智慧推理或我們的核心排名和推薦工作，當我們預計這樣做會更有價值時，我們就會這樣做，”李開復在電話會議上說。

在電話會議上，Meta 也談到了面向消費者的Meta AI 的使用情況，並表示印度是其聊天機器人的最大市場。但李開復指出，公司並不指望Gen AI 產品能對營收做出重大貢獻。