據The Information報導，消息人士表示，Meta參與LLaMA項目的人員大半都已辭職，原因是Meta另一研究團隊（OPT團隊）與LLaMA團隊就算力資源展開了一場內部鬥爭。LLaMA是Meta在今年2月發布的一款開源的人工智能大型語言模型。在今年7月，Meta發布了其最新版本LLaMA 2。相較上一代，LLaMA 2訓練所用的token翻了一倍至2萬億。

而在2月發布的初代LLaMA模型的14位核心原作者中，已有超過一半的人全部離職，包括Timothée Lacroix、Guillaume Lample、Marie-Anne Lachaux、Gautier Izacard等。

論文地址：https：//arxiv.org/pdf/2302.13971.pdf

另一OPT團隊則在2022年5月發布了開源大模型OPT-175B，並在幾個月後著手開發與GooglePaLM競爭的競品，準備開發出第二個更大的模型。

而LLaMA團隊開發的模型則比OPT要小。知情人士透露，LLaMA研究團隊認為較小的模型在推理時會高效。但由於LLaMA模型小，因此獲取的算力資源比OPT團隊要少，這或許讓LLaMA團隊的研究人員感受到不被重視。

Meta AI相關負責人Joelle Pineau也在採訪中承認，LLaMA和OPT團隊之間在算力分配上有些緊張。

另外，算力資源內鬥不僅導致了LLaMA團隊半數研究人員的出走，OPT團隊同樣也面臨人員流失的問題。OPT模型的19位原作者中，也有半數已離職Meta。

論文地址：https://arxiv.org/pdf/2205.01068.pdf

原因主要係OPT團隊正在開發的與GooglePaLM競爭的競品，已被Meta放棄。Pineau無奈地表示：“所有研究團隊都想升級自己的模型，這時要么選擇其中一個，要么讓他們合作。”Meta AI的一些高管也表達過質疑稱，OPT和LLaMA兩個團隊項目的相似度過高，卻要競爭有限的算力資源。

最終，Meta AI的領導人決定進行團隊重組，將LLaMA和OPT團隊的部分研究成員聚集起來，成立了生成式AI團隊。

在AI算力競賽中，科技巨頭往往擁有比大多數公司更加充裕的算力資源。而Meta大模型研究人員因算力鬥爭而相繼離職愈發印證了，目前業內算力緊缺程度比想像中還要嚴重，科技巨頭或許也不例外。