Meta人工智能開發失誤不及時用GPU導致落後對手
一份內部備忘錄顯示,2022年夏末,Meta首席執行官馬克·扎克伯格(Mark Zuckerberg)召集公司高管團隊,分析公司計算能力長達五個小時,特別是處理尖端人工智能的能力。
備忘錄指出,儘管Meta在人工智能研究方面進行了高調的投資、並且公司越來越依賴人工智能來支持其增長,但在主要業務採用昂貴的人工智能優化軟硬件系統上,這家社交媒體巨頭的速度比較緩慢,這妨礙了其在規模擴張中跟上創新步伐的能力。如果要支持人工智能工作,Meta需要“從根本上改變我們的物理基礎設施設計、軟件系統以及提供穩定平台的方法”。
據公司披露,此次改組使Meta的資本支出每季度增加了約40億美元,幾乎是2021年的兩倍,並導致其暫停或取消了在四個地點建立數據中心的計劃。
而Meta正面臨著嚴峻財務困境,自去年11月以來,該公司一直在進行規模空前的裁員。
與此同時,去年11月ChatGPT橫空出世,引發了科技巨頭之間的競爭,它們紛紛發布生成式AI產品。而五位消息人士稱,生成式AI需要大量的計算能力,這加劇了Meta擴容的緊迫性。
消息人士透露,Meta在人工智能上應用GPU較為緩慢,是主要問題之一。GPU芯片非常適合人工智能處理,因為它們可以同時執行大量任務,縮短了處理數十億條數據所需的時間。然而,GPU芯片價格較高,芯片製造商Nvidia控制著80%的市場,並在相應的軟件方面保持領先地位,消息人士稱。
直到去年,Meta主要使用大量普通CPU來運行AI工作負載。CPU是計算機世界的主力芯片,雖然已經稱霸數據中心幾十年,但其在人工智能工作方面表現不佳。
這導致競爭對手在AI領域的發展超過了Meta。他們使用GPU芯片並擁有更好的AI軟件,因此能夠更快地開發新的AI產品和服務。
據兩位消息人士透露,Meta公司還開始使用自己內部設計的定制芯片來訓練AI。但到了2021年,這種雙管齊下的方法被證明比以GPU為核心構建的方法更慢、效率更低效。GPU芯片在運行不同類型的模型方面也比Meta的芯片更加靈活,這兩位消息人士說。
後來,隨著扎克伯格將公司轉向元宇宙,算力不足使得公司無法應對威脅,包括TikTok的崛起和蘋果主導的廣告隱私變化。
這些問題引起了前Meta董事會成員彼得·蒂爾(Peter Thiel)的關注。2022年初,他辭去了職務,沒有解釋原因。據兩位知情人士透露,在他離任前的一次董事會會議上,蒂爾指出扎克伯格和他的高管們過於專注於元宇宙的發展,而忽視了Meta的核心社交媒體業務,這讓公司容易受到TikTok等競爭對手的挑戰。
Meta曾計劃在2022年推出定制芯片,但後來放棄,轉而在同年訂購了數十億美元的Nvidia GPU芯片。此時Meta已經落後於谷歌等同行,後者在2015年開始部署自己定制的GPU版本,稱為TPU。
Meta接下來開始重組人工智能部門,任命了兩位新的工程師領導。在這段時間內,數十位高管離開了Meta公司,幾乎全部更換了人工智能基礎設施領導層。
接下來,Meta公司開始改造其數據中心,以適應引進的GPU,這些芯片需要更多的功率和產生更多的熱量,必須緊密地聚集在一起,並在它們之間進行專門的網絡連接。這項工作需要大量的網絡容量和新的液冷系統來管理集群的熱量,因此需要對它們進行“完全重新設計”。
隨著工作的推進,Meta開始內部計劃開發一款更為雄心勃勃的新型芯片,類似於GPU,既能訓練人工智能模型,又能進行推理。兩位消息人士透露,該項目將於2025年左右完成。
Meta的發言人Jon Carvill拒絕就芯片項目發表評論。
雖然Meta正在擴大GPU規模,但微軟和谷歌等公司正在推廣商業生成式人工智能產品,而Meta在這方面沒有太多實質性進展。
Meta首席財務官在二月份承認,公司目前沒有將大部分計算能力用於生成式工作。她說:“基本上我們所有的人工智能能力都用於廣告、動態消息和Reels。”Reels是Meta公司類似於TikTok的短視頻格式,廣受年輕用戶歡迎。
據四位消息人士透露,Meta公司直到ChatGPT在去年11月份推出後,才開始優先考慮開發生成式人工智能產品。雖然公司的AI研究部門自2021年底以來一直在發布技術原型,但沒有專注於將其轉化為產品。然而,隨著投資者的興趣不斷高漲,扎克伯格在今年2月份宣布成立了一支新的高層次生成式人工智能團隊,他說這個團隊將“加速”該公司在這一領域的工作。
首席技術官安德魯·博斯沃思也在本月表示,生成式人工智能是他和扎克伯格花費最多時間的領域,並預測Meta公司將在今年推出新產品。
兩位熟悉新團隊的人士表示,該團隊的工作處於早期階段,主要是構建基礎模型,這是一種核心程序,以後可以進行微調和適應不同的產品。
Meta公司發言人Carvill表示,該公司已經在不同的團隊上開發生成式人工智能產品超過一年了。他確認,在ChatGPT推出後的幾個月裡,這項工作加速了。(易句)
(本文由AI翻譯,網易編輯負責校對)
來源:網易科技