Google、Anthropic和OpenAI齊陷「僵局」 AI模型開發瓶頸如何破?
知情人士透露,與OpenAI一樣,Google和亞馬遜支援的Anthropic的大語言模型效能也進入了停滯不前的瓶頸期。三名知情人士稱,即將推出的Gemini未達內部預期。此外,Anthropic已延後了其Claude模型的下一個版本,即3.5 Opus。公司表示,目前仍缺乏訓練模型的人工資料。
正處於一個里程碑關鍵時刻的OpenAI在9月完成了一個大型新人工智慧模型的首輪訓練,希望該模型能夠大大超越ChatGPT背後的先前技術版本,並向超越人類的強大人工智慧模型的目標更近一步。但據兩名知情人士透露,這款內部稱為「獵戶座」(Orion)的模型並未達到公司預期的性能。
知情人士說,例如,截至夏末,Orion在試圖回答未接受過訓練的程式設計問題時表現不佳。整體而言,到目前為止,Orion對OpenAI現有模型的提升並不像從GPT-3.5到GPT-4的提升那麼大。 GPT-3.5最初是OpenAI旗艦聊天機器人的動力系統。
OpenAI並不是最近唯一遇到障礙的公司。在多年來以極快的速度推出愈加複雜的人工智慧產品之後,三家領先的人工智慧巨頭目前卻發現,為開發新模型而付出的高昂代價產生的回報正在減少。
Anthropic上個月發布了一款名為Claude 3.5 Haiku的新版本,以及Claude 3.5 Sonnet的升級版本。今年9月,OpenAI公司推出了一系列新人工智慧模型,名為o1和o1-mini,可對複雜任務進行推理,並解決比以前的科學、程式設計和數學模型更難的問題。
但據三位知情人士透露,Alphabet旗下Google即將推出的Gemini軟體版本未達內部預期。同時,Anthropic期待已久的Claude模型3.5 Opus的發佈時間表也已推遲,而且未提供具體發布日期。
這些AI巨頭目前正面臨一些挑戰。要找到用於建構更先進人工智慧系統的新的、未開發的高品質人工訓練資料來源正變得越來越困難。兩位知情人士表示,Orion的程式表現不理想,部分原因是缺乏足夠的程式資料進行訓練。同時,即使是適度的提升可能也不足以證明與製造和營運新模型相關的巨大成本具有合理性,以及達到將產品標榜為重大升級所帶來的期望。
不過,這些模型仍有很大潛力可以改進。據其中一位知情人士透露,OpenAI一直在讓Orion經歷一個長達數月的被稱為「後培訓」的過程。這是公司公開發布新型人工智慧軟體之前的常規流程,包括納入人類反饋以改善其回應,並改進模型與用戶互動的基調等。但一位知情人士表示,Orion仍未達到OpenAI希望的可向用戶發布的水平,公司也不太可能在明年年初之前推出該系統。 《The Information》先前曾通報OpenAI開發新模型所面臨挑戰的一些細節,包括程式設計任務。
此外,OpenAI執行長薩姆·奧特曼(Sam Altman)先前曾表示,整體算力水平也是最新一輪人工智慧模型浪潮需要面臨的問題。奧特曼最近在Reddit上表示:「所有這些模型都變得相當複雜,我們無法同時推出那麼多東西。」「我們還面臨著許多限制和艱難的決定,即如何將我們的計算分配給許多偉大的想法。