我們離OpenAI還有多遠?“代差”不止幾個月試錯成本仍較高
來自大洋彼岸的OpenAI以及ChatGPT的出現,如同一場颶風暴席捲了整個科技圈,自從發布後,就一直是國內的頂流話題。為什麼中國沒有誕生ChatGPT?在這個問題出現後的近半年時間裡,約30家國內科技大廠、創業公司、機構相繼宣布推出大模型。
此後,業界最為關注、也充滿爭議的一個話題是,國內的大模型距離OpenAI有多遠?關於企業家兩三個月以及兩三年的言論推測都曾刷屏網絡。在近期和不同領域相關從業者的交流中,第一財經發現,儘管有一些樂觀的看法,身處一線的研究者們都較為謹慎。
復旦大學MOSS系統負責人邱錫鵬對第一財經表示,“我們不得不說,不光是國內的模型,包括Google,離OpenAI的GPT4都還是存在代差的,差距非常大,遠遠不是幾個月就可以追趕上的。”
網梯科技創始人張震認為,在追趕OpenAI方面,算力並不是問題,僱傭全球雲服務商夜裡的“垃圾時間”就解決了,核心是算法、數據能不能真的產生智能,這是挑戰。“業界認為一年時間能追到GPT3.5,我覺得不一定追得上,除非把核心程序員挖出來,否則只是看起來很像。”
上海國創中心理事長、領中資本管理合夥人黃岩認為,短期內並不存在追上的說法,因為這個領域需要巨額投入,目前國內沒有哪家大模型廠商投下了OpenAI那樣規模的資金,對於這個高投入、高風險、高回報的領域,國內的資本也還在持幣觀望。
儘管如此,邱錫鵬認為,很多人會思考為什麼中國沒造出ChatGPT,“能思考這個問題本身就是一個很大的進步,放在10年前我們不會思考這個問題,會覺得一個先進技術發展在美國是應當的。”現在我們思考,並且去追趕,本身就是一種進步。
代差不是幾個月就能追上
“在過去的幾個月,有十幾個大語言模型的發布會,這些模型都大同小異,現狀就是,在全球範圍內只有OpenAI能夠達到通用人工智能的商業化,並且有絕大部分用戶的市場。”在長三角科技產業創新論壇上,竹間智能創始人兼CEO簡仁賢認為,幾乎除OpenAI以外的AGI大語言模型都只是發布會的階段,沒有達到可商用化的程度。
簡仁賢表示,從發布會到可商用化,中間有很大一段距離,這個差距還很大。目前的情況是,OpenAI具有幾億人的使用數據,它用這些使用數據再去微調其模型,“GPT4已經非常厲害,更不用說未來會有GPT5。”
邱錫鵬的團隊此前嘗試用大模型去做高考題,但並沒有用MOSS去測試,在採訪中他直言是因為覺得“它應該考不了多少分”。邱錫鵬表示,團隊之前讓ChatGPT做高考題,用人工評價大概判斷得分在500分左右,後來用一些更嚴格的方式、用程序來評判,得分大概400分不到。不過此後GPT4又將高出非常多。近期,以“火星”命名的千億級模型參數的更新版MOSS模型即將上線,邱錫鵬的團隊計劃讓更新版MOSS參加今年的高考,以測試其分析和推理能力。
國內有部分企業認為我們與ChatGPT的差距很小,邱錫鵬認為,作為聊天軟件,國產大模型或許與ChatGPT差別不太大,但作為生產力工具,兩者能力仍然存在代差,這個代差不是幾個月就能追上的。
深思考是華為投資的人工智能企業,此前發布了針對專業場景的多模態大模型,作為身處一線的觀察者,深思考創始人、AI算法科學家楊志明對第一財經表示,從通用層面來說,國內大模型與OpenAI大概有1-2代的代差,這個代差代表了整個模型層的技術,包括學習的知識、能力等等方面的差距。
楊志明認為,很難從時間上去衡量這個差距,因為速度不一樣,可能國內基於一些公開論文和模型,學習先行者會快一點,但也並非是幾個月這麼簡單。關鍵在於,OpenAI還在往前走,會越跑越快,“在垂直領域,我們有可能追上,在通用這塊還會有一段時間。”他表示。
國內迫切呼喚通用大模型。在長三角科技產業創新論壇上,上海市徐匯區委常委、副區長俞林偉就表示,目前最重要的是大模型,因為這個是真正的國之大者。“也有充滿危機感的行業的領軍人物講,如果我們今年下半年仍然不能做出中國的通用大模型,因為美國還在不斷地往前走,以後可能我們連汽車的尾燈都看不見,這個絕對不是危言聳聽。”
在論壇現場,俞林偉“廣發英雄帖”表示,徐匯願意以事業合夥人的胸襟和擔當,真金白銀拿出辦公的載體、算力資源以及研發費用的補貼。“只要誰能夠把這個乾出來,我們是願意盡最大的努力來支持,盡最大的意願來做好服務。前一段時間我們已經服務了幾家這樣的企業,拿出來的載體價格至少這兩年我從來沒有見到過。”
據黃岩團隊的統計,截至2023年4月,AGI賽道目前在國外已出現了13家獨角獸。在國內目前只有小冰公司已明確成為獨角獸。超一半初創企業的融資進度在A輪或天使輪,行業仍處於發展初期。
目前,最受頭部資本關注的機構均與底層大模型或AI領軍人物下場相關,如已退休的美團聯合創始人王慧文、搜狗創始人王小川、創新工場董事長李開復等。此前王慧文公開動態透露,光年之外的下輪融資已有頂級VC認購2.3億美元。
試錯成本仍然較高
在談及與OpenAI的差距時,此前有投資人表達了相對樂觀的態度。一方面,大模型的架構已經確定,後發者很容易去學習。此外未來三年算力的成本會下降,同時又有不少開源模型作為基礎支持。站在巨人的肩膀上,節省了從頭開始的試錯成本。
邱錫鵬對第一財經記者表示,整體從技術能力上,國內外沒有太大的差距,差距更可能來自於在前期有風險、道路不明確的時候,有沒有投入巨資,類似於賭博式去做這件事。
另一方面,儘管OpenAI已經走通的路徑能幫後來者節省很大的成本,但其具體每一步的細節外界並不知道。雖然都是Transformer的架構,但是Transformer也有很多版本,每家都不一樣。
“這都是研究者根據自己在研究中的一些經驗或者理論等推導出來的,應該做哪些修改等等外界完全不知道。我們自己做的時候,也需要去試錯,這個成本依然非常高。”邱錫鵬說。
黃岩認為,雖然可以參考一些開源的內容,但是一方面數據的標註仍然需要人為去標識,這需要大量的投入。另一方面,現在算法也開始自AI,即自動生成算法,這個結果出來不可控,研究者並不知道是怎麼算出來的,因此這個過程並不容易。
此外,大模型需要巨額投入,此前有投資人測算,對標一個GPT3.5,基於目前已有的公開資源,大概需要的投入至少是1億到2億美金。
但與國外融資環境相比,國內AIGC目前融資頻次與體量有一定差距。黃岩認為,通用大模型有著高投入、高風險、高回報的投資特點,商業價值很難在短期內產生。“以微軟130億美元投資OpenAI為例,在沒有看到其產品效果以及真正商業化之前,很難有機構敢去做這個規模的投資。”目前大部隊還處在缺乏明確邏輯和標的的觀望狀態,黃岩表示。
在採訪中,商湯科技智能產業研究院院長田豐還對第一財經提到,算力之外,數據是一個很重要的成本。大模型訓練需要需要跨語言、跨行業、跨領域的龐大數據集,上至天文下至地理等領域的數據都需要有效覆蓋,但一方面是訓練數據集可獲得的難易程度問題,另一方面則是獲得的質量問題,以及背後還有不可忽視的人工糾偏、合規審查等重投入工作。
在中文語料庫裡,通過互聯網獲得高質量數據並不佔優。根據調研公司W3Techs的數據,全球的網站有55%是英文的,而中文網站的比例只有1.4%,排名第12位,和越南相近。因此中文內容在人工智能訓練上沒有優勢。
另一方面是數據獲得的難易程度以及標準化程度,田豐提到,國際上多邊跨國數據政策互通、全球訓練數據集易於獲取,而中國尚缺乏大模型國際標準深度參與、多國數據流動機制、國際標準互認、大規模中文語言開源訓練數據集。
如此前歐盟委員會法規已構建起歐盟與英日韓等多個國家的跨境數據流動充分性權限許可。在4月底的G7會議上,通過聯合聲明明確提出建立“可信賴的AI”國際技術標準、基於“可信的數據自由流通”(DFFT)構建起國際機制,促進跨國數據流通。
田豐認為,類似通過舉國體制去建立全球最大的公共開源中文數據集,以加速中文大模型的訓練速度與質量刻不容緩。OpenAI之所以有工程上的奇蹟,關鍵就在於其開放的技術鏈條,能夠把全球產業鏈上最前沿的技術融合到一起。如果都只有各自那一塊領域的數據很難訓練出大模型。
“我們希望政產學研一起去做這個事情,龍頭企業有行業數據,科技公司有較強的大模型基礎研發能力與人才,國家實驗室、國家數據局作為多方信任的中立機構,能夠有效將全球中文數據集合法合規集中於一個國家共享開放生態,發揮出AGI時代舉國體制的巨大價值。”田豐呼籲。