阿里雲發佈通義千問2.0 效能超GPT-3.5 正加速追趕GPT-4
2023杭州雲棲大會上,阿里雲首席技術長週靖人正式發表千億級參數大模型通義千問2.0。在10個權威測評中,通義千問2.0綜合性能超過GPT-3.5,正在加速追趕GPT-4。當天,通義千問APP在各大手機應用市場正式上線,所有人都可透過APP直接體驗最新模型能力。
通義千問2.0發布
週靖人介紹,過去6個月,通義千問2.0在性能上取得巨大飛躍,相較於4月發布的1.0版本,通義千問2.0在複雜指令理解、文學創作、通用數學、知識記憶、幻覺抵禦等能力上均有顯著提升。目前,通義千問的綜合性能已經超過GPT-3.5,加速追趕GPT-4。
通義千問2.0綜合性能超過GPT-3.5,正在加速追趕GPT-4
在MMLU、C-Eval、GSM8K、HumanEval、MATH等10個主流Benchmark評測集上,通義千問2.0的得分整體超越Meta的Llama-2-70B,相較於OpenAI的Chat-3.5是九勝一負,相較於GPT-4則是四勝六負,與GPT-4的差距進一步縮小。
中英文理解能力是大語言模型的基本功。英語任務方面,通義千問2.0在MMLU基準的得分是82.5,僅次於GPT-4,透過大幅增加參數量,通義千問2.0能更好地理解和處理複雜的語言結構和概念;中文任務方面,通義千問2.0以明顯優勢在C-Eval基準獲得最高得分,這是由於模型在訓練中學習了更多中文語料,進一步強化了中文理解和表達能力。
在數學推理、程式碼理解等領域,通義千問2.0進步明顯。在推理基準測試GSM8K中,通義千問排名第二,展示了強大的計算和邏輯推理能力;在HumanEval測試中,通義千問得分緊跟GPT-4和GPT-3.5,該測試主要衡量大模型理解和執行程式碼片段的能力,此能力是大模型應用於程式輔助、自動程式碼修復等場景的基礎。
據介紹,通義千問更成熟了,也更好用了。通義千問2.0在指令遵循、工具使用、精細化創作等方面作了技術優化,能夠更好地被下游應用場景整合。通義大模型官網上線了多模態和插件功能,支援圖片輸入、文件解析等細分任務。
同時,基於通義大模型訓練的8大行業模型組團上線,分別是:通靈靈碼-智能編碼助手、通靈智文-AI閱讀助手、通義聽悟-工作學習AI助理、通靈星塵-個人化角色創作平台、通義點金-智能投研助理、通義曉蜜-智能客服、通義仁心-個人專屬健康助理、通義法睿-AI法律顧問。
8大產業模型面向當下最受歡迎的多個垂直場景,使用領域資料進行專門訓練。使用者可以在官網直接體驗模型功能,開發者可以透過網頁嵌入、API/SDK呼叫等方式,將模型能力整合到自己的大模型應用和服務中。
通義大模型家族全面升級,8大產業模型組團上線
截至10月,阿里雲已與60多個產業頭夥伴進行深度合作,推動通義千問在辦公、文旅、電力、政務、醫保、交通、製造、金融、軟體開發等領域的落地。
週靖人透露,阿里雲計畫近期開源通義千問72B版本,此前,阿里雲已先後開源7B和14B版本模型,模型累計下載量超過100萬。阿里雲將持續支援千行百業的開發者基於通義千問開源模型進行模型和應用創新。
圖:通義千問72B即將開源