豆包大模型1.5Pro正式發布
今天,豆包大模型1.5Pro版本正式和大家見面。新模型綜合能力顯著增強,低訓練/推理成本,高效模型結構,全面提升多模態能力、推理能力,多項公開評測基準上全球領先。模型訓練過程中,未使用任何其他模型產生的數據,紮實不走「捷徑」。
完整版Blog可在豆包大模型團隊官網查看(可直接點選文末「閱讀原文」):
目前,Doubao-1.5-pro 已在豆包App 灰階上線,接受海量請求效果出色,同時,開發者也可在火山引擎直接呼叫API 。
綜合能力領先
豆包大模型1.5Pro在知識(MMLU_PRO、GPQA)、代碼(McEval、FullStackBench)、推理(DROP)、中文(CMMLU、C-Eval)等多項公開測評基準上成績全球領先。詳見文末表格。
高效能模型結構,超低成本
豆包大模型1.5Pro使用較小的激活參數進行預訓練,訓練成本極低,但性能不打折,採用大規模稀疏MoE架構,等效7倍激活參數的Dense模型性能,遠超業內MoE架構約3倍槓桿的常規效率。
憑藉自研伺服器叢集方案,靈活支援低成本晶片,硬體成本比產業方案大幅降低。
自研網卡和網路協議,顯著優化小包通訊效率,算子層計算與通訊的高效交疊,保證了多機分散式推理的穩定和高效;透過精細量化和PD分離等方案,靈活使用算力和多工混合調度,實現更有效率算力利用。
多模態能力全面提升
新版豆包視覺理解模式Doubao-1.5-vision-pro,視覺理解能力全球領先。詳見文末表格。
全新的豆包即時語音模型Doubao-1.5-realtime-voice-pro,採用Speech2Speech端到端框架,表現力實現質的飛躍,真正做到會哭會笑、能說方言會唱歌。模型已在豆包App全量上線,歡迎體驗。
更強的深度思考能力
基於豆包1.5基座模型,透過RL演算法的突破與工程最佳化,在未使用其他模型資料的情況下,研發豆包深度思考模型。階段性進展Doubao-1.5-Pro-AS1-Preview在AIME上已取得了業界領先的成績。詳見文末表格。
紮實不走“捷徑”
在所有模型訓練過程中,未使用任何其他模型產生的資料。
豆包大模型建構自主的資料生產體系,以標註團隊與模型self play技術結合,高效優化資料質量,提升資料標註多樣性與難度,確保資料來源的獨立性和可靠性。
向無盡的未知進發
字節豆包大模型團隊鼓勵探索更長週期、不確定的研究主題,也鼓勵挑戰跨模態、跨方向的高難度課題交叉合作。歡迎有志研究人員加入了解。
附: