新華社:百度文心一言綜合排名國內第一智商超過ChatGPT 3.5
近日,新華社研究院中國企業發展研究中心對主流大模型產品進行了體驗評測,發布了《人工智能大模型體驗報告》。《報告》顯示,百度文心一言總得分位居國內第一,並在基礎能力、智商、情商、工作提效等維度均獲國內第一。在智商測試部分,百度文心一言意外超過ChatGPT3.5,表現突出,位居排名第二,僅次於GPT4。
在綜合指數評價方面,本次評測選取4大維度(基礎能力、智商測試、情商測試、工作提效能力)、36個子能力,共300個問題,對目前主流大模型產品進行測試。
同時,研究院還邀請相關專家組成評測團隊深入分析各個產品的語義理解、知識儲備、邏輯能力等,最終得出各廠商的大模型綜合指數評價。
綜合評測結果顯示:ChatGPT系列模型各項指標表現優異,Chat-GPT4.0版本各項能力在3.5版本的基礎上均有一定程度提升。
由百度開發的人工智能大模型文心一言是目前國內自主研發的大模型中具有優勢的產品。其餘大模型產品也在基礎能力方面表現優良,但面對較複雜的工作內容或情商環境仍有不同程度的進步空間。