5000億參數傳微軟準備推出自研大模型MAI-1
有報告指出微軟正在訓練名為MAI-1的內部人工智慧語言模型,其規模可與Google和OpenAI的大模型相媲美。根據兩名微軟員工的說法,MAI-1模型由最近微軟挖來的GoogleDeepMind共同創辦人、人工智慧新創公司Inflection前執行長穆斯塔法·蘇萊曼(Mustafa Suleyman)負責。
據悉,微軟尚未明確MAI-1模型的確切用途,這取決於模型效果如何。報導稱,微軟可能會在本月稍後召開的Build開發者大會上預覽這款新模型。
微軟對此拒絕發表評論。
據報道,MAI-1規模將比微軟先前訓練的小型開源模型“大得多”,這意味著其也將更加昂貴。
上個月微軟推出了一款名為Phi-3-mini的小型人工智慧模型,希望用有成本效益的產品吸引更多客戶群。
微軟向OpenAI投資了上百億美元,並在旗下生產力軟體中部署OpenAI的人工智慧技術,從而在生成式人工智慧領域的早期競賽中取得了領先地位。
據報道,為了提升該模型,微軟已經配置了裝備了英偉達GPU的大型伺服器集群,並儲備了大量資料。
報告稱,MAI-1將有大約5000億個參數。相較之下,OpenAI的GPT-4據稱有1兆個參數,Phi-3 mini有38億個參數。
今年3月份,微軟任命蘇萊曼為新成立的消費級人工智慧部門負責人,同時也聘用了Inflection的幾名員工。
報導補充說,新模型並不是源自Inflection,但可能用到了這家新創公司的訓練資料。 (辰辰)