Google計劃建立巨型人工智能語言模型支持全球1000種最常用的語言
Google宣布了一個雄心勃勃的新項目,開發一個支持世界上”1000種最常用語言”的單一AI語言模型。作為實現這一目標的第一步,該公司公佈了一個經過400多種語言訓練的人工智能模型,它將其描述為”今天在一個語音模型中看到的最大的語言覆蓋範圍”。
語言和人工智能可以說一直是Google產品的核心,但最近機器學習的進步–特別是強大的、多功能的”大型語言模型”或LLM的開發–使這些領域得到了新的重視。
Google已經開始將這些語言模型整合到Google搜索等產品中。但語言模型有許多缺陷,包括傾向於轉述有害的社會偏見,如種族主義和仇外心理,以及無法以人類的敏感性來解析語言。在自己的研究人員發表了概述這些問題的論文後,Google自己也臭名昭著地解雇了他們。
不過,這些模型能夠完成許多任務,從語言生成(如OpenAI的GPT-3)到翻譯(見Meta的”不遺漏語言”工作)。Google的”1000種語言計劃”並不專注於任何特定的功能,而是要創建一個具有世界上各種語言的巨大知識廣度的單一系統。
Google人工智能研究副總裁Zoubin Ghahramani說,該公司認為,創建一個如此規模的模型將使其更容易將各種人工智能功能帶到在線空間和人工智能訓練數據集中表現不佳的語言(也被稱為”低資源語言”)。
“語言就像生物體,它們是相互演化而來的,它們有某些相似之處。通過讓一個單一的模型接觸並訓練許多不同的語言,我們在低資源語言上得到更好的表現,”Ghahramani說。”我們達到1000種語言的方法不是通過建立1000種不同的模型。語言就像生物體,它們是相互進化的,它們有某些相似之處。而且,當我們將一種新語言的數據納入我們的1000種語言模型,並獲得將[它所學到的東西]從一種高資源語言轉化為低資源語言的能力時,我們可以在我們所謂的零點學習中找到一些相當驚人的進展。”
過去的研究顯示了這種方法的有效性,而Google計劃中的模型的規模可以提供比過去的工作更多的收益。這種大規模的項目已經成為科技公司主導人工智能研究雄心的典型,並利用了這些公司在獲得大量計算能力和訓練數據方面的獨特優勢。一個類似的項目是Facebook母公司Meta正在嘗試建立一個”通用語音翻譯器”。
Google表示,為了支持1000種語言模型的工作,它將資助收集低資源語言的數據,包括音頻記錄和書面文本。
該公司表示,它沒有直接計劃在哪裡應用這個模型的功能–只是預計它將在Google的產品中具有一系列用途,從Google翻譯到YouTube字幕等等。
“同樣的語言模型可以將機器人的命令變成代碼;它可以解決數學問題;它也可以進行翻譯。關於大型語言模型和一般的語言研究,真正有趣的事情之一是它們可以做很多很多不同的任務,”Ghahramani說。”語言模型真正有趣的地方在於它們正在成為大量知識的儲存庫,通過以不同的方式探測它們,你可以獲得不同的有用功能。”
Google在一個新的人工智能產品展示會上宣布了1000種語言模型。該公司還分享了關於文本到視頻模型的新研究,一個名為Wordcraft的人工智能寫作助手原型,以及對其人工智能測試廚房應用程序的更新,該應用程序允許用戶有限地訪問正在開發的人工智能模型,如其文本到圖像模型Imagen。