Meta推出新的AI模型可轉錄和翻譯近百種語言
Meta發布了一個名為SeamlessM4T的人工智能(AI)模型,可以翻譯和轉錄近百種語言。據Meta介紹,SeamlessM4T可以翻譯近100種語言的語音到文本和文本到文本。對於語音轉語音和文本轉語音的操作,它可以識別100種輸入語言,並將其轉換為35種輸出語言。
SeamlessM4T是根據知識共享許可(CC) 協議4.0發布的,允許研究人員對其進行迭代。
除了SeamlessM4T,Meta還發布了其開放翻譯數據集SeamlessAlign的元數據。
Meta表示:“建立一個通用語言翻譯器,例如像《銀河系漫遊指南》中虛構的巴別魚那樣,是具有挑戰性的,因為現有的語音對語音和語音對文本系統只覆蓋了世界語言的一小部分。”
《銀河系漫遊指南》是由英國作家道格拉斯·亞當斯所寫的一系列科幻小說,而巴別魚是這部作品所創造的一種神奇生物,體型小到足以放進人的耳朵,靠接受腦電波為生。如果將巴別魚放到耳朵裡,人們可以理解任何語言。
對於SeamlessM4T模型,Meta研究人員在一篇研究論文中表示,他們從400萬小時的原始音頻中收集了音頻訓練數據,這些音頻來自一個公開的抓取網絡數據存儲庫,但沒有說明是哪個存儲庫。
研究報告稱,文本數據來自去年創建的數據集,這些數據集從維基百科和相關網站上提取了內容。
Meta表示,SeamlessM4T代表了一個重大突破,因為這個模型可以一次性完成整個翻譯任務,而不像其他大型翻譯模型那樣,將翻譯分成不同的系統。
SeamlessM4T建立在Meta之前的翻譯模型之上。Meta去年發布了支持200種語言的文本到文本的翻譯模型。它開發了用於多語言語音到語音翻譯的數據集,以及用於語音識別的大規模多語言語音。Meta去年展示了它的通用語音翻譯器,可將閩南語轉化為英語。