AI實現中文、粵語和英文歌曲的語音合成系統
浙江大學和微軟亞洲研究院的研究人員使用網上抓取的歌曲數據進行訓練,開發出能唱中文、粵語和英文歌曲的語音合成系統DeepSinger。研究報告(PDF)發表在預印本網站Arxiv.org。
這項研究可用於在錄音完成之後對歌曲進行修改或增添,無需歌手重新演唱,但它也可能帶來假唱的問題,讓歌手唱他們從未唱過的歌。
研究人員稱,網上抓取的歌曲質量通常參差不齊,DeepSinger 使用了由89 名歌手92 小時的歌曲數據集進行訓練,通過將歌唱與伴奏分離、歌詞歌曲對齊、過濾和建模等多個步驟,最後能合成出高質量的AI 歌曲。