人工智能公司開發全新語音合成技術或能幫助解決外語片配音問題
據AXIOS報導,一些AI公司正在開發解釋和合成廣告、電影和電視中的聲音的方法。語音合成方面的進展可以幫助解決糟糕的外語片配音問題- -它們的出現是因為作為娛樂全球化的一部分,國際內容對電影公司和流媒體平台變得越來越重要。
但它們引起了人們對深層偽造音頻的可能性以及名人的聲音在他們死後可能被使用的擔憂。
像《魷魚游戲》和《紙鈔屋》這樣的外語片正在吸引創紀錄的觀眾,但對於試圖開拓日益增長的國際市場的電影公司來說,字幕仍然是一塊絆腳石。
例如,觀看《魷魚游戲》配音版的Netflix用戶比觀看字幕版的用戶多。由於大片佔用了大量帶寬,小型外語內容生產商很難找到足夠的翻譯和配音演員來滿足需求。
人工智能公司Veritone的聯合創始人兼總裁Ryan Steelberg說:“我們仍然停留在一對多的廣播模式的思維模式中。”Veritone開發了一個名為MARVEL.ai的產品,允許內容製作者生成和授權其所謂的“超現實”合成聲音。
這意味著,例如,播客創作者可以將音頻廣告文案解釋為另一種語言,然後MARVEL.ai將生成一個合成版本的聲音,用新的語言閱讀廣告。
Steelberg說:“它讓你有能力以更大的規模和更低的成本對音頻進行超個性化處理。”
文字轉語音技術已經存在了幾十年,但Veritone的產品使用了“語音轉語音”,Steelberg稱之為“語音即服務”。
Veritone可以訪問來自媒體庫的PB級數據,並利用這些數據來訓練其人工智能產品,創建一個原始語音的合成版本,可以針對不同類型的情感或情緒進行調整,或者通過翻譯,說出一種外語。
“它不再是另一個人的新聲音,例如代表湯姆·克魯斯說話,”Steelberg說。“這真的將是用湯姆·克魯斯的聲音來說另一種語言。”
NVIDIA一直在開發技術,允許人工智能改變視頻或動畫的方式,將演員的嘴唇和麵部表情與新的語言相匹配–因此將不再有20世紀70年代的電影中那種不同步的配音。這項技術可能會首先用於廣告,但隨著它向更高質量的內容遷移,它將為明星人才帶來潛在的機會和陷阱。
Steelberg說:“在配音和後期製作方面,合成聲音將成為主流,你會看到這一點被納入人才合同。”
這不僅僅是為了確保好萊塢明星(和他們的經紀人)在使用他們的合成聲音時獲得分成,而且也是為了防止這些聲音在技術越來越普及的情況下被劫持用於惡性目的。
值得關注的是,已故名人的聲音和其他創造性屬性將如何被人工智能所利用?
弗蘭克·扎帕等已故音樂家的全息影像已經被用於“現場”表演,帶來了數千萬的收入,而Kenny G最近發布了與30年前去世的爵士樂大師Stan Getz的“二重奏”。Getz現有資料庫中的樣本音頻資料被用來生成一個新的、合成的旋律–儘管這個旋律被爵士樂作家Ted Gioia稱為“Frankenstein唱片”。