能讓黴黴中文開口跪、郭德綱用英文說相聲的那個AI－－有開源平替了！這是用它讓羅翔進行英文普法的效果，張三李四「要素齊全」：以及英文講人生哲理「你的內心有沒有幽暗的成分」（cr: line xiongjie lin）：相比起來，雖然和原產品（也就是HeyGen）有一點差距，但網友的評價是：也還可以。

主要有了它，咱們在本地就能無限玩影片翻譯，直接好處那可就是每月立省350～（手排狗頭）

畢竟，HeyGen再厲害，也只有2分鐘免費時長。

△ HeyGen收費情況

具體瞧瞧。

HeyGen開源平替來了

這個影片翻譯平替名叫MyHeyGen，來自b站UP主：@ai浮世繪。

除了英文，MyHeyGen也支援轉法語、日語等共16種語言。

視訊翻譯的三個流程：音訊翻譯、翻譯校正和視訊唇紋合成，它全部一個流程解決。

如果你想親手試試，步驟也不複雜。

大概流程是先環境準備：

需要分別去Huggface申請個token、去百度翻譯申請個AppKey，並下載權重和checkpoints檔案。

然後就可以git clone安裝了。

在開始測試之前，記得將你要翻譯的影片下載儲存到本地。

然後在執行命令中提供其保存路徑+想要翻譯成的語言代碼（例如’en’代表英語）+翻譯好的視頻保存路徑就可以坐等了。

命令的完整格式如下：

python translate.py 原始視訊檔案路徑目標語言程式碼-o 儲存路徑

有網友實測成功：

不過，還是必須滿足16G顯存才ok，以及windows用戶可能需要自己再解決一下相容問題（up主該影片底下有人提供了方法）。

如果這些都不行，可以再等等colab實現，up主表示在測試中了。

效果方面，可以發現MyHeyGen音色復刻得很是到位，用了最新的語音克隆開源技術XTTS v2。

投餵給AI一個明星的採訪視頻，它就能克隆其中的聲音講不同的話。

至於MyHeyGen的缺點，大家看完表示也明顯。

例如有人反映口形有些不同步，有人則吐槽遇上臉部大幅活動就容易「抽風」（如本段開頭的「這英」）等等。

但整體玩一玩還是ok的。

One More Thing

仔細一翻，HeyGen的開源替代品還真不少。

有俄羅斯程式設計師也在業餘時間做了一個：HeyGenClone。

用的是Google翻譯，可以支援上百種目標語言，但只支援原語言為英文的影片。

由於只給了一個很短的俄文效果展示，不是很好評鑑，這裡就不放影片了～

參考連結：

[1]https://twitter.com/dotey/status/1722543725459452211

[2]https://twitter.com/gorden_sun/status/1722439866112463163

來源：量子位