虛擬人「華智冰」彈唱秘密揭開 面部表情、歌聲均由智慧框架生成
近日,虛擬人「華智冰」彈唱視頻走紅網路。 對此,該內容製作方小冰公司發表說明,介紹了「華智冰」彈唱內容製作背景,涉及相關技術與此前的不同之處,以及對虛擬人內容技術發展的觀點和態度。
小冰公司表示,虛擬人將成為未來視頻內容的主要提供者之一,而安全、可控、無隱私風險和侵權風險是其前提。 因此,小冰一直在這一趨勢方向上進行探索,並從不同方面對這一領域做拓展研究。 小冰與清華大學計算機系合作華智冰專案,正是在預訓練模型方面進行合作,希望能夠以智慧模型作為核心,試驗預訓練模型能夠帶來哪些技術與應用方面的驚喜。
這次傳播的視頻,來自小冰發佈會的進展彙報展示,為華智冰能力續寫了一些新的進展,demo小冰框架下最新的面部生成和3D視頻封裝技術成果。 具體來說:視頻中人物的面部特徵,包括人臉、表情、口型等,全部由人工智慧小冰框架X Avatar生成並進行融合;視頻中的人物肢體、動作,包括手持吉他彈唱,來源於小冰團隊成員魚子醬醬錄製的原始視頻模版。 視頻中的歌聲,由人工智慧小冰框架X Studio生成。
隨著視覺化交互內容(如短視頻)的不斷深化,對於人物出鏡交互的需求越來越多。 但是,由於人類的行為存在各種不穩定性,常常給商業機構和品牌方帶去很大的風險與不確定性。 對此,越來越多的商業機構、內容製作方與品牌方,呼喚一種安全可控的虛擬人類內容(含商業代言)產品化技術。
已往付諸產品化的技術存在諸多問題:它無法像真實人類一樣,生成足夠豐富的面部features,且無法打通生成與替換的端到端流程。 因此,只能實現真實人類面部間的替換,精度品質不足。 更嚴重的問題是,以往的方法無法從根源上避免隱私侵權風險。
新的產品化技術實現了完全虛擬生成不存在的面部,且具有足夠豐富的features,從而能夠實現精度更高的視覺化交互內容。 尤其是,由於從根源上避免了使用任何真實人類面部的可能性,有效阻斷以往技術無法避免的隱私侵權問題。 從隱私角度,是一個重要的進步。
小冰公司還透露,華智冰除了3D面部生成、歌聲合成的優化外,還有其他很多更底層的、涉及數位人”大腦”的新技術應用,例如在有機融合了知識圖譜和預訓練模型后,可以讓數位人有常識和推理能力。 華智冰正在不斷”成長”中,還會有更多最新技術的應用,敬請期待。