在讓你“看片更爽”的領域:騰訊一次性拿了15個世界冠軍
中國隊在技術競賽這事兒上,真是大發了:就在剛剛結束的一場音視頻領域國際頂級比賽中,來自中國的技術團隊,一口氣包攬了全場所有冠軍!這樣的畫面,出現在MSU視頻編碼器大賽上。這一賽事至今已走過十幾個年頭,是視頻編解碼領域全球權威賽事,被外界評價為“行業發展的風向標”。
剛剛揭曉結果的的FullHD(全高清)賽道,本次共設置1/5/30 fps三個速度檔位,每個速度檔位有5個關鍵指標,總計15個關鍵指標。騰訊編碼器包攬了全部15項第一。其中,騰訊自研編碼器Tencent266奪得12項第一,第一總數最多。
在所有標準(含H.266/H.265/AV1)編碼器中,Tencent266更是取得了3個速度檔15項關鍵指標全部第一的優異成績。
此外,騰訊Tencent-TVC編碼器取得6項第一,Tencent TXAV1/V265編碼器在AV1/H.265編碼器中保持行業領先。
雖說技術細節聽上去有些垂直,但說實話,這還真和我們所有人都關係緊密——
一句話概括,就是能讓你“看片”更爽。
並且基於這些技術,這回咱中國用戶的產品體驗,還沖在了世界前列。
具體是怎麼一回事,咱們今天就掰開揉碎,詳細聊聊~
壓縮視頻也是個技術活兒
先說回到MSU編解碼器大賽本身,競逐在這個賽場上的,可不只是騰訊一家大廠,阿里字節,都是常客。
之所以如此受到業界關注,原因很簡單:
這一大賽由莫斯科國立大學圖形與媒體實驗室主辦,測評業界開源和私有編碼器性能,經過連續17屆的發展,已經成為全球最知名的視頻編碼器比賽之一。因此競賽成績,也已被視作廠商實力的一種客觀評價標準。
畢竟視頻編碼器,簡單來說乾的就是一個壓縮視頻大小,節省帶寬流量成本,同時還要保證視頻畫質,讓觀眾老爺們看得過癮的活兒,可以說是音視頻廠商們安身立命的技術之一了。
在今天,你在線上看到的每一個視頻,都經歷過視頻編碼器的“瘦身”。否則,不僅是廠商們的存儲、傳播成本吃不消,你的手機流量也會分分鐘變成負數。
在MSU編碼器大賽中,又屬FullHD賽道競爭最為激烈。
FullHD視頻,也就是大家熟悉的1080p視頻,是目前視頻服務中最常見的分辨率之一。
常見歸常見,相比720p、480p等其他分辨率,因為更高清包含更多像素,從技術的角度來說,要對1080p視頻進行壓縮就更難,視頻編碼器面臨的挑戰更大:需要更高的壓縮率來降低帶寬成本,同時要盡量降低畫質損失。
此番FullHD比賽,同樣高手如雲,騰訊、百度、網易、B站都有編碼器團隊參賽。
具體而言,本次比賽的規則是這樣的:為了更好地評估編碼器在各個應用場景中的表現,首次引入3個速度檔位,即1 fps(Slow)、5 fps(Medium)、30 fps(Fast)轉碼,分別面向不同熱度(即不同轉碼成本)視頻的轉碼策略,熱度越高的視頻值得投入更多的算力來取得更高的壓縮率,以降低熱度視頻的帶寬成本。
值得注意的是,目前常見的視頻業務,主要採用的就是5fps、30fps以及附近的轉碼速度檔位,因此這兩項指標對於實際業務性能和成本至關重要。
而在5 fps和30 fps相關的10項指標中,騰訊符合最新一代視頻編碼標準H.266/VVC的Tencent266編碼器全部位列第一。在1 fps中,Tencent266也拿下兩項指標第一。
在視頻編解碼領域最為常用的PSNR(峰值信噪比)指標,以及業界常用來評判用戶實際觀感的VMAF-NEG指標中,Tencent266也全部位列第一。
在本次比賽H.266賽道中,Tencent266獲得了三個速度檔位15項關鍵指標全部第一。H.266/VVC是目前最先進、壓縮率最高的視頻編碼標準,本次Tencent266在H.266賽道取得全面第一充分展現了Tencent266的技術先進性。
具體壓縮效果對比如下:
以PSNR指標為例,Tencent266編碼器在1 fps、5 fps、30 fps這3個速度檔位上,相比於x265編碼器,可以分別節省50%、53%、52%的帶寬。
所以,騰訊團隊究竟做了哪些技術準備,最終才在一眾大廠團隊中脫穎而出拿下冠軍?
自研300+算法,搞定3大環節
要想了解這一切,還得先從冠軍團隊採用的H.266標准說起。
H.266,又稱為多功能影像編碼VVC(Versatile Video Coding),是繼H.264和H.265之後的新一代視頻壓縮標準。
新的視頻壓縮標准出現,往往意味著新一代視頻編解碼技術的變革——
如H.262推動了數字電視落地、H.264讓互聯網也充滿視頻,H.266不僅將視頻分辨率從4K提升至8k、視頻類型還支持了360°全景……
但新標準的出現,並不意味著視頻各行業就會立刻迎來“技術大升級”。
畢竟對視頻內容生產平台而言,是否支持最新一代標準,還得先評估一波編解碼產品落地成熟度;對各開發廠商而言,更是需要考慮新標準的技術專利費等問題,一不留神就容易被“卡脖子”……
為了推動新一代視頻編解碼技術的落地,從制定標准開始、到編解碼器的研發、再到產品應用落地,騰訊決定每一步都“親自上陣”。
首先是在標準制定上,騰訊不僅參與其中,還貢獻了一波技術創新“點子”。
一方面,在負責開發H.266/VVC標準的聯合視頻專家組JVET中,騰訊多媒體實驗室的研究人員擔任了多個關鍵職位,如參考軟件聯合主席等;
多媒體實驗室負責人劉杉博士,還擔任了H.266/VVC標準的聯合主編。
另一方面,騰訊還深度參與了H.266/VVC的標準制定,提交的技術提案中,光是被採納的就有100餘項,數量在德國知識產權平台IPlytics上顯示位於世界前列。
△來源於IPlytics
最終,H.266/VVC標準相較上一代H.265/HEVC標準,在主觀視頻質量相同的前提下,成功將碼率降低了近50%——視頻傳輸數據更少,觀看效果卻完全不變。
BUT,光是參與製定標準還遠遠不夠,距離落地還有相當的距離。
在參與製定過程中騰訊發現,相比H.265/HEVC標準,H.266/VVC標準雖然增加了不少新的視頻壓縮工具、大幅提升了壓縮率,但同時也帶來了更高的編碼複雜度。
光是H.266/VVC參考軟件VTM,其編碼複雜度就是H.265參考軟件HM的8倍多,還有不少可優化空間。
(這就類似裝修時的樣板房,雖然也能住,但畢竟沒有自己設計得舒服)
因此接下來,就必須自研H.266視頻編解碼器了。
這其中的核心難點又在於編碼器(也是這次比賽的重點)。
畢竟相較只需“瘋狂加速”的解碼器,編碼器不僅得考慮“加速”,還得考慮壓縮率。
鑑於已有的編碼工具非常多、壓縮率收益和復雜度也各異,直接使用已有技術or軟件又可能被“卡脖子”,騰訊團隊乾脆從0到1自己打造了一整個編碼器。
這個自研編碼器,也就是我們看到的Tencent266。
為了打造它,團隊前後一共設計了300多種編碼加速和質量優化算法,在提升壓縮速度的同時也能提升視頻壓縮率和主觀質量。
以H.266標準中的多類型樹(MTT)為例。這種結構雖然能提升壓縮性能,但卻增加了不少編碼複雜度。
為此,團隊提取並評估了像素特徵與分塊模式的關係,配合編碼信息累計提出了好幾十種方法對多類型樹進行“修剪”加速。
實測表明,這種方法在壓縮性能損失小於4%的情況下,成功將編碼速度提升8倍以上。
此外,團隊還對代碼和內存結構進行了精心設計,並配合深度優化的彙編代碼,來進一步提升壓縮速度。
當然,在這次比賽之外,團隊也有自研的Tencent266解碼器,同時也在不斷提升其效率。
△O266是騰訊內部對Tencent266的簡稱
最後,即使自研出了Tencent266編解碼器,還得有“用武之地”,也就是將它真正落地到產品上去。
因此,在技術打磨上,團隊繼續不斷提升Tencent266的編碼速率,過去一年多里將它提速了30多倍,並在這次的MSU比賽中取得十幾個賽道領先的成績。
在產品落地上,Tencent266也早已在2021年7月就上線騰訊雲,成為全球首家支持新一代國際視頻編解碼標準H.266的雲廠商;
2023年2月,Tencent266又上線了騰訊雲直播,成為業界首個支持H.266直播的雲廠商。
總體來看,從視頻編解碼行業的製定標準、技術研發到產品落地,騰訊這次都走在了世界前列。
那麼,在這項技術上取得突破,對於我們的日常生活乃至各行各業而言,又有著什麼樣的意義?
不止是刷視頻看直播更“爽”
或許可以從三個角度來看待這件事。
首先,對日常生活而言,最直觀的感受就是,看視頻和看直播能變得更絲滑流暢了。
以我們看視頻的分辨率為例。分辨率更高、畫面更清晰的視頻,需求的數據量也會更高,如8k視頻更清晰,但文件通常比4k視頻更大。
正如H.265標準推動了4k視頻落地一樣,H.266標準就是為了更好地支持8k視頻而出現。
如何在觀看高畫質視頻的同時、還能保證更多設備“不卡”,就是視頻編解碼器技術發揮作用的關鍵。
隨著這項技術的成熟落地,未來在更多設備上縱享8k視頻絲滑也不是夢。
而對視頻產業來說,則意味著無論是視頻轉碼、還是直播,市面上能為各種視頻業務提供不同速度檔位服務的產品已經出現,並具備全面落地能力。
以點播和直播為例,這兩者是視頻編解碼技術的核心應用場景,但各自對於編碼速度和編碼延時的需求都不相同。
點播業務更關注編碼器的壓縮能力,相較編碼速度,更關注壓縮率和畫質的情況;
直播業務則不止關注壓縮能力,還需要編碼速度穩定達到視頻幀率以避免卡頓,同時交互式直播場景還需要極低的編碼延時來保證交互可行性。
因此,如何在盡可能節省成本的情況下,為不同視頻業務提供不同速度檔位的服務,讓大家“更省錢看得更爽”,正是視頻編解碼技術致力於解決的難題。
如今,最新上線的Tencent266已經支持1080p的直播能力,未來還能被拓寬到所有直播場景中。
當然,騰訊自己也有充足的落地需求。比如在騰訊視頻看電視劇,就會大量用到視頻編解碼技術。
最後,對於科技領域而言,更是一次重要突破,意味著國內在整個視頻標準這塊不再會被“卡脖子”。
此前,國際主流視頻標準一直被國外廠商“攻占”。
作為各廠商之間一種通用的視頻規範,視頻編碼標準的編寫,往往意味著核心技術的掌控。國際行業巨頭如三星、索尼、愛立信等公司,一度從中收取了巨額專利費用。
當時,國內不少企業由於不具備相關視頻標準專利,往往不得不化身“打工人”、給這些國際大廠繳納專利費,90年代VCD、DVD企業就是如此。
不僅如此,這類技術專利的過度收費也會阻礙技術的進一步推進落地,反過來影響用戶的使用。
為了在音視頻技術上取得突破、真正掌握相關領域的國際話語權,這些年來騰訊一直在大力投入並發展相關技術方向。
不僅於2017年成立了騰訊多媒體實驗室,而且還請來了多媒體方向的大牛劉杉坐鎮。
劉杉博士本科畢業於清華大學電子工程系,在美國南加州大學取得碩博學位,曾在多家國際知名企業擔任高級技術和管理職位職務,現任騰訊雲副總裁、騰訊多媒體實驗室總經理、騰訊視頻智能創作與內容平台部副總經理、騰訊傑出科學家。
她帶領團隊在國際標準H.266/VVC、MPEG-5 EVC、MPEG PCC、MPEG Systems、IETF、3GPP、國家標準AVS2 & AVS3、開放媒體聯盟(AOMedia)標準AV2等的製定,取得突破性成果。
同時,劉杉團隊將包含編解碼在內的多項多媒體核心技術,實現並應用於眾多騰訊產品,並通過騰訊雲,騰訊視頻,騰訊遊戲等廣泛業務服務全球億級用戶,創造巨大的商業和社會價值。
劉杉博士表示:
騰訊(多媒體實驗室)將繼續推動多媒體及相關領域的國際和國家標準制定,打造音視頻、互動沉浸和智能媒體核心能力矩陣,基於核心能力的產品實現,通過騰訊業務平台服務全球用戶、助力各行業發展並踐行科技向善。
如今,隨著騰訊等更多國內廠商加入到H.266標準制定、完成技術研發和產品落地這一行動中來,被國外巨頭支配的視頻標準時代已經“一去不復返”。
不僅是騰訊,國內包括阿里、華為、字節、快手等各大頭部廠商,都已經紛紛推出各自的H.266方案,加速推進這一視頻編解碼標準的落地。
未來隨著這項技術的進一步落地,距離國內引領視頻技術標準的時代,或許也不遠了。