谷歌詳細介紹Project Starline 3D視頻聊天室背後的技術
在一份新的研究報告中,谷歌詳細介紹了今年I/O大會上令人印象深刻的Project Starline演示的背後技術。 Project Starline本質上是一個3D視頻聊天室,旨在提供真人面對面體驗來取代一對一的2D視頻電話會議。
Google這篇研究論文強調了欺騙用戶大腦,使其認為有一個真正的人坐在離用戶幾英尺遠的地方,這其中有不少挑戰。 顯然,圖像需要高解析度,沒有干擾性的偽影,但它也需要從用戶的相對位置看起來正確。 音訊是另一個挑戰,因為系統需要讓使用者聽起來像是從面對面真人嘴裡說出的話。 然後還有一個小問題,那就是眼睛的接觸。
但是,Project Starline希望最終可以提供類似於虛擬或增強現實的存在感,而使用者不需要佩戴笨重的頭盔或追蹤器。 該報告詳細說明瞭究竟需要多少硬體才能開始解決這些問題。 該報告顯示,該系統是圍繞著一個大型的65英寸8K面板建立,該面板以60Hz運行。 圍繞著它,Google的工程師們安排了三個「捕獲艙」,能夠捕獲彩色圖像和深度數據。 該系統還包括四個額外的跟蹤攝像機,四個麥克風,兩個揚聲器和紅外投影儀。 總的來說,從四個視點採集彩色圖像,以及三個深度圖,總共有七個視頻流。 音訊採集頻率為44.1kHz,編碼速度為256Kbps。
顯然,所有這些硬體都會產生大量需要傳輸的數據,Google表示,傳輸頻寬從30Mbps到100Mbps不等,取決於使用者衣服的紋理細節和他們手勢的大小。 因此,它需要的頻寬明顯高於標準的Zoom電話,但是低於大都市地區典型辦公室提供的頻寬。 Project Starline配備了四塊高端NVIDIA顯卡(兩塊Quadro RTX 6000卡和兩塊Titan RTX)來編碼和解碼所有這些數據。 據報導,端到端的延遲平均為105.8毫秒。
根據Google的說法,在Google三個辦公室地點安裝了Starline系統,使用該系統的員工認為,在創造存在感、個人聯繫以及説明提高注意力和反應力時,它勝過傳統的視頻會議。 該公司說,在9個月里,117名出席者共舉行了308次會議,平均會議時間略高於35分鐘。 這一切聽起來很有希望,但迄今為止,還沒有跡象表明該系統何時甚至是否會被商業化。 目前,Google表示它正在在美國各地更多的Google辦公室當中擴大Starline專案的可用性。