蘋果欲為蘋果眼鏡帶來類似Zoom的背景替代物
蘋果一直在研究如何讓”Apple Glass “風格的頭顯進行色度摳像,或者用蘋果AR圖像替換純色背景。一項名為”低延遲色度鍵控嵌入頭戴式顯示器,用於混合現實”的蘋果美國專利申請,於2020年2月提交,但本週才披露。我們現在都很熟悉用其他圖像,如徽標或海灘場景來取代辦公室和家庭的背景。我們也很熟悉這些東西很少有好的效果,特別是當發言人移動時。
這在一定程度上是因為即使做得不是很有效,這種背景替換也需要大量的處理能力。在2020年7月的更新之前,微軟 Skype iOS版本甚至不能像Mac或PC版本那樣模糊背景。這種模糊是一個複雜的過程,但其中一部分涉及確定一個人的頭部結束和背景開始的位置。Chroma key讓這一過程變得非常簡單,因為人物被放置在一個單一的純色背景前。這和電影中使用的綠屏或藍屏過程是一樣的。
當視頻會議畫面的哪一部分是說話的人,哪一部分是他們的背景非常明顯時,像Zoom或Skype這樣的系統可以更容易地替換背景。不過那些都是2D系統,而” 蘋果眼鏡”的目標是用3D的方式來實現,這樣當佩戴者四處走動時,背景就可以被替換掉,而不是僅僅看著一個平面屏幕。因此,蘋果的專利申請同時涉及到為蘋果AR製作3D立體版背景替換,以及讓它的工作速度足夠快。其中一部分與頭顯處理能力有關,但也與將數據返回用戶視野的速度有關。蘋果表示,需要一個可穿戴式沉浸式頭顯(HMD),利用嵌入式立體RGB攝像頭捕捉環境,做實時的顏色鍵控,還有一個顯示系統來顯示增強了虛擬內容的真實世界圖像。該系統以高幀率(通常為75幀/秒或更多)運行,通過捕捉圖像並將其格式化以在頭顯本身中顯示,它實現了小於一幀的延遲。
所以,蘋果的提案所說的是,頭顯擁有相機傳感器,在混合現實環境中執行Chroma key,並且要在對佩戴者來說最小延遲情況下完成。低延遲是通過在頭顯本身嵌入處理來實現的,具體來說,就是將攝像頭圖像格式化,檢測所選顏色範圍,並與虛擬內容進行合成。該專利申請並沒有解決替換圖像來自哪裡的問題。在Zoom或Skype會議中,這將由演講者自己進行選擇。