新專利顯示蘋果VR頭顯可能利用神經網絡監測用戶的姿勢
蘋果VR或AR頭顯可以根據監測用戶的身體動作來移動用戶的虛擬頭像,而其電池壽命可以通過一些巧妙的數據傳輸技術來延長。在美國專利和商標局週二授予的一對專利中,蘋果公司認為它可以改進其頭顯所能提供的東西,涉及到它如何與用戶互動,以及它如何與主機設備進行通信。
第一項專利名稱為”生成身體姿勢信息”,涵蓋了系統跟踪用戶運動的能力,然後使用這些數據來執行其他相關動作。蘋果估計,一些沉浸式計算機生成的現實體驗需要了解用戶的身體姿勢。在一些體驗中,VR或AR應用可能會根據用戶的姿勢或動作,對其呈現的內容做出改變,比如游戲中的警衛會對用戶的姿勢做出不同的反應。
更明確地說,蘋果公司建議,了解身體的姿勢可以用來控制用戶的化身。這在流行的在線社交體驗VR聊天等情況下可能很有用,它可以利用其他硬件的運動來改變用戶化身的動作。根據該專利,蘋果公司建議可以使用各種相機和神經網絡來學習姿勢,多個神經網絡一起工作,為單個身體關節建模。每個神經網絡都單獨工作,但其結果被反饋到一起以創建整個身體模型。
訓練將以多種方式進行,不僅要教授對攝像機數據的理解,還要訓練網絡如何相互作用,這包括多個神經網絡系統的各自拓撲結構。就網絡能收集多少關於一個人的姿勢的信息而言,有說法稱監測的關節涵蓋頸部、肩關節、肘關節、腕關節、骨盆關節、膝關節、踝關節和指關節。
第二項與VR有關的專利名為”自適應無線傳輸方案”,瞄準了處理頭顯和主機之間的通信。目前,像Oculus Quest這樣的一體式系統,它們會增加設置的重量,雖然系留式設置可以減輕重量,但電纜本身可能是一個問題。解決這個問題的辦法是採用無線通信系統,以減輕重量並消除電纜。
然而,即使是無線系統也會引起問題。例如,傳輸數據需要消耗電力,而且無線系統的可用帶寬通常比電纜系統低。還有固有的干擾問題和其他干擾性問題。在這項專利中,蘋果建議可以使用無線系統,但為了減少一次性傳輸的數據量,該系統必鬚髮送更少的視頻數據。蘋果計劃通過使用左眼數據和右眼數據的交錯幀傳輸,希望將使用的帶寬減半。