蘋果公司申請AR觸摸檢測專利:使用深度映射相機和ML
美國專利及商標局公佈了一批全新的AR/VR專利,其中包括Magic Leap專利,是一種基於眼動追踪的動態顯示器校準;Facebook專利,用於深度感測的非機械波束控制方案;高通專利,是魚眼虛擬現實視頻的增強型高級信令;索尼專利,通過生物識別傳感器和語言處理減輕頭顯的影響;其中,還有蘋果公司的AR專利:基於深度的觸控檢測。
“未來蘋果發展的核心將是AR”,在2019年蘋果投資者大會上,CEO庫克曾明確提出。而今,這一新的AR專利的爆出,更加印證了蘋果在AR道路上的堅定決心。
目前來看,正如iPhone和iPad,蘋果的硬件很大程度上依賴於手指靠在屏幕上這種對直接觸摸輸入的準確檢測。
近日蘋果獲得的這項關鍵技術的專利,是使用深度映射攝像頭和機器學習去檢測用戶的觸摸。
按照該專利的描述信息,蘋果這個檢測系統相當簡單。當外部攝像頭在實時環境中協同工作的時候,會生成三維深度圖,通過測量物體(比如手指)與可觸摸表面的距離,然後確定物體何時接觸該表面。最重要的一點是,這種距離測量設計即便是在攝像頭改變位置時也能使用,一部分是依賴對機器學習的模型進行訓練以此識別觸摸的輸入。
這項技術的插圖顯示,三個外部攝像頭協同工作,以確定手指的相對位置,這一概念對於了解蘋果三攝像頭iPhone 11 Pro這種機型的用戶來說可能有些熟悉。類似的多攝像頭陣列預計將出現在未來的蘋果設備中,包括新的iPad Pro和AR眼鏡,使每個攝像頭都能通過深度映射場景和應用ML知識判斷手指位置變化的意圖來確定手指輸入。
有了這項技術,未來的AR眼鏡可以消除對物理鍵盤和触控板的需求,取而代之的是,只有用戶才能看到和正確互動的數字版本。另外,它們還可以使用戶界面錨定到其他表面,比如牆壁,可以想像地創建一個安全電梯,並且只能通過AR按鈕的操作或帶到特定樓層。
蘋果公司獲得的US10572072專利,這項專利是基於Sunnyvale公司的Lejing Wang和Daniel Kurz發明的技術。這項專利於2017年9月底首次提出申請,其中包括對這項技術進行實際測試的照片,這在蘋果公司中並不常見。