蘋果最初考慮使用可穿戴式個人投影儀實現現實世界的AR
人們通常認為增強現實包括應用數字圖像來疊加來自現實世界的圖像,讓人產生世界上一個並不真實存在的物體的錯覺。在絕大多數情況下,這將涉及到某種顯示機制,它將位於用戶的眼睛和現實世界之間,但在一種特殊情況下,根本沒有使用頭顯。
蘋果AR努力最初包括一個眼鏡或無頭顯的版本,將數據投射到現實世界的物體上,其中包括一個概念,即用戶佩戴投影儀本身。在美國專利和商標局週二授予蘋果的一項名為”將數字信息投射到真實環境中的真實物體上的方法和系統”的專利中,蘋果取消了屏幕,而是將數字圖像應用到真實世界的物體本身。
雖然部分專利描述看起來相當簡單,即使用某種形式的投影儀將圖像投射到物理表面。然而,為了將數字圖像正確地映射到物體上,該系統還使用其他傳感器來檢測環境和物體。系統捕捉到它要將投影映射到現實世界物體的圖像,圖像數據與來自深度傳感器的信息相結合,創建物品的深度圖。這被用來計算虛擬數據和真實物體之間的空間變換,然後應用程序可以用它來規劃出哪些像素要投射到物體的什麼地方。
蘋果提出了一個帶有深度傳感器的相機系統,同時配備一個投影儀,用於現實世界的無屏AR。蘋果並沒有提到具體使用什麼樣的深度傳感器,但提到了使用紅外光投影儀和紅外光相機,這將類似於現代iPhone中TrueDepth相機陣列功能。
深度映射還包括估計物體的3D位置,以及數字信息在物體上應用的位置,與投影儀和用戶的關係。這樣就可以在疊加的圖像上生成3D效果,而這些效果最好是根據感知到的用戶的觀看位置來計算。通過生成後續的圖像和深度圖,系統將能夠抵消投影機的任何震動或移動,使投影的錯覺在這種變化下仍然保持不變。
雖然將光線投射到物體上的想法並不新鮮,這個想法已經被用於藝術和商業目的很多年了,但蘋果的專利主要涉及的是需要反復校準投影,讓投影盡可能準確。據悉,這可以包括將汽車內的數據投影到表面上,比如擋風玻璃上的速度表,理想的情況是需要不斷校準,以保持用戶的可讀性。