目前iPhone相機捕捉場景中的光線強度，但未來的相機可能會做得更多。利用光場攝影，相機系統可以捕捉到光線的傳播方向，並記錄視野中不同物體的位置。蘋果最近獲得一項新專利，名為”全景光場捕捉、處理和顯示”。這項專利表明，未來的iPhone攝像頭可以捕捉光線的傳播方向，可能會提供更多的3D細節，從而改善蘋果的AR體驗。

這項專利關注的是，當用戶自由走動時，像iPhone這樣的設備如何被用來捕捉圖像並為AR體驗建立數據。該專利詳細介紹了一個光場全景系統，其中手持移動設備的用戶執行一個手勢，從不同位置捕捉場景的圖像，其他信息例如位置和方向信息，也可以被捕獲。

蘋果在專利當中表示，圖像和信息可以被處理以確定元數據，包括圖像的相對位置和圖像的深度信息，光場全景圖可由渲染引擎處理，以渲染場景的不同三維視圖，使觀眾能夠從不同的位置和角度以六個自由度探索場景，為用戶帶來視差感知。因此當圖像在虛擬現實中渲染時，場景中的物體將根據它們在世界中的位置以及觀看者與它們的相對位置正確移動。

蘋果表示，與通常在虛擬現實係統中觀看電腦渲染內容相比，圖像內容將帶來照片般逼真。與通常的專利一樣，這項專利集中在關鍵技術上，並不特別關注使用案例或潛在問題。在這種情況下，一個關鍵問題是，捕捉3D細節的設備需要強大性能。因此，蘋果之前有另外一個專利關注iPhone或蘋果頭顯這樣的設備如何捕捉圖像數據，然後以無線方式發送到另一個設備進行處理。

蘋果認為另一個設備或者基站可能比傳統的獨立系統提供更多計算能力，而且無線連接不會像傳統的系留系統那樣把設備拴在基站上。