蘋果正在研究一種技術，讓”Apple Glass “用戶不受限於固定的物理手勢或觸摸控制，而是操縱任何物體來改變頭顯上可見的內容。有了AR，尤其是蘋果所說的混合現實(MR)，能夠看到iPad Pro在你面前是很好的，但你需要能夠使用它。你必須能夠拿起一個虛擬的物體並使用它，否則AR就比不上一部3D電影。

蘋果提出的解決方案是一項名為”使用跟踪的實物操縱虛擬物體”的專利，這是2020年1月提交的專利申請，但本週才披露。它建議真正混合現實，即虛擬對象可以映射到現實世界的實際對像上。

蘋果在專利當中表示，各種電子設備，例如頭戴式設備，其顯示屏向用戶呈現一個計算機生成現實（CGR）環境，用戶可以完全沉浸在由虛擬對象組成的虛擬現實環境中，雖然用戶可以自然而然地對周圍物理環境中的物理物體進行直接操縱，但對於CGR環境中的虛擬物體來說，情況卻並非如此。

缺乏與CGR環境當中虛擬對象直接交互的手段，限制了虛擬對象融入CGR環境的程度。因此，為用戶提供一種直接操作虛擬對象的手段可能是可取的。蘋果提出的方式是通過控制一個物理物體來操縱一個虛擬物體， 蘋果將現實世界中的物體稱為”代理設備”，並表示，同樣的攝像頭系統，用於定位虛擬物體在用戶周圍的位置，可以精確跟踪。

蘋果表示，使用定義代理設備在物理環境中移動的位置數據動態更新虛擬對像在三維坐標空間中的位置和方向，因此，如果你拿著比如說一個長方形的設備，AR/MR系統可以告訴你它在哪裡，它的方向是什麼，什麼面朝上，等等。當你移動或轉動它時，系統確切地知道在哪裡疊加AR圖像。

該方法涉及在電子設備的顯示屏上呈現虛擬對象和物理代理設備代表的虛擬內容，因此，對站在你旁邊的人來說，你是在揮舞著一塊空白的石板。但對你來說，它是一台iPad Pro，擁有所有的控制和顯示功能，這意味著。在這個意義上，這個想法與最近關於隱私屏幕的想法類似。