Facebook現實實驗室Reality Labs(FRL)致力於許多項目，意在讓與科技與人的互動變得更加平易近人，FRL此前研究的技術包括VR頭盔和AR眼鏡。手部追踪技術對虛擬現實尤為重要，它能讓技術更有沉浸感，力求以最”隨心所欲”的方式與人類互動。

一開始，FRL的工作旨在打造更自然的設備，例如Touch控制器，這些控制器被設計成舒適手持的形狀，內部有很多傳感器，而觸摸控制器提供了栩栩如生的手部存在感，讓基本的VR交互感覺更像真實的物件。

另一方面，FRL正在努力消除對手部控制器的需求，轉而感應人類的裸手。該實驗室在五年多前就開始研究VR的手部追踪，之前從來沒有人能研發消費質量的、無控制器的手部追踪功能。這意味著這項技術必須從頭開始創建。

FRL目前正在探索新的實驗性文本輸入形式，這是一項常見的、對生產力至關重要的任務。FRL提出了一種新的方法，利用基於標記的手部跟踪系統的手部運動，在沒有鍵盤的任何平面上實現觸摸打字。該系統將運動直接輸入並解碼為用戶打算輸入的文本。

研究人員指出，該技術仍處於早期研究階段，但說明了手部追踪在活動場景中的潛力。研究人員必須理解不穩定的打字模式，並採用自動語音識別中的統計解碼技術，利用運動模型從手部運動中預測按鍵。使用該方法，打字員僅僅使用他們的手，一個平面，沒有其他東西的狀態下平均每分鐘打出73個字，未糾正錯誤率為2.4%。與使用實際鍵盤時相比，打字員使用新系統達到了類似的速度和準確性。