Meta研究人員提出QuestSim方案可為VR化身配上合理的腿部姿態
現階段的虛擬現實(VR)頭戴式裝置和手持式控制器,只能對頭部和手部動作進行追踪。即使用上所謂的逆運動學(IK)算法,也只能相對良好地預估肘部和軀幹動作、而很少對腿部進行校正。正因如此,許多VR 解決方案乾脆只顯示虛擬化身的上半身。
視頻截圖(via VR Trailers & Clips)
即使SteamVR 和HTC Vive 提供了額外的追踪解決方案,但身體追踪所需的三套裝置的成本也需要350 美元以上。
好消息是,在一篇討論QuestSim 的新論文中(PDF),Meta 研究人員展示了一套由神經網絡驅動的系統。
其特點是能夠借助來自Quest 2 頭顯+ 控制器的追踪數據、更合理地預估佩戴者的全身姿態,而無需額外的追踪器/ 外部傳感器。
Meta Research Quest 2 Body Tracking Without Extra Trackers(via)
生成的VR 化身動畫,與用戶的真實動作相當接近。Meta 研究人員甚至聲稱,由此產生的準確性和抖動、優於穿戴式的IMU 跟踪器。
比如Pico 4 宣布的Pico Fitness Band,就是僅配備了加速度計和陀螺儀的裝置—— 儘管該公司也聲稱正在研發自己的機器學習方法。
不過這裡有一個問題—— 如視頻所示,該系統會渲染出一副合理的全身姿勢,但它不一定精確還原用戶的實際姿態。
正因如此,QuestSim 僅適用於參考其他人的VR 化身、而不是拿來時刻俯視自己的身姿,此外系統的延遲多達160 ms(72 Hz 下超過11 幀)。
即便如此,能夠在VR 交互中看到其他人的全身像,怎麼也比現階段的半截人像要好得多。剩下的問題是—— 這套(或類似的)系統,是否、以及何時會放到Quest 2 上?
Meta 首席技術官Andrew Bosworth 似乎在上週的Ask Me Anythinig 互動問答活動期間暗示了這一點,當被問及Instagram 中的腿部追踪時,他答道:
我們確實經常因為無腿化身而被大家給調侃,但我認為大家的吐槽是相當公正和有趣的。
畢竟給個人的虛擬化身配上與現實不匹配的腿,可能會讓用戶感到非常不安。
但若將腿安到其他人的虛擬化身上,就沒有這方面的困擾了。
感興趣的朋友,可留意於兩週後舉辦的Meta Connect 年度AR / VR 活動期間的詳細公告。