日本科學家推出使用單台相機的可穿戴式動作捕捉技術MonoEye
通常情況下,動作捕捉系統僅限於一個包含多台攝像機的工作室,並且要求拍攝對象穿上裝有傳感器的服裝。然而,一種新的設置是基於一個單一的胸前安裝的攝像頭。該實驗系統被稱為MonoEye,由東京工業大學的一個團隊設計。該團隊由Hideki Koike教授領導,並與卡內基梅隆大學的研究人員合作。
它包含一個裝有超廣角鏡頭的照相機,戴在拍攝對象的胸前。通過280度的視場角,該攝像頭不僅能拍攝到被拍攝對象前方的環境,還能拍攝到他們的手臂、腿部和麵部。
通過三個特別設計的深度神經網絡對視頻進行分析,分別估計出被拍攝對象的三維身體姿勢、頭部姿勢以及攝像頭在周圍環境中的方位。這些數據被用來建立主體的動畫線框計算機模型,複製他們的動作。
到目前為止,MonoEye的神經網絡已經在一個由68萬張不同體型和尺寸的人進行各種活動的渲染數據集上進行了訓練,所以在系統優化用於物理身體之前,還需要做一些工作。
不過最終,人們希望這項技術可能會被改進成像領帶夾或胸針一樣小巧的東西。然後,它可以作為傳統動作捕捉系統的一個更便宜、更簡單的替代品。
這項研究將在本週通過第33屆ACM用戶界面軟件和技術在線研討會發表。