FingerTrak:通過腕帶熱像傳感器捕獲的手部輪廓圖像進行連續3D跟踪
據外媒New Atlas報導,捕捉人類手部的複雜性是一項艱鉅的任務。現在,康奈爾大學和威斯康星大學麥迪遜分校的工程師們已經開發出一種新的可穿戴系統,利用熱傳感器準確預測手部位置,在VR、機器人和翻譯手語方面有潛在應用。
該設備被稱為FingerTrak,它基本上是一個手鐲,上面裝飾著四個小型熱敏攝像頭,每個攝像頭大約有豌豆大小。攝像頭從各自的位置拍攝佩戴者手腕的輪廓圖像。這足以讓一個專門設計的算法精確重建整個手部,包括每個手指的位置。
“這是我們團隊的一個重大發現–通過觀察你的手腕輪廓,該技術可以敏銳地以3D方式重建你的手指位置。”該研究的作者張誠說。“這是第一個基於手腕輪廓重建你的完整手部姿勢的系統。”
FingerTrak系統使用機器學習,根據手腕輪廓,預測20個手指關節的位置。然後,這些手的姿勢可以在虛擬模型,甚至是機器人的手上重現。在測試中,該設備能夠準確重現翻書、用筆寫字、喝水、使用手機等動作。
目前不乏有一些設備使用各種技術嘗試追踪手部動作,有的使用深度感應攝像頭或紅外傳感器觀察手指,有的使用動作感應手套,還有的在指尖上使用電磁傳感器。但幾乎所有的都有點過於笨重,不適合實際使用。FingerTrak的設計更加輕巧,雖然它仍然不是看起來最舒適的科技產品,但它看起來確實走在正確的軌道上。
研究團隊表示,只要再完善一下,FingerTrak系統可以有一系列的用途。它可以讓虛擬現實玩家在遊戲中追踪自己的手部動作,它可以讓遙控機器人直接模仿人類操作員的動作,它可以幫助將手語翻譯成文字或語音,或者它可以幫助監測影響運動技能的健康問題。
“我們如何移動我們的手和手指通常會告訴我們的健康狀況,”該研究的作者李茵說。“像這樣的設備可能會被用來更好地了解老年人在日常生活中如何使用他們的手,幫助檢測帕金森症和阿爾茨海默病等疾病的早期跡象。”
該研究發表在《計算機械協會關於交互、移動、可穿戴和泛在技術的論文集》上。