谷歌AI研究員利用YouTube“假人挑戰”改善深度預測
據外媒報導,谷歌AI研究員今天表示,他們使用2000個YouTube視頻網站上的“人體模型挑戰(mannequin challenge)”作為訓練數據集以此來創建了一個能從運動視頻中深度預測的AI模型。這種將有助於開發人員在手持攝像機和3D視頻拍攝的場景中打造AR體驗。
人體模型挑戰要求一群人基本上表現得像一個假人一樣保持靜止不動。在一篇名為“通過觀察被定住的人來了解移動的人的深度(Learning the Depths of Moving People by Watching Frozen People)”的論文中,研究人員表示,這一挑戰為他們提供了一個可以幫助檢測攝像頭和視頻中移動的人的景深的數據集。
研究科學家Tali Dekel和工程師Forrester Cole在今天的一篇博客文章中寫道:“雖然最近使用機器學習進行深度預測的數量在激增,但現在這項工作則是首次針對攝像頭和人體運動同時進行的情況而量身定制的一種基於學習的方法。”
谷歌研究人員表示,這種方法在繪製深度地圖方面的表現優於目前最先進的工具。
為了製作這個模型,研究人員訓練了一個神經網絡,該網絡能夠從RGB圖像、人類區域的遮罩和視頻中非人類環境的初始深度輸入,然後生成深度地圖進而做出人類的形狀和姿態預測。