人類賴以探索世界的兩個重要工具是視覺和触覺。人類可以結合視覺和触覺來了解他們持有和看到的物體。機器人和人工智能係統無法做到這一點。來自麻省理工學院的研究員Yunzhu Li和他的團隊正在研究一種系統，幫助機器人在編程看到或感覺到，以彌合它們和人類之間的感官差距。

該團隊已經開發出一個系統，該系統從視覺輸入中創建觸覺信號，並預測從這些觸覺輸入中觸摸到的對象和部分。研究人員將他們的系統與麻省理工學院另外一個小組設計的Kuka機器人手臂和一個叫做Gelsight的特殊觸覺傳感器一起使用。

該小組使用網絡攝像機記錄了近200件物品，包括工具、家用產品、織物以及其他物品，它們被觸摸超過12000次。然後，他們將這12000個視頻片段分解成靜態幀，並編譯了一個包含300多萬個視覺/觸覺配對圖像的VisGel數據集。

研究人員表示，通過觀察現場，他們的模型可以想像到觸摸平面或鋒利邊緣的感覺。通過盲目的觸摸周圍，模型可以從純粹的觸覺上預測與環境的互動。他注意到，通過將兩種感官結合起來，它們可以賦予機器人力量，減少涉及操作和抓取物體任務所需的數據。