智東西11月3日消息，昨天，紮克伯格在Facebook帳號中表示，Meta（Facebook公司新名稱）發佈了一款觸摸感應”皮膚”ReSkin，由該公司的研究人員與美國卡內基梅隆大學共同研究。

編譯| 程茜

編輯 | 李水青

ReSkin利用機器學習和磁感應，採用無監督學習演算法來幫助自動校准觸控感測器，提供了一種廉價、多功能、耐用且可替換的長期使用解決方案。

紮克伯格談道，ReSkin已經被放在多種應用場景中實驗，例如，研究人員將ReSkin和電路板放在狗鞋的鞋底，跟蹤狗在休息、行走和跑步過程中施加的力的大小和方向。 “它還可以解鎖AR、VR的可能性，並引領工業、醫療和農業機器人技術的創新。” Meta研究科學家說。

▲佩戴在狗腳上的ReSkin（圖片來源為Meta）

除了ReSkin，Meta還概述了觸覺感知領域在開發硬體、模擬器、數據集和用於觸摸感應測試的基準方面已經取得進步。 該公司表示，已經形成了AI系統通過觸摸進行理解和互動的基礎。

另外，Meta開源了ReSkin的設計、數據文檔、代碼和基礎模型，説明其他研究人員更快使用該感測器，進一步推動觸覺感測器發展，並促進AI行業的應用落地。

一、從18mm到2mm，Meta數字皮膚大進化

“我們通常認為觸摸是一種傳達溫暖和關懷的方式，但它也是我們感知周圍世界的關鍵方式。” Calandra和Lambeta說，「觸覺為我們提供了無法通過任何其他感官辨別的資訊，例如關於物質的溫度、質地和重量，有時甚至是它的狀態。 ”

“觸覺幫助我們在周圍的世界中’導航’。 有了它，我們可以收集關於物體的資訊，例如它們是輕還是重、軟還是硬、穩定還是不穩定，我們還可以使用觸覺來完成從穿鞋到準備飯菜的日常任務。 “Meta研究員經理Abhinav Gupta和博士後研究員Tess Hellebrekers表示。

觸覺感測是機器人技術中的一個新興領域，旨在理解和複製物理世界中人類級別的觸摸，在家庭到工廠車間等環境中，能夠讓機器人學習和使用自己的”觸覺”，從而使機器人更高效、更安全、更溫和。

過去幾年，Meta一直在開發觸覺感測器，主要專注於機器人抓取任務。 2020年，Meta已經推出一種高解析度、低成本的小型觸覺感測器Digit，可以安裝在多指機器人手上。

▲Digit的分解圖（圖片來源為Meta）

Digit的塑膠機身外殼可以通過3D列印和注塑成型來製作。 同時，Digit還配備了三個RGB發光二極體，正如下圖所示，這可以為使用矽和丙烯酸製造工藝定製設計的彈性體凝膠表面提供照明，可以平衡堅固性和靈敏度。 Digit製作過程中使用「壓配合」連接工藝將相機和凝膠安裝到機身上，以便可以更換元件，還可以更換外殼以適應不同的鏡頭焦距。

▲安裝在機械手上的Digit（圖片來源為Meta）

對Digit進行實驗時，將其配備到機械手上，研究團隊利用該機械手的拇指和中指去握住和操縱玻璃彈珠。 在50次試驗過程中，大約25%的時間中機械手中的彈珠會掉落。 研究人員將此歸因於數據不準確和多變性，而不是Digit設計中的缺陷。

Digit的塑膠外殼、凝膠和電子產品的製造檔以及用於程式設計的固件二進位檔於去年6月在GitHub上開源。 同時，近日Meta宣佈將與麻省理工學院的衍生公司GelSight合作生產Digit。

相比於Digit，現在發佈的ReSkin是一種嵌入了磁性顆粒的可變形彈性體。

▲可變形彈性體ReSkin的演示模型

其次，ReSkin相比於Digit可能更便宜，生產100張ReSkin時每件成本已經低於6美元，而生產1000張的Digit每件成本仍為15美元。 Gupta和Hellebrekers介紹道，ReSkin的厚度為2毫米到3毫米，而Digit的厚度為18毫米，可進行超過50，000次交互，這使得ReSkin成為從機械手、觸覺手套到臂套甚至狗鞋等各種外形的理想選擇。

▲安裝在機械手上的ReSkin（圖片來源為Meta）

“ReSkin還可以提供高頻三軸觸覺信號，用於快速操作任務，如滑、扔、接和拍手等。 當它磨損時，可以很容易地將其剝離並更換新的配件。 “Gupta和Hellebrekers說。

根據Gupta和Hellebrekers的說法，ReSkin實際目標是建立一個聯繫人數據源，這可能有助於進行物件分類等一系列基於觸摸的任務時，整合數據資源，進一步推進人工智慧。 使用ReSkin開發的具有觸覺感知技能的AI模型，還可能被用於在醫療保健環境中工作或抓取柔軟的物體。

ReSkin可以與其他感測器集成，收集視覺、聲音和觸摸數據以創建多模式數據集，因此有助於構建比以前更真實的世界模型。

▲ReSkin感測器用於測量觸覺力（圖片來源為Meta）

“今天的人工智慧有效地融合了視覺和聽覺等感官，但觸覺仍然是一個持續的挑戰，是由於人體以外獲取觸覺感測數據有限。 因此，AI研究人員希望利用人們觸覺感知的豐富性和冗餘性，更好地將觸覺融入到他們的模型中。 ”

二、ReSkin有望解決大規模生產難題

值得注意的是，Digit和ReSkin都不是該領域中的第一個觸覺感測器，其他觸覺感測器還包括加州大學伯克利分校研究小組開發的OmniTact和麻省理工學院計算機科學和人工智慧實驗室的機器人抓手GelFlex，新加坡國立大學還使用英特爾的原型晶元開發了觸摸感應機器人”皮膚”。

▲機器人抓手GelFlex正在抓取物體（圖片來源為麻省理工學院 ）

但是，之前的這些實踐表明，”柔軟的皮膚”難以進行大規模製造，因為在製造過程中它們會發生變化，首先是該設備本身的材料的性質會隨著時間的推移而發生變化，其次對材料的使用方法不同也會使其產生改變，這都為”皮膚”的大規模製造增加了挑戰。 同時，每個感測器都必須通過校準程式來確定其各自的回應結果，這也意味著校準程式必須自行適應上述變化。

ReSkin利用機器學習和磁感應，並採用無監督學習模型，設備安裝、使用時減少觸碰，降低其損壞率，一定程度上能緩解難以大規模製造的困境。

ReSkin通過消除軟材料和測量電子設備之間的電氣連接，無需近距離接觸連接，確保其材料不受外界干擾，以此克服其在大規模製造時出現的困難。 該觸覺感測器的磁信號依賴於接近它的距離，因此電子設備只需在附近，無需連接就可以接收磁信號。

除此之外，ReSkin還開發了一個映射函數，該函數對來自多個數據源的數據進行訓練，使其比傳統映射函數更具通用性和穩健性。 並且ReSkin的感測器採用無監督模型，可以使用少量未標記數據自動且連續地進行微調。

▲ReSkin的無監督模型演示

在無監督學習中，演算法會受到”未知”數據的影響，這些數據不存在先前定義的類別或標籤。 這與「監督」學習相反，在「監督」學習中，演算法是針對特定輸出註釋的輸入數據進行訓練的，直到它們可以檢測到其中潛在的關係。 在ReSkin上運行的那些無監督機器學習系統，必須從固有數據中自學，能夠對未標記的數據進行分類、處理，而不是從註釋中學習。

“我們可以使用未標記數據的相對位置來説明微調感測器的校準程式，而不是提供先驗的強制標籤。 例如，我們知道在三個接觸點中，物理上彼此更接近的兩個將具有更相似的觸覺信號。 “Gupta和Hellebrekers解釋。

“總而言之，ReSkin開闢了現有系統無法實現的多功能、可擴展且價格低廉的觸感模組。 現有的基於攝像頭的觸覺感測器要求設備表面和攝像頭之間的距離達到最小，從而導致設計更加笨重。 相比之下，ReSkin可以作為一個表層覆蓋在人類和機器人的手和手臂上。 ”

“我們對通用觸覺感測器的研究催生了今天的ReSkin，它具有低成本、便攜且續航時間久的優點，其次，它的皮膚就像剝皮和換上新繃帶一樣容易更換，並且可以立即使用。 我們學習的模型在開箱即用的新設備上表現出色。 這是一個強大的工具，將説明研究人員構建AI模型，為廣泛應用的多樣性提供動力。 “Gupta和Hellebrekers寫道。

三、開源模擬器、學習框架、基礎模型……

為了支援像Digit和ReSkin這樣的硬體，Meta今年夏天開源了Tacto和PyTouch，這是用於PyTorch機器學習框架的庫。 Tacto是基於視覺的觸覺感測器模擬器，而PyTouch是用於觸摸感測的機器學習模型和功能的集合。

▲PyTouch的介面

Tacto模擬器能以每秒數百幀的速度呈現觸摸讀數，並且可以將其配置為不同的感測器，包括Meta自己的Digit。 正如Calandra和Lambeta指出的那樣，模擬器在原型設計、調試和機器人基準測試中發揮著重要作用，因為它們可以通過測試而避免進行昂貴的實驗。 他們說：「模擬實驗能夠使得設備運行更快，除此之外，也可以通過模擬實驗獲得正確的硬體，並減少觸覺感測中硬體表面的磨損和撕裂，這使得模擬對於觸摸感變得更加重要。 ”

至於PyTouch，它為感測器提供了基本功能，例如檢測觸摸和滑動，以及估計物體姿態等。 PyTouch可以將現實世界的感測器和Tacto集成，以實現模型驗證和將模擬訓練的概念轉移到現實世界應用程式中的”Sim2Real”功能。 Meta還設想PyTouch能夠讓機器人社區使用專用於”即服務（as a service）”觸覺感測的模型，研究人員可以在其中連接感測器，下載預先訓練的模型，並將其用作應用程式中的組成部分。

“我們目前正在研究Sim2Real轉移，用於在類比中訓練PyTouch模型並將它們部署在真實感測器上，並作為快速收集數據集和訓練模型的一種方式。” Calandra和Lambeta說，「在類比中，收集包含大量數據的大規模數據集可以在幾分鐘內完成，而使用真實感測器收集數據需要時間和人力來物理探測物體。 因此我們計劃探索Real2Sim方法，以更好地從真實數據中調整模擬器。 ”

在觸覺感知方面有一大堆障礙需要克服，包括硬體限制、對哪些觸摸功能用於特定任務缺乏瞭解，以及缺乏廣泛應用的基準測試。

Meta為克服上述障礙，邁出了一小步，發佈了ReSkin的設計、數據文檔、代碼和基礎模型，以説明研究人員使用該感測器，而無需收集或訓練他們自己的數據集。

結語：多個玩家共同努力，觸摸感測器解鎖更多可能

Meta發佈ReSkin，開源大量軟體、數據，利用機器學習和磁感應，採用無監督學習模型，在探索觸摸感測器領域更進一步，有望在機器學習的領域取得重大進展。

一代代的通用觸控感測器催生了ReSkin，在大規模生產難題上更進一步，離不開眾多企業、研究人員等對卡脖子問題的努力。 Meta表示，無論觸控感測器的發展增量如何，都可以幫助推進AI技術，並説明研究人員構建具有增強功能的機器人。