哥倫比亞大學的工程師們創造了一種突破性的機器人手，它將先進的觸摸感應與運動學習算法無縫結合，使其能夠不依靠視覺來操縱物體。考慮一下你在晚上在家使用電視遙控器時，或在外出就餐並處理各種器皿和杯子時，用你的手採取的行動。這些能力植根於觸摸，使你能夠瀏覽電視節目或進行菜單選擇，而不需要把眼睛從屏幕上移開。我們的手和手指是令人難以置信的天才工具，擁有高度的敏感性。

多年來，機器人研究人員一直在努力實現機器人手的”真正”靈巧性，然而這一目標已被證明是具有挑戰性的。雖然機器人抓手和吸盤能夠拿起和放置物體，但需要更大靈活性的任務，如組裝、插入、重新定位、包裝等，仍然是人類操縱的領域。然而，最近在傳感技術和機器學習方法方面的進步，以分析收集到的數據，引起了機器人操縱領域的快速轉變。

用觸覺手指進行靈巧的操縱。資料來源：哥倫比亞大學工程與應用科學學院

高度靈巧的機器人手甚至在黑暗中工作

哥倫比亞工程學院的研究人員展示了一種高度靈巧的機器人手，這種手結合了先進的觸覺和運動學習算法，以實現高度的靈巧。作為技能的展示，該團隊選擇了一項困難的操縱任務：對手中形狀不均勻的被抓物體執行任意大的旋轉，同時始終保持該物體的穩定、安全。這是一項非常困難的任務，因為它需要不斷地調整一組手指的位置，而其他手指則必須保持物體的穩定。這隻手不僅能夠完成這項任務，而且在沒有任何視覺反饋的情況下，僅靠觸摸感應就能完成。

機器學習算法處理來自觸覺傳感器的數據，以產生協調的手指運動模式進行操縱。資料來源：哥倫比亞大學ROAM實驗室

除了達到靈巧的新水平外，這隻手在沒有任何外部攝像頭的情況下工作，因此它完全不受照明、遮擋或類似的問題影響。而且，這隻手不依靠視覺來操縱物體的事實意味著它可以在非常困難的照明條件下這樣做，這些條件會混淆基於視覺的算法–它甚至可以在黑暗中操作。

機械工程系和計算機科學系副教授Matei Ciocarlie說：”雖然我們的演示是在一個概念驗證任務上，旨在說明手的能力，但我們相信，這種靈巧程度將為現實世界中的機器人操縱開闢全新的應用。一些更直接的用途可能是在物流和材料處理方面，幫助緩解像近年來困擾我們經濟的供應鏈問題，以及在工廠的先進製造和裝配方面。”

利用基於光學的觸覺手指

在早期的工作中，Ciocarlie的小組與電子工程教授Ioannis Kymissis合作，開發了新一代基於光學的觸覺機器人手指。這些是第一個實現接觸定位的機器人手指，精度達到亞毫米級，同時提供複雜的多彎曲表面的完全覆蓋。此外，手指的緊湊包裝和低線數使其能夠輕鬆地集成到完整的機器人手上。

一個配備了五個觸覺手指的靈巧機器人手。這裡顯示的是其中一個手指的最外層”皮膚”，以顯示內部結構。資料來源：哥倫比亞大學ROAM實驗室

教手完成複雜的任務

在這項由CIocarlie的博士研究員Gagan Khandate領導的新工作中，研究人員設計並建造了一個有五個手指和15個獨立驅動關節的機器人手–每個手指都配備了該團隊的觸摸感應技術。下一步是測試該觸覺手執行複雜操縱任務的能力。為此，他們使用了運動學習的新方法，或機器人通過練習學習新的物理任務的能力。特別是他們使用了一種稱為深度強化學習的方法，並輔以他們為有效探索可能的運動策略而開發的新算法。

機器人僅用幾個小時的實時時間就完成了大約一年的練習

運動學習算法的輸入完全由該團隊的觸覺和本體感覺數據組成，沒有任何視覺。使用模擬作為訓練場，機器人僅用幾個小時的實時時間就完成了大約一年的練習，這要歸功於現代物理模擬器和高度並行的處理器。然後，研究人員將這種在模擬中訓練的操縱技能轉移到真正的機器人手上，它能夠達到團隊所希望的靈巧水平。Ciocarlie指出，”該領域的方向性目標仍然是家庭中的輔助機器人，這是真正靈巧性的最終試驗場。在這項研究中，我們已經表明，僅憑觸摸感應，機器人的手也可以是高度靈巧的。一旦我們在觸摸的同時也將視覺反饋加入其中，我們希望能夠實現更多的靈巧性，並在某一天開始接近人類手的複制。”

最終目標：將抽象的智能與具象的智能相結合

最終，Ciocarlie觀察到，一個在現實世界中有用的物理機器人既需要抽象的語義智能（從概念上理解世界如何運作），也需要具身智能（與世界進行物理互動的技能）。像OpenAI的GPT-4或Google的PALM這樣的大型語言模型旨在提供前者，而本研究中實現的靈巧操作則是後者的補充性進展。

例如，當被問及如何製作一個三明治時，ChatGPT會打出一個分步驟的計劃作為回應，但需要一個靈巧的機器人來接受這個計劃並實際製作三明治。同樣，研究人員希望身體熟練的機器人能夠將語義智能帶出互聯網的純虛擬世界，並將其很好地用於現實世界的物理任務，甚至可能在我們的家裡。