過去兩年，多家研發團隊研發了能讓醫護人員遠程操縱機械臂完成核酸採樣的系統。不過相比於“直接上手”，這些操作存在一個難點——很難掌握下手的輕重。畢竟不是醫護人員自己的手，醫護人員只能憑豐富的經驗去想像應該把控多大的力度，來操控機器捅受檢人員的鼻子、嗓子眼。

▲中国工程院院士钟南山团队与中国科学院沈阳自动化研究所联合发起的新型智能化咽拭子采样机器人系统

但假如能讓機器人把觸覺同步反饋給醫護人員，那問題是不是就迎刃而解了？

1月14日，一項由香港城市大學、大連理工大學、清華大學、中國電子科技大學學者合作的研究成果登上國際學術頂刊Science Advances。論文中的機器人VR系統項目，解決的即是上述難題。

研究團隊開發了一種靈活的電子皮膚貼片，它可以作為無線人機交互系統，應用於機器人VR。只要貼上這個“魔法貼”，人類就能跟機器共享觸覺。

該貼片既可以小到無感，也可以大成一件上衣，通過震動力度和頻率來反饋觸覺。當使用者戴上VR設備，他就能遠程控制機器人，去完成宛如親臨現場的精細動作。

▲電子皮膚在智能機器人VR中的測核酸應用演示

以前市面上的多數VR沉浸式遊戲，要增加觸覺體驗，往往需要用戶裝上外骨骼控制等笨重、龐大的觸覺感知硬件設備。而新型電子皮膚有望使用戶更輕便地在虛擬世界擁有真實的觸覺感受。

機器人VR觸覺反饋如何實現？研究解決了怎樣的難點？未來又會有哪些新應用？

近日，智東西獨家專訪這篇Science論文的通訊作者、香港城市大學生物醫學工程博士生導師於欣格，了解這項研究的幕後故事，並對其技術原理及應用前景有了更深入的認知。

一、醫護人員遠程控制，機器人幫你測核酸

機器人VR項目的起步，還要從2020年初席捲全球的新冠肺炎疫情說起。

當時，新冠肺炎疫情確診病例不斷上升、醫護人員醫療資源短缺、核酸採樣效率較低、醫護人員的感染風險很大。這使得於欣格開始思考，能否開發一個遠程非接觸式控制採樣機器人？

核酸採樣機器人的好處很多，包括降低醫療成本、緩解感染風險等，鐘南山團隊、清華大學計算機系教授孫富春團隊、南丹麥大學研究人員等都研發了智能化的核酸採樣機器人系統。

但這些利用遙控手柄控制的機器人，對醫護人員的操作準確度有很高要求。

於欣格團隊觀察發現，手術過程中，醫生需通過屏幕判斷手術進程，去想像有多大的反饋力度，這往往需要臨床經驗豐富的醫生才能把控。

那麼，能否在醫生和機器人之間共享觸覺，讓機器人能將現場的觸覺反饋同步給遠程的醫護人員呢？

將電子皮膚作為無線人機系統應用到機器人VR中的研究項目由此啟動。

研究人員提出了一個設想，只要“貼上”智能電子皮膚，醫生遠程操控機器人時，就可以通過視覺、聽覺、觸覺全方位感知，近似於零距離感受手術過程，並且這在一定程度上，會降低手術機器人認證醫生的標準。

▲電子皮膚在智能機器人虛擬現實中的應用演示

不過要將設想變為現實，還需跨過不少難關。

在機器人VR項目進展中，於欣格團隊遇到的最大問題是，機器人和人體的雙向反饋環節。這也是項目進展中花費時間最長的環節。

核心難點有兩處：一是電子皮膚捕捉到人體動作後，如何將這個動作的指令精準傳遞給機器人？二是如何將機器人獲得的觸覺精準反饋給人類？

除此之外，機器人VR研究過程不僅涉及於欣格團隊擅長的生物醫學工程，還會涉及材料、電路、力學優化、有線反饋通路、軟件開發及界面優化等。

因此，他們聯合大連理工大學、清華大學和中國電子科技大學的多位優秀人才通力合作，最終在這樣龐大的應用工程型項目中取得進展。

二、皮膚還可以變上衣，震動映射觸覺反饋

回到研究本身，新型電子皮膚的控制面板整體尺寸為57mm x 39mm x 0.8mm。

研究人員在電子皮膚中採用了多層堆疊佈局，其中一層膚色彈性矽（聚二甲基矽氧烷，PDMS）可用作皮膚的軟黏合劑，由聚酰亞胺（PI）互連一系列芯片和傳感器，包括電阻器、電容器、藍牙模塊、微控制器單元（MCU）、電橋和研究人員自主開發的軟傳感器、執行器。

▲CL-HMI電子皮膚的組成結構

電子皮膚中的設計均根據完善的力學設計規則成絲狀蛇形結構，從而使整個系統具有可拉伸性。另一層膚色彈性矽（PDMS）用來封裝所有功能組件。

▲電子皮膚中的蛇形結構設計

於欣格說：“電子皮膚的最終形態取決於我們想要實現的功能，它可以是一個近乎無感的小貼片，也可以是一副手套、一件上衣或者一件連體衣。”

延伸到機器人VR，論文寫道，研究人員佩戴四個電子皮膚集成的貼片來控制一個13自由度的人形機器人，這個機器人能夠完成人類的大部分動作。

通過配備相應傳感器，機器人能同步體驗來自前臂、上臂、大腿、大腿側面、腹部的壓力。

實驗過程中，還能根據具體應用，自由選擇彎曲傳感器和触覺致動器的數量，同時佩戴VR設備，同步機器人電子眼獲取的視覺信息。

如此一來，機器人VR系統就可以作為在無線操作模式下遠程控制機器人的操作平台。

▲手套形狀的電子皮膚操縱遙控車模擬實驗

關於觸覺反饋的實現方式，於欣格說：“我們通過不同的震動強度以及頻率來代替觸覺。”震動的範圍可能是從低頻敲擊式的震動到類似於手機震動的狀態。

在研究過程中，研究人員會為使用者建立映射標準，使用者經過訓練和熟悉後能夠逐漸適應震動反饋，但目前為止，映射標準會因身體部位、使用者等多種因素而異。於欣格告訴智東西，他們也正在探索實現更真實映射的技術。

三、通過互聯網傳輸，不到50毫秒就可輕鬆響應

除了觸覺感知外，機器人VR系統的無線傳輸功能同樣神奇。

這塊電子皮膚上安裝了7個彎曲傳感器和5個執行器。這些傳感器和執行器可以直接連接到電子皮膚中MCU的模擬數字轉換器（ADC）和通用型輸入/輸出（GPI/O）接口，用於多通道傳感和驅動。

電子皮膚中包括讀取信息的傳感器、用於發送信息的無線發射器，以及有助於觸覺反饋的小型振動磁鐵。

這些傳感器以鋸齒形方式放置的電線組成，當貼片彎曲時，這些電線被拉得更直，彎曲、放直手臂時可以向機器人傳輸有關身體運動的數據。

研究人員稱，這些傳感器可以將人體運動轉換為電信號，由MCU進一步處理並通過無線傳輸到目標機器人。同時，機器人上的壓力傳感器檢測到與外部環境的接觸，通過藍牙模塊控制觸覺執行器的振動強度，為用戶提供觸覺反饋。

為了進一步說明電子皮膚實時無線操作的性能，研究人員測量了1-5米距離範圍內的電子皮膚循環響應速度，包括信號傳感、數據傳輸、信號接收、制動響應等環節。

研究結果表明，影響電子皮膚無線傳輸距離的因素有：頂部膚色彈性矽封裝層厚度，人體中復雜的生物組織可能吸收電磁輻射等。

在完善機器人VR的觸覺反饋方面，於欣格說：“我們現在可以通過調整電子皮膚的位置和結構解決上述問題，同時也會和更專業的通信領域專家合作，融合相關技術，繼續探索機器人VR在無線通信傳輸領域的潛力。”

▲電子皮膚的無線傳輸距離實驗數據

除了藍牙操作模式外，電子皮膚還支持Wi-Fi和互聯網兩種無線通信模式。

對於Wi-Fi模式，只要操作區域被同一個Wi-Fi網絡覆蓋，無線傳輸範圍就可以擴展到數百米。在互聯網操作模式下，無線傳輸距離可以擴展至互聯網覆蓋的任何地方，其響應時間範圍為30.2到47.8毫秒。

四、打造線下版元宇宙，除了聽、看還能摸

除了醫療領域，觸覺反饋也可以應用到社交、娛樂、假肢傳感等方面，進一步提升用戶體驗。

如果將VR設備、觸覺反饋和現有的在線視頻軟件相結合，從聽覺、視覺延伸到觸覺，隔著屏幕，用戶就能感受到與遠方親友握手、擁抱的實感。

去年爆火的“元宇宙”概念中，人們需在虛擬世界建立一個自己的虛擬化身。而要讓這個虛擬化身與人類感同身受，必然離不開觸覺技術的進化。

早從2018年，於欣格就長期專注於觸覺反饋研究，探索VR、機器人與電子皮膚的結合。此前，其團隊研發的皮膚VR進展曾於2019年底發表在國際學術頂刊Nature上。皮膚VR系統就搭載了近場通信技術（NFC），遠在千里之外的人通過撫摸和滑動屏幕，就能無線控制皮膚VR的觸覺驅動。

在他看來：“機器人VR可以理解為線下版的元宇宙。”

在現實世界中，很多危險係數高、環境極端的任務需要機器人輔助，這就需要觸覺反饋和傳感一體的閉環人機交互系統。

於欣格談道，在虛擬世界中控制機器人，用戶只需要將指令發送給軟件，而在現實世界，多了指令和硬件的交互環節，控制機器人的難度更高。

機器人VR系統主要針對於人機交互。於欣格也補充說，從機器人精準感知角度來講，他們的研究團隊已經有了相關成果，現在電子皮膚中的震動單元大小成功縮小到將近之前的1/4，單位面積上單元集成度也大幅提升。

在娛樂應用方面，於欣格為我們舉了一個例子，《鐵甲鋼拳》電影中機器人爭鬥替代了暴力、血腥的搏擊運動。在未來，利用機器人VR和皮膚VR控制機器人決鬥，也是該領域的潛在應用場景。

▲《鐵甲鋼拳》中人和機器人同步動作片段

機器人VR還可以用在健康領域的假肢傳感。

失去上肢或下肢的特殊人群安裝假肢後，往往無法僅通過觀察來掌握力度大小，而將電子皮膚安裝在他們的截肢末端有望改善這個問題。

於欣格解釋說，電子皮膚在控制假肢運動的同時，還可以將物體的硬度、重量等信息反饋到截肢末端的電子皮膚上，使用戶能感受到真實的力度、硬度反饋，從而控制力度的大小。

據於欣格透露，他們也正在籌備初創公司，探索機器人VR的落地，目前更偏向醫療應用領域等to B的工業合作夥伴。

結語：人機交互新方式或成機器人應用新風口

閉環人機接口的出現為人體和機器人之間提供了更新的交互方式，使得遠程操控機器人的應用場景進一步增加，除此之外，雙向反饋也為機器人執行更為複雜的任務提供了可能。遠程操控高自由度機器人在遠距離操作、假肢控制和醫療應用方面的例子代表了其在不同領域的廣泛潛在應用。

開發兼具精確觸覺傳感和反饋功能的遠程操控技術非常重要，於欣格說，他們仍然在探索電子皮膚形態的多樣性、觸覺反饋的精準度、無線傳輸的效率……

未來，元宇宙可能是機器人VR系統應用的一個重要領域。但於欣格認為，該項目的研究遠遠不止於此，皮膚作為人體最大的觸覺感官，還有更多的發展潛力，不過這個領域的基本探索時間還很短，基礎研究在現階段仍必不可少。

對於聽覺、視覺的感知，我們在日常生活中已經司空見慣，如果觸覺感知能進一步普及，是否會使得虛擬世界的真實性越來越高？我們也很期待未來不僅能遠程聽到、看到，還能真實地感覺到虛擬空間。