文 | 智東西 程茜
編輯 | Panken
讓機器人做核酸采樣，靠譜嗎？
過去兩年，多家研發(fā)團隊研發(fā)了能讓醫(yī)護人員遠程操縱機械臂完成核酸采樣的系統(tǒng)。不過相比于“直接上手”，這些操作存在一個難點——很難掌握下手的輕重。
中國工程院院士鐘南山團隊與中國科學院沈陽自動化研究所聯(lián)合發(fā)起的新型智能化咽拭子采樣機器人系統(tǒng)
畢竟不是醫(yī)護人員自己的手，醫(yī)護人員只能憑豐富的經驗去想象應該把控多大的力度，來操控機器捅受檢人員的鼻子、嗓子眼。
但假如能讓機器人把觸覺同步反饋給醫(yī)護人員，那問題是不是就迎刃而解了？
1月14日，一項由香港城市大學、大連理工大學、清華大學、中國電子科技大學學者合作的研究成果登上國際學術頂刊Science Advances。論文中的機器人VR系統(tǒng)項目，解決的即是上述難題。
研究團隊開發(fā)了一種靈活的電子皮膚貼片，它可以作為無線人機交互系統(tǒng)，應用于機器人VR。只要貼上這個“魔法貼”，人類就能跟機器共享觸覺。
該貼片既可以小到無感，也可以大成一件上衣，通過震動力度和頻率來反饋觸覺。當使用者戴上VR設備，他就能遠程控制機器人，去完成宛如親臨現(xiàn)場的精細動作。
電子皮膚在智能機器人VR中的測核酸應用演示
以前市面上的多數(shù)VR沉浸式游戲，要增加觸覺體驗，往往需要用戶裝上外骨骼控制等笨重、龐大的觸覺感知硬件設備。而新型電子皮膚有望使用戶更輕便地在虛擬世界擁有真實的觸覺感受。
機器人VR觸覺反饋如何實現(xiàn)？研究解決了怎樣的難點？未來又會有哪些新應用？
近日，智東西獨家專訪這篇Science論文的通訊作者、香港城市大學生物醫(yī)學工程博士生導師于欣格，了解這項研究的幕后故事，并對其技術原理及應用前景有了更深入的認知。
01.醫(yī)護人員遠程控制，機器人幫你測核酸
機器人VR項目的起步，還要從2020年初席卷全球的新冠肺炎疫情說起。
當時，新冠肺炎疫情確診病例不斷上升、醫(yī)護人員醫(yī)療資源短缺、核酸采樣效率較低、醫(yī)護人員的感染風險很大。這使得于欣格開始思考，能否開發(fā)一個遠程非接觸式控制采樣機器人？
核酸采樣機器人的好處很多，包括降低醫(yī)療成本、緩解感染風險等，鐘南山團隊、清華大學計算機系教授孫富春團隊、南丹麥大學研究人員等都研發(fā)了智能化的核酸采樣機器人系統(tǒng)。
但這些利用遙控手柄控制的機器人，對醫(yī)護人員的操作準確度有很高要求。
于欣格團隊觀察發(fā)現(xiàn)，手術過程中，醫(yī)生需通過屏幕判斷手術進程，去想象有多大的反饋力度，這往往需要臨床經驗豐富的醫(yī)生才能把控。
那么，能否在醫(yī)生和機器人之間共享觸覺，讓機器人能將現(xiàn)場的觸覺反饋同步給遠程的醫(yī)護人員呢？
將電子皮膚作為無線人機系統(tǒng)應用到機器人VR中的研究項目由此啟動。
研究人員提出了一個設想，只要“貼上”智能電子皮膚，醫(yī)生遠程操控機器人時，就可以通過視覺、聽覺、觸覺全方位感知，近似于零距離感受手術過程，并且這在一定程度上，會降低手術機器人認證醫(yī)生的標準。
電子皮膚在智能機器人虛擬現(xiàn)實中的應用演示
不過要將設想變?yōu)楝F(xiàn)實，還需跨過不少難關。
在機器人VR項目進展中，于欣格團隊遇到的最大問題是，機器人和人體的雙向反饋環(huán)節(jié)。這也是項目進展中花費時間最長的環(huán)節(jié)。
核心難點有兩處：一是電子皮膚捕捉到人體動作后，如何將這個動作的指令精準傳遞給機器人？二是如何將機器人獲得的觸覺精準反饋給人類？
除此之外，機器人VR研究過程不僅涉及于欣格團隊擅長的生物醫(yī)學工程，還會涉及材料、電路、力學優(yōu)化、有線反饋通路、軟件開發(fā)及界面優(yōu)化等。
因此，他們聯(lián)合大連理工大學、清華大學和中國電子科技大學的多位優(yōu)秀人才通力合作，最終在這樣龐大的應用工程型項目中取得進展。
02.皮膚還可以變上衣，震動映射觸覺反饋
回到研究本身，新型電子皮膚的控制面板整體尺寸為57mm x 39mm x 0.8mm。
研究人員在電子皮膚中采用了多層堆疊布局，其中一層膚色彈性硅（聚二甲基硅氧烷，PDMS）可用作皮膚的軟黏合劑，由聚酰亞胺（PI）互連一系列芯片和傳感器，包括電阻器、電容器、藍牙模塊、微控制器單元（MCU）、電橋和研究人員自主開發(fā)的軟傳感器、執(zhí)行器。
CL-HMI電子皮膚的組成結構
電子皮膚中的設計均根據(jù)完善的力學設計規(guī)則成絲狀蛇形結構，從而使整個系統(tǒng)具有可拉伸性。另一層膚色彈性硅（PDMS）用來封裝所有功能組件。
電子皮膚中的蛇形結構設計
于欣格說：“電子皮膚的最終形態(tài)取決于我們想要實現(xiàn)的功能，它可以是一個近乎無感的小貼片，也可以是一副手套、一件上衣或者一件連體衣?！?/p>
延伸到機器人VR，論文寫道，研究人員佩戴四個電子皮膚集成的貼片來控制一個13自由度的人形機器人，這個機器人能夠完成人類的大部分動作。
通過配備相應傳感器，機器人能同步體驗來自前臂、上臂、大腿、大腿側面、腹部的壓力。
實驗過程中，還能根據(jù)具體應用，自由選擇彎曲傳感器和觸覺致動器的數(shù)量，同時佩戴VR設備，同步機器人電子眼獲取的視覺信息。
如此一來，機器人VR系統(tǒng)就可以作為在無線操作模式下遠程控制機器人的操作平臺。
手套形狀的電子皮膚操縱遙控車模擬實驗
關于觸覺反饋的實現(xiàn)方式，于欣格說：“我們通過不同的震動強度以及頻率來代替觸覺?！闭饎拥姆秶赡苁菑牡皖l敲擊式的震動到類似于手機震動的狀態(tài)。
在研究過程中，研究人員會為使用者建立映射標準，使用者經過訓練和熟悉后能夠逐漸適應震動反饋，但目前為止，映射標準會因身體部位、使用者等多種因素而異。于欣格告訴智東西，他們也正在探索實現(xiàn)更真實映射的技術。
03.通過互聯(lián)網(wǎng)傳輸，不到50毫秒就可輕松響應
除了觸覺感知外，機器人VR系統(tǒng)的無線傳輸功能同樣神奇。
這塊電子皮膚上安裝了7個彎曲傳感器和5個執(zhí)行器。這些傳感器和執(zhí)行器可以直接連接到電子皮膚中MCU的模擬數(shù)字轉換器（ADC）和通用型輸入/輸出（GPI/O）接口，用于多通道傳感和驅動。
電子皮膚中包括讀取信息的傳感器、用于發(fā)送信息的無線發(fā)射器，以及有助于觸覺反饋的小型振動磁鐵。
這些傳感器以鋸齒形方式放置的電線組成，當貼片彎曲時，這些電線被拉得更直，彎曲、放直手臂時可以向機器人傳輸有關身體運動的數(shù)據(jù)。
研究人員稱，這些傳感器可以將人體運動轉換為電信號，由MCU進一步處理并通過無線傳輸?shù)侥繕藱C器人。同時，機器人上的壓力傳感器檢測到與外部環(huán)境的接觸，通過藍牙模塊控制觸覺執(zhí)行器的振動強度，為用戶提供觸覺反饋。
為了進一步說明電子皮膚實時無線操作的性能，研究人員測量了1-5米距離范圍內的電子皮膚循環(huán)響應速度，包括信號傳感、數(shù)據(jù)傳輸、信號接收、制動響應等環(huán)節(jié)。
研究結果表明，影響電子皮膚無線傳輸距離的因素有：頂部膚色彈性硅封裝層厚度，人體中復雜的生物組織可能吸收電磁輻射等。
在完善機器人VR的觸覺反饋方面，于欣格說：“我們現(xiàn)在可以通過調整電子皮膚的位置和結構解決上述問題，同時也會和更專業(yè)的通信領域專家合作，融合相關技術，繼續(xù)探索機器人VR在無線通信傳輸領域的潛力。”
電子皮膚的無線傳輸距離實驗數(shù)據(jù)
除了藍牙操作模式外，電子皮膚還支持Wi-Fi和互聯(lián)網(wǎng)兩種無線通信模式。
對于Wi-Fi模式，只要操作區(qū)域被同一個Wi-Fi網(wǎng)絡覆蓋，無線傳輸范圍就可以擴展到數(shù)百米。在互聯(lián)網(wǎng)操作模式下，無線傳輸距離可以擴展至互聯(lián)網(wǎng)覆蓋的任何地方，其響應時間范圍為30.2到47.8毫秒。
04.打造線下版元宇宙，除了聽、看還能摸
除了醫(yī)療領域，觸覺反饋也可以應用到社交、娛樂、假肢傳感等方面，進一步提升用戶體驗。
如果將VR設備、觸覺反饋和現(xiàn)有的在線視頻軟件相結合，從聽覺、視覺延伸到觸覺，隔著屏幕，用戶就能感受到與遠方親友握手、擁抱的實感。
去年爆火的“元宇宙”概念中，人們需在虛擬世界建立一個自己的虛擬化身。而要讓這個虛擬化身與人類感同身受，必然離不開觸覺技術的進化。
早從2018年，于欣格就長期專注于觸覺反饋研究，探索VR、機器人與電子皮膚的結合。此前，其團隊研發(fā)的皮膚VR進展曾于2019年底發(fā)表在國際學術頂刊Nature上。皮膚VR系統(tǒng)就搭載了近場通信技術（NFC），遠在千里之外的人通過撫摸和滑動屏幕，就能無線控制皮膚VR的觸覺驅動。
在他看來：“機器人VR可以理解為線下版的元宇宙?！?/p>
在現(xiàn)實世界中，很多危險系數(shù)高、環(huán)境極端的任務需要機器人輔助，這就需要觸覺反饋和傳感一體的閉環(huán)人機交互系統(tǒng)。
于欣格談道，在虛擬世界中控制機器人，用戶只需要將指令發(fā)送給軟件，而在現(xiàn)實世界，多了指令和硬件的交互環(huán)節(jié)，控制機器人的難度更高。
機器人VR系統(tǒng)主要針對于人機交互。于欣格也補充說，從機器人精準感知角度來講，他們的研究團隊已經有了相關成果，現(xiàn)在電子皮膚中的震動單元大小成功縮小到將近之前的1/4，單位面積上單元集成度也大幅提升。
在娛樂應用方面，于欣格為我們舉了一個例子，《鐵甲鋼拳》電影中機器人爭斗替代了暴力、血腥的搏擊運動。在未來，利用機器人VR和皮膚VR控制機器人決斗，也是該領域的潛在應用場景。
《鐵甲鋼拳》中人和機器人同步動作片段
機器人VR還可以用在健康領域的假肢傳感。
失去上肢或下肢的特殊人群安裝假肢后，往往無法僅通過觀察來掌握力度大小，而將電子皮膚安裝在他們的截肢末端有望改善這個問題。
于欣格解釋說，電子皮膚在控制假肢運動的同時，還可以將物體的硬度、重量等信息反饋到截肢末端的電子皮膚上，使用戶能感受到真實的力度、硬度反饋，從而控制力度的大小。
據(jù)于欣格透露，他們也正在籌備初創(chuàng)公司，探索機器人VR的落地，目前更偏向醫(yī)療應用領域等to B的工業(yè)合作伙伴。
05.結語：人機交互新方式或成機器人應用新風口
閉環(huán)人機接口的出現(xiàn)為人體和機器人之間提供了更新的交互方式，使得遠程操控機器人的應用場景進一步增加，除此之外，雙向反饋也為機器人執(zhí)行更為復雜的任務提供了可能。遠程操控高自由度機器人在遠距離操作、假肢控制和醫(yī)療應用方面的例子代表了其在不同領域的廣泛潛在應用。
開發(fā)兼具精確觸覺傳感和反饋功能的遠程操控技術非常重要，于欣格說，他們仍然在探索電子皮膚形態(tài)的多樣性、觸覺反饋的精準度、無線傳輸?shù)男省?/p>
未來，元宇宙可能是機器人VR系統(tǒng)應用的一個重要領域。但于欣格認為，該項目的研究遠遠不止于此，皮膚作為人體最大的觸覺感官，還有更多的發(fā)展?jié)摿?，不過這個領域的基本探索時間還很短，基礎研究在現(xiàn)階段仍必不可少。
對于聽覺、視覺的感知，我們在日常生活中已經司空見慣，如果觸覺感知能進一步普及，是否會使得虛擬世界的真實性越來越高？我們也很期待未來不僅能遠程聽到、看到，還能真實地感覺到虛擬空間。