在靈巧機(jī)器人領(lǐng)域，一項(xiàng)重大突破正在改變機(jī)器人如何學(xué)習(xí)復(fù)雜的手部操作技能。來(lái)自斯坦福大學(xué)、哥倫比亞大學(xué)、摩根大通AI研究院、卡內(nèi)基梅隆大學(xué)和英偉達(dá)的研究團(tuán)隊(duì)，由Mengda Xu、Han Zhang、Yifan Hou、Zhenjia Xu、Linxi Fan、Manuela Veloso和Shuran Song共同合作，于2025年5月發(fā)表了題為《DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation》的研究論文。這項(xiàng)研究提出了一個(gè)創(chuàng)新框架，允許機(jī)器人直接從人類手部動(dòng)作中學(xué)習(xí)復(fù)雜的靈巧操作技能。有興趣深入了解的讀者可以通過(guò)項(xiàng)目網(wǎng)站https://dex-umi.github.io/獲取更多信息。

人類的手部具有令人難以置信的靈巧性，能夠完成各種復(fù)雜任務(wù)。然而，將這些技能傳遞給機(jī)器人一直面臨著巨大挑戰(zhàn)，主要是因?yàn)槿耸峙c機(jī)器人手之間存在顯著的"身體差異鴻溝"。想象一下，如果你試圖教一個(gè)有六只手指、關(guān)節(jié)結(jié)構(gòu)完全不同的外星人如何系鞋帶，你就能理解研究人員面臨的挑戰(zhàn)了。這種差異表現(xiàn)在多個(gè)方面：關(guān)節(jié)結(jié)構(gòu)不同、接觸表面形狀差異、觸覺(jué)信息獲取方式不同，以及視覺(jué)外觀迥異。

更復(fù)雜的是，當(dāng)今市場(chǎng)上存在各種各樣的靈巧機(jī)器人手設(shè)計(jì)，每種都有不同的工程權(quán)衡，如自由度、電機(jī)范圍、驅(qū)動(dòng)機(jī)制和整體尺寸。這就像是要為十幾種不同品牌、形狀各異的吉他設(shè)計(jì)一套通用的彈奏方法一樣困難。

傳統(tǒng)上，研究人員使用遠(yuǎn)程操作來(lái)控制靈巧機(jī)器人手。然而，遠(yuǎn)程操作面臨著空間觀察不匹配和缺乏直接觸覺(jué)反饋的問(wèn)題。想象你站在房間一角，通過(guò)望遠(yuǎn)鏡觀察并用特殊手套控制房間另一端的機(jī)械手，這種方式顯然不如直接用自己的手來(lái)得直觀和有效。

研究團(tuán)隊(duì)提出了一個(gè)核心問(wèn)題：如何最小化這種"身體差異鴻溝"，使人類手部可以成為各種不同機(jī)器人手的通用操作接口？為了回答這個(gè)問(wèn)題，他們開(kāi)發(fā)了DexUMI框架，這個(gè)框架包含硬件和軟件兩層適配組件，旨在縮小行動(dòng)和觀察之間的差距。

硬件適配層采用了一種可穿戴的手部外骨骼設(shè)計(jì)。這就像是一種特殊的手套，但不僅僅是手套那么簡(jiǎn)單。用戶可以直接佩戴它來(lái)收集操作數(shù)據(jù)。這個(gè)外骨骼是通過(guò)一個(gè)硬件優(yōu)化框架為每個(gè)目標(biāo)機(jī)器人手專門設(shè)計(jì)的，該框架會(huì)優(yōu)化外骨骼參數(shù)（如連桿長(zhǎng)度）以緊密匹配機(jī)器人手指軌跡，同時(shí)保持對(duì)人類手部的舒適穿戴性。

這種硬件適配方案帶來(lái)了幾個(gè)關(guān)鍵優(yōu)勢(shì)：首先，它提供了直觀的示范和直接觸覺(jué)反饋。不像遠(yuǎn)程操作系統(tǒng)，可穿戴外骨骼沒(méi)有空間不匹配問(wèn)題，允許用戶在操作過(guò)程中直接接觸物體，使示范變得直觀且無(wú)需實(shí)際機(jī)器人也能完成。其次，它記錄了對(duì)機(jī)器人手可行的動(dòng)作。外骨骼會(huì)約束人類手部動(dòng)作以匹配目標(biāo)手的運(yùn)動(dòng)學(xué)特性，確保記錄的動(dòng)作是可轉(zhuǎn)移的。第三，它能捕獲精確的關(guān)節(jié)動(dòng)作。不像基于重定向的方法，我們的外骨骼直接從編碼器讀取精確的關(guān)節(jié)角度，消除了由于視覺(jué)指尖跟蹤導(dǎo)致的不準(zhǔn)確性。最后，它還能匹配用于學(xué)習(xí)的觸覺(jué)信息。大多數(shù)用于數(shù)據(jù)收集的手持夾具不記錄觸覺(jué)信息，而我們的設(shè)計(jì)在指尖上包含了額外的觸覺(jué)傳感器，記錄與機(jī)器人手相同的觸覺(jué)信息。

軟件適配層則以數(shù)據(jù)處理管道的形式出現(xiàn)，它彌合了人類示范和機(jī)器人部署之間的視覺(jué)觀察差距。想象你在看一段教學(xué)視頻，但視頻中的人手和你的機(jī)器人手完全不同，這會(huì)導(dǎo)致學(xué)習(xí)困難。軟件處理管道首先使用視頻分割技術(shù)從示范視頻中移除人手和外骨骼，然后用對(duì)應(yīng)的機(jī)器人手和環(huán)境背景重新繪制視頻，使其與目標(biāo)動(dòng)作相匹配。這種適配確保了訓(xùn)練和機(jī)器人部署之間的視覺(jué)輸入一致性，盡管人手和機(jī)器人手在視覺(jué)上存在差異。

通過(guò)硬件和軟件兩層適配，DexUMI允許研究團(tuán)隊(duì)在各種任務(wù)上收集數(shù)據(jù)，同時(shí)最小化運(yùn)動(dòng)學(xué)和視覺(jué)差距，然后將技能轉(zhuǎn)移到機(jī)器人上。綜合實(shí)際實(shí)驗(yàn)證明了DexUMI在兩種不同類型的靈巧手上的能力：6自由度的Inspire手和12自由度的XHand。與遠(yuǎn)程操作相比，該方法實(shí)現(xiàn)了3.2倍的數(shù)據(jù)收集效率，并在四項(xiàng)任務(wù)中達(dá)到了平均86%的成功率，包括長(zhǎng)期任務(wù)和需要多指接觸的復(fù)雜任務(wù)。

一、硬件適配：彌合身體差異鴻溝

現(xiàn)代機(jī)器人手通常在解剖學(xué)上模仿人類手部，這意味著手部外骨骼設(shè)計(jì)會(huì)與佩戴者的人類手部爭(zhēng)奪空間。最大的挑戰(zhàn)在于拇指，其旋前-旋后運(yùn)動(dòng)可以掃過(guò)一個(gè)很大的空間，容易導(dǎo)致人類拇指與簡(jiǎn)單設(shè)計(jì)的外骨骼之間發(fā)生嚴(yán)重碰撞。想象一下，如果你要在手上戴一個(gè)機(jī)械裝置，而這個(gè)裝置的拇指部分和你自己的拇指總是撞在一起，使用起來(lái)會(huì)非常困難。

研究團(tuán)隊(duì)的外骨骼設(shè)計(jì)有兩個(gè)主要目標(biāo)：首先是共享關(guān)節(jié)動(dòng)作映射，即外骨骼和目標(biāo)機(jī)器人手必須共享相同的關(guān)節(jié)到指尖位置映射，包括它們的限制，這樣動(dòng)作才能轉(zhuǎn)移；其次是可穿戴性，外骨骼必須允許用戶的手進(jìn)行足夠的自然運(yùn)動(dòng)。

雖然第一個(gè)目標(biāo)可以用數(shù)學(xué)方式定義，但可穿戴性目標(biāo)很難具體寫(xiě)下來(lái)。研究團(tuán)隊(duì)的解決方案是參數(shù)化外骨骼設(shè)計(jì)，并將可穿戴性要求作為設(shè)計(jì)參數(shù)的約束條件，然后通過(guò)求解優(yōu)化問(wèn)題找到一個(gè)能夠適應(yīng)可穿戴性同時(shí)保持運(yùn)動(dòng)學(xué)關(guān)系的解決方案。為了使優(yōu)化變得可行，他們優(yōu)先考慮指尖鏈接的精確運(yùn)動(dòng)學(xué)，同時(shí)對(duì)不太可能接觸物體的鏈接的運(yùn)動(dòng)學(xué)給予更大的靈活性。

舉個(gè)例子，對(duì)于難以直接表示的欠驅(qū)動(dòng)手（如Inspire Hand），他們使用運(yùn)動(dòng)捕捉系統(tǒng)記錄指尖在SE(3)空間中的姿態(tài)。他們?yōu)槊總€(gè)手指和法蘭3D打印了標(biāo)記安裝組件并安裝在Inspire Hand上。對(duì)于只有單個(gè)自由度的食指、中指、無(wú)名指和小指，他們均勻采樣了16個(gè)電機(jī)命令值，并記錄相應(yīng)的指尖姿態(tài)。對(duì)于拇指，由于它有兩個(gè)自由度（擺動(dòng)和彎曲），他們首先固定擺動(dòng)值，然后均勻采樣彎曲電機(jī)值，并重復(fù)不同擺動(dòng)值的這一過(guò)程。

獲得指尖姿態(tài)后，他們應(yīng)用雙層優(yōu)化公式來(lái)確定每個(gè)手指的設(shè)計(jì)參數(shù)。對(duì)于所有五個(gè)手指，他們使用四桿連桿作為連桿設(shè)計(jì)。對(duì)于每個(gè)采樣的設(shè)計(jì)參數(shù)，他們使用PlaCo模擬指尖姿態(tài)。對(duì)于拇指，他們最小化了所有擺動(dòng)電機(jī)值的總體損失，因?yàn)槟粗傅慕Y(jié)構(gòu)配置應(yīng)該保持一致，無(wú)論擺動(dòng)電機(jī)值如何。

而對(duì)于有詳細(xì)URDF文件的XHand，他們可以直接從URDF結(jié)構(gòu)中提取連桿長(zhǎng)度。關(guān)節(jié)限制也在URDF文件中指定，并通過(guò)物理約束連桿運(yùn)動(dòng)來(lái)防止超出指定范圍的旋轉(zhuǎn)在外骨骼設(shè)計(jì)中實(shí)現(xiàn)。類似于Inspire Hand外骨骼設(shè)計(jì)，他們采用保守策略，對(duì)每個(gè)關(guān)節(jié)設(shè)置稍微更緊的約束。例如，如果實(shí)際關(guān)節(jié)旋轉(zhuǎn)范圍是-110°到20°，相應(yīng)的外骨骼限制設(shè)為-105°到15°。這種預(yù)防措施考慮到了3D打印外骨骼連桿在人類施加的扭矩下可能的變形，這可能導(dǎo)致意外的關(guān)節(jié)偏轉(zhuǎn)。

二、傳感器集成：捕捉完整的交互信息

外骨骼上的傳感器需要滿足以下設(shè)計(jì)目標(biāo)：捕獲足夠的信息和最小化身體差異鴻溝。

為了精確捕獲關(guān)節(jié)動(dòng)作，研究團(tuán)隊(duì)在每個(gè)驅(qū)動(dòng)關(guān)節(jié)上集成了關(guān)節(jié)編碼器，使用阻性位置編碼器同時(shí)適用于XHand和Inspire手。他們選擇了Alps編碼器，因?yàn)槠涑叽绾途冗m合要求。由于關(guān)節(jié)摩擦和電機(jī)反沖，外骨骼關(guān)節(jié)編碼器與機(jī)器人手電機(jī)值之間的映射通常是非線性的，因此他們?yōu)槊總€(gè)關(guān)節(jié)訓(xùn)練了一個(gè)簡(jiǎn)單的回歸模型來(lái)獲取這種映射。

為了捕獲6自由度腕部姿態(tài)，他們使用iPhone ARKit，因?yàn)橹悄苁謾C(jī)代表了能夠提供精確空間跟蹤的最容易獲取的設(shè)備。這個(gè)跟蹤設(shè)備只在數(shù)據(jù)收集時(shí)需要，不需要用于機(jī)器人部署。

在視覺(jué)觀察方面，他們?cè)谕蟛肯路桨惭b了一個(gè)150°對(duì)角視場(chǎng)的廣角攝像頭OAK-1，同時(shí)用于外骨骼和目標(biāo)機(jī)器人靈巧手。這個(gè)位置的選擇是為了有效捕獲手與物體的交互。重要的是，外骨骼和機(jī)器人手腕部框架中的攝像頭姿態(tài)是相同的，這保持了訓(xùn)練和部署之間的視覺(jué)一致性。

觸覺(jué)感知方面，可穿戴外骨骼允許用戶直接接觸物體并接收觸覺(jué)反饋。然而，這種人類觸覺(jué)反饋不能直接轉(zhuǎn)移到機(jī)器人靈巧手上。因此，他們?cè)谕夤趋郎习惭b觸覺(jué)傳感器來(lái)捕獲和轉(zhuǎn)換這些觸覺(jué)交互。為確保傳感器讀數(shù)一致，他們?cè)谕夤趋郎习惭b了與目標(biāo)機(jī)器人手相同類型的觸覺(jué)傳感器。對(duì)于XHand，他們使用了手上自帶的電磁觸覺(jué)傳感器。對(duì)于Inspire-Hand，他們?yōu)橥夤趋篮蜋C(jī)器人手都安裝了相同的阻性觸覺(jué)傳感器Force Sensitive Resistor。

三、軟件適配：彌合視覺(jué)差距

研究中的一個(gè)關(guān)鍵挑戰(zhàn)是人類示范和機(jī)器人執(zhí)行之間的視覺(jué)差距。想象一下，如果你通過(guò)觀看一個(gè)使用完全不同工具的人來(lái)學(xué)習(xí)一項(xiàng)技能，這會(huì)增加學(xué)習(xí)難度。為了彌合這一差距，研究團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)數(shù)據(jù)處理管道，將示范圖像轉(zhuǎn)換為機(jī)器人將看到的樣子，就好像機(jī)器人手在收集數(shù)據(jù)一樣。

該適配過(guò)程包括四個(gè)步驟：首先，使用SAM2分割觀察視頻中的人手和外骨骼。研究團(tuán)隊(duì)建立了一個(gè)協(xié)議，人類操作者總是以相同的手勢(shì)開(kāi)始，這樣他們可以為所有示范重復(fù)使用相同的提示點(diǎn)。第二步是修復(fù)環(huán)境背景，使用ProPainter這一基于流的修復(fù)方法來(lái)完全填充缺失區(qū)域。第三步是記錄相應(yīng)的機(jī)器人手視頻，通過(guò)在機(jī)器人手上重放記錄的關(guān)節(jié)動(dòng)作，并錄制只有機(jī)器人手的另一個(gè)視頻。然后再次使用SAM2提取機(jī)器人手像素并丟棄背景。

最后一步是組合機(jī)器人示范。重要的是要保持適當(dāng)?shù)恼趽蹶P(guān)系：機(jī)器人手并不總是出現(xiàn)在頂部。研究團(tuán)隊(duì)開(kāi)發(fā)了一種考慮遮擋的合成方法，利用一致的腕下攝像頭設(shè)置，以及外骨骼與機(jī)器人手之間的運(yùn)動(dòng)學(xué)和形狀相似性。他們通過(guò)取外骨骼掩碼與機(jī)器人手掩碼的交集來(lái)計(jì)算可見(jiàn)掩碼。不是簡(jiǎn)單地覆蓋像素，而是只在那些像素存在于可見(jiàn)掩碼中時(shí)，才用機(jī)器人手像素有選擇地替換修復(fù)后觀察中的像素。這保留了從腕下攝像頭視角看到的手與物體之間的自然遮擋關(guān)系。

四、評(píng)估與實(shí)驗(yàn)結(jié)果

為了驗(yàn)證DexUMI的有效性，研究團(tuán)隊(duì)在兩種不同的機(jī)器人手上進(jìn)行了測(cè)試：Inspire Hand（IHand）和XHand。Inspire Hand是一種十二自由度（六個(gè)主動(dòng)自由度）的欠驅(qū)動(dòng)手，拇指有兩個(gè)主動(dòng)和兩個(gè)被動(dòng)自由度，而其余每個(gè)手指有一個(gè)主動(dòng)和一個(gè)被動(dòng)自由度。XHand則是一種完全驅(qū)動(dòng)的手，有十二個(gè)主動(dòng)自由度，拇指包含三個(gè)自由度，食指有三個(gè)自由度，其余每個(gè)手指有兩個(gè)自由度。

研究團(tuán)隊(duì)設(shè)計(jì)了四項(xiàng)不同的實(shí)際任務(wù)來(lái)測(cè)試系統(tǒng)：首先是立方體拾取任務(wù)，要求從桌子上拿起一個(gè)2.5厘米寬的立方體并放入杯中，這評(píng)估了DexUMI系統(tǒng)的基本能力和精度。第二項(xiàng)是蛋盒開(kāi)啟任務(wù)，需要多指協(xié)調(diào)：手需要食指、中指、無(wú)名指和小指對(duì)蛋盒頂部施加向下壓力，同時(shí)使用拇指抬起前閂鎖。第三項(xiàng)是使用工具的茶葉拾取任務(wù)，主要挑戰(zhàn)是穩(wěn)定操作可變形的鑷子，需要多指接觸。最后是廚房任務(wù)，包括四個(gè)連續(xù)步驟：關(guān)閉爐灶旋鈕、將平底鍋從爐灶移到臺(tái)面、從容器中拿鹽、最后在鍋中的食物上撒鹽。這項(xiàng)任務(wù)測(cè)試了DexUMI在長(zhǎng)期任務(wù)中的能力，需要精確動(dòng)作、觸覺(jué)感知和超越使用指尖的技能。

實(shí)驗(yàn)比較了政策行動(dòng)空間選擇、觸覺(jué)感知和軟件適配對(duì)系統(tǒng)性能的影響。研究團(tuán)隊(duì)比較了手指動(dòng)作軌跡的形式（絕對(duì)位置或相對(duì)軌跡）、有無(wú)觸覺(jué)傳感器輸入的政策，以及有無(wú)軟件適配的變體，包括掩碼（用綠色掩碼替換外骨骼或機(jī)器人手占據(jù)的像素）和原始版本（簡(jiǎn)單傳遞包含外骨骼的未修改圖像作為政策輸入）。

研究發(fā)現(xiàn)，DexUMI框架能夠?qū)崿F(xiàn)高效的靈巧政策學(xué)習(xí)。如表1所示，DexUMI系統(tǒng)在兩種機(jī)器人手的所有四項(xiàng)任務(wù)中都達(dá)到了高成功率。系統(tǒng)能夠處理精確操作、長(zhǎng)期任務(wù)和協(xié)調(diào)多指接觸，同時(shí)有效地泛化到各種操作場(chǎng)景。

相對(duì)手指軌跡對(duì)噪聲和硬件缺陷更具魯棒性。表1顯示相對(duì)手指軌跡在所有任務(wù)中一致地取得更好的成功率。研究表明，相對(duì)軌跡可以使關(guān)鍵接觸事件更可靠。這種差異可能有兩個(gè)原因：首先，相對(duì)動(dòng)作具有比絕對(duì)動(dòng)作更簡(jiǎn)單的分布，因此更容易學(xué)習(xí)；其次，相對(duì)動(dòng)作學(xué)習(xí)了一種反應(yīng)性行為，即增量動(dòng)作會(huì)不斷累積直到達(dá)到關(guān)鍵事件（如手指在接觸時(shí)閉合）。然而，絕對(duì)動(dòng)作學(xué)習(xí)的是靜態(tài)映射，如果映射有錯(cuò)誤就會(huì)停滯。

有趣的是，只有相對(duì)手指軌跡能從嘈雜的觸覺(jué)反饋中受益。XHand上的觸覺(jué)傳感器在承受高壓后會(huì)漂移并變得不一致。因此，在大多數(shù)情況下，有觸覺(jué)會(huì)使結(jié)果變差。研究團(tuán)隊(duì)觀察到，只有相對(duì)軌跡的政策才能從這種觸覺(jué)感知中受益。對(duì)于手動(dòng)安裝觸覺(jué)傳感器更嘈雜的Inspire手，添加觸覺(jué)傳感器作為輸入后，所有方法的性能都變差。然而，與使用絕對(duì)軌跡的方法相比，相對(duì)軌跡的政策仍然受到的性能下降較小。

觸覺(jué)反饋可以改善具有清晰力量配置文件的任務(wù)性能。研究團(tuán)隊(duì)試圖了解什么類型的任務(wù)會(huì)從觸覺(jué)感知中受益。他們關(guān)注XHand，因?yàn)槠溆|覺(jué)傳感器提供更清晰的讀數(shù)。他們觀察到，觸覺(jué)反饋顯著提高了拾取鹽的性能。這項(xiàng)任務(wù)突出了觸覺(jué)的效果，因?yàn)橛|覺(jué)傳感器在手指接觸鹽碗時(shí)會(huì)給出清晰、較大的讀數(shù)，而且由于相機(jī)視圖大部分被碗擋住，抓取時(shí)幾乎沒(méi)有有用的視覺(jué)信息。在這種情況下，觸覺(jué)反饋完全改變了政策行為。有觸覺(jué)傳感器時(shí)，手指總是先插入鹽中然后閉合手指。沒(méi)有觸覺(jué)反饋時(shí)，手指有時(shí)試圖在空中抓取鹽。相反，觸覺(jué)信息對(duì)鑷子操作沒(méi)有幫助，因?yàn)槭植窟\(yùn)動(dòng)與力反饋之間缺乏強(qiáng)相關(guān)性。握住鑷子只會(huì)觸發(fā)最小的觸覺(jué)傳感器讀數(shù)。

最后，DexUMI框架能夠高效收集靈巧手?jǐn)?shù)據(jù)。研究團(tuán)隊(duì)比較了三種方式的數(shù)據(jù)收集效率：DexUMI、裸人手和遠(yuǎn)程操作，都是在茶葉拾取工具任務(wù)上進(jìn)行。同一人類操作者使用每種方法在15分鐘內(nèi)收集數(shù)據(jù)。他們根據(jù)獲得的成功示范數(shù)量計(jì)算了收集吞吐量（CT）。如圖7所示，雖然DexUMI仍然比直接人類手部操作慢，但它實(shí)現(xiàn)了比傳統(tǒng)遠(yuǎn)程操作方法高3.2倍的效率，顯著減少了靈巧操作數(shù)據(jù)收集所需的時(shí)間。

五、局限性與未來(lái)工作

盡管DexUMI展示了出色的性能，研究團(tuán)隊(duì)也坦承系統(tǒng)存在一些局限性。在硬件適配方面，雖然DexUMI展示了跨欠驅(qū)動(dòng)和完全驅(qū)動(dòng)手的泛化能力，但優(yōu)化框架仍需要針對(duì)特定硬件進(jìn)行調(diào)整，特別是在可穿戴性方面。未來(lái)工作方向之一是完全自動(dòng)化的優(yōu)化公式，給定機(jī)器人手模型和人手的描述。此外，當(dāng)前的公式只關(guān)注匹配指尖工作空間，未來(lái)工作可以考慮模擬其他潛在的接觸幾何形狀，如掌部。

在可穿戴性方面，硬件優(yōu)化流程使外骨骼可穿戴，允許人類相對(duì)輕松地長(zhǎng)時(shí)間操作。然而，可穿戴性可以通過(guò)集成軟材料進(jìn)一步改善，例如用于接觸人手部分的TPU。此外，由于目標(biāo)手的設(shè)計(jì)和3D打印材料強(qiáng)度的限制，用戶可能仍會(huì)在完全伸展某些手指時(shí)遇到限制。

觸覺(jué)傳感器的可靠性是另一個(gè)關(guān)鍵問(wèn)題。研究團(tuán)隊(duì)發(fā)現(xiàn)，可靠的觸覺(jué)傳感器對(duì)于維持外骨骼和相應(yīng)機(jī)器人手之間的一致觸覺(jué)觀察至關(guān)重要，從而減少身體差異鴻溝。在他們的實(shí)現(xiàn)中，添加到Inspire手及其外骨骼上的阻性觸覺(jué)傳感器對(duì)它們?cè)谑种干系母街绞椒浅Ｃ舾小Ｍ瑫r(shí)，XHand及其外骨骼上的電磁觸覺(jué)傳感器在暴露于高壓后容易漂移。由于人手產(chǎn)生的力比機(jī)器人手大，當(dāng)人類操作外骨骼時(shí)，觸覺(jué)傳感器讀數(shù)經(jīng)常漂移。未來(lái)工作可以考慮其他類型的觸覺(jué)傳感器，如基于視覺(jué)的觸覺(jué)傳感器和電容式F/T傳感器。

在材料限制方面，實(shí)驗(yàn)表明DexUMI能夠捕獲精細(xì)的指尖動(dòng)作，如閉合鑷子。然而，研究團(tuán)隊(duì)有時(shí)發(fā)現(xiàn)編碼器由于3D打印材料強(qiáng)度限制而無(wú)法精確捕獲人類運(yùn)動(dòng)；有時(shí)，人手會(huì)在操作物體時(shí)稍微扭曲外骨骼連桿。在這種情況下，編碼器無(wú)法捕獲這種扭曲。

軟件適配方面，目前仍需要實(shí)際機(jī)器人硬件來(lái)獲取機(jī)器人手圖像。然而，這一要求可以通過(guò)實(shí)現(xiàn)一個(gè)圖像生成模型來(lái)消除，該模型接收電機(jī)值作為輸入并生成相應(yīng)的手部姿態(tài)圖像作為輸出。盡管當(dāng)前的軟件適配管道已經(jīng)能夠產(chǎn)生高保真的機(jī)器人手圖像，但研究團(tuán)隊(duì)觀察到，由于修復(fù)過(guò)程的限制，機(jī)器人手上的照明效果無(wú)法完全復(fù)制，并且圖像中的某些區(qū)域可能會(huì)模糊。此外，DexUMI目前要求攝像頭牢固地附著在機(jī)器人手/外骨骼上，不支持移動(dòng)攝像頭。

最后，現(xiàn)有機(jī)器人手硬件也存在一些限制。研究團(tuán)隊(duì)發(fā)現(xiàn)，由于反沖和摩擦，Inspire Hand和XHand都缺乏足夠的精度。例如，Inspire Hand的指尖位置在從1000到500電機(jī)單位移動(dòng)時(shí)與從0到500電機(jī)單位移動(dòng)時(shí)不同。雖然在這兩種情況下期望的電機(jī)值相同，但最終的指尖位置卻有所不同。這種現(xiàn)象在兩種機(jī)器人手中都被觀察到。此外，機(jī)器人手與人手之間的尺寸差異可能導(dǎo)致可穿戴性問(wèn)題。例如，如果機(jī)器人手是人手的兩倍大，人手和外骨骼都難以達(dá)到機(jī)器人手所需的關(guān)節(jié)配置。

許多這些可穿戴性問(wèn)題源于現(xiàn)有商業(yè)硬件的設(shè)計(jì)約束。一個(gè)有趣的方向是探索反向設(shè)計(jì)范式：首先設(shè)計(jì)一個(gè)對(duì)人類舒適且完全可操作的外骨骼，然后使用該外骨骼作為設(shè)計(jì)機(jī)器人手的基礎(chǔ)。

總結(jié)來(lái)說(shuō)，DexUMI代表了一個(gè)可擴(kuò)展且高效的數(shù)據(jù)收集和政策學(xué)習(xí)框架，使用人手作為接口將人手運(yùn)動(dòng)轉(zhuǎn)換為精確的機(jī)器人手動(dòng)作，同時(shí)提供自然的觸覺(jué)反饋。通過(guò)廣泛的具有挑戰(zhàn)性的實(shí)際實(shí)驗(yàn)，研究團(tuán)隊(duì)展示了DexUMI在學(xué)習(xí)精確、接觸豐富和長(zhǎng)期任務(wù)的靈巧操作政策方面的能力。這項(xiàng)工作建立了一種超越傳統(tǒng)遠(yuǎn)程操作的新方法，能夠高效且大規(guī)模地收集實(shí)際靈巧手?jǐn)?shù)據(jù)。