這項由中科院自動化所、北京大學、清華大學以及AgiBo公司聯(lián)合開展的研究于2025年6月發(fā)表在arXiv預印本平臺上，論文標題為"DualTHOR: A Dual-Arm Humanoid Simulation Platform for Contingency-Aware Planning"。有興趣深入了解的讀者可以通過https://github.com/ds199895/DualTHOR.git訪問完整代碼和論文資料。

當你伸手去拿桌上的咖啡杯時，可能從未意識到這個看似簡單的動作背后隱藏著多么復雜的協(xié)調機制。你的左手可能在穩(wěn)住杯子，右手同時在擰開水龍頭，兩只手完美配合，仿佛有著心靈感應。然而，要讓機器人做到這一點，卻是人工智能領域的一個巨大挑戰(zhàn)。

近年來，隨著人工智能技術的快速發(fā)展，我們看到了越來越多令人驚嘆的智能機器人。它們能夠識別物體、理解語言，甚至進行復雜的推理。但是，當涉及到需要兩只手協(xié)調工作的任務時，這些機器人往往表現(xiàn)得像初學者一樣笨拙。就好比一個人試圖同時用兩只手演奏鋼琴，但兩只手卻完全不聽大腦的指揮，各自為政。

這個問題的根源在于現(xiàn)有的機器人訓練環(huán)境過于簡化。大多數仿真平臺就像一個只有單手操作設備的實驗室，根本無法讓機器人學會雙手協(xié)作的精妙藝術。更糟糕的是，這些平臺往往假設所有操作都會百分之百成功，就像一個永遠不會出錯的理想世界。但現(xiàn)實生活中，咖啡杯可能會滑落，抽屜可能會卡住，機器人需要學會如何應對這些突發(fā)狀況。

正是基于這樣的背景，研究團隊開發(fā)了一個革命性的仿真平臺——DualTHOR。這個平臺就像為機器人打造的一個真實世界的鏡像，不僅讓機器人能夠練習雙手協(xié)作，還會故意制造一些"意外情況"，迫使機器人學會靈活應變。

DualTHOR平臺的創(chuàng)新之處在于它首次將雙臂人形機器人引入了家庭環(huán)境的仿真訓練中。研究團隊選擇了兩款現(xiàn)實中存在的機器人作為主角：Unitree H1和Agibot X1。H1機器人就像一個力大無窮的搬運工，特別擅長處理需要力量的任務，比如搬動重物或打開緊閉的容器。而X1機器人則像一個精細工藝的鐘表匠，在需要精確操作的任務中表現(xiàn)卓越，比如抓取小物件或操作精密設備。

這個仿真環(huán)境包含了356個不同的任務，涵蓋了從臥室到廚房的各種家庭場景。每個場景都經過精心設計，確保機器人能夠體驗到真實家庭生活中可能遇到的各種情況。廚房里有需要同時操作的咖啡機和水龍頭，臥室里有需要一手扶住一手整理的衣柜，客廳里有需要協(xié)調移動的家具。

更重要的是，DualTHOR引入了一個前所未有的"意外機制"。在現(xiàn)實生活中，并不是每個動作都會按預期進行。有時候杯子會滑落，有時候抽屜會卡住，有時候開關會失靈。DualTHOR會隨機模擬這些真實世界中的不確定性，迫使機器人學會重新規(guī)劃和應對失敗。就好比一個烹飪學徒不僅要學會按食譜做菜，還要學會在忘記放鹽或火候過大時如何補救。

在技術實現(xiàn)上，DualTHOR采用了先進的物理引擎和逆運動學求解器。逆運動學聽起來很復雜，但其實就像人腦控制手臂的機制一樣。當你想要伸手夠到某個物體時，大腦會自動計算出肩膀、肘部、腕部各個關節(jié)需要如何轉動。DualTHOR為機器人提供了類似的"大腦"，能夠實時計算出達到目標位置所需的所有關節(jié)角度。

研究團隊還特別注重動作的連續(xù)性。在許多傳統(tǒng)仿真平臺中，機器人的動作就像電影中的"閃現(xiàn)"特效一樣，瞬間從一個狀態(tài)跳躍到另一個狀態(tài)。而DualTHOR中的機器人動作是連續(xù)流暢的，就像真人一樣自然。這種連續(xù)性不僅讓仿真更加真實，也為機器人提供了更豐富的學習數據。

為了測試現(xiàn)有人工智能模型在雙手協(xié)作方面的能力，研究團隊設計了一個全面的評估體系。他們將任務分為三個類別：必須使用雙手的任務、可以使用雙手但也能單手完成的任務，以及傳統(tǒng)的單手任務。必須使用雙手的任務就像抬起一臺沉重的咖啡機或者一邊扶住容器一邊接水，這些任務如果只用一只手根本無法完成?？梢允褂秒p手的任務則像同時整理多個物品，雖然可以分別進行，但雙手同時操作明顯更高效。

實驗結果令人深思。研究團隊測試了包括GPT-4o、Gemini等在內的多個主流人工智能模型，發(fā)現(xiàn)它們在雙手協(xié)作任務上的表現(xiàn)都不盡如人意。即使是最先進的模型，在需要雙手必須協(xié)作的任務上成功率也只有百分之三十到四十。這就好比讓一個優(yōu)秀的單手鋼琴演奏者突然改用雙手演奏協(xié)奏曲，結果可想而知。

更讓人意外的是，當研究團隊引入"意外機制"后，所有模型的表現(xiàn)都出現(xiàn)了顯著下降。在最困難的設置下（只有20%的動作成功率），即使是單手任務的成功率也降到了30%以下。這說明現(xiàn)有的人工智能模型在面對不確定性時缺乏足夠的魯棒性，就像一個只在完美條件下訓練的司機，一旦遇到雨天或路況不佳就手足無措。

特別有趣的是，研究團隊發(fā)現(xiàn)H1機器人的整體表現(xiàn)略好于X1機器人。這主要是因為H1機器人更大的體型帶來了更廣的操作范圍，能夠夠到更多位置的物體。這種差異提醒我們，在設計機器人時，物理特性和任務需求之間的匹配同樣重要。

DualTHOR平臺還引入了一個創(chuàng)新的任務回放機制。傳統(tǒng)的仿真平臺如果要測試不同的策略，往往需要重新啟動整個環(huán)境，這就像玩游戲時每次都要從頭開始。而DualTHOR提供了"撤銷"和"重做"功能，研究人員可以輕松地回到之前的狀態(tài)，嘗試不同的解決方案。這大大提高了研究效率，也讓數據收集變得更加便捷。

在視覺感知方面，DualTHOR提供了多角度的觀察視野。機器人不僅有安裝在頭部的第一人稱視角攝像頭，還有從不同角度觀察的第三人稱攝像頭。這就像給機器人裝上了多個眼睛，能夠全方位地觀察環(huán)境，減少因視角盲區(qū)導致的操作失誤。

環(huán)境的物理仿真也達到了新的高度。DualTHOR不僅模擬了基本的碰撞檢測，還包含了復雜的流體動力學。當機器人打開水龍頭時，水會真實地流淌并逐漸充滿容器；當機器人傾倒液體時，液體會按照物理定律流動。這種細致的物理仿真為機器人提供了更真實的學習環(huán)境。

研究團隊在論文中詳細分析了各種失敗案例，這些分析為改進人工智能模型提供了寶貴的洞察。一個典型的失敗模式是"空間推理錯誤"：機器人會制定一個看起來合理的計劃，但沒有考慮到雙手的空間限制。比如，右手已經拿著物品，但AI卻試圖用右手去開抽屜，這種錯誤反映了現(xiàn)有模型在空間推理和狀態(tài)跟蹤方面的不足。

另一個常見問題是"時序規(guī)劃失誤"。在需要雙手協(xié)調的任務中，動作的時序安排至關重要。就像做飯時需要在合適的時機加入不同的食材一樣，機器人也需要精確安排雙手的動作時序。但實驗結果顯示，現(xiàn)有的AI模型在這方面還有很大的改進空間。

DualTHOR的意外機制設計也很有技巧。研究團隊根據不同物體的屬性設計了相應的失敗模式。比如，易碎物品可能會破裂，裝有液體的容器可能會灑漏，機械設備可能會卡住。這些失敗模式都基于現(xiàn)實世界的觀察，讓仿真環(huán)境更加貼近真實情況。

值得注意的是，這個平臺不僅對學術研究有價值，對實際應用也具有重要意義。隨著家庭服務機器人的發(fā)展，雙手協(xié)作能力將成為一個關鍵特性。用戶期望機器人能夠像人類助手一樣，同時處理多個任務，在復雜環(huán)境中靈活操作。DualTHOR為開發(fā)這樣的機器人提供了一個理想的訓練環(huán)境。

研究團隊還特別關注了平臺的可擴展性。DualTHOR基于Unity引擎構建，這意味著研究人員可以輕松添加新的機器人模型、新的任務場景或新的物理特性。目前平臺支持H1和X1兩種機器人，但團隊已經在開發(fā)對更多機器人型號的支持，包括Unitree G1等新興機器人平臺。

從技術架構來看，DualTHOR采用了模塊化設計。逆運動學求解器作為獨立的服務運行，通過HTTP接口與主仿真環(huán)境通信。這種設計不僅提高了系統(tǒng)的穩(wěn)定性，還使得研究人員可以針對不同的機器人模型定制專門的求解器。

對于機器人控制而言，DualTHOR支持離散控制和連續(xù)控制兩種模式。離散控制類似于游戲中的按鍵操作，每次執(zhí)行一個預定義的動作。連續(xù)控制則更像真實的機器人操作，可以精確控制每個關節(jié)的角度和速度。這種靈活性讓不同類型的研究都能在同一平臺上進行。

實驗數據還揭示了一個有趣的現(xiàn)象：在面對意外情況時，一些看似更簡單的AI模型反而表現(xiàn)出了更好的適應性。這提醒我們，在復雜任務中，簡單但魯棒的方法有時比復雜但脆弱的方法更有效。這個發(fā)現(xiàn)對于實際部署的機器人系統(tǒng)具有重要的指導意義。

研究團隊還發(fā)現(xiàn)，現(xiàn)有的AI模型普遍缺乏"常識推理"能力。在人類看來理所當然的事情，比如不能用已經占用的手去拿其他東西，對AI來說卻是一個挑戰(zhàn)。這反映了當前AI訓練數據的局限性——大多數數據都是單任務、單手操作的記錄，缺乏復雜的多任務協(xié)調示例。

DualTHOR的評估指標也經過了精心設計。除了傳統(tǒng)的任務成功率，研究團隊還引入了"優(yōu)雅程度"指標，評估機器人完成任務的方式是否自然流暢。一個機器人可能最終完成了任務，但如果過程磕磕絆絆，充滿不必要的重復動作，那么這樣的表現(xiàn)在實際應用中也是不可接受的。

在數據收集方面，DualTHOR產生的軌跡數據比傳統(tǒng)平臺豐富得多。每個任務執(zhí)行過程都被完整記錄，包括每個時間步的機器人狀態(tài)、環(huán)境狀態(tài)、動作選擇和執(zhí)行結果。這些數據為研究雙手協(xié)作的機器學習算法提供了寶貴的資源。

環(huán)境的多樣性也是DualTHOR的一大亮點。平臺包含了臥室、廚房、客廳等多種場景，每種場景都有獨特的物品配置和交互可能性。這種多樣性確保了在平臺上訓練的AI模型能夠具備更好的泛化能力，在面對新環(huán)境時不會完全束手無策。

研究結果對未來的發(fā)展方向也提出了明確建議。首先，需要開發(fā)專門針對雙手協(xié)作的AI架構，現(xiàn)有的單任務模型顯然無法勝任復雜的協(xié)調任務。其次，訓練數據需要包含更多的失敗案例和恢復策略，讓AI學會如何從錯誤中恢復。最后，空間推理和時序規(guī)劃能力需要得到特別加強。

DualTHOR平臺的開源性質也值得稱贊。研究團隊將完整的代碼和文檔發(fā)布在GitHub上，讓全世界的研究人員都能夠使用和改進這個平臺。這種開放的態(tài)度有助于加速整個領域的進步，讓更多的創(chuàng)新想法能夠在統(tǒng)一的平臺上得到驗證。

平臺的技術實現(xiàn)細節(jié)也體現(xiàn)了研究團隊的深思熟慮。比如，在處理物體碰撞時，DualTHOR不僅檢測碰撞的發(fā)生，還模擬碰撞后的物理效果，如物體的彈跳、滾動等。這種細致的物理模擬雖然增加了計算復雜度，但為AI提供了更真實的反饋信息。

說到底，DualTHOR代表了機器人仿真技術的一個重要里程碑。它不僅解決了雙手協(xié)作這個長期被忽視的問題，還引入了真實世界的不確定性，讓AI訓練更加貼近實際應用需求。雖然實驗結果顯示現(xiàn)有AI模型在這些任務上還有很大改進空間，但這正是DualTHOR的價值所在——它為我們指出了前進的方向。

對于普通人來說，DualTHOR的意義可能要在幾年后才會顯現(xiàn)。當家庭服務機器人真正走進千家萬戶時，我們會發(fā)現(xiàn)那些能夠熟練使用雙手、能夠應對各種意外情況的機器人，很可能就是在類似DualTHOR這樣的平臺上訓練出來的。到那時，我們或許會感謝今天這些看似枯燥的技術研究，因為正是它們讓我們的機器人助手變得如此貼心和可靠。

這項研究也提醒我們，人工智能的發(fā)展并不總是一帆風順的。即使是最先進的AI模型，在面對新的挑戰(zhàn)時也可能顯得力不從心。但正是這種挑戰(zhàn)推動了技術的進步，讓我們不斷接近創(chuàng)造真正智能機器的目標。DualTHOR平臺的出現(xiàn)，為這個目標的實現(xiàn)又邁出了堅實的一步。

Q&A

Q1：DualTHOR是什么？它能做什么？ A：DualTHOR是一個專門為雙臂人形機器人設計的仿真訓練平臺。它能讓AI機器人在虛擬的家庭環(huán)境中練習雙手協(xié)作任務，比如一邊扶住容器一邊接水，或者同時操作多個物品。平臺還會制造意外情況來測試機器人的應變能力。

Q2：為什么現(xiàn)有的AI模型在雙手協(xié)作上表現(xiàn)不好？ A：主要原因是現(xiàn)有的訓練環(huán)境大多只考慮單手操作，缺乏雙手協(xié)調的訓練數據。就像一個只練習過單手彈琴的人突然要演奏雙手協(xié)奏曲一樣，AI模型缺乏空間推理和時序規(guī)劃的能力，不知道如何協(xié)調兩只手的動作。

Q3：DualTHOR對普通人有什么意義？ A：雖然普通人不會直接使用這個平臺，但它將幫助開發(fā)更智能的家庭服務機器人。未來這些機器人能更好地幫助我們做家務、照顧老人或輔助殘障人士，讓我們的生活更加便利。這項技術是實現(xiàn)真正實用的家庭機器人的重要一步。