本篇研究來自中國香港中文大學、快手科技和浙江大學的聯(lián)合團隊，由Xiao Fu、Xintao Wang、Xian Liu、Jianhong Bai、Runsen Xu、Pengfei Wan、Di Zhang和Dahua Lin共同完成，發(fā)表于2025年6月的arXiv預印本平臺（arXiv:2506.01943v1）。

一、讓機器人在視頻中表現(xiàn)得更加自然：RoboMaster的誕生背景

想象一下，你正在教一個機器人如何拿起桌子上的勺子并把它放在平底鍋的左邊。你希望機器人的動作看起來自然流暢，就像人類一樣，而不是僵硬機械的。這正是本研究要解決的核心問題。

近年來，基于視頻生成的技術取得了顯著進步，這些技術能夠模擬逼真的環(huán)境，為機器人學習提供豐富的訓練數(shù)據(jù)。尤其是軌跡控制型的視頻生成方法，更是為精細控制機器人規(guī)劃提供了可能。但現(xiàn)有的方法主要關注單個物體的運動，難以捕捉機器人與物體之間的復雜交互過程，尤其是在抓取和操作物體時，視覺效果往往會變得不自然。

為什么會出現(xiàn)這個問題呢？就像兩個舞者同時在同一個舞臺上表演不同的舞蹈會相互干擾一樣，現(xiàn)有方法在處理機器人手臂與物體重疊區(qū)域時，會出現(xiàn)特征糾纏的問題，導致生成質量下降。研究團隊形象地將這種現(xiàn)象描述為"重疊區(qū)域的特征混淆"，就像兩種顏色的顏料混在一起，難以保持各自的特性。

為了解決這個問題，來自中國香港中文大學和快手科技的研究團隊提出了一個名為"RoboMaster"的創(chuàng)新框架。與以往將物體分解的方法不同，RoboMaster采用了一種全新的思路：將交互過程分解為三個階段，并通過"協(xié)作式軌跡"來建模整個交互動態(tài)。

二、協(xié)作式軌跡：RoboMaster的核心創(chuàng)新

傳統(tǒng)方法像是在指揮兩個獨立的演員，一個是機器人手臂，一個是被操作的物體，各自按照自己的劇本（軌跡）演出。這在交互區(qū)域會造成"表演沖突"——視覺質量下降、物體變形甚至消失。而RoboMaster則像一位優(yōu)秀的導演，將整個表演分為三幕：前奏（交互前）、高潮（交互中）和尾聲（交互后），在每一幕中都明確誰是主角，誰是配角。

具體來說，RoboMaster將機器人操作任務分解為三個階段： 1. 交互前階段：機器人手臂作為主導者向目標物體移動 2. 交互階段：物體作為主導者被機器人手臂操作 3. 交互后階段：機器人手臂再次成為主導者，完成任務

這種分解方式的靈感來自于一個簡單的觀察：在真實的抓取過程中，機器人手臂先主動接近物體；當接觸發(fā)生時，物體的運動實際上反映了對機器人手臂操作的物理響應；最后，手臂完成任務并可能離開。

通過這種方式，RoboMaster避免了特征糾纏問題，因為在每個階段都有一個明確的"主角"。就像在電影中，導演會確保重要場景中主角得到適當?shù)溺R頭關注，而其他角色則適當?shù)觥?/p>

三、對象表示：保持物體的一致性

除了創(chuàng)新的軌跡設計，RoboMaster還解決了另一個關鍵問題：如何確保物體在整個視頻中保持一致的外觀和形狀。想象一下，如果你看到一個紅色的蘋果突然變成了綠色，或者一個方形的盒子變成了圓形，那么視頻就會顯得非常不真實。

研究團隊采用了一種巧妙的方法來解決這個問題。他們使用了基于掩碼的表示方法，將物體的外觀（如顏色、紋理）和形狀信息編碼到一個統(tǒng)一的表示中。這就像是給每個物體創(chuàng)建了一個"身份證"，確保它在整個視頻中保持一致的身份。

具體來說，他們首先通過VAE（變分自編碼器）將輸入圖像編碼為潛在特征。然后，他們對物體掩碼進行下采樣，使其與潛在特征的空間分辨率匹配。接著，他們使用掩碼從潛在特征中提取物體特征，并應用池化操作生成物體的嵌入表示。最后，他們將這些特征表示為以軌跡點為中心的圓形體積，半徑與掩碼區(qū)域成比例。

這種方法就像是給每個物體配備了一個"身份保護罩"，即使在復雜的交互過程中，也能保持其外觀和形狀的一致性。

四、用戶友好的交互設計

RoboMaster不僅在技術上有創(chuàng)新，還特別注重用戶體驗。想象一下，如果你要教一個朋友如何使用一個新工具，你肯定希望這個過程盡可能簡單直觀。同樣，RoboMaster的設計也考慮到了用戶的使用便捷性。

傳統(tǒng)方法通常要求用戶為機器人手臂和物體分別提供完整的軌跡，這就像要求同時指揮兩個演員的每一個動作，非常繁瑣。而RoboMaster簡化了這個過程，用戶只需要： 1. 提供一個文本提示，描述要執(zhí)行的任務（如"拿起勺子放在鍋的左邊"） 2. 使用簡單的刷子工具標記要操作的物體 3. 指定交互的起始和結束時間點 4. 在一個統(tǒng)一的運動路徑中定義分解的子軌跡

這種設計大大提高了用戶交互的靈活性和容錯性。即使用戶提供的物體掩碼不完整或粗糙，系統(tǒng)也能保持穩(wěn)健的性能。這就像是一個智能助手，即使你的指令不夠精確，它也能理解你的意圖并正確執(zhí)行。

五、實驗結果：RoboMaster的優(yōu)越性

研究團隊在Bridge V2數(shù)據(jù)集上進行了大量實驗，該數(shù)據(jù)集包含各種機器人操作技能，如移動、拿取、打開、關閉、豎直放置、傾倒、倒出、擦拭和折疊等。他們將RoboMaster與現(xiàn)有的軌跡控制視頻生成方法進行了比較，包括Tora、MotionCtrl、DragAnything和IRAsim。

實驗結果表明，RoboMaster在視覺質量和軌跡準確性方面都優(yōu)于現(xiàn)有方法。具體來說，RoboMaster的FVD（Frechet視頻距離）為147.31，而最接近的競爭對手Tora為152.28；在PSNR（峰值信噪比）方面，RoboMaster達到了21.55，而Tora為21.24。軌跡誤差方面，RoboMaster的機器人軌跡誤差為16.47，物體軌跡誤差為24.16，均低于其他方法。

這些數(shù)字可能看起來有點抽象，但簡單來說，就像是在比賽中，RoboMaster在所有評分項目上都獲得了第一名。更重要的是，在用戶研究中，47.33%的參與者更喜歡RoboMaster生成的視頻，遠高于其他方法。

研究團隊還在野外（in-the-wild）場景中測試了RoboMaster的泛化能力，結果表明它能夠處理各種不同的物體和環(huán)境，展現(xiàn)出強大的適應能力。就像一個經(jīng)驗豐富的廚師不僅能在自己熟悉的廚房工作，還能適應各種不同的廚房環(huán)境一樣。

六、技術細節(jié)：深入了解RoboMaster的工作原理

RoboMaster基于預訓練的CogVideoX-5B架構實現(xiàn)，使用480×640分辨率和37幀長度進行訓練和推理。訓練過程在8臺NVIDIA A800 GPU上進行，使用AdamW優(yōu)化器，DiT塊的學習率為2×10^-5，運動注入器的學習率為1×10^-4，總批量大小為16。訓練進行了30,000步。在推理時，使用50個DDIM步驟，CFG尺度設為6.0。

雖然這些技術細節(jié)聽起來可能有點復雜，但可以將其理解為制作一道精美菜肴的具體步驟：使用什么設備，火候調(diào)到幾度，烹飪多長時間等。這些細節(jié)確保了最終的"菜肴"——生成的視頻——具有高質量和真實感。

模型注入器是RoboMaster的關鍵組件之一，它負責將協(xié)作軌跡潛在表示融入到基礎模型中。它首先將軌跡潛在表示V進行分塊，然后通過2D空間卷積層和1D時間卷積層進行編碼，生成緊湊的表示V。然后，它將前一個DiT塊的隱藏狀態(tài)h與軌跡潛在表示（V及其組歸一化輸出）結合，并傳遞給剩余的DiT塊。

這個過程就像是一位指揮家，將不同樂器（機器人手臂和物體）的樂譜（軌跡）融合成一個和諧的交響曲（生成的視頻）。

七、局限性與未來工作

盡管RoboMaster取得了顯著的進步，研究團隊也坦誠地指出了一些局限性：

首先，當應用于領域外輸入時，RoboMaster可能會產(chǎn)生不完整或變形的物體。這就像是一位廚師，雖然在烹飪意大利面方面經(jīng)驗豐富，但在制作壽司時可能會遇到困難。解決這個問題的方法是使用更多樣化的物體類別進行訓練，豐富語義和幾何變化。

其次，當前框架僅在2D像素空間中運行，缺乏深度信息。這就像是在一個平面畫布上作畫，而不是在3D空間中雕刻。未來的工作可以考慮整合深度線索，實現(xiàn)更準確的3D控制。

最后，泛化到各種機器人實體仍然是一個挑戰(zhàn)，需要擴展訓練數(shù)據(jù)以涵蓋更廣泛的機器人配置。這就像是讓一個演員能夠扮演各種不同的角色，需要更豐富的培訓和經(jīng)驗。

八、總結與展望

RoboMaster通過其創(chuàng)新的協(xié)作軌跡設計，成功解決了機器人操作視頻生成中的關鍵挑戰(zhàn)。它不僅在視覺質量和軌跡準確性方面超越了現(xiàn)有方法，還提供了更直觀的用戶交互體驗。

這項研究的意義不僅限于計算機視覺或機器人學領域。它為創(chuàng)建更真實、更自然的機器人模擬環(huán)境鋪平了道路，這可能對機器人學習、人機交互、虛擬現(xiàn)實等多個領域產(chǎn)生深遠影響。

就像一位優(yōu)秀的導演能夠指導演員自然流暢地表演，RoboMaster能夠生成自然、逼真的機器人操作視頻，為未來的機器人技術發(fā)展提供了有力的工具和思路。

有興趣深入了解這項研究的讀者可以訪問論文項目頁面：https://fuxiao0719.github.io/projects/robomaster/，或查閱原始論文獲取更多技術細節(jié)。