這項(xiàng)由上海AI實(shí)驗(yàn)室、浙江大學(xué)、香港中文大學(xué)等多家機(jī)構(gòu)合作完成的研究發(fā)表于2025年3月，論文名為《Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy》，感興趣的讀者可以通過arXiv:2503.19757v1訪問完整論文。研究團(tuán)隊(duì)開發(fā)了一個名為Dita的通用機(jī)器人策略模型，這個模型就像一個聰明的助手，能夠通過觀察和理解指令來完成各種復(fù)雜的機(jī)器人任務(wù)。

想象一下，如果你要教一個全新的員工做各種工作，傳統(tǒng)的方法需要為每個任務(wù)單獨(dú)培訓(xùn)很長時間。但Dita就像一個特別有天賦的學(xué)徒，只需要看10個示例就能學(xué)會開抽屜、倒咖啡、整理物品等復(fù)雜任務(wù)，甚至能在完全不同的環(huán)境中靈活應(yīng)對。這種能力的背后，是研究團(tuán)隊(duì)創(chuàng)新性地將擴(kuò)散模型（一種先進(jìn)的AI技術(shù)）與Transformer架構(gòu)（類似ChatGPT使用的技術(shù)）相結(jié)合，讓機(jī)器人能夠像人類一樣"察言觀色"——通過仔細(xì)觀察環(huán)境細(xì)節(jié)來做出精準(zhǔn)的動作決策。

研究團(tuán)隊(duì)發(fā)現(xiàn)，傳統(tǒng)的機(jī)器人學(xué)習(xí)方法就像是讓學(xué)生背誦標(biāo)準(zhǔn)答案，而Dita更像是教會學(xué)生理解題目的本質(zhì)。它不是簡單地記憶固定的動作序列，而是真正理解了如何觀察環(huán)境變化并做出相應(yīng)調(diào)整。這種理解能力讓它在面對不同的光照條件、物品擺放位置，甚至是完全不同的背景環(huán)境時，依然能夠準(zhǔn)確完成任務(wù)。

更令人印象深刻的是，Dita展現(xiàn)出了執(zhí)行長期任務(wù)的能力。它能夠完成"先關(guān)閉上層抽屜，然后打開下層抽屜，接著把碗放進(jìn)抽屜，最后關(guān)閉下層抽屜"這樣包含多個步驟的復(fù)雜任務(wù)序列。這就像一個優(yōu)秀的管家，不僅能完成單個指令，還能理解和執(zhí)行一系列相關(guān)聯(lián)的任務(wù)，并在每個步驟之間保持邏輯的連貫性。

一、傳統(tǒng)機(jī)器人學(xué)習(xí)的困境與新思路的誕生

傳統(tǒng)的機(jī)器人學(xué)習(xí)就像是讓每個機(jī)器人都成為某個特定工作的專家，比如專門負(fù)責(zé)裝配汽車零件的機(jī)器人，或者專門用于搬運(yùn)貨物的機(jī)器人。這種方法雖然在特定任務(wù)上表現(xiàn)出色，但問題是每當(dāng)環(huán)境稍有變化，或者需要執(zhí)行新任務(wù)時，就必須重新收集大量數(shù)據(jù)進(jìn)行訓(xùn)練，就像重新培訓(xùn)一個全新的員工一樣耗時耗力。

研究團(tuán)隊(duì)觀察到，人類之所以能夠快速適應(yīng)新環(huán)境和新任務(wù)，是因?yàn)槲覀兙邆鋸?qiáng)大的泛化能力。我們可以將在一個場景中學(xué)到的知識遷移到另一個完全不同的場景中。比如，你學(xué)會了在自己家里泡茶，到朋友家時也能很快找到茶具并完成同樣的任務(wù)，即使廚房布局完全不同。

基于這個觀察，研究團(tuán)隊(duì)提出了一個大膽的想法：能否創(chuàng)建一個通用的機(jī)器人"大腦"，就像人類的大腦一樣，能夠理解各種不同的任務(wù)，并在遇到新情況時快速適應(yīng)？這個想法的核心是讓機(jī)器人不再依賴于針對特定任務(wù)的專門訓(xùn)練，而是通過觀察大量不同類型的機(jī)器人執(zhí)行各種任務(wù)的數(shù)據(jù)，學(xué)會一種通用的"做事方法"。

現(xiàn)有的一些研究嘗試通過擴(kuò)散模型來解決這個問題。擴(kuò)散模型原本用于圖像生成，它的工作原理就像一個藝術(shù)家從一團(tuán)模糊的顏色開始，逐步細(xì)化直到創(chuàng)造出清晰的畫作。但是，當(dāng)研究人員嘗試將這種技術(shù)應(yīng)用到機(jī)器人控制時，他們遇到了一個重要問題：現(xiàn)有方法通常使用較小的網(wǎng)絡(luò)來處理動作生成，這就像用一支細(xì)筆來畫大幅畫作，難以處理復(fù)雜多樣的機(jī)器人行為。

Dita的創(chuàng)新之處在于，它不再使用小型的輔助網(wǎng)絡(luò)來生成動作，而是直接讓主要的大型神經(jīng)網(wǎng)絡(luò)來處理動作的生成和優(yōu)化。這就像讓一位經(jīng)驗(yàn)豐富的總指揮直接協(xié)調(diào)所有細(xì)節(jié)，而不是通過多個中間環(huán)節(jié)傳遞信息。這種直接的處理方式讓機(jī)器人能夠更好地理解視覺觀察和語言指令之間的精細(xì)關(guān)聯(lián)，從而做出更加準(zhǔn)確和靈活的動作決策。

二、Dita的核心設(shè)計(jì)理念：像人類一樣觀察和思考

Dita的設(shè)計(jì)哲學(xué)可以用一個生動的比喻來理解：它就像一個經(jīng)驗(yàn)豐富的工匠，能夠通過仔細(xì)觀察環(huán)境中的每一個細(xì)節(jié)來指導(dǎo)自己的手部動作。與傳統(tǒng)方法不同，Dita采用了一種叫做"上下文條件化"的機(jī)制，這種機(jī)制讓機(jī)器人能夠直接基于觀察到的圖像細(xì)節(jié)來調(diào)整自己的動作策略。

具體來說，當(dāng)Dita接收到一個任務(wù)指令時，比如"把咖啡豆倒進(jìn)碗里"，它不是簡單地執(zhí)行一個預(yù)設(shè)的動作序列，而是像一個細(xì)心的廚師一樣，首先仔細(xì)觀察當(dāng)前的環(huán)境：咖啡豆在哪里，碗的位置如何，周圍有什么障礙物，光線條件如何等等。然后，它將這些視覺信息與語言指令結(jié)合起來，在腦海中形成一個完整的任務(wù)理解。

這種處理方式的技術(shù)實(shí)現(xiàn)涉及幾個關(guān)鍵組件。首先是視覺處理模塊，它使用了先進(jìn)的DINOv2模型來分析圖像。這個模塊就像機(jī)器人的"眼睛"，能夠識別和理解場景中的各種物體、它們的位置關(guān)系以及環(huán)境特征。接著是語言理解模塊，它使用CLIP模型來處理人類的指令，將自然語言轉(zhuǎn)換為機(jī)器人能夠理解的內(nèi)部表示。

最核心的創(chuàng)新在于動作生成模塊。傳統(tǒng)方法通常是將視覺信息和語言信息融合成一個抽象的表示，然后用一個小型網(wǎng)絡(luò)來生成具體的動作。但Dita采用了完全不同的策略：它讓一個大型的Transformer網(wǎng)絡(luò)直接處理所有信息，包括視覺觀察、語言指令、時間信息以及需要生成的動作。這就像讓一個經(jīng)驗(yàn)豐富的指揮家同時協(xié)調(diào)交響樂團(tuán)的所有聲部，而不是通過多個副指揮來傳遞指令。

在實(shí)際工作過程中，Dita使用擴(kuò)散過程來生成動作。這個過程可以想象為雕塑家創(chuàng)作的過程：開始時，雕塑家面對的是一塊粗糙的石料（對應(yīng)于隨機(jī)噪聲），然后通過反復(fù)的觀察、思考和精細(xì)調(diào)整，逐步雕琢出精美的作品（對應(yīng)于精確的動作序列）。在每一步調(diào)整中，雕塑家都會參考自己對最終作品的構(gòu)想以及當(dāng)前作品的狀態(tài)，這正對應(yīng)于Dita如何結(jié)合任務(wù)目標(biāo)和當(dāng)前環(huán)境狀態(tài)來優(yōu)化動作。

三、突破性的學(xué)習(xí)能力：從大規(guī)模數(shù)據(jù)中提取智慧

Dita的學(xué)習(xí)過程就像一個勤奮的學(xué)生通過閱讀大量不同類型的書籍來積累知識和智慧。研究團(tuán)隊(duì)使用了Open X-Embediment（OXE）數(shù)據(jù)集來訓(xùn)練Dita，這個數(shù)據(jù)集包含了來自不同機(jī)器人平臺、不同任務(wù)類型、不同環(huán)境設(shè)置的大量演示數(shù)據(jù)。這就相當(dāng)于讓Dita觀看了成千上萬個不同的"師傅"如何完成各種工作，從中學(xué)習(xí)通用的技能和策略。

這種大規(guī)模的跨領(lǐng)域?qū)W習(xí)帶來了顯著的優(yōu)勢。就像一個見多識廣的人能夠在面對新情況時迅速找到解決方案一樣，Dita通過觀察各種不同的機(jī)器人執(zhí)行任務(wù)的方式，學(xué)會了一套通用的"做事方法論"。當(dāng)它遇到新的任務(wù)或新的環(huán)境時，能夠靈活地調(diào)用這些經(jīng)驗(yàn)來快速適應(yīng)。

訓(xùn)練過程本身也體現(xiàn)了Dita設(shè)計(jì)的精妙之處。傳統(tǒng)的擴(kuò)散模型訓(xùn)練通常需要大量的計(jì)算資源和時間，但Dita通過優(yōu)化的架構(gòu)設(shè)計(jì)，在保持高性能的同時顯著提高了訓(xùn)練效率。整個模型包含3.34億個參數(shù)，這個規(guī)模足夠處理復(fù)雜的任務(wù)，但又不會過于龐大而難以訓(xùn)練和部署。

特別值得注意的是Dita對歷史信息的處理方式。它不僅考慮當(dāng)前時刻的觀察，還會參考之前的觀察歷史來做決策。這就像一個經(jīng)驗(yàn)豐富的工人不僅看當(dāng)前的工作狀態(tài)，還會回憶之前的操作步驟來指導(dǎo)下一步行動。這種時序建模能力讓Dita能夠執(zhí)行需要多個步驟協(xié)調(diào)的復(fù)雜任務(wù)，比如先準(zhǔn)備工具，再執(zhí)行主要操作，最后進(jìn)行清理工作。

四、卓越的實(shí)驗(yàn)表現(xiàn)：多個基準(zhǔn)測試中的優(yōu)異成績

研究團(tuán)隊(duì)在四個不同的仿真環(huán)境中測試了Dita的能力，這些測試就像給一個全能選手安排了四種不同類型的比賽，每種比賽都考察不同方面的能力。

在SimplerEnv測試中，Dita展現(xiàn)出了令人印象深刻的零樣本泛化能力。這個測試模擬了從真實(shí)機(jī)器人數(shù)據(jù)訓(xùn)練的模型在仿真環(huán)境中的表現(xiàn)。Dita在"拿取可樂罐"任務(wù)中達(dá)到了83.7%的成功率，在"移動物體到指定位置"任務(wù)中達(dá)到了76.0%的成功率，這些數(shù)字遠(yuǎn)超其他現(xiàn)有方法。更重要的是，即使在環(huán)境發(fā)生變化的情況下（比如背景不同、物體位置變化等），Dita依然保持了很高的成功率，體現(xiàn)了其強(qiáng)大的適應(yīng)能力。

LIBERO基準(zhǔn)測試更加全面地評估了Dita在多任務(wù)學(xué)習(xí)方面的能力。這個測試包含四個子任務(wù)類型：空間關(guān)系理解、物體識別和操作、目標(biāo)導(dǎo)向的任務(wù)執(zhí)行，以及長序列任務(wù)處理。Dita在所有子任務(wù)中都表現(xiàn)出色，特別是在最具挑戰(zhàn)性的長序列任務(wù)中，成功率達(dá)到了63.8%，比之前的最佳方法提高了約10個百分點(diǎn)。這個結(jié)果說明Dita不僅能夠處理單個簡單任務(wù)，還能協(xié)調(diào)執(zhí)行復(fù)雜的多步驟任務(wù)序列。

CALVIN基準(zhǔn)測試專門考察機(jī)器人執(zhí)行長期任務(wù)的能力。在這個測試中，機(jī)器人需要在一個場景中連續(xù)完成最多五個相關(guān)任務(wù)，就像一個管家需要按照主人的要求依次完成打掃、整理、準(zhǔn)備等一系列工作。Dita在這個極具挑戰(zhàn)性的測試中展現(xiàn)出了優(yōu)秀的表現(xiàn)，平均能夠連續(xù)完成3.61個任務(wù)，這個成績在僅使用單個RGB攝像頭的方法中是最好的。

最后的ManiSkill2測試專門評估了Dita在不同攝像頭視角下的泛化能力。研究團(tuán)隊(duì)創(chuàng)建了一個包含300,000個隨機(jī)攝像頭位置的數(shù)據(jù)集，然后測試Dita是否能夠在完全未見過的視角下準(zhǔn)確執(zhí)行任務(wù)。結(jié)果顯示，Dita的平均成功率達(dá)到了65.8%，顯著超過了其他方法。這個結(jié)果特別有意義，因?yàn)樵趯?shí)際應(yīng)用中，機(jī)器人經(jīng)常需要在不同的環(huán)境和視角下工作。

五、真實(shí)世界的驗(yàn)證：10樣本學(xué)習(xí)的驚人效果

最令人興奮的部分是Dita在真實(shí)機(jī)器人平臺上的表現(xiàn)。研究團(tuán)隊(duì)使用了一個配備Franka Panda機(jī)械臂和Robotiq夾爪的機(jī)器人系統(tǒng)，通過一個位于第三人稱視角的RGB-D攝像頭來觀察環(huán)境。這個設(shè)置就像給機(jī)器人配備了一雙"眼睛"，讓它能夠觀察和理解周圍的環(huán)境。

在真實(shí)世界的測試中，Dita展現(xiàn)出了令人印象深刻的快速學(xué)習(xí)能力。僅僅通過觀看10個演示樣本，它就能學(xué)會執(zhí)行各種復(fù)雜的任務(wù)。比如在"拿香蕉放入盒子"的任務(wù)中，Dita學(xué)會了如何精確地抓取形狀不規(guī)則的香蕉，如何調(diào)整抓取姿態(tài)以避免損壞水果，以及如何準(zhǔn)確地將香蕉放置到目標(biāo)位置。這種學(xué)習(xí)速度和準(zhǔn)確性遠(yuǎn)超傳統(tǒng)方法。

更加令人驚嘆的是Dita處理復(fù)雜操作任務(wù)的能力。在"倒咖啡豆到碗里"的任務(wù)中，機(jī)器人需要準(zhǔn)確地抓取裝有咖啡豆的容器，控制傾倒的角度和速度，確?？Х榷箿?zhǔn)確落入目標(biāo)碗中而不會散落。這類任務(wù)對機(jī)器人的精細(xì)操作能力要求極高，因?yàn)樾枰獙?shí)時調(diào)整手部姿態(tài)和力度。Dita通過其先進(jìn)的視覺理解和動作生成能力，成功地掌握了這些精細(xì)操作技巧。

在多步驟任務(wù)方面，Dita展現(xiàn)出了接近人類水平的任務(wù)規(guī)劃和執(zhí)行能力。例如，在"先關(guān)閉上層抽屜，然后打開下層抽屜，接著把碗放進(jìn)抽屜，最后關(guān)閉下層抽屜"這個包含四個步驟的復(fù)雜任務(wù)中，Dita不僅能夠理解每個子任務(wù)的要求，還能夠保持整個任務(wù)序列的邏輯連貫性。當(dāng)執(zhí)行某個步驟時，它會記住之前的操作狀態(tài)，并為后續(xù)步驟做好準(zhǔn)備。

特別值得注意的是Dita在環(huán)境變化下的魯棒性表現(xiàn)。研究團(tuán)隊(duì)故意在測試環(huán)境中引入了各種干擾因素：改變背景顏色、調(diào)整光照條件、在工作區(qū)域放置非目標(biāo)物體等。在這些具有挑戰(zhàn)性的條件下，Dita依然能夠準(zhǔn)確識別目標(biāo)物體，規(guī)劃合適的運(yùn)動軌跡，并成功完成任務(wù)。這種適應(yīng)能力對于實(shí)際應(yīng)用來說至關(guān)重要，因?yàn)檎鎸?shí)世界的環(huán)境總是在不斷變化的。

六、技術(shù)創(chuàng)新的深層價值：重新定義機(jī)器人學(xué)習(xí)范式

Dita的成功不僅僅體現(xiàn)在具體的性能數(shù)字上，更重要的是它代表了機(jī)器人學(xué)習(xí)領(lǐng)域的一個重要范式轉(zhuǎn)變。傳統(tǒng)的機(jī)器人開發(fā)模式就像手工作坊，每個任務(wù)都需要專門的定制和調(diào)試。而Dita開創(chuàng)的新模式更像現(xiàn)代的智能制造系統(tǒng)，通過統(tǒng)一的平臺和方法來處理各種不同的需求。

這種范式轉(zhuǎn)變的核心在于從"任務(wù)特定"轉(zhuǎn)向"任務(wù)通用"。過去，研究人員需要為每種特定的機(jī)器人任務(wù)設(shè)計(jì)專門的算法和控制策略，這個過程既耗時又容易出錯。Dita證明了一個通用的學(xué)習(xí)框架可以有效地處理各種不同類型的任務(wù)，只需要通過少量的任務(wù)樣本進(jìn)行快速適應(yīng)即可。

從工程實(shí)踐的角度來看，Dita的設(shè)計(jì)理念也具有重要的實(shí)用價值。它的模型大小相對較小（3.34億參數(shù)），計(jì)算需求合理，這意味著它可以在普通的計(jì)算硬件上運(yùn)行，而不需要昂貴的專用設(shè)備。同時，其開源的性質(zhì)為廣大研究人員和開發(fā)者提供了一個強(qiáng)大的基礎(chǔ)平臺，可以在此基礎(chǔ)上開發(fā)各種具體的應(yīng)用。

在實(shí)際部署方面，Dita展現(xiàn)出了良好的實(shí)時性能。在真實(shí)機(jī)器人實(shí)驗(yàn)中，系統(tǒng)能夠以3Hz的頻率進(jìn)行控制決策，這個速度對于大多數(shù)機(jī)械操作任務(wù)來說是足夠的。更重要的是，通過優(yōu)化推理過程，Dita在保持高精度的同時將擴(kuò)散過程的步數(shù)減少到了10步甚至更少，大大提高了響應(yīng)速度。

七、對未來機(jī)器人發(fā)展的深遠(yuǎn)影響

Dita的成功為未來機(jī)器人技術(shù)的發(fā)展指明了幾個重要方向。首先是通用人工智能在機(jī)器人領(lǐng)域的應(yīng)用前景。Dita證明了大規(guī)模預(yù)訓(xùn)練模型在機(jī)器人控制中的有效性，這為開發(fā)更加智能、更加通用的機(jī)器人系統(tǒng)奠定了基礎(chǔ)。

在商業(yè)應(yīng)用方面，Dita的快速學(xué)習(xí)能力為機(jī)器人的商業(yè)化部署開辟了新的可能性。傳統(tǒng)上，將機(jī)器人部署到新環(huán)境或新任務(wù)中需要大量的工程工作和調(diào)試時間。而Dita只需要很少的演示樣本就能快速適應(yīng)新環(huán)境，這大大降低了機(jī)器人系統(tǒng)的部署成本和時間。

從技術(shù)發(fā)展趨勢來看，Dita代表了多模態(tài)人工智能技術(shù)向機(jī)器人領(lǐng)域的深度滲透。它成功地將計(jì)算機(jī)視覺、自然語言處理和機(jī)器人控制三個領(lǐng)域的先進(jìn)技術(shù)整合在一起，創(chuàng)造出了超越各個單獨(dú)領(lǐng)域能力總和的系統(tǒng)性能。這種跨領(lǐng)域的技術(shù)融合將成為未來機(jī)器人技術(shù)發(fā)展的重要趨勢。

對于普通消費(fèi)者來說，Dita所代表的技術(shù)進(jìn)步意味著未來的家用機(jī)器人將更加智能和實(shí)用。一個基于類似技術(shù)的家用機(jī)器人助手可能只需要主人演示幾次如何整理房間或準(zhǔn)備簡單的食物，就能學(xué)會這些技能并在日常生活中提供幫助。

不過，研究團(tuán)隊(duì)也坦誠地指出了當(dāng)前技術(shù)的一些限制。例如，Dita目前主要處理的是桌面級的操作任務(wù)，對于需要全身協(xié)調(diào)或移動的復(fù)雜任務(wù)還有待進(jìn)一步研究。此外，雖然10樣本學(xué)習(xí)已經(jīng)相當(dāng)高效，但在某些高度專業(yè)化的任務(wù)中，可能還需要更多的訓(xùn)練數(shù)據(jù)才能達(dá)到理想的性能。

總的來說，Dita的研究成果標(biāo)志著機(jī)器人學(xué)習(xí)技術(shù)的一個重要里程碑。它不僅在技術(shù)層面實(shí)現(xiàn)了顯著的突破，更重要的是為整個行業(yè)展示了一條通向通用機(jī)器人智能的可行路徑。隨著技術(shù)的進(jìn)一步發(fā)展和完善，我們有理由期待在不久的將來看到更加智能、更加實(shí)用的機(jī)器人系統(tǒng)進(jìn)入我們的日常生活，為人類提供更好的服務(wù)和幫助。

Q&A

Q1：Dita相比傳統(tǒng)機(jī)器人學(xué)習(xí)方法有什么獨(dú)特優(yōu)勢？ A：Dita最大的優(yōu)勢是只需要10個示例就能學(xué)會新任務(wù)，而傳統(tǒng)方法通常需要大量數(shù)據(jù)。它采用了創(chuàng)新的"上下文條件化"機(jī)制，能像人類一樣通過觀察環(huán)境細(xì)節(jié)來調(diào)整動作，而不是簡單執(zhí)行預(yù)設(shè)程序。這讓它在面對環(huán)境變化時具有更強(qiáng)的適應(yīng)能力。

Q2：普通人什么時候能用上基于Dita技術(shù)的機(jī)器人？ A：雖然Dita目前還處于研究階段，但其快速學(xué)習(xí)能力和較低的計(jì)算需求為商業(yè)化提供了良好基礎(chǔ)。預(yù)計(jì)在未來3-5年內(nèi)，基于類似技術(shù)的家用機(jī)器人助手可能會逐步進(jìn)入市場，幫助人們完成家務(wù)整理、簡單烹飪等日常任務(wù)。

Q3：Dita能處理哪些類型的機(jī)器人任務(wù)？它有什么限制？ A：Dita擅長處理桌面級的精細(xì)操作任務(wù)，如抓取、傾倒、開關(guān)抽屜、多步驟組合任務(wù)等。它能在不同光照、背景變化的環(huán)境中穩(wěn)定工作。但目前主要限制在桌面操作范圍內(nèi)，對于需要全身移動或高度專業(yè)化的任務(wù)還需進(jìn)一步發(fā)展。