這項由香港大學(xué)計算機(jī)科學(xué)系的潘亮教授團(tuán)隊領(lǐng)導(dǎo)的突破性研究發(fā)表于2025年4月，論文題為《TokenHSI: Unified Synthesis of Physical Human-Scene Interactions through Task Tokenization》。研究團(tuán)隊還包括來自上海AI實驗室、東南大學(xué)、Feeling AI等機(jī)構(gòu)的研究人員。感興趣的讀者可以通過項目主頁https://liangpan99.github.io/TokenHSI獲取更多詳細(xì)信息。

想象一下，如果有一天你打開電腦游戲或者觀看動畫電影時，發(fā)現(xiàn)里面的虛擬角色不再像木偶一樣僵硬地重復(fù)固定動作，而是能夠像真人一樣靈活自如地坐下、爬上高臺、搬運(yùn)物體，甚至同時完成多項復(fù)雜任務(wù)。這正是香港大學(xué)研究團(tuán)隊最新開發(fā)的TokenHSI系統(tǒng)所實現(xiàn)的革命性突破。

傳統(tǒng)的虛擬角色控制系統(tǒng)就像是專門訓(xùn)練的單項運(yùn)動員——一個系統(tǒng)只能讓角色學(xué)會坐椅子，另一個系統(tǒng)只能讓角色搬箱子，還有一個系統(tǒng)只能讓角色爬梯子。如果你想讓角色一邊搬著箱子一邊坐到椅子上，就需要從頭開始訓(xùn)練一個全新的系統(tǒng)，這個過程既耗時又復(fù)雜。更糟糕的是，這些系統(tǒng)往往只能在特定環(huán)境下工作——稍微改變椅子的形狀或者樓梯的高度，整個系統(tǒng)就可能失效。

TokenHSI的誕生改變了這一切。這個系統(tǒng)就像是培養(yǎng)了一個真正的"多面手"，它能夠在單一的智能框架內(nèi)掌握坐立、攀爬、搬運(yùn)、路徑跟蹤等多種基礎(chǔ)技能，更重要的是，它還能靈活地將這些技能組合起來，應(yīng)對各種復(fù)雜的現(xiàn)實場景。

一、TokenHSI的核心創(chuàng)新：把復(fù)雜技能變成可組合的"積木"

TokenHSI最巧妙的地方在于它采用了一種全新的"任務(wù)符號化"策略?？梢园堰@個過程想象成制作樂高積木的過程。傳統(tǒng)方法就像是為每種搭建需求都制作一套完全不同的積木，而TokenHSI則是創(chuàng)造了一套標(biāo)準(zhǔn)化的"萬能積木"系統(tǒng)。

在這個系統(tǒng)中，研究團(tuán)隊首先創(chuàng)建了一個叫做"本體感知符號化器"的核心組件，它專門負(fù)責(zé)理解和處理虛擬角色的身體狀態(tài)信息，比如每個關(guān)節(jié)的位置、速度、角度等等。這就像是給虛擬角色裝上了一套精密的身體感應(yīng)系統(tǒng)，讓它能夠隨時了解自己的姿態(tài)和運(yùn)動狀態(tài)。

接下來，針對每種具體任務(wù)，系統(tǒng)會創(chuàng)建對應(yīng)的"任務(wù)符號化器"。坐椅子任務(wù)有自己的符號化器，搬箱子任務(wù)有自己的符號化器，爬梯子任務(wù)也有自己的符號化器。每個任務(wù)符號化器就像是一本專門的"操作手冊"，詳細(xì)記錄著完成該任務(wù)所需的環(huán)境信息和目標(biāo)要求。

最關(guān)鍵的創(chuàng)新在于，TokenHSI使用了一種叫做"掩碼機(jī)制"的巧妙方法來協(xié)調(diào)這些不同的符號化器。這個機(jī)制就像是一個智能的任務(wù)調(diào)度員，能夠根據(jù)當(dāng)前需要執(zhí)行的任務(wù)，自動選擇相關(guān)的符號化器進(jìn)行組合，同時屏蔽掉不相關(guān)的信息。當(dāng)角色需要一邊搬箱子一邊坐椅子時，系統(tǒng)就會同時激活搬運(yùn)任務(wù)和坐立任務(wù)的符號化器，讓它們協(xié)同工作。

二、多技能統(tǒng)一學(xué)習(xí)：打造真正的"全能選手"

TokenHSI的訓(xùn)練過程就像是培養(yǎng)一個優(yōu)秀的雜技演員。研究團(tuán)隊首先讓系統(tǒng)掌握四項基礎(chǔ)技能：路徑跟蹤（讓角色能夠沿著指定路線行走）、坐立交互（讓角色能夠準(zhǔn)確地坐到各種椅子上）、攀爬技能（讓角色能夠爬上不同高度的平臺）以及物體搬運(yùn)（讓角色能夠抓取和移動各種物品）。

在傳統(tǒng)方法中，每項技能都需要單獨(dú)訓(xùn)練一個專門的控制器，就像是培養(yǎng)四個不同專業(yè)的運(yùn)動員。而TokenHSI采用了多任務(wù)聯(lián)合訓(xùn)練的策略，在同一個智能網(wǎng)絡(luò)中同時學(xué)習(xí)所有技能。這種方法的巧妙之處在于，不同技能之間可以相互借鑒和強(qiáng)化。比如，在學(xué)習(xí)坐立技能時掌握的平衡控制經(jīng)驗，同樣可以幫助系統(tǒng)更好地完成攀爬任務(wù)。

研究團(tuán)隊設(shè)計了一個巧妙的訓(xùn)練環(huán)境，系統(tǒng)會隨機(jī)接受不同類型的任務(wù)指令。在某一時刻，它可能需要讓角色沿著彎曲的路徑行走；下一時刻，它可能需要讓角色爬上一個高臺；再下一時刻，它又需要讓角色搬運(yùn)一個箱子到指定位置。通過這種變化豐富的訓(xùn)練方式，系統(tǒng)逐漸學(xué)會了在不同任務(wù)之間靈活切換，并且能夠充分利用共享的身體控制經(jīng)驗。

更重要的是，由于所有技能都共享同一個本體感知符號化器，系統(tǒng)能夠建立起統(tǒng)一的身體控制基礎(chǔ)。這就像是一個優(yōu)秀的運(yùn)動員，無論是打籃球、踢足球還是游泳，都能夠充分利用自己對身體協(xié)調(diào)性的理解。

三、靈活適應(yīng)新挑戰(zhàn)：從基礎(chǔ)技能到復(fù)雜應(yīng)用

TokenHSI真正令人驚嘆的能力在于它的適應(yīng)性。一旦掌握了基礎(chǔ)技能，系統(tǒng)就能夠通過相對簡單的"策略適應(yīng)"過程來應(yīng)對各種新的挑戰(zhàn)，而不需要從頭開始重新訓(xùn)練。

在技能組合方面，TokenHSI展現(xiàn)出了令人印象深刻的能力。當(dāng)需要讓角色完成"一邊搬箱子一邊坐椅子"這樣的復(fù)雜任務(wù)時，系統(tǒng)會智能地重用之前學(xué)會的搬運(yùn)和坐立技能。研究團(tuán)隊只需要添加一個新的任務(wù)符號化器來描述這種組合任務(wù)的具體要求，然后通過相對少量的訓(xùn)練就能讓系統(tǒng)掌握這種復(fù)雜行為。

在物體形狀變化適應(yīng)方面，TokenHSI同樣表現(xiàn)出色。最初，系統(tǒng)是通過搬運(yùn)方形箱子來學(xué)習(xí)搬運(yùn)技能的。但當(dāng)環(huán)境中的箱子被替換成椅子、桌子等不規(guī)則物體時，系統(tǒng)只需要對相應(yīng)的任務(wù)符號化器進(jìn)行微調(diào)，就能夠成功適應(yīng)新的物體形狀。這種適應(yīng)過程就像是一個有經(jīng)驗的搬家工人，即使面對從未見過的家具，也能夠快速判斷如何安全有效地搬運(yùn)它們。

地形變化適應(yīng)是另一個重要的應(yīng)用場景。TokenHSI最初是在平坦地面上學(xué)習(xí)各種技能的，但現(xiàn)實世界中的地形往往更加復(fù)雜。當(dāng)需要讓角色在樓梯、斜坡等不平整地形上執(zhí)行任務(wù)時，系統(tǒng)會引入一個專門的"高度感知符號化器"來處理地形信息。這個新組件就像是給角色裝上了地形雷達(dá)，讓它能夠感知和適應(yīng)復(fù)雜的地面環(huán)境。

四、長期任務(wù)執(zhí)行：編排復(fù)雜的"動作劇本"

在現(xiàn)實應(yīng)用中，往往需要角色執(zhí)行一系列連續(xù)的復(fù)雜任務(wù)。TokenHSI在這方面也展現(xiàn)出了強(qiáng)大的能力。研究團(tuán)隊設(shè)計了一個包含多個步驟的長期任務(wù)：角色首先需要沿著指定路徑行走到達(dá)一個箱子旁邊，然后搬起箱子并將其運(yùn)送到一個高臺附近，接著爬上箱子再攀登到高臺上，最后坐到高臺上的椅子里。

這個任務(wù)的復(fù)雜性在于每個步驟都有明確的前后依賴關(guān)系，而且每個步驟的成功執(zhí)行都會影響后續(xù)步驟的起始條件。TokenHSI通過一個智能的狀態(tài)機(jī)制來協(xié)調(diào)這些復(fù)雜的任務(wù)序列。這個機(jī)制就像是一個經(jīng)驗豐富的導(dǎo)演，能夠根據(jù)當(dāng)前的場景狀態(tài)自動選擇下一個應(yīng)該執(zhí)行的動作，并確保各個技能之間的平滑過渡。

更令人驚喜的是，TokenHSI在執(zhí)行長期任務(wù)時還展現(xiàn)出了很強(qiáng)的環(huán)境感知和避障能力。當(dāng)角色需要在復(fù)雜的三維環(huán)境中移動時，系統(tǒng)能夠自動規(guī)避各種障礙物，選擇合適的行進(jìn)路線，并在必要時調(diào)整動作策略以適應(yīng)環(huán)境變化。

五、技術(shù)突破的深層意義：重新定義虛擬角色控制

TokenHSI的技術(shù)創(chuàng)新不僅僅是在現(xiàn)有方法基礎(chǔ)上的改進(jìn)，而是代表了虛擬角色控制領(lǐng)域的一次范式轉(zhuǎn)變。傳統(tǒng)的"一任務(wù)一模型"approach就像是工業(yè)革命前的手工作坊模式，每種產(chǎn)品都需要專門的工具和工藝流程。而TokenHSI則開創(chuàng)了類似現(xiàn)代工業(yè)生產(chǎn)線的模式，通過標(biāo)準(zhǔn)化的模塊和靈活的組裝方式，能夠高效地生產(chǎn)出各種不同的"產(chǎn)品"。

這種模塊化設(shè)計的優(yōu)勢是多方面的。從計算效率角度來看，TokenHSI避免了為每個新任務(wù)都訓(xùn)練專門模型的巨大計算開銷。從維護(hù)角度來看，當(dāng)需要改進(jìn)某個特定技能時，開發(fā)者只需要更新相應(yīng)的任務(wù)符號化器，而不需要重新訓(xùn)練整個系統(tǒng)。從擴(kuò)展性角度來看，添加新技能變得非常簡單，就像是在現(xiàn)有的積木套裝中增加新的組件一樣。

研究團(tuán)隊通過大量的對比實驗證明了TokenHSI的優(yōu)越性。在基礎(chǔ)技能測試中，TokenHSI的成功率普遍高于專門訓(xùn)練的單任務(wù)模型。在技能組合任務(wù)中，TokenHSI顯著優(yōu)于現(xiàn)有的最先進(jìn)方法。特別是在最具挑戰(zhàn)性的"攀爬+搬運(yùn)"組合任務(wù)中，傳統(tǒng)方法的成功率只有26.8%到68.3%，而TokenHSI達(dá)到了99.2%的驚人成功率。

六、實驗驗證：數(shù)據(jù)說話的說服力

為了驗證TokenHSI的有效性，研究團(tuán)隊設(shè)計了一系列嚴(yán)格的實驗。這些實驗就像是對一個新產(chǎn)品進(jìn)行全方位的質(zhì)量檢測，從基礎(chǔ)功能到復(fù)雜應(yīng)用場景，每個方面都經(jīng)過了仔細(xì)的測試和評估。

在基礎(chǔ)技能評估中，研究團(tuán)隊比較了TokenHSI與傳統(tǒng)專項訓(xùn)練模型的性能。結(jié)果顯示，TokenHSI在所有四項基礎(chǔ)技能上都達(dá)到或超過了專項模型的表現(xiàn)。在路徑跟蹤任務(wù)中，TokenHSI的成功率達(dá)到99.7%，略高于專項模型的98.7%。在坐立任務(wù)中，TokenHSI的成功率為99.6%，同樣超過了專項模型的98.2%。最令人印象深刻的是搬運(yùn)任務(wù)，TokenHSI的成功率達(dá)到92.2%，顯著高于專項模型的83.1%。

這些結(jié)果證明了多任務(wù)聯(lián)合學(xué)習(xí)不僅沒有影響單項技能的表現(xiàn)，反而通過技能間的相互強(qiáng)化提升了整體性能。這就像是一個接受過全面訓(xùn)練的運(yùn)動員，雖然同時練習(xí)多個項目，但在每個項目上的表現(xiàn)都可能超過只專注單項的運(yùn)動員。

在策略適應(yīng)實驗中，TokenHSI展現(xiàn)出了令人矚目的學(xué)習(xí)效率。當(dāng)需要適應(yīng)新的物體形狀時，TokenHSI只需要傳統(tǒng)重新訓(xùn)練方法十分之一的訓(xùn)練時間就能達(dá)到相同的性能水平。當(dāng)需要適應(yīng)新的地形環(huán)境時，TokenHSI同樣表現(xiàn)出了卓越的適應(yīng)速度和穩(wěn)定性。

七、技術(shù)細(xì)節(jié)：精巧設(shè)計的內(nèi)在邏輯

TokenHSI的成功離不開其精心設(shè)計的技術(shù)架構(gòu)。整個系統(tǒng)采用了當(dāng)前最先進(jìn)的Transformer神經(jīng)網(wǎng)絡(luò)作為核心，這種網(wǎng)絡(luò)結(jié)構(gòu)特別擅長處理序列信息和注意力分配，非常適合處理復(fù)雜的多任務(wù)場景。

本體感知符號化器是整個系統(tǒng)的"神經(jīng)中樞"，它將角色的222維身體狀態(tài)信息壓縮成64維的標(biāo)準(zhǔn)化特征。這個過程就像是將復(fù)雜的生理信號轉(zhuǎn)換成計算機(jī)能夠理解和處理的數(shù)字語言。任務(wù)符號化器則負(fù)責(zé)將各種不同的任務(wù)要求轉(zhuǎn)換成相同維度的特征表示，確保不同任務(wù)能夠在統(tǒng)一的框架內(nèi)進(jìn)行處理。

掩碼機(jī)制的設(shè)計尤其巧妙。它使用簡單的二進(jìn)制標(biāo)識來控制哪些任務(wù)符號化器應(yīng)該被激活，哪些應(yīng)該被忽略。這種設(shè)計既簡單又高效，避免了復(fù)雜的任務(wù)調(diào)度邏輯，同時確保了系統(tǒng)的響應(yīng)速度和穩(wěn)定性。

在策略適應(yīng)階段，TokenHSI采用了一種叫做"適配器"的輕量級擴(kuò)展機(jī)制。這些適配器就像是系統(tǒng)的"插件"，可以在不影響核心功能的情況下添加新的能力。這種設(shè)計確保了系統(tǒng)的穩(wěn)定性，同時大大降低了擴(kuò)展新功能所需的計算資源和訓(xùn)練時間。

八、應(yīng)用前景：虛擬世界的無限可能

TokenHSI的應(yīng)用前景極其廣闊，幾乎涵蓋了所有需要虛擬角色的領(lǐng)域。在游戲產(chǎn)業(yè)中，這項技術(shù)能夠讓非玩家角色(NPC)表現(xiàn)得更加智能和自然。玩家可能會發(fā)現(xiàn)，游戲中的虛擬角色不再是按照預(yù)設(shè)腳本重復(fù)固定動作的木偶，而是能夠根據(jù)環(huán)境變化和任務(wù)需求靈活調(diào)整行為的智能體。

在電影和動畫制作領(lǐng)域，TokenHSI能夠大大簡化角色動畫的制作流程。傳統(tǒng)的動畫制作需要動畫師為每個動作場景精心設(shè)計和調(diào)整，這是一個極其耗時的過程。有了TokenHSI，制作團(tuán)隊只需要提供高層次的任務(wù)描述，系統(tǒng)就能自動生成相應(yīng)的角色動作，并且這些動作會自然地適應(yīng)具體的場景環(huán)境。

在虛擬現(xiàn)實和增強(qiáng)現(xiàn)實應(yīng)用中，TokenHSI能夠創(chuàng)造更加沉浸式的體驗。用戶可能會在虛擬環(huán)境中遇到能夠進(jìn)行復(fù)雜交互的虛擬角色，這些角色能夠理解用戶的意圖，并做出相應(yīng)的回應(yīng)。這種技術(shù)對于虛擬培訓(xùn)、教育模擬等應(yīng)用具有重要意義。

在機(jī)器人控制領(lǐng)域，TokenHSI的理念也具有重要的借鑒價值。雖然當(dāng)前的研究主要關(guān)注虛擬環(huán)境中的角色控制，但其多任務(wù)學(xué)習(xí)和技能組合的方法可能為實體機(jī)器人的控制提供新的思路。

九、挑戰(zhàn)與局限：技術(shù)發(fā)展的現(xiàn)實考量

盡管TokenHSI取得了重要突破，但研究團(tuán)隊也坦誠地指出了當(dāng)前技術(shù)的一些局限性。最主要的挑戰(zhàn)在于獎勵函數(shù)的設(shè)計。目前，為了讓系統(tǒng)學(xué)會每項技能，研究人員仍然需要手工設(shè)計復(fù)雜的獎勵函數(shù)來指導(dǎo)學(xué)習(xí)過程。這個過程就像是為一個學(xué)生制定詳細(xì)的學(xué)習(xí)計劃和評分標(biāo)準(zhǔn)，需要大量的專業(yè)知識和反復(fù)調(diào)試。

在長期任務(wù)執(zhí)行方面，當(dāng)前的系統(tǒng)仍然需要人工設(shè)計的狀態(tài)機(jī)來協(xié)調(diào)不同技能之間的切換。這意味著系統(tǒng)還不能完全自主地規(guī)劃和執(zhí)行復(fù)雜的長期任務(wù)，仍然需要一定程度的人工指導(dǎo)。

另一個技術(shù)挑戰(zhàn)是計算資源的需求。雖然TokenHSI比傳統(tǒng)方法更加高效，但訓(xùn)練和運(yùn)行這樣復(fù)雜的系統(tǒng)仍然需要大量的計算資源。這可能會限制其在資源受限環(huán)境中的應(yīng)用。

系統(tǒng)的泛化能力雖然已經(jīng)得到了顯著提升，但在面對與訓(xùn)練環(huán)境差異較大的新場景時，仍然可能需要額外的適應(yīng)訓(xùn)練。這就像是一個在特定環(huán)境中訓(xùn)練的運(yùn)動員，到了全新的環(huán)境中可能需要一段時間的適應(yīng)。

十、未來發(fā)展方向：技術(shù)演進(jìn)的可能路徑

TokenHSI的成功為虛擬角色控制技術(shù)的未來發(fā)展指明了方向。研究團(tuán)隊提出了幾個重要的發(fā)展方向，這些方向可能會進(jìn)一步推動該領(lǐng)域的進(jìn)步。

首先是自動化獎勵函數(shù)設(shè)計。未來的研究可能會探索使用大型語言模型或者從人類演示中學(xué)習(xí)來自動生成獎勵函數(shù)，這將大大降低系統(tǒng)開發(fā)的門檻，使得非專業(yè)人員也能夠訓(xùn)練復(fù)雜的虛擬角色控制系統(tǒng)。

其次是更加智能的長期任務(wù)規(guī)劃。研究團(tuán)隊設(shè)想開發(fā)能夠自主理解高層次任務(wù)描述并自動分解成具體執(zhí)行步驟的系統(tǒng)。這種系統(tǒng)可能會結(jié)合符號推理和神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，實現(xiàn)真正的自主任務(wù)規(guī)劃和執(zhí)行。

在多角色協(xié)作方面，未來的系統(tǒng)可能會擴(kuò)展到多個虛擬角色之間的協(xié)調(diào)合作。這將為創(chuàng)建更加復(fù)雜和真實的虛擬社會場景提供技術(shù)基礎(chǔ)。

在實體機(jī)器人應(yīng)用方面，研究團(tuán)隊也在探索將TokenHSI的方法遷移到真實機(jī)器人控制的可能性。這種遷移可能會為機(jī)器人技能學(xué)習(xí)和多任務(wù)執(zhí)行提供新的解決方案。

說到底，TokenHSI代表的不僅僅是一個技術(shù)突破，更是對人工智能如何學(xué)習(xí)和應(yīng)用復(fù)雜技能的深刻思考。就像人類能夠靈活地將各種基本技能組合起來應(yīng)對復(fù)雜情況一樣，TokenHSI讓虛擬角色也具備了這種能力。這種技術(shù)不僅會改變游戲和娛樂產(chǎn)業(yè)，更可能為機(jī)器人技術(shù)、虛擬現(xiàn)實、人工智能等領(lǐng)域的發(fā)展帶來深遠(yuǎn)影響。

雖然目前還存在一些技術(shù)挑戰(zhàn)和局限性，但TokenHSI已經(jīng)為我們展示了一個令人興奮的未來圖景：在這個未來中，虛擬角色將變得更加智能、靈活和自然，它們能夠像真實的生物一樣適應(yīng)環(huán)境、學(xué)習(xí)技能并完成復(fù)雜任務(wù)。對于那些對這項技術(shù)感興趣的讀者，可以通過研究團(tuán)隊提供的項目主頁了解更多技術(shù)細(xì)節(jié)，并期待在不久的將來看到這項技術(shù)在各種實際應(yīng)用中的精彩表現(xiàn)。

Q&A

Q1：TokenHSI是什么？它能解決什么問題？ A：TokenHSI是香港大學(xué)開發(fā)的虛擬角色控制系統(tǒng)，它能讓虛擬角色在單一智能框架內(nèi)掌握多種技能（如坐立、搬運(yùn)、攀爬等），并靈活組合這些技能完成復(fù)雜任務(wù)。它解決了傳統(tǒng)方法中每個任務(wù)都需要單獨(dú)訓(xùn)練專門控制器的問題，大大提高了開發(fā)效率和角色行為的自然度。

Q2：TokenHSI會不會取代傳統(tǒng)的角色動畫制作？ A：不會完全取代，但會顯著改變制作流程。TokenHSI主要用于生成基于物理規(guī)律的角色交互行為，傳統(tǒng)動畫制作在藝術(shù)表現(xiàn)、情感傳達(dá)等方面仍有獨(dú)特價值。未來更可能是兩種技術(shù)的結(jié)合應(yīng)用，TokenHSI負(fù)責(zé)基礎(chǔ)動作生成，傳統(tǒng)技術(shù)負(fù)責(zé)藝術(shù)加工。

Q3：普通人能使用TokenHSI技術(shù)嗎？有什么要求？ A：目前TokenHSI還是研究階段的技術(shù)，需要專業(yè)的計算機(jī)圖形學(xué)知識和大量計算資源。普通用戶暫時無法直接使用，但未來可能會集成到游戲引擎、動畫軟件或VR平臺中，讓普通用戶通過友好界面間接使用這項技術(shù)。