這項(xiàng)由愛(ài)丁堡大學(xué)語(yǔ)言認(rèn)知與計(jì)算研究所的邱一夫、劍橋大學(xué)語(yǔ)言技術(shù)實(shí)驗(yàn)室的安娜·科霍寧、以及英偉達(dá)的研究團(tuán)隊(duì)共同完成的研究發(fā)表于2025年6月。研究團(tuán)隊(duì)提出了一個(gè)頗具創(chuàng)意的想法：能否讓那些擅長(zhǎng)理解圖片和文字的人工智能模型，學(xué)會(huì)像預(yù)言家一樣預(yù)測(cè)現(xiàn)實(shí)世界的變化？有興趣深入了解的讀者可以通過(guò)論文中提供的GitHub鏈接（https://github.com/yfqiu-nlp/vlm-world-model）訪問(wèn)完整的研究代碼和模型。

想象一下，你正在看一張照片：一個(gè)人站在桌子前，桌上放著一個(gè)蘋(píng)果。如果有人告訴你"把蘋(píng)果拿起來(lái)"，你能立刻在腦海中想象出執(zhí)行這個(gè)動(dòng)作后的畫(huà)面嗎？這正是研究團(tuán)隊(duì)想要教會(huì)計(jì)算機(jī)做的事情。他們希望那些本來(lái)只會(huì)"看圖說(shuō)話"的人工智能，也能學(xué)會(huì)"根據(jù)指令預(yù)測(cè)未來(lái)"。

這個(gè)看似簡(jiǎn)單的任務(wù)實(shí)際上蘊(yùn)含著巨大的挑戰(zhàn)。就像教一個(gè)從未離開(kāi)過(guò)房間的孩子想象外面世界的變化一樣，計(jì)算機(jī)需要真正理解物理世界的運(yùn)作規(guī)律，才能準(zhǔn)確預(yù)測(cè)動(dòng)作帶來(lái)的結(jié)果。研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：雖然現(xiàn)在的視覺(jué)語(yǔ)言模型在理解圖片和文字方面表現(xiàn)出色，但在預(yù)測(cè)現(xiàn)實(shí)世界的變化方面卻顯得力不從心，就像一個(gè)博學(xué)的學(xué)者雖然知識(shí)淵博，卻無(wú)法預(yù)測(cè)明天的天氣一樣。

更有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)出人意料的規(guī)律：讓模型學(xué)會(huì)"反向推理"（也就是看到前后兩張圖片，推測(cè)中間發(fā)生了什么動(dòng)作）要比直接"正向預(yù)測(cè)"（根據(jù)當(dāng)前圖片和動(dòng)作指令預(yù)測(cè)結(jié)果）容易得多。這就像教孩子先學(xué)會(huì)"看到結(jié)果猜原因"，再學(xué)會(huì)"根據(jù)原因預(yù)測(cè)結(jié)果"一樣?；谶@個(gè)發(fā)現(xiàn)，他們提出了一套巧妙的"師傅帶徒弟"式的訓(xùn)練方法，讓擅長(zhǎng)反向推理的模型來(lái)指導(dǎo)正向預(yù)測(cè)模型的學(xué)習(xí)。

**一、現(xiàn)有模型的"近視眼"問(wèn)題**

研究團(tuán)隊(duì)首先想驗(yàn)證一個(gè)基本問(wèn)題：那些在圖片理解和文字處理方面表現(xiàn)卓越的大型視覺(jué)語(yǔ)言模型，是否真的具備了預(yù)測(cè)現(xiàn)實(shí)世界變化的能力？為了回答這個(gè)問(wèn)題，他們?cè)O(shè)計(jì)了一個(gè)類(lèi)似"眼力測(cè)試"的實(shí)驗(yàn)。

他們選擇了當(dāng)前最優(yōu)秀的開(kāi)源視覺(jué)語(yǔ)言模型之一——Chameleon-7B作為測(cè)試對(duì)象，這個(gè)模型就像一個(gè)博學(xué)的學(xué)者，在理解圖片內(nèi)容和處理文字信息方面都有著出色的表現(xiàn)。然后，研究團(tuán)隊(duì)從AURORA-BENCH數(shù)據(jù)集中選取了250個(gè)真實(shí)的"圖片-動(dòng)作-結(jié)果圖片"三元組，這些就像是標(biāo)準(zhǔn)答案一樣，告訴模型什么是正確的現(xiàn)實(shí)世界變化。

接下來(lái)的測(cè)試環(huán)節(jié)頗有意思。研究團(tuán)隊(duì)像出謎題一樣，為每個(gè)正確的答案精心制作了四種"陷阱選項(xiàng)"：有些是完全隨機(jī)的錯(cuò)誤動(dòng)作，有些是與正確動(dòng)作完全相反的動(dòng)作，還有些是把原圖直接復(fù)制作為結(jié)果圖，或者把前后兩張圖片的順序顛倒。如果模型真的理解現(xiàn)實(shí)世界的運(yùn)作規(guī)律，它應(yīng)該能夠明確區(qū)分出哪個(gè)是正確答案，哪些是錯(cuò)誤選項(xiàng)。

然而，測(cè)試結(jié)果讓人大跌眼鏡。這個(gè)在其他任務(wù)上表現(xiàn)出色的模型，在區(qū)分真實(shí)軌跡和錯(cuò)誤軌跡時(shí)表現(xiàn)得就像一個(gè)近視的人在沒(méi)有眼鏡的情況下辨認(rèn)遠(yuǎn)處的物體一樣模糊不清。更令人驚訝的是，當(dāng)要求模型根據(jù)當(dāng)前圖片和動(dòng)作指令預(yù)測(cè)下一張圖片時(shí)，它的表現(xiàn)甚至比隨機(jī)猜測(cè)好不了多少。唯一的例外是當(dāng)錯(cuò)誤選項(xiàng)是直接復(fù)制原圖時(shí)，模型能夠識(shí)別出這明顯不對(duì)勁，但這更像是發(fā)現(xiàn)了"這兩張圖片一模一樣"這個(gè)明顯的線索，而不是真正理解了動(dòng)作的含義。

這個(gè)發(fā)現(xiàn)就像發(fā)現(xiàn)一個(gè)看似聰明的學(xué)生實(shí)際上只是在死記硬背，而沒(méi)有真正理解知識(shí)的本質(zhì)一樣令人深思。研究團(tuán)隊(duì)意識(shí)到，僅僅擁有強(qiáng)大的圖片理解和文字處理能力，并不等于具備了預(yù)測(cè)現(xiàn)實(shí)世界變化的能力。這兩種能力之間存在著一道看不見(jiàn)的鴻溝。

**二、意外發(fā)現(xiàn)：反向推理比正向預(yù)測(cè)更容易**

就在研究團(tuán)隊(duì)為主要目標(biāo)模型的"近視"表現(xiàn)感到困惑時(shí)，他們意外發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象。當(dāng)他們把任務(wù)反過(guò)來(lái)——讓模型看兩張前后對(duì)比的圖片，然后推測(cè)中間發(fā)生了什么動(dòng)作時(shí)，同樣的模型突然變得"聰明"了許多。這就像一個(gè)學(xué)生在解正向的數(shù)學(xué)題時(shí)磕磕絆絆，但在解逆向題目時(shí)卻游刃有余一樣神奇。

為了驗(yàn)證這個(gè)發(fā)現(xiàn)，研究團(tuán)隊(duì)對(duì)模型進(jìn)行了專門(mén)的訓(xùn)練，讓它專注于學(xué)習(xí)"動(dòng)態(tài)模型"的技能——也就是根據(jù)前后兩張圖片推測(cè)中間的動(dòng)作。他們使用了來(lái)自AURORA數(shù)據(jù)集和EPIC-Kitchen數(shù)據(jù)集的高質(zhì)量樣本進(jìn)行訓(xùn)練。EPIC-Kitchen數(shù)據(jù)集特別有意思，它包含了大量從個(gè)人視角拍攝的廚房活動(dòng)視頻，就像戴著攝像頭的廚師記錄下的烹飪過(guò)程一樣真實(shí)自然。

訓(xùn)練結(jié)果令人欣喜。經(jīng)過(guò)專門(mén)訓(xùn)練的動(dòng)態(tài)模型（他們稱之為CDM，即Chameleon Dynamics Model）在動(dòng)作預(yù)測(cè)任務(wù)上的表現(xiàn)有了顯著提升，在多個(gè)文本相似度指標(biāo)上都達(dá)到了與其他先進(jìn)模型相當(dāng)甚至更好的水平。更重要的是，當(dāng)研究團(tuán)隊(duì)再次進(jìn)行"眼力測(cè)試"時(shí)，這個(gè)動(dòng)態(tài)模型顯示出了明顯更強(qiáng)的辨別能力，能夠在73.2%的情況下正確識(shí)別真實(shí)軌跡與隨機(jī)動(dòng)作的區(qū)別，在72.2%的情況下區(qū)分真實(shí)軌跡與相反動(dòng)作。

這個(gè)發(fā)現(xiàn)就像發(fā)現(xiàn)了學(xué)習(xí)的新路徑一樣振奮人心。研究團(tuán)隊(duì)意識(shí)到，雖然直接教模型預(yù)測(cè)未來(lái)很困難，但教它理解"因果關(guān)系"相對(duì)容易。這為他們接下來(lái)的研究指明了方向：既然動(dòng)態(tài)模型能夠很好地理解動(dòng)作與變化之間的關(guān)系，那么能否讓它來(lái)"指導(dǎo)"世界模型的學(xué)習(xí)呢？

**三、師傅帶徒弟：兩種巧妙的指導(dǎo)策略**

基于這個(gè)關(guān)鍵發(fā)現(xiàn)，研究團(tuán)隊(duì)設(shè)計(jì)了兩套巧妙的"師傅帶徒弟"式訓(xùn)練策略，讓擅長(zhǎng)反向推理的動(dòng)態(tài)模型來(lái)幫助世界模型學(xué)會(huì)正向預(yù)測(cè)。

第一種策略可以比作"制造習(xí)題集"的方法。研究團(tuán)隊(duì)收集了大約45小時(shí)的未標(biāo)注視頻，這些視頻來(lái)自三個(gè)不同的數(shù)據(jù)集：Moments-in-Time、Kinetics-700和UCF-101，就像從不同的生活場(chǎng)景中收集素材一樣豐富多樣。然后，他們讓訓(xùn)練好的動(dòng)態(tài)模型充當(dāng)"老師"的角色，為這些視頻中的關(guān)鍵幀對(duì)自動(dòng)生成動(dòng)作描述。

這個(gè)過(guò)程就像讓一個(gè)經(jīng)驗(yàn)豐富的導(dǎo)演觀看無(wú)聲電影片段，然后為每個(gè)場(chǎng)景轉(zhuǎn)換寫(xiě)出劇本說(shuō)明一樣。動(dòng)態(tài)模型會(huì)分析視頻中前后兩幀的變化，然后生成相應(yīng)的動(dòng)作描述，比如"把書(shū)從桌子上拿起來(lái)"或"將杯子向左移動(dòng)"。為了確保質(zhì)量，研究團(tuán)隊(duì)還設(shè)計(jì)了一套篩選機(jī)制，只保留那些動(dòng)態(tài)模型認(rèn)為最有把握的標(biāo)注結(jié)果，就像老師只把最有信心的答案教給學(xué)生一樣。

第二種策略更像是"考試時(shí)的多選題技巧"。在模型需要預(yù)測(cè)結(jié)果時(shí)，研究團(tuán)隊(duì)不讓它只生成一個(gè)答案，而是讓它生成多個(gè)候選答案，然后請(qǐng)動(dòng)態(tài)模型充當(dāng)"評(píng)委"，為每個(gè)候選答案打分。最終選擇得分最高的那個(gè)作為最終預(yù)測(cè)結(jié)果。這就像讓一個(gè)有經(jīng)驗(yàn)的老師在學(xué)生的多個(gè)答案中挑選最合理的一個(gè)一樣。

為了讓第一種策略更加有效，研究團(tuán)隊(duì)還創(chuàng)新性地提出了"重點(diǎn)關(guān)注"的訓(xùn)練方法。他們意識(shí)到，在預(yù)測(cè)圖片變化時(shí)，不是圖片的每個(gè)部分都同樣重要。比如，如果動(dòng)作是"拿起蘋(píng)果"，那么蘋(píng)果及其周?chē)鷧^(qū)域的變化就比遠(yuǎn)處的背景墻更重要。因此，他們?cè)O(shè)計(jì)了一個(gè)"重要性權(quán)重"系統(tǒng)，讓模型在學(xué)習(xí)時(shí)把更多注意力放在那些真正發(fā)生變化的關(guān)鍵區(qū)域上，而不是平均對(duì)待整張圖片的每個(gè)像素。

這種方法就像教學(xué)生寫(xiě)作文時(shí)強(qiáng)調(diào)"突出重點(diǎn)"一樣，讓模型學(xué)會(huì)分辨什么是重要的，什么是次要的。通過(guò)這種方式訓(xùn)練出來(lái)的世界模型，不僅學(xué)會(huì)了預(yù)測(cè)變化，更學(xué)會(huì)了關(guān)注變化的關(guān)鍵部分。

**四、實(shí)戰(zhàn)檢驗(yàn)：在真實(shí)場(chǎng)景中的表現(xiàn)**

研究團(tuán)隊(duì)在AURORA-BENCH這個(gè)權(quán)威測(cè)試平臺(tái)上對(duì)他們的方法進(jìn)行了全面驗(yàn)證。AURORA-BENCH就像是視覺(jué)世界模型的"高考考場(chǎng)"，包含了五個(gè)不同難度和類(lèi)型的測(cè)試子集：MagicBrush專注于專業(yè)圖像編輯，Action-Genome和Something-Something測(cè)試真實(shí)世界的動(dòng)作理解，WhatsUp考察空間推理能力，而Kubric則包含了來(lái)自物理引擎的合成樣本。

在這場(chǎng)"考試"中，研究團(tuán)隊(duì)的世界模型（他們稱之為CWM，即Chameleon World Model）表現(xiàn)得相當(dāng)出色。最令人驚喜的是，這個(gè)通用的世界模型竟然在多個(gè)測(cè)試中超越了那些專門(mén)為圖像編輯而設(shè)計(jì)的先進(jìn)模型。在Something-Something、Action-Genome和Kubric這三個(gè)真實(shí)世界動(dòng)作測(cè)試中，CWM分別取得了15%、15%和7%的性能提升，這就像一個(gè)全科學(xué)生在幾門(mén)專業(yè)課考試中都超越了專業(yè)學(xué)生一樣令人印象深刻。

更有說(shuō)服力的是人類(lèi)評(píng)估的結(jié)果。研究團(tuán)隊(duì)邀請(qǐng)了14名博士及以上學(xué)歷的評(píng)估者，對(duì)不同模型的預(yù)測(cè)結(jié)果進(jìn)行盲測(cè)評(píng)估。評(píng)估者需要從三個(gè)維度對(duì)結(jié)果進(jìn)行打分：圖片的真實(shí)感（紋理和光照是否自然）、指令執(zhí)行能力（是否準(zhǔn)確反映了給定的動(dòng)作）、以及編輯的適度性（是否只改變了必要的部分）。結(jié)果顯示，人類(lèi)評(píng)估者也更傾向于選擇CWM的預(yù)測(cè)結(jié)果，特別是在那些涉及真實(shí)世界動(dòng)作的測(cè)試中。

有趣的是，研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)意外的現(xiàn)象：當(dāng)使用第二種"多選題"策略時(shí)，即使是原本表現(xiàn)一般的基礎(chǔ)模型，也能通過(guò)動(dòng)態(tài)模型的"指導(dǎo)"達(dá)到與專門(mén)訓(xùn)練的世界模型相當(dāng)?shù)男阅芩?。這就像一個(gè)普通學(xué)生在有經(jīng)驗(yàn)老師的指導(dǎo)下，也能在考試中取得優(yōu)異成績(jī)一樣。

**五、深入探索：每個(gè)細(xì)節(jié)都有講究**

研究團(tuán)隊(duì)還進(jìn)行了大量的細(xì)節(jié)分析，就像醫(yī)生進(jìn)行全面體檢一樣，確保他們真正理解了方法成功的原因。

首先，他們驗(yàn)證了合成數(shù)據(jù)的重要性。當(dāng)把那些由動(dòng)態(tài)模型自動(dòng)標(biāo)注的45小時(shí)視頻數(shù)據(jù)從訓(xùn)練集中移除時(shí)，世界模型的性能出現(xiàn)了明顯下降，特別是在Something-Something和Action-Genome這兩個(gè)真實(shí)世界數(shù)據(jù)集上。這證明了"制造習(xí)題集"策略的確有效，就像學(xué)生做更多練習(xí)題確實(shí)能提高成績(jī)一樣。

其次，他們分析了"重點(diǎn)關(guān)注"訓(xùn)練方法的作用。通過(guò)對(duì)比使用和不使用重要性權(quán)重的訓(xùn)練結(jié)果，研究團(tuán)隊(duì)發(fā)現(xiàn)這種方法主要提升了模型的"指令執(zhí)行能力"，也就是讓模型更準(zhǔn)確地按照給定動(dòng)作進(jìn)行預(yù)測(cè)，而不是簡(jiǎn)單地復(fù)制原圖。這就像教學(xué)生寫(xiě)作時(shí)強(qiáng)調(diào)"扣題"的重要性一樣，讓模型學(xué)會(huì)了關(guān)注真正重要的內(nèi)容。

在"多選題"策略的分析中，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：這種方法對(duì)基礎(chǔ)模型的幫助更大，而對(duì)于已經(jīng)通過(guò)合成數(shù)據(jù)訓(xùn)練過(guò)的世界模型來(lái)說(shuō)，效果相對(duì)有限。這是因?yàn)榻?jīng)過(guò)專門(mén)訓(xùn)練的模型已經(jīng)內(nèi)化了動(dòng)態(tài)模型的"智慧"，不再需要外部指導(dǎo)就能做出正確預(yù)測(cè)。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一些模型的"偏好"。比如，所有模型在處理那些要求精確空間理解的任務(wù)（如WhatsUp數(shù)據(jù)集）時(shí)都表現(xiàn)得相對(duì)困難，而在處理合成數(shù)據(jù)（如Kubric）時(shí)則表現(xiàn)出色。這就像不同的學(xué)生有不同的強(qiáng)項(xiàng)和弱項(xiàng)一樣自然。

**六、真實(shí)應(yīng)用：從實(shí)驗(yàn)室到現(xiàn)實(shí)世界**

研究團(tuán)隊(duì)展示了一個(gè)令人興奮的應(yīng)用案例，證明他們的世界模型不僅能進(jìn)行單步預(yù)測(cè)，還能進(jìn)行連續(xù)的多步預(yù)測(cè)。在演示中，模型能夠根據(jù)一系列連續(xù)的動(dòng)作指令，生成一個(gè)完整的變化序列。比如，從"切洋蔥"開(kāi)始，然后"打雞蛋"，模型能夠生成一系列連貫的圖片，展示整個(gè)烹飪過(guò)程的視覺(jué)變化。

這種能力就像讓模型具備了"導(dǎo)演"的技能，能夠根據(jù)劇本創(chuàng)作出完整的視覺(jué)故事。更重要的是，生成的圖片序列在視覺(jué)上保持了很好的一致性，就像真實(shí)的連續(xù)拍攝一樣自然流暢。這為未來(lái)的應(yīng)用開(kāi)辟了廣闊的可能性，比如虛擬現(xiàn)實(shí)環(huán)境的創(chuàng)建、機(jī)器人動(dòng)作規(guī)劃的可視化預(yù)覽、或者教育培訓(xùn)中的情景模擬等。

研究團(tuán)隊(duì)還注意到了一些有趣的細(xì)節(jié)。比如，模型在處理不同類(lèi)型的動(dòng)作時(shí)表現(xiàn)出了不同的特點(diǎn)：對(duì)于涉及物體移動(dòng)的動(dòng)作（如"把杯子向左移動(dòng)"），模型的預(yù)測(cè)相對(duì)準(zhǔn)確；而對(duì)于涉及細(xì)微變化的動(dòng)作（如"調(diào)整亮度"），預(yù)測(cè)的精確度會(huì)有所下降。這就像人類(lèi)在預(yù)測(cè)不同類(lèi)型變化時(shí)也會(huì)有不同的準(zhǔn)確率一樣。

**七、局限性與未來(lái)展望**

誠(chéng)然，這項(xiàng)研究還存在一些局限性，研究團(tuán)隊(duì)也坦誠(chéng)地指出了這些問(wèn)題。首先，盡管采用了各種訓(xùn)練策略，模型仍然會(huì)在某些情況下"偷懶"，特別是在面對(duì)模糊指令或采用較低生成溫度時(shí)，傾向于簡(jiǎn)單地復(fù)制輸入圖片而不進(jìn)行真正的預(yù)測(cè)。這就像學(xué)生在不確定答案時(shí)選擇保守策略一樣。

其次，雖然模型能夠處理語(yǔ)言形式的動(dòng)作指令，但對(duì)于需要精細(xì)控制的任務(wù)（如空間位置的精確調(diào)整或數(shù)量的準(zhǔn)確變化）仍然面臨挑戰(zhàn)。研究團(tuán)隊(duì)發(fā)現(xiàn)，模型在理解"稍微向左"和"大幅向左"這樣的細(xì)微差別時(shí)還不夠敏感。

此外，由于研究主要基于Chameleon這一個(gè)模型進(jìn)行，方法在其他視覺(jué)語(yǔ)言模型上的表現(xiàn)還需要進(jìn)一步驗(yàn)證。研究團(tuán)隊(duì)選擇Chameleon是因?yàn)樗悄壳拔ㄒ恢С謭D像和文本交錯(cuò)生成的開(kāi)源模型，但這也限制了研究結(jié)果的普適性。

不過(guò)，這些局限性也為未來(lái)的研究指明了方向。研究團(tuán)隊(duì)提出了幾個(gè)值得探索的方向：首先是擴(kuò)展到更多類(lèi)型的視覺(jué)語(yǔ)言模型，驗(yàn)證方法的通用性；其次是提高模型對(duì)細(xì)微指令差別的理解能力；最后是探索如何將這種預(yù)測(cè)能力與其他人工智能技術(shù)結(jié)合，創(chuàng)造更加實(shí)用的應(yīng)用。

說(shuō)到底，這項(xiàng)研究為我們展示了一個(gè)充滿可能性的未來(lái)圖景。通過(guò)巧妙的"師傅帶徒弟"式訓(xùn)練方法，研究團(tuán)隊(duì)成功地讓視覺(jué)語(yǔ)言模型學(xué)會(huì)了預(yù)測(cè)現(xiàn)實(shí)世界的變化，這不僅是技術(shù)上的突破，更是人工智能向著真正理解現(xiàn)實(shí)世界邁出的重要一步。雖然目前的模型還不夠完美，但就像所有偉大的發(fā)明一樣，第一步往往是最重要的。

歸根結(jié)底，這項(xiàng)研究告訴我們，讓機(jī)器真正理解現(xiàn)實(shí)世界是一個(gè)復(fù)雜而迷人的挑戰(zhàn)。通過(guò)創(chuàng)新的訓(xùn)練策略和深入的分析，研究團(tuán)隊(duì)為這個(gè)領(lǐng)域貢獻(xiàn)了新的思路和方法。對(duì)于普通人來(lái)說(shuō)，這意味著未來(lái)我們可能會(huì)看到更加智能的虛擬助手、更真實(shí)的游戲體驗(yàn)、更有效的教育工具，以及許多我們現(xiàn)在還無(wú)法想象的應(yīng)用。有興趣深入了解這項(xiàng)研究的讀者，可以通過(guò)訪問(wèn)研究團(tuán)隊(duì)提供的GitHub鏈接獲取更多詳細(xì)信息和代碼資源。