這項(xiàng)由香港大學(xué)的余繼文、秦藝然、劉希輝等研究者與快手科技的王鑫濤、萬鵬飛、張迪團(tuán)隊(duì)共同完成的研究發(fā)表于2025年1月，論文題目為《GameFactory: Creating New Games with Generative Interactive Videos》。有興趣深入了解的讀者可以通過https://yujiwen.github.io/gamefactory/訪問完整的研究成果和演示視頻。

想象一下，如果你只需要說一句話"我想在櫻花森林里拿著槍進(jìn)行第一人稱射擊游戲"，電腦就能立刻為你創(chuàng)造出一個(gè)完全可以操作的游戲世界，你可以用鍵盤鼠標(biāo)在其中自由行走、跳躍、射擊，這聽起來是不是像科幻電影里的情節(jié)？但現(xiàn)在，這個(gè)夢想正在變成現(xiàn)實(shí)。

研究團(tuán)隊(duì)開發(fā)的GameFactory系統(tǒng)就像一個(gè)神奇的游戲工廠，它能夠理解你的語言描述，然后自動(dòng)生成相應(yīng)的互動(dòng)游戲視頻。不僅如此，這些生成的游戲還能對你的鍵盤和鼠標(biāo)操作做出實(shí)時(shí)響應(yīng)，就像真正的游戲一樣。這項(xiàng)技術(shù)的突破性在于，它不再局限于特定的游戲風(fēng)格或場景，而是能夠在任何你能想象到的環(huán)境中創(chuàng)建新的游戲體驗(yàn)。

傳統(tǒng)的游戲開發(fā)需要大量的程序員、美術(shù)師和設(shè)計(jì)師花費(fèi)數(shù)月甚至數(shù)年的時(shí)間來制作，而GameFactory卻能夠在短時(shí)間內(nèi)自動(dòng)生成游戲內(nèi)容。這就像是從手工制作蛋糕變成了使用全自動(dòng)烘焙機(jī)，不僅速度快了幾百倍，還能根據(jù)你的口味偏好隨時(shí)調(diào)整配方。更重要的是，這個(gè)系統(tǒng)解決了一個(gè)長期困擾游戲AI研究的核心難題：如何讓AI既能控制游戲又能適應(yīng)不同的游戲場景。

一、從我的世界中學(xué)習(xí)游戲規(guī)則：建立無偏見的游戲數(shù)據(jù)庫

要讓AI學(xué)會(huì)做游戲，首先它需要觀看大量的游戲錄像，就像學(xué)習(xí)烹飪需要看很多烹飪視頻一樣。但這里有個(gè)大問題：現(xiàn)有的游戲錄像都是真人玩家錄制的，而真人玩家有自己的習(xí)慣和偏好。比如在《我的世界》這樣的游戲中，大多數(shù)玩家習(xí)慣向前走，很少會(huì)選擇倒著走或者在原地反復(fù)跳躍，這就像大多數(shù)人開車時(shí)習(xí)慣直行，很少會(huì)選擇倒車或者急轉(zhuǎn)彎一樣。

研究團(tuán)隊(duì)意識到，如果用這些帶有人類偏見的數(shù)據(jù)來訓(xùn)練AI，生成的游戲就會(huì)受到限制，無法響應(yīng)一些不常見但完全合理的操作。為了解決這個(gè)問題，他們創(chuàng)建了一個(gè)名為GF-Minecraft的特殊數(shù)據(jù)集。這個(gè)數(shù)據(jù)集的制作過程就像訓(xùn)練一個(gè)完全公平的裁判員：他們讓AI隨機(jī)執(zhí)行各種動(dòng)作組合，確保每個(gè)鍵盤按鍵和鼠標(biāo)移動(dòng)都有相同的出現(xiàn)頻率。

在傳統(tǒng)的人類游戲數(shù)據(jù)中，向前移動(dòng)的W鍵可能占到50%以上的使用時(shí)間，而向后移動(dòng)的S鍵可能只占不到5%。但在GF-Minecraft數(shù)據(jù)集中，每個(gè)動(dòng)作都獲得了平等的機(jī)會(huì)，就像確保每種食材都有相同的機(jī)會(huì)出現(xiàn)在菜單上一樣。研究團(tuán)隊(duì)總共收集了70小時(shí)的游戲錄像，涵蓋了森林、平原、沙漠等不同環(huán)境，以及晴天、雨天、雷暴等各種天氣條件。

為了讓這些游戲場景更加多樣化，他們還給每個(gè)視頻片段都添加了詳細(xì)的文字描述。這就像給每道菜配上詳細(xì)的菜譜說明，不僅告訴AI這個(gè)場景長什么樣，還解釋了場景中的各種元素和它們的關(guān)系。這樣，AI就能理解"沙漠中的仙人掌"和"森林中的橡樹"之間的區(qū)別，并學(xué)會(huì)在不同環(huán)境中應(yīng)用相應(yīng)的游戲邏輯。

二、教會(huì)AI理解玩家操作：設(shè)計(jì)精確的動(dòng)作控制系統(tǒng)

讓AI生成游戲畫面只是第一步，更重要的是要讓它理解玩家的操作意圖。這就像教一個(gè)學(xué)生不僅要會(huì)畫畫，還要能根據(jù)老師的指令畫出特定的內(nèi)容。研究團(tuán)隊(duì)面臨的挑戰(zhàn)是：鍵盤操作是離散的（要么按下，要么沒按），而鼠標(biāo)移動(dòng)是連續(xù)的（可以向任意方向移動(dòng)任意距離），如何讓AI同時(shí)處理這兩種完全不同的控制信號呢？

他們的解決方案就像設(shè)計(jì)了一套雙語翻譯系統(tǒng)。對于鍵盤操作，AI使用"交叉注意力"機(jī)制來理解，這種方法類似于閱讀理解考試中找關(guān)鍵詞的過程。當(dāng)玩家按下W鍵時(shí)，AI會(huì)在整個(gè)游戲場景中尋找與"向前移動(dòng)"相關(guān)的所有元素，然后調(diào)整畫面來反映這種移動(dòng)。

而對于鼠標(biāo)移動(dòng)，AI使用"拼接"的方法，就像把額外的調(diào)料直接加到菜里一樣。鼠標(biāo)的移動(dòng)數(shù)據(jù)會(huì)被直接融入到游戲畫面的生成過程中，確保視角的變化能夠準(zhǔn)確反映玩家的鼠標(biāo)操作。這種設(shè)計(jì)讓AI能夠同時(shí)響應(yīng)復(fù)雜的組合操作，比如一邊按W鍵向前走，一邊移動(dòng)鼠標(biāo)轉(zhuǎn)動(dòng)視角。

為了處理游戲視頻壓縮帶來的時(shí)間對齊問題，研究團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)"滑動(dòng)窗口"機(jī)制。這就像用慢動(dòng)作回放來分析體育比賽一樣，AI不僅考慮當(dāng)前時(shí)刻的操作，還會(huì)回顧之前幾幀的操作歷史。這樣設(shè)計(jì)的原因是，某些動(dòng)作（比如跳躍）的影響會(huì)持續(xù)多幀，需要AI能夠理解動(dòng)作的延續(xù)效應(yīng)。

三、實(shí)現(xiàn)無限長度游戲：突破固定時(shí)長的限制

傳統(tǒng)的AI視頻生成模型通常只能生成幾秒鐘的短視頻，這就像只能做單份菜的廚師，無法滿足持續(xù)游戲的需求。為了解決這個(gè)問題，研究團(tuán)隊(duì)開發(fā)了一種"自回歸生成"技術(shù)，讓AI能夠基于已經(jīng)生成的游戲畫面繼續(xù)生成新的內(nèi)容，實(shí)現(xiàn)理論上無限長度的游戲視頻。

這個(gè)過程就像寫連載小說，每一章的內(nèi)容都要基于前面章節(jié)的情節(jié)發(fā)展。AI首先生成游戲的前幾幀畫面，然后將這些畫面作為"歷史記錄"，結(jié)合新的玩家操作來生成接下來的內(nèi)容。與傳統(tǒng)的逐幀生成不同，這個(gè)系統(tǒng)可以一次生成多幀內(nèi)容，大大提高了生成效率。

在訓(xùn)練過程中，研究團(tuán)隊(duì)采用了一種巧妙的策略：他們隨機(jī)選擇視頻中的一部分作為"已知?dú)v史"，讓AI只需要預(yù)測剩余部分的內(nèi)容。這就像給學(xué)生一道填空題，告訴他前半句話，讓他續(xù)寫后半句。這種訓(xùn)練方法讓AI學(xué)會(huì)了如何保持游戲內(nèi)容的連貫性，同時(shí)響應(yīng)新的玩家操作。

為了進(jìn)一步優(yōu)化訓(xùn)練效率，系統(tǒng)只對需要預(yù)測的幀計(jì)算損失函數(shù)，而不對已知的歷史幀進(jìn)行優(yōu)化。這種設(shè)計(jì)顯著提高了訓(xùn)練速度，讓AI能夠更快地學(xué)會(huì)生成長時(shí)間的游戲內(nèi)容。實(shí)驗(yàn)結(jié)果顯示，這個(gè)系統(tǒng)能夠生成超過300幀的連續(xù)游戲視頻，為創(chuàng)建真正可玩的游戲奠定了基礎(chǔ)。

四、突破場景限制：從特定游戲到開放世界

GameFactory最大的創(chuàng)新在于它能夠突破傳統(tǒng)游戲AI的場景限制。之前的系統(tǒng)就像只會(huì)做某一種菜的廚師，只能在《我的世界》或《毀滅戰(zhàn)士》等特定游戲中工作。而GameFactory更像是一個(gè)全能廚師，學(xué)會(huì)了烹飪的基本原理后，就能在任何廚房里做出美味的菜肴。

這個(gè)突破的關(guān)鍵在于研究團(tuán)隊(duì)提出的"風(fēng)格-動(dòng)作解耦"策略。他們發(fā)現(xiàn)，游戲的視覺風(fēng)格（比如《我的世界》的方塊風(fēng)格）和動(dòng)作控制邏輯（比如W鍵向前移動(dòng)）是可以分離的兩個(gè)概念。就像開車的基本操作（油門、剎車、轉(zhuǎn)向）在不同品牌的汽車上都是通用的，但每款車的外觀設(shè)計(jì)卻各不相同。

為了實(shí)現(xiàn)這種解耦，研究團(tuán)隊(duì)采用了三階段訓(xùn)練策略。首先，他們使用大規(guī)模開放域視頻數(shù)據(jù)預(yù)訓(xùn)練一個(gè)通用的視頻生成模型，這就像培養(yǎng)一個(gè)見多識廣的藝術(shù)家，讓他熟悉各種不同的畫面風(fēng)格。然后，他們使用LoRA（低秩適應(yīng)）技術(shù)讓模型適應(yīng)特定游戲的視覺風(fēng)格，這個(gè)過程就像給藝術(shù)家戴上特殊的眼鏡，讓他能夠模仿特定的繪畫風(fēng)格。

在第二階段，研究團(tuán)隊(duì)凍結(jié)所有其他參數(shù)，只訓(xùn)練動(dòng)作控制模塊。這就像讓藝術(shù)家專心學(xué)習(xí)如何根據(jù)指令繪畫，而不用擔(dān)心畫風(fēng)問題。由于視覺風(fēng)格已經(jīng)在第一階段固定，AI現(xiàn)在可以專注于理解動(dòng)作和畫面變化之間的關(guān)系，學(xué)會(huì)了通用的控制邏輯。

最后在推理階段，他們移除負(fù)責(zé)特定游戲風(fēng)格的LoRA模塊，只保留動(dòng)作控制模塊。這樣，訓(xùn)練好的動(dòng)作控制邏輯就能夠應(yīng)用到任何開放域場景中，創(chuàng)造出全新的游戲體驗(yàn)。這種設(shè)計(jì)的巧妙之處在于，它利用了大規(guī)模預(yù)訓(xùn)練模型的豐富視覺知識，同時(shí)保持了從小規(guī)模游戲數(shù)據(jù)中學(xué)到的精確控制能力。

五、突破性實(shí)驗(yàn)結(jié)果：從虛擬世界到真實(shí)場景的飛躍

研究團(tuán)隊(duì)通過大量實(shí)驗(yàn)驗(yàn)證了GameFactory的有效性，結(jié)果令人震驚。他們不僅在傳統(tǒng)的《我的世界》場景中實(shí)現(xiàn)了精確的動(dòng)作控制，更重要的是成功地將這種控制能力擴(kuò)展到了完全不同的開放域場景中。

在櫻花森林場景的測試中，系統(tǒng)能夠根據(jù)玩家的WASD鍵盤操作生成相應(yīng)的移動(dòng)畫面，同時(shí)響應(yīng)鼠標(biāo)移動(dòng)來調(diào)整視角。這就像一個(gè)從未見過櫻花的畫家，僅僅通過理解"向前走"的概念，就能在櫻花林中繪制出逼真的移動(dòng)場景。更令人驚喜的是，系統(tǒng)還能處理復(fù)雜的組合操作，比如一邊移動(dòng)一邊轉(zhuǎn)動(dòng)視角，生成的畫面自然流暢，沒有出現(xiàn)明顯的不協(xié)調(diào)感。

在室內(nèi)場景測試中，GameFactory展現(xiàn)出了對物理規(guī)律的深度理解。當(dāng)生成一個(gè)裝有綠色天鵝絨椅子的極簡主義房間時(shí)，系統(tǒng)不僅能夠準(zhǔn)確渲染室內(nèi)環(huán)境，還能根據(jù)玩家操作生成符合透視規(guī)律的視角變化。這證明AI不只是在簡單地拼接圖像，而是真正理解了三維空間的幾何關(guān)系。

特別值得注意的是雪山場景中的圣伯納犬測試。在這個(gè)場景中，系統(tǒng)需要同時(shí)處理復(fù)雜的自然環(huán)境（雪山、天空）和動(dòng)態(tài)物體（移動(dòng)的狗）。實(shí)驗(yàn)結(jié)果顯示，GameFactory能夠保持場景的一致性，狗的移動(dòng)軌跡自然，雪山背景穩(wěn)定，這表明系統(tǒng)具備了處理復(fù)雜動(dòng)態(tài)場景的能力。

研究團(tuán)隊(duì)還進(jìn)行了一個(gè)特別有趣的跨域測試：賽車游戲場景。雖然系統(tǒng)是基于第一人稱《我的世界》數(shù)據(jù)訓(xùn)練的，但它竟然能夠自動(dòng)適應(yīng)賽車游戲的控制邏輯。原本用于控制人物左右轉(zhuǎn)向的鼠標(biāo)操作，在賽車場景中自然轉(zhuǎn)換為了方向盤控制，而某些在賽車中不常用的操作（如向后移動(dòng)）則被自動(dòng)弱化。這種自適應(yīng)能力展現(xiàn)了系統(tǒng)的智能程度遠(yuǎn)超預(yù)期。

在定量評估方面，研究團(tuán)隊(duì)使用了多個(gè)指標(biāo)來衡量系統(tǒng)性能。光流（Flow）指標(biāo)衡量生成視頻的動(dòng)態(tài)特性，結(jié)果顯示GameFactory生成的游戲視頻在動(dòng)作響應(yīng)性方面達(dá)到了很高的水平。相機(jī)參數(shù)（Cam）指標(biāo)評估視角變化的準(zhǔn)確性，多階段訓(xùn)練策略相比單階段方法在這個(gè)指標(biāo)上有顯著提升。CLIP相似度評估了生成內(nèi)容與文本描述的一致性，F(xiàn)ID和FVD指標(biāo)則評估了生成視頻的整體質(zhì)量，所有指標(biāo)都表明GameFactory在保持高質(zhì)量視頻生成的同時(shí)，實(shí)現(xiàn)了精確的動(dòng)作控制。

六、技術(shù)創(chuàng)新的深層價(jià)值：重新定義游戲開發(fā)的未來

GameFactory的意義遠(yuǎn)不止于技術(shù)層面的突破，它代表了游戲開發(fā)范式的根本性轉(zhuǎn)變。傳統(tǒng)游戲開發(fā)就像建造房屋，需要建筑師設(shè)計(jì)圖紙，工程師計(jì)算結(jié)構(gòu)，工人逐塊砌磚，整個(gè)過程耗時(shí)費(fèi)力且成本高昂。而GameFactory則像是一臺神奇的3D打印機(jī)，只需要輸入設(shè)計(jì)概念，就能直接"打印"出可玩的游戲。

這種轉(zhuǎn)變的深層價(jià)值在于民主化了游戲創(chuàng)作過程。以前，創(chuàng)作游戲需要掌握復(fù)雜的編程語言、圖形設(shè)計(jì)技術(shù)和游戲引擎操作，這就像要成為廚師必須先學(xué)會(huì)使用各種專業(yè)設(shè)備和掌握復(fù)雜的烹飪技巧?，F(xiàn)在，任何人只要能夠用自然語言描述自己的想法，就能創(chuàng)造出獨(dú)特的游戲體驗(yàn)，這就像用簡單的指令就能讓機(jī)器人為你做飯一樣。

從技術(shù)架構(gòu)的角度看，GameFactory解決了AI領(lǐng)域的一個(gè)關(guān)鍵挑戰(zhàn)：如何在保持通用性的同時(shí)實(shí)現(xiàn)精確控制。這個(gè)問題就像要設(shè)計(jì)一把既能切菜又能雕花的萬能刀，既要保持基本的切割功能，又要能夠進(jìn)行精細(xì)操作。研究團(tuán)隊(duì)通過巧妙的模塊化設(shè)計(jì)，讓AI既保持了對開放域場景的理解能力，又獲得了精確的動(dòng)作控制能力。

更重要的是，這項(xiàng)技術(shù)為AI理解物理世界規(guī)律提供了新的思路。GameFactory不僅能夠生成視覺上令人信服的畫面，還能理解動(dòng)作與環(huán)境變化之間的因果關(guān)系。當(dāng)玩家按下跳躍鍵時(shí)，AI不僅知道要改變角色的垂直位置，還理解這種變化會(huì)如何影響視角、陰影、環(huán)境交互等多個(gè)方面。這種多層次的理解能力為未來的具身AI和機(jī)器人技術(shù)發(fā)展奠定了基礎(chǔ)。

GameFactory的成功還驗(yàn)證了一個(gè)重要的AI訓(xùn)練理念：通過解耦不同類型的學(xué)習(xí)任務(wù)，可以實(shí)現(xiàn)更好的泛化能力。這就像學(xué)習(xí)駕駛時(shí)，先在模擬器上練習(xí)基本操作，再在不同路況下實(shí)踐，最后能夠在任何環(huán)境中安全駕駛。這種分階段、模塊化的學(xué)習(xí)策略不僅適用于游戲AI，也為其他復(fù)雜AI系統(tǒng)的設(shè)計(jì)提供了寶貴經(jīng)驗(yàn)。

研究團(tuán)隊(duì)的工作還展現(xiàn)了如何有效利用有限的標(biāo)注數(shù)據(jù)。在AI發(fā)展的當(dāng)前階段，獲取大量高質(zhì)量標(biāo)注數(shù)據(jù)仍然是一個(gè)挑戰(zhàn)，特別是需要專業(yè)知識的領(lǐng)域。GameFactory通過聰明的數(shù)據(jù)設(shè)計(jì)和訓(xùn)練策略，用相對較少的專業(yè)數(shù)據(jù)實(shí)現(xiàn)了廣泛的應(yīng)用能力，這為資源受限的AI研究提供了可行的發(fā)展路徑。

說到底，GameFactory不僅僅是一個(gè)游戲生成工具，它更像是打開了通向無限創(chuàng)意世界的一扇門。每個(gè)人都能成為游戲設(shè)計(jì)師，只需要發(fā)揮想象力，用自然語言描述心中的游戲世界，AI就能將這些想法轉(zhuǎn)化為可以親身體驗(yàn)的互動(dòng)內(nèi)容。這種技術(shù)普及可能會(huì)催生出前所未有的游戲創(chuàng)作浪潮，就像智能手機(jī)的普及讓每個(gè)人都能成為攝影師一樣。

從長遠(yuǎn)來看，GameFactory代表的技術(shù)方向可能會(huì)重塑整個(gè)娛樂產(chǎn)業(yè)。當(dāng)創(chuàng)建游戲內(nèi)容的成本和門檻大幅降低時(shí)，我們可能會(huì)看到游戲內(nèi)容的爆炸式增長，個(gè)性化游戲體驗(yàn)的興起，以及全新游戲類型的誕生。這就像印刷術(shù)的發(fā)明不僅讓書籍更加普及，還催生了報(bào)紙、雜志等全新的媒體形式。

更有趣的是，這項(xiàng)技術(shù)還可能擴(kuò)展到游戲之外的領(lǐng)域。比如教育培訓(xùn)、虛擬旅游、歷史重現(xiàn)等場景都可能受益于這種即時(shí)生成、即時(shí)交互的技術(shù)。學(xué)生可以通過自然語言創(chuàng)建歷史場景進(jìn)行沉浸式學(xué)習(xí)，旅行者可以在出發(fā)前虛擬體驗(yàn)?zāi)康牡?，設(shè)計(jì)師可以快速原型化和測試各種創(chuàng)意想法。GameFactory開啟的不僅僅是游戲的未來，更是人機(jī)交互的全新時(shí)代。

Q&A

Q1：GameFactory游戲工廠到底是什么？它能為普通人做什么？

A：GameFactory是香港大學(xué)和快手科技聯(lián)合開發(fā)的AI游戲生成系統(tǒng)。它最神奇的地方是，你只需要用普通話描述想要的游戲場景，比如說"我想在櫻花森林里進(jìn)行第一人稱冒險(xiǎn)"，系統(tǒng)就能立刻生成一個(gè)可以用鍵盤鼠標(biāo)操作的真實(shí)游戲。你可以在生成的游戲世界里自由行走、跳躍、轉(zhuǎn)動(dòng)視角，就像玩真正的游戲一樣。這意味著任何人都能成為游戲創(chuàng)造者，不需要學(xué)編程或者美術(shù)設(shè)計(jì)。

Q2：GameFactory生成的游戲和傳統(tǒng)游戲有什么區(qū)別？

A：最大的區(qū)別是創(chuàng)造方式和適應(yīng)性。傳統(tǒng)游戲需要專業(yè)團(tuán)隊(duì)花費(fèi)幾個(gè)月甚至幾年時(shí)間開發(fā)，而GameFactory可以在幾分鐘內(nèi)根據(jù)你的文字描述生成游戲。更重要的是，它不局限于特定的游戲風(fēng)格，可以創(chuàng)造從室內(nèi)場景到雪山風(fēng)景，從賽車游戲到冒險(xiǎn)探索等各種類型的游戲。雖然目前生成的游戲在復(fù)雜度上還無法完全媲美大型商業(yè)游戲，但它為快速原型設(shè)計(jì)和個(gè)性化游戲體驗(yàn)提供了全新的可能性。

Q3：普通人現(xiàn)在就能使用GameFactory嗎？學(xué)習(xí)成本高嗎？

A：目前GameFactory還在研究階段，普通用戶暫時(shí)無法直接使用完整版本，但研究團(tuán)隊(duì)已經(jīng)在他們的官網(wǎng)https://yujiwen.github.io/gamefactory/提供了演示視頻和技術(shù)細(xì)節(jié)。從設(shè)計(jì)理念來看，這個(gè)系統(tǒng)的最大優(yōu)勢就是零學(xué)習(xí)成本——用戶只需要能夠用自然語言描述想法即可，不需要任何編程或游戲開發(fā)背景。相信隨著技術(shù)的進(jìn)一步成熟，類似的工具很快就會(huì)普及到普通消費(fèi)者市場。