這項(xiàng)由三星SAIL蒙特利爾實(shí)驗(yàn)室的Alexia Jolicoeur-Martineau領(lǐng)導(dǎo)的研究發(fā)表于2025年1月，論文標(biāo)題為《Multi-Agent Game Generation and Evaluation via Audio-Visual Recordings》。有興趣深入了解的讀者可以通過(guò)https://github.com/SamsungSAILMontreal/AVR-Eval-Agent訪問(wèn)完整代碼和論文。

當(dāng)我們看到一個(gè)孩子學(xué)會(huì)騎自行車(chē)的過(guò)程時(shí)，會(huì)發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象：孩子不僅會(huì)聽(tīng)大人的指導(dǎo)，還會(huì)觀察自己的動(dòng)作，看到自己搖搖晃晃就知道要調(diào)整?，F(xiàn)在，三星的研究團(tuán)隊(duì)讓AI也學(xué)會(huì)了這種"邊看邊學(xué)"的能力，不過(guò)它們學(xué)的不是騎車(chē)，而是制作視頻游戲。

這個(gè)研究解決了一個(gè)看似簡(jiǎn)單卻極其復(fù)雜的問(wèn)題：如何讓電腦自動(dòng)制作出好玩的游戲？你可能覺(jué)得現(xiàn)在AI不是已經(jīng)很厲害了嗎，寫(xiě)代碼、畫(huà)圖、寫(xiě)文章樣樣都行。但是制作游戲卻是另一回事。游戲不僅要有代碼，還要有圖片、音效、3D模型，更重要的是，這些元素必須協(xié)調(diào)配合才能創(chuàng)造出流暢有趣的體驗(yàn)。就像制作一道復(fù)雜的菜肴，僅僅有好食材是不夠的，還需要知道何時(shí)加鹽、何時(shí)翻炒、火候如何掌握。

研究團(tuán)隊(duì)的創(chuàng)新點(diǎn)在于開(kāi)發(fā)了兩個(gè)相互配合的AI系統(tǒng)。第一個(gè)叫做AVR-Eval，就像是一個(gè)專(zhuān)業(yè)的游戲評(píng)測(cè)師，它能夠錄下游戲運(yùn)行的畫(huà)面和聲音，然后像人類(lèi)玩家一樣判斷哪個(gè)游戲更好玩。第二個(gè)叫做AVR-Agent，則是真正的游戲制作專(zhuān)家，它不僅能寫(xiě)代碼，還能從資源庫(kù)中挑選合適的圖片和音效，更神奇的是，它能根據(jù)AVR-Eval的反饋不斷改進(jìn)自己的作品。

一、AI評(píng)測(cè)師是如何工作的

要理解這個(gè)研究的巧妙之處，我們先來(lái)看看AVR-Eval這個(gè)AI評(píng)測(cè)師是怎么判斷游戲好壞的。傳統(tǒng)的方法就像是只看菜譜來(lái)評(píng)判一道菜的好壞，而AVR-Eval的做法更像是真的品嘗這道菜。

當(dāng)兩個(gè)游戲擺在AVR-Eval面前時(shí)，它會(huì)像一個(gè)認(rèn)真的美食評(píng)委一樣工作。首先，它會(huì)錄制每個(gè)游戲的完整運(yùn)行過(guò)程，包括畫(huà)面和聲音，就像錄制烹飪節(jié)目一樣。然后，一個(gè)專(zhuān)門(mén)處理音視頻的AI模型會(huì)仔細(xì)觀察這些錄像，描述每個(gè)游戲的表現(xiàn)。這個(gè)過(guò)程就像一個(gè)專(zhuān)業(yè)品酒師在品嘗紅酒時(shí)，會(huì)仔細(xì)觀察酒的顏色、聞香氣、品口感。

AI評(píng)測(cè)師使用了多個(gè)維度來(lái)判斷游戲質(zhì)量。它會(huì)檢查游戲是否符合預(yù)期描述，比如要求制作一個(gè)彈球游戲，結(jié)果做出來(lái)的是俄羅斯方塊，那顯然不合格。它還會(huì)評(píng)估視覺(jué)設(shè)計(jì)是否吸引人，音效是否搭配得當(dāng)，游戲行為是否正常運(yùn)行。對(duì)于游戲類(lèi)內(nèi)容，它還會(huì)特別關(guān)注游戲性是否有趣、AI控制的角色是否表現(xiàn)得聰明。對(duì)于動(dòng)畫(huà)類(lèi)內(nèi)容，它則更注重動(dòng)作的流暢性和創(chuàng)意表現(xiàn)。

最有趣的是，AVR-Eval不是一個(gè)模型單打獨(dú)斗，而是兩個(gè)AI的通力合作。第一個(gè)AI專(zhuān)門(mén)負(fù)責(zé)觀看游戲錄像并做出初步判斷，就像一個(gè)經(jīng)驗(yàn)豐富的游戲測(cè)試員。然后，一個(gè)更強(qiáng)大的文本AI會(huì)審查這個(gè)判斷，做出最終決定，就像一個(gè)資深編輯在審核測(cè)試員的報(bào)告。

研究團(tuán)隊(duì)通過(guò)大量測(cè)試驗(yàn)證了這個(gè)評(píng)測(cè)系統(tǒng)的可靠性。他們發(fā)現(xiàn)，AVR-Eval幾乎不會(huì)被有問(wèn)題的游戲蒙騙，比如遇到只顯示標(biāo)題畫(huà)面的半成品游戲，它只有0.91%的概率會(huì)給出好評(píng)。面對(duì)內(nèi)容不符的游戲，比如要求做煙花動(dòng)畫(huà)卻做成了彈球游戲，它只有6.47%的概率會(huì)搞錯(cuò)。更重要的是，當(dāng)把人類(lèi)制作的高質(zhì)量游戲和AI生成的游戲放在一起比較時(shí)，AVR-Eval在67.78%的情況下都能正確識(shí)別出人類(lèi)作品更優(yōu)秀。

二、多才多藝的游戲制作大師

有了可靠的評(píng)測(cè)師，接下來(lái)就該看看真正的游戲制作專(zhuān)家AVR-Agent是如何工作的。如果說(shuō)制作游戲就像烹飪一道復(fù)雜的大餐，那么AVR-Agent就是一個(gè)既懂得挑選食材，又掌握烹飪技巧，還能根據(jù)食客反饋不斷改進(jìn)的全能廚師。

AVR-Agent的工作流程就像一個(gè)有條不紊的創(chuàng)作過(guò)程。首先，當(dāng)收到制作游戲的需求時(shí)，比如"制作一個(gè)2D平臺(tái)跳躍游戲"，它會(huì)像一個(gè)經(jīng)驗(yàn)豐富的廚師準(zhǔn)備食材一樣，從龐大的資源庫(kù)中精心挑選合適的圖片、音效和3D模型。這個(gè)資源庫(kù)就像一個(gè)裝備齊全的廚房，里面有各種風(fēng)格的游戲資源，從復(fù)古像素風(fēng)格到現(xiàn)代3D模型應(yīng)有盡有。

接下來(lái)進(jìn)入最關(guān)鍵的創(chuàng)作階段。AVR-Agent不會(huì)只做一個(gè)版本就滿足，而是像一個(gè)追求完美的藝術(shù)家，會(huì)先制作好幾個(gè)不同的初始版本。然后，它會(huì)請(qǐng)AVR-Eval這個(gè)專(zhuān)業(yè)評(píng)測(cè)師來(lái)看看哪個(gè)版本最有潛力，選出最好的那個(gè)作為基礎(chǔ)繼續(xù)改進(jìn)。這就像一個(gè)畫(huà)家會(huì)先畫(huà)幾個(gè)草稿，選出最滿意的那個(gè)再精心雕琢。

最精彩的部分是迭代改進(jìn)過(guò)程。AVR-Agent會(huì)讓自己制作的游戲真正運(yùn)行起來(lái)，就像廚師會(huì)親自品嘗自己做的菜一樣。它會(huì)錄制游戲的運(yùn)行畫(huà)面和聲音，然后請(qǐng)一個(gè)專(zhuān)門(mén)的AI助手觀看這些錄像，提供詳細(xì)的反饋意見(jiàn)。這個(gè)AI助手就像一個(gè)誠(chéng)實(shí)的朋友，會(huì)指出游戲哪里做得好，哪里還需要改進(jìn)。同時(shí)，AVR-Agent還會(huì)檢查代碼運(yùn)行過(guò)程中是否出現(xiàn)錯(cuò)誤信息，就像廚師會(huì)注意爐火是否正常、調(diào)料是否充足。

基于這些多方面的反饋，AVR-Agent會(huì)對(duì)游戲進(jìn)行修改和完善。這個(gè)過(guò)程可能會(huì)重復(fù)很多次，每一次都讓游戲變得更好一點(diǎn)。研究團(tuán)隊(duì)設(shè)定的默認(rèn)流程是進(jìn)行10到20次這樣的改進(jìn)循環(huán)，就像一個(gè)工匠會(huì)反復(fù)打磨自己的作品直到滿意為止。

特別值得一提的是，AVR-Agent在處理游戲時(shí)還考慮了一個(gè)實(shí)際問(wèn)題：游戲需要玩家操作才能展現(xiàn)其魅力。為了讓評(píng)測(cè)過(guò)程能夠順利進(jìn)行，AVR-Agent會(huì)為每個(gè)游戲自動(dòng)添加AI控制功能，讓虛擬玩家能夠智能地玩游戲，展示游戲的各種特性。當(dāng)然，它也會(huì)保留人類(lèi)玩家接管控制的選項(xiàng)。

三、實(shí)戰(zhàn)測(cè)試的意外發(fā)現(xiàn)

研究團(tuán)隊(duì)對(duì)這套系統(tǒng)進(jìn)行了全面的實(shí)戰(zhàn)測(cè)試，結(jié)果既有令人欣喜的成功，也有出人意料的發(fā)現(xiàn)。他們選擇了10個(gè)不同類(lèi)型的項(xiàng)目進(jìn)行測(cè)試，包括5個(gè)動(dòng)畫(huà)項(xiàng)目（彈球物理模擬、3D立方體旋轉(zhuǎn)、煙花粒子效果、鐘擺運(yùn)動(dòng)、太陽(yáng)系軌道模擬）和5個(gè)游戲項(xiàng)目（2D平臺(tái)跳躍、格斗游戲、保齡球、紙牌接龍、放置類(lèi)游戲）。

測(cè)試涉及了9個(gè)不同的編程AI模型，從閉源的商業(yè)模型到開(kāi)源的社區(qū)模型，規(guī)模從160億參數(shù)的輕量級(jí)模型到6710億參數(shù)的超大規(guī)模模型。這就像是邀請(qǐng)了各種水平的廚師來(lái)參加同一個(gè)烹飪比賽，有的是米其林餐廳的主廚，有的是剛剛學(xué)會(huì)基本技能的新手。

最令人鼓舞的發(fā)現(xiàn)是，AVR-Agent確實(shí)能夠顯著提升游戲制作質(zhì)量。在對(duì)比測(cè)試中，使用AVR-Agent制作的游戲比簡(jiǎn)單的一次性生成要好得多。具體來(lái)說(shuō)，在所有測(cè)試案例中，有79.2%的情況下AVR-Agent的最終作品都比初始版本更優(yōu)秀。這就像是告訴我們，反復(fù)修改和完善確實(shí)能讓作品變得更好。

特別有趣的是關(guān)于"選擇最佳初始版本"策略的發(fā)現(xiàn)。研究發(fā)現(xiàn)，與其花費(fèi)同樣的計(jì)算資源來(lái)進(jìn)行更多輪次的改進(jìn)，不如在開(kāi)始時(shí)就制作多個(gè)候選版本，然后選擇最好的那個(gè)進(jìn)行后續(xù)改進(jìn)。這個(gè)發(fā)現(xiàn)就像是告訴我們，在雕刻一塊木頭之前，先從幾塊原材料中挑選質(zhì)地最好的那塊，比在質(zhì)地一般的木頭上花費(fèi)更多工夫要明智得多。

然而，最出人意料的發(fā)現(xiàn)是關(guān)于資源和反饋的作用。按照常理推測(cè)，給AI提供高質(zhì)量的圖片、音效等資源，應(yīng)該能幫助它制作出更好的游戲，就像給廚師提供優(yōu)質(zhì)食材應(yīng)該能做出更好的菜一樣。但測(cè)試結(jié)果顯示，當(dāng)前的AI模型并不能有效利用這些外部資源。同樣令人困惑的是，盡管AVR-Agent能夠獲得詳細(xì)的音視頻反饋，但這些反饋對(duì)改進(jìn)效果的幫助也很有限。

這個(gè)發(fā)現(xiàn)揭示了人類(lèi)和AI在創(chuàng)作過(guò)程中的根本性差異。對(duì)于人類(lèi)游戲開(kāi)發(fā)者來(lái)說(shuō)，高質(zhì)量的美術(shù)資源和來(lái)自測(cè)試玩家的反饋是制作優(yōu)秀游戲的關(guān)鍵要素。但對(duì)于當(dāng)前的AI模型來(lái)說(shuō)，它們似乎更依賴于自身的訓(xùn)練數(shù)據(jù)和內(nèi)在邏輯，而不太善于整合外部資源和反饋信息。

四、不同模型的表現(xiàn)差異

在這場(chǎng)AI游戲制作大賽中，不同模型的表現(xiàn)差異相當(dāng)明顯。Qwen3-Coder-480B這個(gè)擁有4800億參數(shù)的超大模型表現(xiàn)最為出色，緊隨其后的是Kimi-K2-1T模型。這兩個(gè)模型就像是經(jīng)驗(yàn)豐富的全能開(kāi)發(fā)者，不僅代碼寫(xiě)得好，對(duì)游戲設(shè)計(jì)也很有見(jiàn)解。

有趣的是，模型規(guī)模并不總是決定性因素。一些專(zhuān)門(mén)針對(duì)編程任務(wù)優(yōu)化的中等規(guī)模模型，表現(xiàn)往往比通用的大型模型更好。這就像專(zhuān)業(yè)的面包師在制作糕點(diǎn)時(shí)，往往比全能的大廚更有優(yōu)勢(shì)一樣。研究團(tuán)隊(duì)發(fā)現(xiàn)，那些在大量代碼數(shù)據(jù)上專(zhuān)門(mén)訓(xùn)練過(guò)的模型，更容易理解游戲制作的復(fù)雜需求。

令人意外的是，一些較小的模型，比如只有240億參數(shù)的Devstral-Small-2505，在某些測(cè)試中表現(xiàn)得非常不錯(cuò)。這說(shuō)明模型的訓(xùn)練質(zhì)量和專(zhuān)業(yè)化程度比純粹的規(guī)模更重要。就像一個(gè)專(zhuān)精某種菜系的小餐廳主廚，可能比大酒店的總廚在特定菜品上做得更出色。

五、技術(shù)細(xì)節(jié)的巧思

這項(xiàng)研究在技術(shù)實(shí)現(xiàn)上有許多巧妙的設(shè)計(jì)。比如在處理網(wǎng)頁(yè)音頻播放的問(wèn)題上，由于瀏覽器的安全策略通常禁止自動(dòng)播放音頻，AVR-Agent會(huì)聰明地在游戲中添加一個(gè)特定的開(kāi)始按鈕，并讓測(cè)試系統(tǒng)自動(dòng)點(diǎn)擊這個(gè)按鈕來(lái)啟動(dòng)音頻。這種細(xì)節(jié)考慮就像一個(gè)貼心的管家，會(huì)提前解決客人可能遇到的小麻煩。

為了確保游戲測(cè)試的全面性，AVR-Agent還為每個(gè)游戲自動(dòng)添加了AI玩家功能。這些虛擬玩家會(huì)智能地操作游戲，展示游戲的各種特性和功能。同時(shí)，它們也保留了讓人類(lèi)玩家隨時(shí)接管的選項(xiàng)。這就像是為每道菜都配備了專(zhuān)業(yè)的品鑒師，確保每個(gè)細(xì)節(jié)都能被充分展示和評(píng)估。

評(píng)測(cè)系統(tǒng)AVR-Eval采用了多輪對(duì)話的方式來(lái)提高判斷準(zhǔn)確性。它不是簡(jiǎn)單地一次性對(duì)比兩個(gè)游戲，而是先分別詳細(xì)觀察和描述每個(gè)游戲，然后再進(jìn)行比較。這種方法就像是一個(gè)認(rèn)真的評(píng)委，會(huì)先仔細(xì)品味每道菜，記錄詳細(xì)的感受，最后再做出綜合判斷。

六、面向未來(lái)的設(shè)想

研究團(tuán)隊(duì)已經(jīng)考慮到了技術(shù)發(fā)展的趨勢(shì)，設(shè)計(jì)了AVR-Agent 2.0的框架。目前的系統(tǒng)需要兩個(gè)不同的AI分工合作：一個(gè)專(zhuān)門(mén)寫(xiě)代碼，另一個(gè)專(zhuān)門(mén)分析音視頻。但隨著多模態(tài)AI技術(shù)的發(fā)展，未來(lái)可能會(huì)出現(xiàn)既能編程又能直接處理音視頻的全能AI模型。到那時(shí)，整個(gè)系統(tǒng)會(huì)變得更加簡(jiǎn)潔高效，就像從需要多個(gè)專(zhuān)業(yè)廚師協(xié)作的復(fù)雜廚房，進(jìn)化為一個(gè)全能大廚獨(dú)立操作的高效工作臺(tái)。

研究團(tuán)隊(duì)還準(zhǔn)備了一個(gè)更具挑戰(zhàn)性的測(cè)試基準(zhǔn)，包括需要大型團(tuán)隊(duì)多年開(kāi)發(fā)的3A級(jí)游戲項(xiàng)目，比如包含多個(gè)星系和行星的3D太空開(kāi)放世界游戲，或者擁有多個(gè)角色和不同技能樹(shù)的角色扮演游戲。這些項(xiàng)目就像是烹飪界的"滿漢全席"，目前的AI還無(wú)法勝任，但為未來(lái)的技術(shù)發(fā)展提供了明確的目標(biāo)。

七、對(duì)普通人意味著什么

這項(xiàng)研究的意義遠(yuǎn)超出了游戲制作領(lǐng)域。它展示了AI如何通過(guò)觀察自己的"作品"來(lái)進(jìn)行自我改進(jìn)，這種能力可能會(huì)在很多創(chuàng)作領(lǐng)域發(fā)揮作用。將來(lái)，我們可能會(huì)看到AI不僅能制作游戲，還能創(chuàng)作交互式教育內(nèi)容、制作個(gè)性化的娛樂(lè)體驗(yàn)，甚至幫助普通人實(shí)現(xiàn)自己的創(chuàng)意想法。

對(duì)于游戲愛(ài)好者來(lái)說(shuō)，這項(xiàng)技術(shù)可能會(huì)讓游戲制作變得更加平民化。以前需要掌握編程、美術(shù)、音效等多種技能才能制作游戲，現(xiàn)在或許只需要用自然語(yǔ)言描述自己的想法，AI就能幫助實(shí)現(xiàn)。這就像從需要專(zhuān)業(yè)烹飪技能才能做出美食，變成了只需要描述口味偏好就能獲得定制菜譜一樣。

不過(guò)，這項(xiàng)研究也提醒我們，AI雖然在某些方面已經(jīng)很強(qiáng)大，但在整合多種資源和利用反饋方面還有很大的提升空間。這說(shuō)明人類(lèi)的創(chuàng)造力和綜合判斷能力在很長(zhǎng)時(shí)間內(nèi)仍然是不可替代的。AI更像是一個(gè)強(qiáng)大的工具，能夠幫助人類(lèi)更好地表達(dá)創(chuàng)意，而不是完全取代人類(lèi)的創(chuàng)造過(guò)程。

研究團(tuán)隊(duì)坦誠(chéng)地指出了當(dāng)前技術(shù)的局限性。他們發(fā)現(xiàn)，雖然AVR-Eval已經(jīng)相當(dāng)可靠，但仍然會(huì)在0.91%的情況下對(duì)有問(wèn)題的內(nèi)容給出錯(cuò)誤評(píng)價(jià)。此外，這個(gè)系統(tǒng)目前還沒(méi)有直接接受人類(lèi)偏好測(cè)試，所以我們還不確定它的判斷是否真的符合普通玩家的喜好。

說(shuō)到底，這項(xiàng)研究就像是給AI裝上了一雙能夠觀察自己作品的眼睛，讓它能夠不斷學(xué)習(xí)和改進(jìn)。雖然目前的AI還不能完全像人類(lèi)那樣靈活地運(yùn)用各種資源和反饋，但這種"邊做邊學(xué)"的能力本身就是一個(gè)重大突破。隨著技術(shù)的不斷發(fā)展，我們有理由期待未來(lái)的AI能夠成為更加得力的創(chuàng)作伙伴，幫助更多人將創(chuàng)意變成現(xiàn)實(shí)。

這個(gè)研究最有價(jià)值的地方可能在于它提出了一個(gè)全新的思路：不是讓AI一次性生成完美的作品，而是讓它學(xué)會(huì)持續(xù)改進(jìn)。這種思路不僅適用于游戲制作，還可能在很多其他創(chuàng)作領(lǐng)域發(fā)揮作用，最終讓AI成為真正理解創(chuàng)作過(guò)程的智能助手。

Q&A

Q1：AVR-Eval是什么？它是如何判斷游戲好壞的？

A：AVR-Eval是一個(gè)AI游戲評(píng)測(cè)系統(tǒng)，它通過(guò)錄制游戲的畫(huà)面和聲音來(lái)判斷質(zhì)量。工作時(shí)會(huì)先讓專(zhuān)門(mén)的AI觀看游戲錄像并描述表現(xiàn)，然后由更強(qiáng)大的文本AI做出最終評(píng)判，就像專(zhuān)業(yè)評(píng)委品嘗美食一樣仔細(xì)分析每個(gè)細(xì)節(jié)。

Q2：AVR-Agent制作的游戲質(zhì)量如何？比人工制作的好嗎？

A：AVR-Agent制作的游戲比簡(jiǎn)單的一次性AI生成要好很多，在79.2%的測(cè)試中都優(yōu)于初始版本。但與人類(lèi)制作的高質(zhì)量游戲相比還有差距，人類(lèi)作品在67.78%的情況下被評(píng)為更優(yōu)秀。不過(guò)它已經(jīng)能制作出可以正常運(yùn)行和游玩的完整游戲。

Q3：普通人能使用這個(gè)技術(shù)制作游戲嗎？什么時(shí)候能普及？

A：目前這還是研究階段的技術(shù)，普通人暫時(shí)無(wú)法直接使用。研究團(tuán)隊(duì)已經(jīng)在GitHub上開(kāi)源了代碼，但需要一定的技術(shù)背景才能運(yùn)行。隨著技術(shù)發(fā)展，未來(lái)可能會(huì)出現(xiàn)更簡(jiǎn)單易用的版本，讓普通人也能通過(guò)描述想法來(lái)制作游戲。