這項(xiàng)由騰訊公司微信視覺(jué)團(tuán)隊(duì)的薛博文、嚴(yán)啟新、王文靖、劉昊、李晨等研究者完成的突破性研究，于2025年8月發(fā)表在計(jì)算機(jī)視覺(jué)領(lǐng)域頂級(jí)會(huì)議上。該研究提出了名為"Stand-In"的輕量化視頻生成框架，僅使用約1%的額外訓(xùn)練參數(shù)就能實(shí)現(xiàn)高質(zhì)量的身份保持視頻生成。感興趣的讀者可以通過(guò)arXiv:2508.07901v2訪問(wèn)完整論文，或訪問(wèn)項(xiàng)目網(wǎng)站https://stand-in-video.github.io/了解更多詳情。

當(dāng)你拍完一張自拍照后，如果有人告訴你，僅僅憑借這張照片就能生成一段你在做陶藝、當(dāng)主播或者畫畫的高質(zhì)量視頻，而且視頻中的你看起來(lái)就像真的在現(xiàn)場(chǎng)一樣自然，你會(huì)相信嗎？這聽起來(lái)像科幻電影里的情節(jié)，但騰訊的研究團(tuán)隊(duì)已經(jīng)讓它成為現(xiàn)實(shí)。

傳統(tǒng)的AI視頻生成就像是一個(gè)健忘的畫家。你給它看了一張人臉照片，它開始畫視頻的時(shí)候，可能第一幀還記得你的長(zhǎng)相，但畫到后面幾幀就開始"走樣"——要么眼睛變了形狀，要么臉型完全不對(duì)，甚至連基本的面部特征都保持不住。這就是目前AI視頻生成面臨的最大難題：身份保持能力差。

現(xiàn)有的解決方案通常有兩種思路。第一種像是給AI配了一個(gè)"面部識(shí)別助手"，專門負(fù)責(zé)提取人臉特征，但這種方法就像戴著有色眼鏡看世界，往往抓不住人臉的細(xì)微特征，生成的視頻看起來(lái)很假。第二種方法則像是讓整個(gè)AI大腦重新學(xué)習(xí)，需要調(diào)整模型中的每一個(gè)參數(shù)，這不僅需要巨大的計(jì)算資源，還像是為了換個(gè)輪胎而重新造車，效率極低且難以與其他應(yīng)用兼容。

騰訊團(tuán)隊(duì)的"Stand-In"方法則完全不同，它更像是一個(gè)聰明的"替身演員系統(tǒng)"。當(dāng)你給它一張參考照片時(shí)，它不是簡(jiǎn)單地記住這張照片的表面特征，而是將照片直接"請(qǐng)"到視頻生成的內(nèi)部世界中，讓照片和視頻在同一個(gè)"舞臺(tái)"上互動(dòng)。這樣一來(lái)，生成視頻的每一幀都能隨時(shí)"參考"原始照片，確保人物的面部特征始終保持一致。

更令人驚訝的是，這個(gè)系統(tǒng)的學(xué)習(xí)能力極強(qiáng)。研究團(tuán)隊(duì)僅僅用2000對(duì)圖片和視頻數(shù)據(jù)就訓(xùn)練出了這個(gè)模型，而且只需要調(diào)整整個(gè)AI大腦中1%的參數(shù)。這就好比你想學(xué)會(huì)一門新技能，不需要忘掉之前所有的知識(shí)重新開始，只需要在大腦中開辟一個(gè)很小的新區(qū)域?qū)ｉT處理這項(xiàng)新技能就夠了。

一、技術(shù)創(chuàng)新的核心秘密

Stand-In方法的核心創(chuàng)新在于引入了一個(gè)"條件圖像分支"的概念。想象一下，傳統(tǒng)的視頻生成就像是一個(gè)獨(dú)立工作的動(dòng)畫師，只能憑記憶畫出人物。而Stand-In則像是在動(dòng)畫師旁邊放了一面鏡子，讓他可以隨時(shí)參照原始照片進(jìn)行創(chuàng)作。

這個(gè)"鏡子"的實(shí)現(xiàn)方式非常巧妙。研究團(tuán)隊(duì)沒(méi)有使用額外的面部編碼器，而是直接利用視頻生成模型自帶的VAE編碼器。VAE編碼器就像是AI的"視覺(jué)理解系統(tǒng)"，原本用來(lái)理解視頻內(nèi)容，現(xiàn)在也被用來(lái)理解參考照片。這樣做的好處是照片和視頻會(huì)被轉(zhuǎn)換到同一個(gè)"語(yǔ)言系統(tǒng)"中，就像兩個(gè)人說(shuō)同一種語(yǔ)言交流會(huì)更順暢一樣。

接下來(lái)是更精彩的部分：受限自注意力機(jī)制。這聽起來(lái)很復(fù)雜，但實(shí)際上就像是設(shè)計(jì)了一套"交流規(guī)則"。在這個(gè)規(guī)則下，視頻的每一幀都可以"詢問(wèn)"參考照片中的信息，獲取需要的面部特征。但參考照片始終保持"靜態(tài)顧問(wèn)"的角色，不會(huì)被視頻內(nèi)容影響而改變。這就確保了參考照片的信息始終純凈可靠。

為了讓這套交流系統(tǒng)更加高效，研究團(tuán)隊(duì)還設(shè)計(jì)了"條件位置映射"策略。這相當(dāng)于給參考照片和視頻幀分配了不同的"座位號(hào)"。參考照片被分配到一個(gè)特殊的時(shí)空坐標(biāo)系統(tǒng)中，時(shí)間維度固定為-1（表示它不屬于任何具體時(shí)刻，而是一個(gè)永恒的參考），空間維度則被分配到一個(gè)獨(dú)立的坐標(biāo)區(qū)域。這樣的安排確保了AI能夠清楚地區(qū)分哪些信息來(lái)自參考照片，哪些來(lái)自正在生成的視頻，避免了信息混淆。

二、輕量化設(shè)計(jì)的巧思

Stand-In最讓人印象深刻的特點(diǎn)就是它的輕量化設(shè)計(jì)。整個(gè)系統(tǒng)只在圖像分支的查詢、鍵值投影層中加入了LoRA（低秩適應(yīng)）模塊，參數(shù)量?jī)H為153M，占基礎(chǔ)模型（14B參數(shù)的Wan2.1）的約1%。這就像是在一座大型工廠里只添加了一個(gè)小小的控制室，就能實(shí)現(xiàn)全新的生產(chǎn)功能。

LoRA技術(shù)本身就像是在原有系統(tǒng)上加裝的"智能插件"。它不改變?cè)邢到y(tǒng)的主體結(jié)構(gòu)，只是在關(guān)鍵位置添加一些小的調(diào)節(jié)裝置。這些裝置能夠?qū)W習(xí)如何處理身份信息，但不會(huì)干擾原有的視頻生成能力。更重要的是，由于改動(dòng)很小，這個(gè)插件可以輕松地與其他應(yīng)用結(jié)合，實(shí)現(xiàn)即插即用的效果。

在推理階段，系統(tǒng)還采用了KV緩存技術(shù)。由于參考圖像的時(shí)間步長(zhǎng)固定為0，它的鍵值矩陣在整個(gè)生成過(guò)程中保持不變。系統(tǒng)會(huì)在第一步計(jì)算時(shí)將這些信息存儲(chǔ)起來(lái)，后續(xù)步驟直接調(diào)用緩存的結(jié)果。這就像是把常用的工具放在手邊，避免每次都去工具箱里找，大大提高了生成效率。實(shí)驗(yàn)顯示，使用KV緩存后，推理時(shí)間僅增加2.3%，計(jì)算量增加0.07%，幾乎可以忽略不計(jì)。

三、訓(xùn)練數(shù)據(jù)的精心準(zhǔn)備

研究團(tuán)隊(duì)構(gòu)建了一個(gè)包含2000個(gè)高分辨率視頻序列的人像數(shù)據(jù)集。這個(gè)數(shù)據(jù)集雖然規(guī)模不大，但質(zhì)量極高，涵蓋了不同種族、年齡、性別和各種動(dòng)作場(chǎng)景。每個(gè)視頻都經(jīng)過(guò)精心處理：首先將視頻重采樣到25FPS，然后裁剪并調(diào)整到832×480像素分辨率，最后從中隨機(jī)采樣81幀連續(xù)畫面用于訓(xùn)練。

參考人臉圖像的提取過(guò)程同樣考慮周全。系統(tǒng)會(huì)從原始視頻中隨機(jī)選擇5幀，使用RetinaFace技術(shù)檢測(cè)并裁剪人臉區(qū)域，將其調(diào)整到512×512像素。更有趣的是，為了防止背景信息的干擾，系統(tǒng)會(huì)使用BiSeNet進(jìn)行人臉?lè)指睿瑢⒈尘疤鎿Q為純白色。這確保了AI學(xué)習(xí)的焦點(diǎn)完全集中在面部特征上，而不會(huì)被背景信息誤導(dǎo)。

每個(gè)訓(xùn)練樣本都配有詳細(xì)的文本描述，這些描述是使用VILA多模態(tài)字幕框架自動(dòng)生成的。這就像是為每段視頻配了一個(gè)詳細(xì)的解說(shuō)詞，幫助AI理解視頻內(nèi)容與文字指令之間的對(duì)應(yīng)關(guān)系。這種文本-視頻對(duì)齊的設(shè)計(jì)確保了生成的視頻不僅在視覺(jué)上保持身份一致，在內(nèi)容上也能準(zhǔn)確響應(yīng)用戶的文字指令。

四、實(shí)驗(yàn)結(jié)果令人驚喜

在OpenS2V基準(zhǔn)測(cè)試中，Stand-In在三個(gè)關(guān)鍵指標(biāo)上都表現(xiàn)出色。面部相似度得分達(dá)到0.724，遠(yuǎn)超其他方法，這意味著生成視頻中的人物面部特征與參考照片的匹配度極高。自然度評(píng)分為3.922（滿分5分），說(shuō)明生成的視頻看起來(lái)非常真實(shí)自然，沒(méi)有明顯的AI痕跡。提示跟隨能力得分20.594，在開源方法中排名第一，證明系統(tǒng)能夠準(zhǔn)確理解并執(zhí)行用戶的文字指令。

更重要的是參數(shù)效率的對(duì)比。傳統(tǒng)方法如Phantom需要1.3B或14B的訓(xùn)練參數(shù)，ConsistID需要5B參數(shù)，而Stand-In僅需0.15B參數(shù)就實(shí)現(xiàn)了最佳效果。這就像是用最少的材料建造出了最堅(jiān)固的房子，展現(xiàn)了方法設(shè)計(jì)的巧妙性。

用戶研究結(jié)果進(jìn)一步驗(yàn)證了Stand-In的優(yōu)越性。20名參與者對(duì)隨機(jī)選擇的10個(gè)測(cè)試視頻進(jìn)行評(píng)分，Stand-In在面部相似度和視頻質(zhì)量?jī)蓚€(gè)維度上的得分都明顯高于競(jìng)爭(zhēng)對(duì)手。面部相似度得分4.10（滿分5分），視頻質(zhì)量得分4.08，均為參評(píng)方法中的最高分。

五、多場(chǎng)景應(yīng)用的驚人表現(xiàn)

Stand-In最令人驚喜的特點(diǎn)是它的泛化能力和即插即用特性。雖然只使用真人數(shù)據(jù)進(jìn)行訓(xùn)練，但它能夠零樣本應(yīng)用到其他主體上，比如動(dòng)畫角色、玩具熊等非人類對(duì)象。這就像是一個(gè)只學(xué)過(guò)畫人像的畫家，突然發(fā)現(xiàn)自己也能畫出驚人的動(dòng)物肖像。這種能力來(lái)源于系統(tǒng)使用預(yù)訓(xùn)練VAE提取豐富特征，以及通過(guò)有效注意力機(jī)制學(xué)習(xí)對(duì)齊的設(shè)計(jì)理念。

在姿態(tài)引導(dǎo)視頻生成任務(wù)中，Stand-In展現(xiàn)出了出色的兼容性。通過(guò)與VACE框架的結(jié)合，系統(tǒng)能夠根據(jù)給定的姿態(tài)序列生成相應(yīng)的視頻，同時(shí)保持面部身份的高度一致性。這種兼容性源于Stand-In基于LoRA模塊的設(shè)計(jì)，它能夠與其他DiT架構(gòu)的模型無(wú)縫集成。

視頻風(fēng)格化應(yīng)用更是展現(xiàn)了Stand-In的藝術(shù)潛力。結(jié)合不同的風(fēng)格化LoRA，系統(tǒng)能夠生成具有特定藝術(shù)風(fēng)格的視頻，比如宮崎駿動(dòng)畫風(fēng)格或紅線動(dòng)畫風(fēng)格，同時(shí)完美保持參考圖像的面部特征。這就像是讓一個(gè)演員能夠在不同的電影類型中表演，無(wú)論是科幻片還是動(dòng)畫片，都能保持自己獨(dú)特的表演風(fēng)格。

視頻換臉應(yīng)用通過(guò)零樣本修復(fù)技術(shù)實(shí)現(xiàn)，能夠?qū)⒖紙D像中的面部特征無(wú)縫替換到目標(biāo)視頻中。整個(gè)過(guò)程不僅實(shí)現(xiàn)了高質(zhì)量的面部身份轉(zhuǎn)移，還保持了強(qiáng)大的時(shí)間連續(xù)性，生成的視頻看起來(lái)連貫自然，沒(méi)有閃爍或不一致的現(xiàn)象。

六、核心組件的重要性驗(yàn)證

研究團(tuán)隊(duì)通過(guò)消融實(shí)驗(yàn)驗(yàn)證了系統(tǒng)各個(gè)組件的重要性。當(dāng)移除受限自注意力機(jī)制，僅依靠無(wú)訓(xùn)練的自注意力機(jī)制時(shí)，面部相似度得分從0.724驟降至0.022，幾乎完全失去了身份保持能力。這說(shuō)明簡(jiǎn)單的注意力機(jī)制無(wú)法建立有效的圖像-視頻信息交換，必須通過(guò)專門設(shè)計(jì)的受限機(jī)制才能實(shí)現(xiàn)精準(zhǔn)的身份控制。

條件位置映射的作用同樣關(guān)鍵。當(dāng)移除參考圖像的位置映射時(shí)，系統(tǒng)的性能同樣大幅下降，面部相似度得分降至0.021。這證明了為參考圖像分配獨(dú)立坐標(biāo)空間的重要性，只有這樣AI才能清楚地區(qū)分參考信息和生成內(nèi)容，避免信息混淆導(dǎo)致的性能下降。

這些實(shí)驗(yàn)結(jié)果充分說(shuō)明了Stand-In設(shè)計(jì)的每個(gè)細(xì)節(jié)都是經(jīng)過(guò)深思熟慮的。受限自注意力和條件位置映射不是可有可無(wú)的裝飾，而是系統(tǒng)正常工作的關(guān)鍵組件。它們的協(xié)同工作確保了參考圖像能夠有效指導(dǎo)視頻生成，同時(shí)保持系統(tǒng)的輕量化特性。

七、技術(shù)實(shí)現(xiàn)的精妙細(xì)節(jié)

Stand-In的推理過(guò)程就像是一場(chǎng)精心編排的交響樂(lè)演出。每當(dāng)生成新的視頻幀時(shí)，系統(tǒng)首先會(huì)為參考圖像和當(dāng)前視頻幀分別計(jì)算查詢、鍵值矩陣。參考圖像的時(shí)間步長(zhǎng)始終保持為0，確保它作為靜態(tài)條件存在。然后，系統(tǒng)會(huì)對(duì)這些矩陣應(yīng)用3D旋轉(zhuǎn)位置編碼，為參考圖像分配獨(dú)特的坐標(biāo)空間。

在自注意力計(jì)算階段，參考圖像的查詢只與自身的鍵值進(jìn)行交互，保持信息的純凈性。而視頻查詢則可以同時(shí)訪問(wèn)視頻鍵值和圖像鍵值的連接，獲取豐富的參考信息。這種不對(duì)稱的設(shè)計(jì)確保了信息流動(dòng)的單向性：從參考圖像到視頻，而不是相互影響。

系統(tǒng)的訓(xùn)練過(guò)程也展現(xiàn)了效率優(yōu)勢(shì)。使用Nvidia H20 GPU，批量大小為48，僅需3000個(gè)訓(xùn)練步驟就能收斂。這相比其他需要數(shù)萬(wàn)步訓(xùn)練的方法來(lái)說(shuō)，訓(xùn)練時(shí)間大大縮短。更重要的是，由于只需要調(diào)整很少的參數(shù)，訓(xùn)練過(guò)程非常穩(wěn)定，不容易出現(xiàn)過(guò)擬合或訓(xùn)練崩潰的問(wèn)題。

八、對(duì)比分析揭示獨(dú)特優(yōu)勢(shì)

通過(guò)與現(xiàn)有最先進(jìn)方法的詳細(xì)對(duì)比，Stand-In的優(yōu)勢(shì)變得更加明顯。在商業(yè)模型中，Kling、Hailuo等雖然在某些方面表現(xiàn)不錯(cuò)，但在面部相似度上明顯不如Stand-In。在開源模型中，HunyuanCustom等方法需要進(jìn)行全參數(shù)微調(diào)，參數(shù)量巨大且訓(xùn)練復(fù)雜，而Stand-In僅用1%的參數(shù)就達(dá)到了更好的效果。

特別值得注意的是，Stand-In在保持高質(zhì)量身份一致性的同時(shí)，并沒(méi)有犧牲其他方面的性能。無(wú)論是視頻的自然度還是對(duì)文本提示的響應(yīng)能力，都保持在很高的水準(zhǔn)。這種平衡性是很多其他方法難以實(shí)現(xiàn)的，它們往往在專注于身份保持時(shí)會(huì)損失視頻質(zhì)量或文本理解能力。

從技術(shù)路線上看，Stand-In代表了一種全新的思路。傳統(tǒng)方法要么依賴外部的面部編碼器，要么需要大規(guī)模的模型重訓(xùn)練。Stand-In則巧妙地利用了現(xiàn)有視頻生成模型的能力，通過(guò)最小的改動(dòng)實(shí)現(xiàn)了最大的效果提升。這種設(shè)計(jì)哲學(xué)不僅節(jié)省了資源，也為未來(lái)的技術(shù)發(fā)展指明了方向。

說(shuō)到底，Stand-In就像是給AI視頻生成系統(tǒng)裝上了一雙"火眼金睛"，讓它能夠牢牢記住人物的面部特征，無(wú)論生成什么樣的視頻內(nèi)容，人物看起來(lái)都像是同一個(gè)人。更重要的是，這雙"眼睛"非常輕便，不會(huì)給系統(tǒng)帶來(lái)沉重的負(fù)擔(dān)，還能和各種其他應(yīng)用完美搭配。

這項(xiàng)研究不僅解決了AI視頻生成中的核心難題，更為整個(gè)行業(yè)提供了一個(gè)全新的思路。當(dāng)我們談?wù)揂I技術(shù)的發(fā)展時(shí)，往往會(huì)想到更大的模型、更多的數(shù)據(jù)、更強(qiáng)的計(jì)算能力。但Stand-In告訴我們，有時(shí)候最聰明的解決方案不是用蠻力，而是用巧思。通過(guò)精心設(shè)計(jì)的架構(gòu)和算法，我們可以用最少的資源實(shí)現(xiàn)最好的效果。

對(duì)于普通用戶來(lái)說(shuō)，這意味著未來(lái)我們可能很快就能享受到高質(zhì)量的個(gè)性化視頻生成服務(wù)。無(wú)論是為社交媒體制作有趣的內(nèi)容，還是為商業(yè)宣傳制作專業(yè)視頻，只需要一張照片就能生成各種場(chǎng)景下的高質(zhì)量視頻。而對(duì)于開發(fā)者來(lái)說(shuō)，Stand-In的即插即用特性意味著他們可以輕松地將這項(xiàng)技術(shù)集成到自己的應(yīng)用中，創(chuàng)造出更多有趣的產(chǎn)品和服務(wù)。

這項(xiàng)技術(shù)的意義遠(yuǎn)不止于技術(shù)本身。它展現(xiàn)了AI研究中"少即是多"的哲學(xué)，證明了通過(guò)深入理解問(wèn)題本質(zhì)和巧妙的設(shè)計(jì)思路，我們可以用更少的資源解決更復(fù)雜的問(wèn)題。這種思路對(duì)于推動(dòng)AI技術(shù)的普及和應(yīng)用具有重要意義，讓更多的人能夠享受到AI技術(shù)帶來(lái)的便利，而不需要昂貴的計(jì)算設(shè)備或復(fù)雜的技術(shù)知識(shí)。

Q&A

Q1：Stand-In技術(shù)到底是怎么做到只用1%參數(shù)就能保持人臉一致的？

A：Stand-In采用了巧妙的"條件圖像分支"設(shè)計(jì)，就像在視頻生成過(guò)程中放了一面鏡子，讓AI隨時(shí)參照原始照片。它只在關(guān)鍵的查詢鍵值投影層加入輕量化的LoRA模塊，通過(guò)受限自注意力機(jī)制讓視頻幀能夠獲取參考照片信息，而參考照片始終保持靜態(tài)不變，確保身份信息的純凈傳遞。

Q2：Stand-In生成的視頻質(zhì)量如何，會(huì)不會(huì)看起來(lái)很假？

A：Stand-In在專業(yè)評(píng)測(cè)中表現(xiàn)優(yōu)異，面部相似度得分0.724，自然度評(píng)分3.922（滿分5分），在用戶研究中獲得4.08的視頻質(zhì)量評(píng)分。生成的視頻不僅人臉特征保持高度一致，整體畫面也非常自然真實(shí)，沒(méi)有明顯的AI生成痕跡，可以應(yīng)用于各種實(shí)際場(chǎng)景。

Q3：普通人現(xiàn)在能使用Stand-In技術(shù)嗎，有什么限制？

A：目前Stand-In還處于研究階段，騰訊團(tuán)隊(duì)已在GitHub上開源相關(guān)代碼和模型。雖然普通用戶暫時(shí)無(wú)法直接使用，但研究團(tuán)隊(duì)提供了完整的技術(shù)文檔和演示材料。由于其輕量化特性和即插即用設(shè)計(jì)，預(yù)計(jì)很快就能集成到各種視頻生成應(yīng)用中供普通用戶使用。