這項(xiàng)由ByteDance智能創(chuàng)作團(tuán)隊(duì)的陳博文、趙夢(mèng)儀、孫浩淼、陳力、王旭、杜康、吳興龍等研究人員共同完成的突破性研究，發(fā)表于2025年6月26日的arXiv預(yù)印本平臺(tái)。有興趣深入了解的讀者可以通過arXiv:2506.21416v1訪問完整論文，或在ByteDance的項(xiàng)目主頁https://bytedance.github.io/XVerse和GitHub倉庫https://github.com/bytedance/XVerse中了解更多技術(shù)細(xì)節(jié)。

在人工智能繪畫的世界里，一直存在著一個(gè)令人頭疼的問題。當(dāng)你想讓AI同時(shí)畫出多個(gè)特定的人物或物體時(shí)，它們往往會(huì)變成"四不像"——要么張冠李戴，要么面目模糊，就像一個(gè)新手畫師試圖同時(shí)畫兩個(gè)人的肖像，結(jié)果畫出來的臉誰也不像。這種現(xiàn)象在學(xué)術(shù)界被稱為"屬性糾纏"，簡(jiǎn)單說就是AI在處理多個(gè)對(duì)象時(shí)會(huì)"串線"，把不同對(duì)象的特征混在一起。

研究團(tuán)隊(duì)面臨的挑戰(zhàn)就像是要訓(xùn)練一個(gè)畫師，讓他能夠同時(shí)為多個(gè)客戶畫像，每個(gè)人都要畫得惟妙惟肖，而且還要能根據(jù)要求調(diào)整姿勢(shì)、光線和風(fēng)格。傳統(tǒng)的AI畫圖方法就像是讓畫師一邊畫畫一邊處理其他事情，結(jié)果往往顧此失彼，畫出來的作品質(zhì)量大打折扣。

為了解決這個(gè)難題，研究團(tuán)隊(duì)開發(fā)了一個(gè)名為XVerse的創(chuàng)新框架。這個(gè)系統(tǒng)的巧妙之處在于，它不是直接在畫布上"動(dòng)手腳"，而是從"指揮"層面入手?？梢园阉茸饕粋€(gè)聰明的藝術(shù)指導(dǎo)，通過調(diào)整畫師理解文字描述的方式來實(shí)現(xiàn)精確控制，而不是直接干預(yù)繪畫過程。

**一、傳統(tǒng)方法的困境與XVerse的創(chuàng)新思路**

在深入了解XVerse的工作原理之前，我們需要先理解傳統(tǒng)AI繪畫系統(tǒng)是如何工作的?，F(xiàn)代AI繪畫主要依賴于一種叫做"擴(kuò)散變換器"（DiT）的技術(shù)架構(gòu)。這就像是一個(gè)高度復(fù)雜的藝術(shù)工廠，其中有專門處理文字描述的車間和負(fù)責(zé)生成圖像的車間，它們通過一個(gè)精密的"調(diào)制機(jī)制"來協(xié)調(diào)工作。

這個(gè)調(diào)制機(jī)制就像工廠里的生產(chǎn)指令系統(tǒng)。當(dāng)你輸入"一個(gè)穿紅衣服的女人站在公園里"這樣的描述時(shí)，系統(tǒng)會(huì)生成一系列指令參數(shù)，告訴圖像生成車間應(yīng)該如何調(diào)整各個(gè)環(huán)節(jié)的工作狀態(tài)。這些參數(shù)控制著圖像生成過程中的各種細(xì)節(jié)，從整體構(gòu)圖到具體的顏色搭配。

然而，當(dāng)需要同時(shí)處理多個(gè)特定對(duì)象時(shí)，傳統(tǒng)方法往往采用直接注入的策略。這就像是在生產(chǎn)線上強(qiáng)行插入額外的零件，雖然能夠在一定程度上影響最終產(chǎn)品，但也會(huì)干擾整個(gè)生產(chǎn)流程的穩(wěn)定性。結(jié)果就是生成的圖像可能出現(xiàn)各種問題：人物面部扭曲、物體形狀怪異、或者不同對(duì)象的特征相互混淆。

XVerse的創(chuàng)新之處在于采用了一種更加巧妙的方法。它不是直接干預(yù)圖像生成過程，而是通過修改那些指令參數(shù)來實(shí)現(xiàn)控制。這就像是一個(gè)高明的生產(chǎn)經(jīng)理，通過調(diào)整工作指令而不是直接插手具體操作來確保產(chǎn)品質(zhì)量。

具體來說，XVerse會(huì)將用戶提供的參考圖像轉(zhuǎn)換成"偏移向量"，這些偏移向量會(huì)被加到原有的指令參數(shù)上，從而改變AI對(duì)文字描述的理解方式。比如說，當(dāng)你說"一個(gè)女人"時(shí)，原本AI可能理解為一個(gè)泛化的女性形象，但加上偏移向量后，它就會(huì)理解為"這個(gè)特定的女人"。

**二、XVerse的核心技術(shù)：文本流調(diào)制機(jī)制**

XVerse的核心技術(shù)可以比作一個(gè)精密的翻譯系統(tǒng)。當(dāng)你給AI看一張照片并說"我想要這個(gè)人出現(xiàn)在畫面中"時(shí)，XVerse首先會(huì)"閱讀"這張照片，提取出其中的關(guān)鍵信息，然后將這些信息轉(zhuǎn)換成AI能夠理解的"內(nèi)部語言"。

這個(gè)轉(zhuǎn)換過程使用了一個(gè)叫做"T-Mod適配器"的組件?？梢园堰@個(gè)適配器想象成一個(gè)專業(yè)的圖像解說員，它能夠觀察照片中的細(xì)節(jié)——比如人物的面部特征、服裝風(fēng)格、姿勢(shì)等等——然后用AI的"母語"來描述這些特征。

更重要的是，XVerse采用了一種"分層控制"的策略。就像一個(gè)樂隊(duì)指揮不僅要控制整體節(jié)奏，還要對(duì)不同樂器組給出具體指導(dǎo)一樣，XVerse會(huì)生成兩種類型的控制信號(hào)：一種是適用于整個(gè)生成過程的"共享偏移"，另一種是針對(duì)特定處理階段的"分塊偏移"。

這種分層控制的好處在于能夠?qū)崿F(xiàn)更精細(xì)的調(diào)節(jié)。共享偏移負(fù)責(zé)確保整體風(fēng)格和主要特征的一致性，而分塊偏移則可以在不同的處理階段強(qiáng)調(diào)不同的細(xì)節(jié)。比如在早期階段重點(diǎn)確保面部特征的準(zhǔn)確性，在后期階段則專注于服裝紋理和光影效果。

**三、VAE特征增強(qiáng)：細(xì)節(jié)的守護(hù)者**

雖然文本流調(diào)制機(jī)制已經(jīng)能夠?qū)崿F(xiàn)很好的控制效果，但研究團(tuán)隊(duì)發(fā)現(xiàn)僅僅依靠這種方法還不足以保持所有的細(xì)節(jié)信息。就像一個(gè)優(yōu)秀的畫師不僅需要理解客戶的要求，還需要觀察模特的實(shí)際樣子一樣，AI系統(tǒng)也需要直接"看到"參考圖像中的視覺細(xì)節(jié)。

為了解決這個(gè)問題，XVerse引入了一個(gè)輔助機(jī)制——VAE（變分自編碼器）特征增強(qiáng)。VAE可以比作一個(gè)專業(yè)的攝影助手，它能夠?qū)⒖紙D像轉(zhuǎn)換成AI更容易理解的"視覺筆記"。這些筆記包含了圖像中的精細(xì)紋理、光影變化、材質(zhì)特征等難以用文字描述的信息。

不過，研究團(tuán)隊(duì)在使用VAE特征時(shí)非常謹(jǐn)慎。他們沒有讓這些視覺特征主導(dǎo)整個(gè)生成過程，而是將其限制在系統(tǒng)的單個(gè)處理模塊中，讓它僅僅扮演"顧問"的角色。這就像是讓攝影助手只在關(guān)鍵時(shí)刻提供建議，而不是接管整個(gè)拍攝過程。

這種謹(jǐn)慎的設(shè)計(jì)是有原因的。如果讓視覺特征過度影響生成過程，就可能導(dǎo)致AI過度拘泥于參考圖像的具體細(xì)節(jié)，失去創(chuàng)造性和靈活性。而XVerse的目標(biāo)是在保持高度相似性的同時(shí)，依然能夠根據(jù)用戶的文字描述進(jìn)行靈活的調(diào)整和創(chuàng)新。

**四、多主體控制的復(fù)雜挑戰(zhàn)**

當(dāng)需要同時(shí)控制多個(gè)對(duì)象時(shí)，復(fù)雜性會(huì)急劇增加。這就像是要求一個(gè)畫師同時(shí)為三個(gè)不同的客戶畫肖像，每個(gè)人都有自己的特定要求，而且他們要出現(xiàn)在同一幅畫中。傳統(tǒng)的AI系統(tǒng)在面對(duì)這種情況時(shí)，往往會(huì)出現(xiàn)"張冠李戴"的問題——把A的頭發(fā)畫到B的臉上，或者把C的衣服穿到A身上。

為了解決這個(gè)問題，XVerse開發(fā)了一套精巧的"身份管理"系統(tǒng)。這個(gè)系統(tǒng)的工作原理類似于一個(gè)專業(yè)的人事經(jīng)理，能夠?yàn)槊總€(gè)需要控制的對(duì)象分配獨(dú)特的"身份標(biāo)識(shí)"，并確保在整個(gè)生成過程中這些身份不會(huì)混淆。

具體實(shí)現(xiàn)上，XVerse會(huì)為每個(gè)參考圖像生成專門的偏移向量，并將這些偏移向量與文本描述中的特定詞匯建立對(duì)應(yīng)關(guān)系。比如，當(dāng)用戶說"一個(gè)男人和一個(gè)女人站在一起"時(shí)，系統(tǒng)會(huì)自動(dòng)識(shí)別出"男人"和"女人"這兩個(gè)關(guān)鍵詞，然后將相應(yīng)的參考圖像特征分別注入到這兩個(gè)詞匯的理解過程中。

這種精確的對(duì)應(yīng)關(guān)系確保了每個(gè)對(duì)象都能保持自己的獨(dú)特特征，同時(shí)又能夠和諧地共存于同一幅畫面中。

**五、正則化技術(shù)：防止特征混亂的保險(xiǎn)機(jī)制**

即使有了精巧的控制機(jī)制，研究團(tuán)隊(duì)還是擔(dān)心在復(fù)雜場(chǎng)景中可能出現(xiàn)特征混亂的問題。為了進(jìn)一步提高系統(tǒng)的穩(wěn)定性，他們引入了兩種"保險(xiǎn)機(jī)制"——區(qū)域保護(hù)損失和文本-圖像注意力損失。

區(qū)域保護(hù)損失的工作原理就像是一個(gè)細(xì)心的質(zhì)檢員。在訓(xùn)練過程中，系統(tǒng)會(huì)創(chuàng)建一些特殊的測(cè)試樣本：將兩張不同的圖像左右拼接在一起，然后只對(duì)其中一側(cè)應(yīng)用特征注入。質(zhì)檢員會(huì)仔細(xì)檢查未被修改的一側(cè)是否保持了原有的特征，如果發(fā)現(xiàn)異常就會(huì)發(fā)出警告，促使系統(tǒng)調(diào)整策略。

文本-圖像注意力損失則扮演著"行為監(jiān)督員"的角色。它會(huì)持續(xù)監(jiān)控AI在理解文字描述時(shí)的"注意力分配"模式，確保這種模式與原始系統(tǒng)保持一致。這就像是確保一個(gè)演員在表演特定角色時(shí)，依然保持自己原有的表演風(fēng)格和習(xí)慣。

這兩種機(jī)制的結(jié)合使用，大大提高了XVerse在處理復(fù)雜多主體場(chǎng)景時(shí)的穩(wěn)定性和可靠性。即使在最具挑戰(zhàn)性的情況下，系統(tǒng)也能夠保持良好的控制效果和生成質(zhì)量。

**六、訓(xùn)練數(shù)據(jù)的精心構(gòu)建**

任何AI系統(tǒng)的成功都離不開高質(zhì)量的訓(xùn)練數(shù)據(jù)，XVerse也不例外。研究團(tuán)隊(duì)面臨的挑戰(zhàn)是如何獲得足夠多樣化和高質(zhì)量的多主體圖像數(shù)據(jù)。這就像是要為一個(gè)藝術(shù)學(xué)院收集各種類型的參考資料，既要數(shù)量充足，也要質(zhì)量上乘。

為了解決這個(gè)問題，團(tuán)隊(duì)開發(fā)了一套自動(dòng)化的數(shù)據(jù)收集和標(biāo)注流程。這個(gè)流程就像是一個(gè)智能的圖書管理員，能夠自動(dòng)閱讀圖像內(nèi)容，識(shí)別其中包含的不同對(duì)象，并為每個(gè)對(duì)象生成準(zhǔn)確的文字描述和位置標(biāo)注。

具體來說，系統(tǒng)首先使用Florence2模型來為圖像生成詳細(xì)的文字描述，然后使用大語言模型來篩選和分類這些描述中的關(guān)鍵信息。接著，使用SAM2模型來精確分割圖像中的不同對(duì)象，并為人物對(duì)象額外進(jìn)行面部檢測(cè)和提取。

這個(gè)流程處理了超過100萬張高分辨率圖像，構(gòu)建了一個(gè)前所未有的多實(shí)體數(shù)據(jù)集。為了進(jìn)一步提高數(shù)據(jù)質(zhì)量，團(tuán)隊(duì)還使用FLUX模型生成了額外的100萬張高美學(xué)質(zhì)量的合成圖像，確保訓(xùn)練數(shù)據(jù)既豐富多樣又視覺精美。

**七、XVerseBench：全面的評(píng)估基準(zhǔn)**

為了客觀評(píng)估XVerse的性能，研究團(tuán)隊(duì)還創(chuàng)建了一個(gè)名為XVerseBench的綜合評(píng)估基準(zhǔn)。這個(gè)基準(zhǔn)就像是一套標(biāo)準(zhǔn)化的藝術(shù)考試，包含了各種難度和類型的測(cè)試題目，能夠全面檢驗(yàn)AI系統(tǒng)在不同場(chǎng)景下的表現(xiàn)。

XVerseBench包含了20個(gè)不同的人物身份、74種獨(dú)特的物體和45種不同的動(dòng)物個(gè)體。測(cè)試內(nèi)容覆蓋了單主體、雙主體和三主體控制場(chǎng)景，總共包含300個(gè)獨(dú)特的測(cè)試提示，涵蓋了人物、物體和動(dòng)物的各種組合。

評(píng)估指標(biāo)也經(jīng)過精心設(shè)計(jì)，包括編輯能力評(píng)分（DPG）、身份相似度、圖像相似度和美學(xué)評(píng)分等多個(gè)維度。這就像是從不同角度來評(píng)價(jià)一幅藝術(shù)作品，既要看技法是否純熟，也要看創(chuàng)意是否獨(dú)特，還要考慮整體的美感效果。

**八、實(shí)驗(yàn)結(jié)果：全面領(lǐng)先的性能表現(xiàn)**

實(shí)驗(yàn)結(jié)果充分證明了XVerse的優(yōu)越性能。在與多個(gè)最先進(jìn)的多主體生成方法的對(duì)比中，XVerse在幾乎所有評(píng)估指標(biāo)上都取得了最佳成績(jī)。

在單主體控制任務(wù)中，XVerse獲得了76.72的平均分，顯著超過了其他競(jìng)爭(zhēng)方法。特別值得注意的是，XVerse在身份相似度方面達(dá)到了79.48分，這意味著生成的圖像能夠高度準(zhǔn)確地保持參考對(duì)象的特征。

在更具挑戰(zhàn)性的多主體控制任務(wù)中，XVerse的優(yōu)勢(shì)更加明顯，獲得了70.08的平均分，比第二名高出近6分。這個(gè)成績(jī)特別令人印象深刻，因?yàn)槎嘀黧w控制是這個(gè)領(lǐng)域最困難的挑戰(zhàn)之一。

從定性比較來看，XVerse生成的圖像在保持對(duì)象特征一致性的同時(shí)，還展現(xiàn)出了更好的自然度和視覺吸引力。這表明XVerse不僅解決了技術(shù)問題，還在藝術(shù)質(zhì)量方面達(dá)到了新的高度。

**九、語義屬性控制的額外驚喜**

除了核心的身份控制功能，XVerse還展現(xiàn)出了控制各種語義屬性的能力。這些屬性包括姿勢(shì)、光照、服裝風(fēng)格和藝術(shù)風(fēng)格等等。這就像是發(fā)現(xiàn)一個(gè)畫師不僅能畫出準(zhǔn)確的肖像，還能根據(jù)要求調(diào)整畫作的整體氛圍和風(fēng)格。

這種額外的控制能力源于XVerse獨(dú)特的文本流調(diào)制機(jī)制。由于這個(gè)機(jī)制操作的是AI對(duì)文字理解的語義層面，它天然具備了控制各種高級(jí)語義概念的潛力。用戶可以通過提供不同類型的參考圖像來控制這些屬性，比如用一張側(cè)面照來控制人物姿勢(shì)，用一張?zhí)囟ü庹諚l件下的照片來控制畫面氛圍。

這種靈活性大大擴(kuò)展了XVerse的應(yīng)用潛力，使其不僅僅是一個(gè)身份控制工具，更是一個(gè)全面的創(chuàng)意輔助系統(tǒng)。

**十、技術(shù)創(chuàng)新的深層意義**

XVerse的成功不僅僅在于其優(yōu)秀的性能表現(xiàn)，更重要的是它為AI圖像生成領(lǐng)域提供了一種全新的思路。傳統(tǒng)的方法往往專注于直接修改圖像生成過程，而XVerse證明了通過調(diào)制AI的理解機(jī)制同樣可以達(dá)到甚至更好的控制效果。

這種approach的優(yōu)勢(shì)在于它保持了原始生成系統(tǒng)的核心能力和穩(wěn)定性，同時(shí)添加了精確的控制功能。這就像是為一個(gè)優(yōu)秀的畫師配備了更好的工具和指導(dǎo)，而不是改變他的基本繪畫技巧。

此外，XVerse的設(shè)計(jì)理念也體現(xiàn)了AI系統(tǒng)發(fā)展的一個(gè)重要趨勢(shì)：不是簡(jiǎn)單地追求更大更復(fù)雜的模型，而是通過巧妙的架構(gòu)設(shè)計(jì)來實(shí)現(xiàn)更好的功能。這種"智勝于力"的approach不僅更加高效，也為未來的發(fā)展提供了新的方向。

說到底，XVerse代表了AI圖像生成技術(shù)的一個(gè)重要里程碑。它不僅解決了多主體控制這個(gè)長期困擾研究者的難題，還為整個(gè)領(lǐng)域提供了新的思路和方法。隨著這項(xiàng)技術(shù)的進(jìn)一步發(fā)展和完善，我們可以期待看到更加智能、靈活和實(shí)用的AI創(chuàng)作工具。

當(dāng)然，就像任何新技術(shù)一樣，XVerse也還有進(jìn)一步改進(jìn)的空間。研究團(tuán)隊(duì)坦誠地指出了當(dāng)前系統(tǒng)的一些局限性，比如對(duì)高質(zhì)量跨圖像數(shù)據(jù)的依賴，以及主要專注于文本流調(diào)制而對(duì)圖像調(diào)制技術(shù)探索不足等等。但這些局限性也正是未來研究的方向，為這個(gè)領(lǐng)域的持續(xù)發(fā)展提供了明確的目標(biāo)。

無論如何，XVerse已經(jīng)向我們展示了AI圖像生成技術(shù)的巨大潛力。在不久的將來，我們很可能會(huì)看到基于類似技術(shù)的各種創(chuàng)意工具出現(xiàn)在我們的日常生活中，讓每個(gè)人都能夠輕松創(chuàng)作出專業(yè)水準(zhǔn)的視覺內(nèi)容。這不僅會(huì)改變創(chuàng)意產(chǎn)業(yè)的面貌，也會(huì)為普通人的表達(dá)和創(chuàng)作提供前所未有的可能性。有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以訪問項(xiàng)目的GitHub倉庫或查閱完整的研究論文。

Q&A

Q1：XVerse是什么？它能做什么？ A：XVerse是ByteDance開發(fā)的AI圖像生成模型，它的核心能力是能夠同時(shí)控制多個(gè)特定對(duì)象的身份和風(fēng)格屬性。簡(jiǎn)單說，就是能讓AI同時(shí)畫出多個(gè)指定的人物或物體，每個(gè)都保持原有特征，還能調(diào)整姿勢(shì)、光照、服裝等細(xì)節(jié)，解決了傳統(tǒng)AI繪畫中多對(duì)象混淆的問題。

Q2：XVerse會(huì)不會(huì)取代傳統(tǒng)的圖像編輯軟件？ A：目前不會(huì)完全取代，但會(huì)大大改變圖像創(chuàng)作方式。XVerse更像是一個(gè)智能的創(chuàng)作助手，能夠快速生成個(gè)性化內(nèi)容，特別適合需要批量制作包含特定人物或物體的圖像。它與傳統(tǒng)編輯軟件是互補(bǔ)關(guān)系，為創(chuàng)作者提供了全新的工作流程。

Q3：普通人如何使用XVerse？有什么技術(shù)要求？ A：目前XVerse還處于研究階段，普通用戶可以通過ByteDance的項(xiàng)目主頁了解技術(shù)詳情。使用時(shí)需要提供參考圖像和文字描述，系統(tǒng)會(huì)自動(dòng)生成包含指定對(duì)象的新圖像。隨著技術(shù)成熟，預(yù)計(jì)未來會(huì)有更加用戶友好的產(chǎn)品化版本出現(xiàn)。