這項由北京大學(xué)童云海教授團隊與快手科技Kling團隊合作完成的研究發(fā)表于2025年6月，論文題為《VMoBA: Mixture-of-Block Attention for Video Diffusion Models》。有興趣深入了解的讀者可以通過GitHub代碼庫(https://github.com/KwaiVGI/VMoBA)或arXiv論文庫(arXiv:2506.23858v1)訪問完整研究內(nèi)容。

想象一下，你正在制作一部長達(dá)幾分鐘的高清視頻，如果使用傳統(tǒng)的AI視頻生成技術(shù)，你的電腦可能需要運轉(zhuǎn)好幾個小時，消耗大量電力，就像用老式手工織布機織出一整匹絲綢一樣費時費力。而現(xiàn)在，研究團隊找到了一種全新的"織布"方法，不僅速度更快，織出的"絲綢"質(zhì)量還更好。

這個問題的核心在于視頻生成AI需要處理海量信息。每一幀畫面都包含數(shù)萬個像素點，而一個幾秒鐘的視頻就有數(shù)十幀畫面。AI系統(tǒng)需要理解每個像素點與其他所有像素點之間的關(guān)系，這就像同時跟蹤一場足球比賽中每個球員與其他所有球員的互動關(guān)系一樣復(fù)雜。隨著視頻時長增加，這種計算復(fù)雜度呈指數(shù)級增長，最終變成一個幾乎無法承受的計算負(fù)擔(dān)。

研究團隊的創(chuàng)新點在于重新設(shè)計了AI系統(tǒng)理解視頻內(nèi)容的方式。他們沒有讓AI同時關(guān)注所有像素點之間的關(guān)系，而是開發(fā)了一種"智能篩選"機制，讓AI只關(guān)注最重要的那些關(guān)系。這就像在繁忙的餐廳里，服務(wù)員不需要同時注意每一桌客人的每一個動作，而是重點關(guān)注那些正在點餐、需要買單或有特殊需求的桌子。

一、破解視頻AI的"注意力"難題

要理解這項研究的重要性，我們先來看看視頻AI面臨的根本挑戰(zhàn)。當(dāng)AI生成視頻時，它使用一種叫做"注意力機制"的技術(shù)，這個機制的作用就像人類的視覺注意力一樣。當(dāng)你看一部電影時，你的大腦會自動聚焦于畫面中的重要元素——演員的表情、關(guān)鍵道具、背景細(xì)節(jié)等，而不是平均分配注意力到每一個像素。

傳統(tǒng)的AI視頻生成系統(tǒng)使用"全注意力"機制，相當(dāng)于讓AI同時關(guān)注畫面中的每一個細(xì)節(jié)。這種方法雖然準(zhǔn)確，但計算量巨大。研究團隊發(fā)現(xiàn)，對于一個720p分辨率的視頻，AI需要處理超過76000個token（可以理解為信息單元），每個token都要與其他所有token建立聯(lián)系，計算復(fù)雜度呈平方增長。這就像要求一個人同時記住并理解一本百科全書中每個詞匯與其他所有詞匯的關(guān)系一樣不現(xiàn)實。

現(xiàn)有的解決方案主要分為兩類。第一類是"訓(xùn)練后優(yōu)化"方法，就像給已經(jīng)建好的汽車安裝節(jié)油裝置，雖然能提升一些效率，但改進有限。第二類是"稀疏注意力"方法，讓AI只關(guān)注部分重要信息，但這些方法大多是為文本處理設(shè)計的，直接應(yīng)用到視頻上效果并不理想。

研究團隊嘗試直接使用現(xiàn)有的MoBA（Mixture of Block Attention）技術(shù)，這是一種專門為文本處理設(shè)計的稀疏注意力方法。結(jié)果發(fā)現(xiàn)，雖然計算速度有所提升，但生成視頻的質(zhì)量卻大幅下降，VBench評分從68.25分跌至56.88分。這就像用為平地行駛設(shè)計的輪胎去爬山，雖然能動，但性能大打折扣。

二、深入視頻AI的"大腦"探索規(guī)律

為了找到更好的解決方案，研究團隊決定深入分析視頻AI的工作模式。他們使用了Wan 2.1模型（一個13億參數(shù)的視頻生成AI）作為研究對象，仔細(xì)觀察AI在處理視頻時的注意力分布模式，就像神經(jīng)科學(xué)家研究大腦活動一樣。

通過大量實驗，他們發(fā)現(xiàn)了三個關(guān)鍵規(guī)律。首先是"多維度注意力模式"。視頻數(shù)據(jù)具有三個維度：時間（不同幀之間的關(guān)系）、空間高度（畫面的上下關(guān)系）和空間寬度（畫面的左右關(guān)系）。AI在不同處理層次上會展現(xiàn)不同的關(guān)注模式。有些層主要關(guān)注時間關(guān)系，比如追蹤一個球從一幀到下一幀的運動軌跡；有些層主要關(guān)注空間關(guān)系，比如理解一張臉上眼睛、鼻子、嘴巴的相對位置；還有些層會綜合考慮時空關(guān)系，比如理解一個人走路時身體各部分在時間和空間上的協(xié)調(diào)運動。

第二個發(fā)現(xiàn)是"查詢重要性差異"。在AI的注意力機制中，每個信息單元既可以作為"查詢者"（主動尋找相關(guān)信息），也可以作為"被查詢者"（提供信息給其他單元）。研究團隊發(fā)現(xiàn)，不同的查詢者具有不同的重要性。就像在一個新聞編輯部里，主編提出的問題比實習(xí)生的問題更重要，需要分配更多資源來回答。在視頻生成中，代表關(guān)鍵視覺元素（如人物臉部、重要物體）的查詢者比代表背景細(xì)節(jié)的查詢者更重要。

第三個發(fā)現(xiàn)是"頭部集中度差異"。現(xiàn)代AI使用"多頭注意力"機制，就像一個人用多個不同的"視角"同時觀察同一個場景。研究團隊發(fā)現(xiàn)，不同的"頭部"表現(xiàn)出不同的注意力集中度。有些頭部的注意力非常集中，只關(guān)注少數(shù)幾個最重要的關(guān)系；而有些頭部的注意力比較分散，需要考慮更多的信息。這就像有些人看電影時只關(guān)注主角，而有些人會注意到背景音樂、服裝道具等更多細(xì)節(jié)。

三、VMoBA創(chuàng)新方案的三大突破

基于這些發(fā)現(xiàn)，研究團隊開發(fā)了VMoBA（Video Mixture of Block Attention）技術(shù)，這是一個專門為視頻AI優(yōu)化的注意力機制。VMoBA包含三個核心創(chuàng)新。

第一個創(chuàng)新是"層級循環(huán)分塊策略"。傳統(tǒng)方法將視頻信息簡單地排成一條線然后分塊，就像把一個立體的魔方拍扁后切片，這樣會破壞原本的空間關(guān)系。VMoBA采用了更智能的分塊方式：在不同的處理層次上循環(huán)使用三種分塊模式。第一種是"時間分塊"，將同一時間段的不同幀畫面組織在一起；第二種是"空間分塊"，將空間上相鄰的像素區(qū)域組織在一起；第三種是"時空分塊"，將在時間和空間上都相近的信息組織在一起。這種方式讓AI能夠更好地理解視頻的三維結(jié)構(gòu)。

第二個創(chuàng)新是"全局塊選擇機制"。傳統(tǒng)方法為每個查詢者獨立分配相同數(shù)量的信息塊，就像給每個學(xué)生發(fā)放相同數(shù)量的參考書，不管他們的學(xué)習(xí)需求是否不同。VMoBA改為"按需分配"模式：先計算所有查詢者與所有信息塊之間的相關(guān)性，然后優(yōu)先選擇那些具有最強相關(guān)性的組合。這樣確保了最重要的信息交互得到優(yōu)先處理，就像優(yōu)先安排最重要的會議一樣。

第三個創(chuàng)新是"閾值動態(tài)選擇機制"。傳統(tǒng)方法為每個注意力頭部分配固定數(shù)量的信息塊，不考慮不同頭部的實際需求。VMoBA引入了動態(tài)調(diào)整機制：根據(jù)每個頭部的注意力集中度來決定分配多少信息塊。對于注意力高度集中的頭部，分配較少但質(zhì)量很高的信息塊就足夠了；對于注意力較為分散的頭部，則分配更多的信息塊以確保不遺漏重要信息。這就像根據(jù)不同工作的復(fù)雜程度來分配不同的時間和資源。

四、實驗驗證：效果超出預(yù)期

研究團隊進行了全面的實驗驗證，測試了VMoBA在不同場景下的表現(xiàn)。他們使用了多種視頻分辨率和時長進行測試，從標(biāo)準(zhǔn)的480p視頻到高清720p視頻，從短視頻到長時間序列。

在計算效率方面，VMoBA表現(xiàn)出色。對于長序列視頻生成，VMoBA實現(xiàn)了2.92倍的浮點運算加速和1.48倍的實際運行時間加速。這意味著原本需要4小時完成的視頻生成任務(wù)，現(xiàn)在只需要不到3小時就能完成。更令人驚喜的是，這種速度提升是在保持甚至提高視頻質(zhì)量的前提下實現(xiàn)的。

在視頻質(zhì)量方面，VMoBA在多個評測指標(biāo)上都表現(xiàn)優(yōu)異。使用VBench評測體系，VMoBA在文本一致性、動態(tài)程度、背景一致性、圖像質(zhì)量和主體一致性等五個關(guān)鍵指標(biāo)上都達(dá)到或超過了傳統(tǒng)全注意力方法的性能。特別值得注意的是，在一些測試中，VMoBA的表現(xiàn)甚至超過了計算量更大的全注意力方法，這說明"智能篩選"不僅提高了效率，還可能發(fā)現(xiàn)了更有效的信息處理模式。

研究團隊還進行了詳細(xì)的對比實驗。與直接應(yīng)用MoBA技術(shù)相比，VMoBA在所有測試場景中都顯著優(yōu)于前者。與其他專門為視頻設(shè)計的稀疏注意力方法（如DiTFastAttn和SparseVideoGen）相比，VMoBA在長序列處理上展現(xiàn)出明顯優(yōu)勢。特別是當(dāng)視頻序列長度增加時，VMoBA的速度優(yōu)勢變得更加明顯，而其他方法的性能提升則趨于平緩甚至下降。

五、深度解析：為什么VMoBA如此有效

VMoBA成功的關(guān)鍵在于它真正理解了視頻數(shù)據(jù)的本質(zhì)特征。視頻不是簡單的圖片序列，而是具有復(fù)雜時空關(guān)系的多維數(shù)據(jù)。傳統(tǒng)方法往往忽視了這一點，將視頻處理簡化為文本處理的變種。

VMoBA的層級循環(huán)分塊策略解決了信息組織的問題。通過在不同層次上使用不同的分塊模式，AI能夠在粗粒度和細(xì)粒度兩個層面上理解視頻內(nèi)容。這就像一個優(yōu)秀的電影導(dǎo)演，既要把握整體的敘事節(jié)奏（粗粒度），又要關(guān)注每個鏡頭的細(xì)節(jié)表現(xiàn)（細(xì)粒度）。

全局塊選擇機制解決了資源分配的問題。在有限的計算資源下，如何確保最重要的信息交互得到充分處理是一個關(guān)鍵挑戰(zhàn)。VMoBA通過全局優(yōu)化的方式，確保了計算資源被分配給最有價值的信息處理任務(wù)。這就像一個聰明的項目經(jīng)理，總是優(yōu)先處理最重要和最緊急的任務(wù)。

閾值動態(tài)選擇機制解決了個性化需求的問題。不同的注意力頭部有不同的"性格"和"需求"，一刀切的資源分配策略顯然不是最優(yōu)的。VMoBA通過動態(tài)調(diào)整，讓每個頭部都能得到適合自己特點的資源配置。

六、技術(shù)細(xì)節(jié)與實現(xiàn)挑戰(zhàn)

VMoBA的實現(xiàn)過程包含多個技術(shù)細(xì)節(jié)。在分塊策略方面，研究團隊需要精心設(shè)計分塊的大小和形狀。對于時間分塊，他們通常使用3幀作為一個塊；對于空間分塊，塊的大小根據(jù)視頻分辨率動態(tài)調(diào)整；對于時空分塊，需要在三個維度上同時考慮鄰近性。

在全局塊選擇方面，計算所有查詢者與所有信息塊之間的相關(guān)性本身就是一個計算密集的任務(wù)。研究團隊開發(fā)了高效的計算方法，使用矩陣運算的優(yōu)化技巧來減少計算開銷。他們還設(shè)計了智能的索引機制，避免重復(fù)計算相同的相關(guān)性分?jǐn)?shù)。

閾值動態(tài)選擇的實現(xiàn)需要實時監(jiān)控每個注意力頭部的行為模式。研究團隊開發(fā)了輕量級的監(jiān)控算法，能夠快速評估注意力分布的集中度，并據(jù)此調(diào)整信息塊的分配數(shù)量。這個過程需要在保證準(zhǔn)確性的同時最小化額外的計算開銷。

為了確保VMoBA能夠與現(xiàn)有的AI框架兼容，研究團隊還開發(fā)了標(biāo)準(zhǔn)化的接口。用戶可以很容易地將現(xiàn)有的視頻生成模型中的全注意力機制替換為VMoBA，而不需要對模型的其他部分進行大的改動。

七、實際應(yīng)用前景與影響

VMoBA技術(shù)的成功不僅僅是學(xué)術(shù)上的突破，更有著廣泛的實際應(yīng)用前景。在視頻內(nèi)容創(chuàng)作領(lǐng)域，這項技術(shù)能夠顯著降低高質(zhì)量視頻生成的門檻。小型工作室和個人創(chuàng)作者將能夠使用更少的計算資源制作出專業(yè)級別的視頻內(nèi)容。

在教育領(lǐng)域，VMoBA可以支持更高效的教學(xué)視頻生成。教師可以更快速地創(chuàng)建個性化的教學(xué)內(nèi)容，根據(jù)不同學(xué)生的需求調(diào)整視頻的風(fēng)格和重點。這對于遠(yuǎn)程教育和在線學(xué)習(xí)平臺具有重要意義。

在娛樂行業(yè)，這項技術(shù)可能會改變電影和游戲的制作流程。動畫電影的制作周期可能會大幅縮短，游戲開發(fā)者能夠更快速地生成游戲場景和角色動畫。同時，虛擬現(xiàn)實和增強現(xiàn)實應(yīng)用也將受益于更高效的視頻生成技術(shù)。

在商業(yè)應(yīng)用方面，企業(yè)可以更經(jīng)濟地制作產(chǎn)品演示視頻、廣告內(nèi)容和培訓(xùn)材料。這對于中小企業(yè)來說尤其重要，因為它們往往缺乏大型企業(yè)那樣的視頻制作預(yù)算。

八、未來發(fā)展方向與挑戰(zhàn)

盡管VMoBA取得了顯著成果，但研究團隊也誠實地指出了當(dāng)前技術(shù)的局限性。在處理較短視頻序列時，VMoBA的速度優(yōu)勢并不明顯，有時甚至可能比傳統(tǒng)方法稍慢。這主要是由于VMoBA的復(fù)雜性在短序列上無法充分發(fā)揮優(yōu)勢，就像一個為長途旅行設(shè)計的高檔汽車在市區(qū)短途行駛時反而不如小型車靈活。

另一個挑戰(zhàn)是內(nèi)存管理的優(yōu)化。雖然VMoBA在計算復(fù)雜度上有所降低，但其選擇機制可能導(dǎo)致內(nèi)存訪問模式的不規(guī)律性。當(dāng)前基于FlashAttention的實現(xiàn)還沒有完全利用這種稀疏性帶來的內(nèi)存優(yōu)勢。

研究團隊提出了幾個未來的發(fā)展方向。首先是開發(fā)更加硬件友好的實現(xiàn)方式，充分利用現(xiàn)代GPU的并行計算能力。其次是研究自適應(yīng)的分塊策略，根據(jù)視頻內(nèi)容的特點動態(tài)調(diào)整分塊方式。最后是探索VMoBA在其他多模態(tài)任務(wù)中的應(yīng)用潛力，比如音視頻同步生成、3D視頻生成等。

九、與相關(guān)技術(shù)的比較

將VMoBA與其他視頻加速技術(shù)進行比較，可以更好地理解其獨特價值?，F(xiàn)有的加速方法主要分為幾類：減少擴散步數(shù)的方法、特征緩存復(fù)用的方法、模型蒸餾的方法和稀疏注意力的方法。

減少擴散步數(shù)的方法通過改進數(shù)值求解器來減少視頻生成所需的迭代次數(shù)。這類方法的優(yōu)勢是實現(xiàn)簡單，但往往會在質(zhì)量上有所妥協(xié)。特征緩存復(fù)用的方法通過在相鄰擴散步驟之間復(fù)用計算結(jié)果來提升速度，但這種方法對超參數(shù)敏感，容易產(chǎn)生不穩(wěn)定的結(jié)果。

模型蒸餾方法通過訓(xùn)練一個更小的"學(xué)生"模型來模仿大型"教師"模型的行為。雖然這種方法可以顯著提升速度，但需要額外的訓(xùn)練數(shù)據(jù)和計算資源，而且學(xué)生模型通常難以完全復(fù)制教師模型的能力。

相比之下，VMoBA作為一種稀疏注意力方法，在保持模型表達(dá)能力的同時實現(xiàn)了加速。它不需要額外的訓(xùn)練數(shù)據(jù)，可以直接替換現(xiàn)有模型中的注意力機制。更重要的是，VMoBA專門針對視頻數(shù)據(jù)的特點進行了優(yōu)化，而不是簡單地將文本領(lǐng)域的技術(shù)移植過來。

十、技術(shù)驗證的嚴(yán)謹(jǐn)性

研究團隊在驗證VMoBA效果時采用了嚴(yán)謹(jǐn)?shù)膶嶒炘O(shè)計。他們使用了Koala-36M數(shù)據(jù)集進行訓(xùn)練，這是一個大規(guī)模的視頻數(shù)據(jù)集，包含了多種類型的視頻內(nèi)容。為了確保比較的公平性，所有對比實驗都使用了相同的數(shù)據(jù)集和評估標(biāo)準(zhǔn)。

在評估指標(biāo)方面，研究團隊采用了VBench評估體系，這是視頻生成領(lǐng)域的權(quán)威評估標(biāo)準(zhǔn)。VBench從多個維度評估視頻質(zhì)量，包括文本一致性（生成視頻是否符合文本描述）、動態(tài)程度（視頻中運動的自然性）、背景一致性（背景元素的連貫性）、圖像質(zhì)量（單幀圖像的清晰度）和主體一致性（主要對象在不同幀間的一致性）。

為了驗證計算效率的提升，研究團隊不僅測量了理論上的浮點運算次數(shù)（FLOPs），還測量了實際的運行時間。這種雙重驗證確保了效率提升不僅僅存在于理論層面，而是能夠在實際應(yīng)用中體現(xiàn)出來。

研究團隊還進行了大量的消融實驗，分別驗證VMoBA三個核心創(chuàng)新的貢獻。結(jié)果顯示，每個創(chuàng)新都對最終性能有積極貢獻，而三者的結(jié)合產(chǎn)生了協(xié)同效應(yīng)，實現(xiàn)了超出單個創(chuàng)新簡單疊加的效果。

說到底，VMoBA代表了視頻AI技術(shù)發(fā)展的一個重要里程碑。它不僅解決了長期困擾研究者的計算效率問題，更重要的是，它展示了深入理解數(shù)據(jù)本質(zhì)特征對于技術(shù)創(chuàng)新的重要性。通過仔細(xì)觀察和分析視頻AI的注意力模式，研究團隊發(fā)現(xiàn)了傳統(tǒng)方法的局限性，并開發(fā)出了更加智能和高效的解決方案。

這項研究的成功也體現(xiàn)了跨機構(gòu)合作的價值。北京大學(xué)的學(xué)術(shù)研究能力與快手科技的工程實踐經(jīng)驗相結(jié)合，產(chǎn)生了既有理論深度又有實用價值的技術(shù)成果。這種合作模式為未來的AI研究提供了很好的范例。

對于普通用戶來說，VMoBA技術(shù)的普及將意味著更便宜、更快速、質(zhì)量更好的視頻生成服務(wù)。無論是社交媒體內(nèi)容創(chuàng)作、在線教育、還是商業(yè)宣傳，都將從這項技術(shù)中受益。隨著技術(shù)的進一步成熟和優(yōu)化，我們有理由期待一個視頻內(nèi)容創(chuàng)作更加民主化的未來，每個人都能夠輕松地表達(dá)自己的創(chuàng)意和想法。

從更廣闊的視角來看，VMoBA的成功也啟發(fā)我們思考AI技術(shù)發(fā)展的方向。真正的技術(shù)突破往往來自于對問題本質(zhì)的深刻理解，而不是簡單的算力堆砌或參數(shù)增加。如何讓AI更好地理解和處理復(fù)雜的多模態(tài)數(shù)據(jù)，如何在效率和質(zhì)量之間找到最佳平衡點，這些都是值得繼續(xù)探索的重要問題。隨著VMoBA技術(shù)的開源和推廣，相信會有更多研究者在此基礎(chǔ)上開發(fā)出更加先進的技術(shù)，推動整個視頻AI領(lǐng)域的發(fā)展。

Q&A

Q1：VMoBA技術(shù)是什么？它能做什么？ A：VMoBA是一種專門為視頻AI優(yōu)化的注意力機制，能讓AI在生成視頻時變得更快更聰明。它通過"智能篩選"讓AI只關(guān)注最重要的信息關(guān)系，而不是處理所有像素之間的關(guān)系。簡單來說，就是讓視頻AI變得既快又好，在提升2.92倍計算速度的同時還能保持甚至提高視頻質(zhì)量。

Q2：VMoBA會不會讓視頻生成變得更便宜？ A：是的，VMoBA能顯著降低視頻生成的計算成本。原本需要4小時完成的高清視頻生成任務(wù)現(xiàn)在只需要不到3小時，這意味著更少的電力消耗和服務(wù)器資源。對于普通用戶來說，這將轉(zhuǎn)化為更便宜的視頻生成服務(wù)費用，讓更多人能夠負(fù)擔(dān)得起高質(zhì)量的AI視頻制作。

Q3：普通人現(xiàn)在能用到VMoBA技術(shù)嗎？ A：目前VMoBA還主要在研究階段，研究團隊已經(jīng)在GitHub上開源了代碼。雖然普通用戶暫時無法直接使用，但隨著技術(shù)的成熟，預(yù)計很快就會集成到各種視頻制作軟件和在線平臺中。未來我們可能會在抖音、B站等平臺的AI視頻功能中看到這項技術(shù)的應(yīng)用。