視頻生成技術近年來取得了令人矚目的進步，但在現(xiàn)實應用中仍面臨三大挑戰(zhàn)：時間連貫性不足、視覺質量不佳和與文本提示的匹配度不高。為了解決這些問題，Snap Research、多倫多大學和Vector研究所的研究團隊共同開發(fā)了DenseDPO（密集直接偏好優(yōu)化）方法，這項研究于2024年6月發(fā)表在arXiv預印本平臺上（arXiv:2506.03517v1）。

現(xiàn)有視頻生成技術的問題：靜態(tài)偏好現(xiàn)象

想象一下，你正在使用AI生成一段"人在沙灘上做倒立"的視頻。結果你得到了兩個選擇：一個視頻畫面清晰但幾乎沒有動作，另一個視頻動作流暢但人物手指變形嚴重。你會選擇哪一個？

大多數(shù)人會選擇第一個——這就是研究團隊發(fā)現(xiàn)的"靜態(tài)偏好"現(xiàn)象。當人們被要求在兩個視頻之間選擇時，往往偏愛那些畫面清晰但動作較少的視頻，而不是動作豐富但有細節(jié)缺陷的視頻。這導致了一個惡性循環(huán)：

1. 視頻生成模型在生成靜態(tài)內容時表現(xiàn)更好 2. 人類標注者偏好選擇這些視覺上更清晰的靜態(tài)視頻 3. 使用這些標注數(shù)據(jù)訓練的模型進一步強化了生成靜態(tài)視頻的傾向

傳統(tǒng)的直接偏好優(yōu)化（DPO）方法無法解決這個問題，因為它們通常是從圖像生成領域直接借鑒過來的，沒有考慮視頻特有的時間維度。

DenseDPO：三大創(chuàng)新解決靜態(tài)偏好問題

研究團隊提出了三個關鍵創(chuàng)新來解決這一問題：

### 結構相似的視頻對比

傳統(tǒng)DPO方法是從兩個不同的隨機噪聲開始生成兩個完全不同的視頻。這會導致視頻在運動模式、整體布局等方面有很大差異，使比較變得困難且?guī)в衅姟?/p>

研究團隊借鑒了一種叫做SDEdit的技術，他們的方法是：

1. 首先獲取一個真實的參考視頻 2. 給這個視頻添加不同程度的噪聲，制造兩個"部分損壞"的版本 3. 讓AI模型"修復"這兩個損壞的視頻版本

這樣產(chǎn)生的兩個視頻在整體運動軌跡和高級語義上非常相似，但在局部視覺細節(jié)上有所不同。這就像讓兩位藝術家臨摹同一幅畫作，大體構圖相同但細節(jié)處理各有特色。

這種方法巧妙地中和了靜態(tài)偏好，因為兩個視頻有著相似的動作幅度，人類標注者只能基于視覺質量而非動作幅度來判斷優(yōu)劣。

### 精細的時序偏好標注

傳統(tǒng)方法是對整個視頻（通常長達5秒）給出一個單一的偏好判斷。但研究團隊發(fā)現(xiàn)，人類對視頻的偏好往往在時間上變化很大——一個視頻的前半部分可能比另一個好，但后半部分可能更差。

因此，他們將視頻切分成短段（例如1秒），并收集每個短段的偏好標注。這帶來了幾個好處：

1. 提供了更密集、更準確的學習信號 2. 減少了兩個視頻都有缺陷時的"平局"情況 3. 讓模型能夠學習到更精細的時間偏好

想象一下，這就像教導廚師烹飪一道復雜菜肴時，不只告訴他最終成品是否好吃，而是詳細評價每一個烹飪步驟的執(zhí)行情況。

### 利用現(xiàn)有視覺語言模型自動標注

標注視頻偏好是耗時且昂貴的。研究團隊發(fā)現(xiàn)，雖然現(xiàn)有的視覺語言模型（如GPT-o3）無法準確評估整個長視頻，但它們在評估短視頻片段時表現(xiàn)出色。

利用第一個創(chuàng)新產(chǎn)生的結構相似視頻，和第二個創(chuàng)新提出的短片段評估方法，研究團隊成功地使用GPT-o3模型進行自動偏好標注：

1. 將視頻分割成1秒片段 2. 讓GPT-o3比較每對相應片段的質量 3. 通過多數(shù)投票法匯總成整個視頻的評價（如需要）

這種方法的準確率與人類標注相當，極大地提高了數(shù)據(jù)收集效率。

實驗驗證：DenseDPO的優(yōu)勢

研究團隊使用多個基準測試集評估了DenseDPO的性能。實驗結果顯示：

1. **保留動態(tài)程度**：與傳統(tǒng)VanillaDPO相比，DenseDPO在保持視頻動態(tài)性方面有顯著提升。在VideoJAM-bench測試集上，VanillaDPO的動態(tài)程度得分為80.25，而DenseDPO達到了85.38；在MotionBench測試集上，差距更明顯，VanillaDPO為72.55，DenseDPO達到了84.73。

2. **視覺質量相當**：DenseDPO在視覺質量方面與VanillaDPO不相上下，甚至略有提升。例如，在MotionBench上，DenseDPO的美學質量為57.54，而VanillaDPO為57.51。

3. **數(shù)據(jù)效率高**：盡管只使用了三分之一的標注數(shù)據(jù)（10k對比30k視頻對），DenseDPO仍然取得了優(yōu)于或相當于VanillaDPO的性能。

4. **自動標注可行**：使用GPT-o3進行片段級別的偏好預測，準確率達到70.03%，與專門為視頻質量評估而微調的模型相近。更重要的是，當用這些自動標注訓練DenseDPO時，其性能接近使用人類標注的版本。

人類評估也證實了這些結果。在一項用戶研究中，參與者被要求比較不同方法生成的視頻。與VanillaDPO相比，DenseDPO在動態(tài)程度方面獲得了63.9%的勝率，同時在其他方面保持相當水平。

DenseDPO如何工作：技術原理解析

要理解DenseDPO的工作原理，我們可以將其與傳統(tǒng)直接偏好優(yōu)化（DPO）方法進行對比。

傳統(tǒng)DPO的工作方式類似于這樣：給模型展示兩個視頻A和B，告訴它"A比B好"，然后模型嘗試調整參數(shù)，使得它預測A的得分高于B的得分。這就像教孩子識別好蘋果和壞蘋果，每次給他看兩個蘋果，告訴他哪個更好。

DenseDPO則做了幾個關鍵改進：

1. **結構相似的視頻對**：不是隨機生成兩個完全不同的視頻，而是從同一個"種子"視頻出發(fā)，添加不同程度的噪聲再生成。這確保兩個視頻的基本運動結構相似，就像是同一個舞蹈動作的兩種略微不同的表演。

2. **片段級別的偏好**：不是給整個視頻一個總體評分，而是對每個短時間片段（如1秒）進行評分。這就像不僅評價整道菜的口感，還要分別評價每個成分的烹飪程度。

3. **密集的學習信號**：通過這種方式，模型可以學習到更細粒度的偏好信息，明確知道視頻中哪些部分好，哪些部分不好，而不僅僅是整體的好壞。

在技術實現(xiàn)上，DenseDPO擴展了Flow-DPO的損失函數(shù)，將其應用到視頻的每個時間片段上，而不是整個視頻。這使得模型能夠更精確地學習到時間維度上的偏好變化。

研究意義與應用前景

DenseDPO的研究意義遠不止于提高視頻質量。它揭示了一個更深層次的問題：AI系統(tǒng)訓練數(shù)據(jù)中存在的隱性偏見如何影響模型行為。就像語言模型中發(fā)現(xiàn)的"冗長性偏好"（即人類評估者傾向于更長的輸出）一樣，視頻生成中也存在"靜態(tài)偏好"現(xiàn)象。

這項研究的潛在應用包括：

1. **更自然的AI視頻生成**：生成具有豐富、自然動作的視頻，而不僅是"漂亮但靜止"的圖像序列。

2. **減少人工標注成本**：通過利用現(xiàn)有視覺語言模型進行自動標注，大大降低了數(shù)據(jù)收集成本。

3. **更精確的質量評估**：分段評估方法可以應用于視頻質量控制，精確定位問題區(qū)域。

4. **減少模型偏見**：這種方法可以擴展到識別和糾正其他類型的隱性偏見。

未來研究方向

盡管DenseDPO取得了顯著進展，研究團隊也指出了一些局限性和未來研究方向：

1. 與語言模型的DPO相比，視頻生成模型的DPO訓練仍然不夠穩(wěn)定，需要提前停止訓練以避免過擬合。

2. 雖然引導式采樣能保持視頻的運動軌跡，但也減少了比較對之間的多樣性，未來可以探索其他方法來解決這一問題。

3. 本研究專注于提高視覺質量和一致性，同時保持動態(tài)程度不變。未來可以將這種方法擴展到其他維度，如通過擾動文本提示來提高文本匹配度。

總之，DenseDPO代表了視頻生成技術的一個重要進步，不僅解決了現(xiàn)有方法的關鍵局限性，還提供了一種更有效、更精確的偏好優(yōu)化方法。隨著這項技術的發(fā)展，我們可以期待未來AI生成的視頻將更加自然、動態(tài)且符合人類期望。