這項由斯坦福大學的Lvmin Zhang和Maneesh Agrawala共同完成的開創(chuàng)性研究，發(fā)表于2025年4月21日的arXiv預印本平臺（論文編號：arXiv:2504.12626v2）。有興趣深入了解的讀者可以通過該編號在arXiv網站上訪問完整論文。

在人工智能生成視頻的世界里，有一個聽起來很矛盾的難題：如何讓AI既能記住足夠多的畫面內容，又不會在生成視頻時越來越"跑偏"？這就像要求一個人在講很長的故事時，既要記住故事開頭發(fā)生的所有細節(jié)，又不能在講述過程中偏離主線情節(jié)。斯坦福大學的這項研究就是要解決這個看似無解的矛盾。

研究團隊發(fā)現，當前的視頻生成模型面臨著兩個相互制約的核心問題。第一個問題叫做"遺忘"，就像人的記憶力有限一樣，AI模型在生成長視頻時會逐漸忘記最開始的畫面內容，導致前后不一致。第二個問題叫做"漂移"，指的是AI在一幀一幀生成視頻時，小錯誤會不斷累積放大，就像傳話游戲一樣，最后生成的視頻質量越來越差。

這兩個問題的矛盾之處在于：如果你想讓AI記住更多內容來解決遺忘問題，就需要增強它的記憶機制，但這樣做反而會讓錯誤傳播得更快，加劇漂移問題。反過來，如果你想減少漂移，就需要削弱AI對歷史信息的依賴，但這又會讓遺忘問題變得更嚴重。

一、巧妙的記憶壓縮術：FramePack如何讓AI記住更多

研究團隊提出的FramePack方法，就像是給AI配備了一個超級智能的記憶管理系統(tǒng)。這個系統(tǒng)的核心思想是：不是所有的歷史畫面都同等重要，應該根據重要性來分配記憶空間。

具體來說，FramePack就像一個聰明的圖書管理員。當面對大量書籍時，管理員會把最重要、最常用的書放在最容易拿到的地方，保持完整的詳細信息。而那些不太重要的書，則可以壓縮存儲，比如只保留摘要或目錄。同樣地，FramePack會把最近的、最重要的視頻幀保持高清晰度，而把較早的、相對不重要的幀進行壓縮處理。

這種壓縮不是簡單的刪除，而是采用了一種叫做"幾何級數壓縮"的巧妙方法。研究團隊發(fā)現，可以通過調整AI模型處理圖像時的"補丁核大小"來實現這種壓縮。通俗地說，就像調整相機鏡頭的焦距一樣，對于重要的畫面用高倍鏡頭拍攝細節(jié)，對于不太重要的畫面用廣角鏡頭拍攝概覽。

更令人驚喜的是，通過這種壓縮方法，FramePack能夠處理任意長度的視頻，而計算量卻能保持在一個固定的范圍內。這就像有了一個神奇的背包，無論你裝多少東西，背包的重量都保持不變。具體的數學公式顯示，當視頻長度趨向無窮時，總的計算復雜度會收斂到一個固定值，這為處理超長視頻提供了可能。

研究團隊還提供了多種FramePack的變體配置。有的采用典型的幾何級數壓縮，壓縮比例依次為1、1/2、1/4、1/8、1/16等等。有的采用重復級別的壓縮，比如把壓縮比例設置為1、1/4、1/4、1/4、1/16、1/16、1/16，這樣可以讓相同壓縮級別的幀組合在一起處理。還有的在時間維度上應用壓縮，把多個連續(xù)幀打包成一個張量來處理。

對于不同應用場景，FramePack還能調整重要性判斷標準。比如在圖像到視頻的生成任務中，用戶提供的初始圖像往往最重要，應該分配最大的內存空間。而在某些情況下，視頻的開頭和結尾都很重要，中間部分可以適當壓縮。

二、反向思維的防漂移策略：從終點往起點生成

解決了記憶問題后，研究團隊又提出了一系列創(chuàng)新的采樣方法來對付漂移問題。傳統(tǒng)的視頻生成就像寫小說一樣，從第一章開始，一章一章往后寫。但這種方法的問題是，如果前面某一章出了錯，后面的所有章節(jié)都會受到影響。

FramePack提出的反漂移采樣方法就像是電影制作中的"非線性剪輯"。制片人不一定按照故事的時間順序來拍攝，而是先拍一些關鍵場景，然后再填補中間的內容。這樣做的好處是，關鍵場景一旦確定，就為整個故事提供了穩(wěn)定的框架。

具體來說，研究團隊設計了三種不同的采樣策略。第一種是傳統(tǒng)的"香草采樣"，就是按時間順序一幀一幀生成。第二種是"反漂移采樣"，首先同時生成視頻的開頭和結尾關鍵幀，然后在后續(xù)迭代中填補中間的空白。第三種是"反向反漂移采樣"，這是一種特別巧妙的方法，特別適用于圖像到視頻的生成任務。

反向反漂移采樣的工作原理是：把用戶提供的圖像當作一個高質量的"錨點"，然后從這個錨點開始，反向生成視頻序列。這就像從山頂開始往下走，每一步都朝著已知的高質量目標前進，而不是盲目地向前探索。這種方法確保生成的每一幀都在努力接近已知的高質量畫面，大大減少了累積誤差。

為了支持這些非線性的采樣策略，研究團隊還對模型的位置編碼系統(tǒng)進行了特殊處理。傳統(tǒng)的位置編碼假設幀序列是連續(xù)的，但在反漂移采樣中，需要處理非連續(xù)的幀索引。團隊通過"跳躍相位"技術解決了這個問題，允許模型處理任意時間位置的幀組合。

三、訓練優(yōu)化的意外收獲：更平衡的擴散調度

在實際訓練過程中，研究團隊發(fā)現了一個意想不到的好處。由于FramePack在每個推理步驟中生成的張量尺寸比傳統(tǒng)全視頻生成方法要小，這使得模型可以使用更平衡的擴散調度策略。

這里需要解釋一下什么是擴散調度。在AI生成圖像或視頻的過程中，模型需要逐步從隨機噪聲中"雕刻"出有意義的內容。這個過程就像雕塑家從一塊粗糙的石頭開始，逐步雕刻出精美的雕像。擴散調度決定了每一步應該去除多少"噪聲"，雕刻多少細節(jié)。

傳統(tǒng)的視頻生成由于需要處理巨大的數據量，往往被迫使用比較極端的調度策略，就像用大錘子粗暴地敲擊石頭。而FramePack由于數據量更小，可以使用更精細、更平衡的調度策略，就像用精細的鑿子慢慢雕琢細節(jié)。

研究團隊發(fā)現，這種更平衡的調度策略實際上能帶來更好的視覺質量。這是因為較少的極端"流移位時間步"讓模型有更多機會去處理細節(jié)和紋理，而不是急于從粗糙的噪聲中提取基本形狀。

四、實驗設計與評估體系

為了驗證FramePack的效果，研究團隊設計了一套全面的實驗評估體系。他們使用了兩個主流的視頻生成基礎模型：Wan2.1和改進版的HunyuanVideo。這兩個模型都支持文本到視頻和圖像到視頻的生成任務，為FramePack提供了廣泛的測試平臺。

實驗數據集采用了與LTXVideo相似的收集流程，包含多種分辨率和質量級別的視頻。所有數據都經過質量測量和運動評分篩選，確保數據分布的高質量和多樣性。團隊還采用了寬高比分桶技術，支持多分辨率訓練，最小單位尺寸為32像素。

評估指標方面，研究團隊設計了一個多維度的評估體系。全局指標包括清晰度（使用MUSIQ圖像質量預測器）、美學質量（使用LAION美學預測器）、運動平滑度（使用修改版的視頻幀插值模型）、動態(tài)程度（使用RAFT光流估計）、語義一致性（使用ViCLIP視頻文本評分）、解剖正確性（使用VBench預訓練的ViT模型識別手、臉、身體等）和身份一致性（使用ArcFace面部特征相似性）。

特別值得一提的是，團隊還設計了專門的漂移測量方法。他們提出了"起始-結束對比度"指標，通過比較視頻前15%和后15%部分在各個質量指標上的差異來量化漂移程度。這個指標的巧妙之處在于，它不依賴于視頻的生成方向，無論是正向還是反向生成都能準確評估。

人工評估方面，團隊收集了A/B測試的人類偏好數據。每個架構變體生成100個結果，A/B測試在各種變體之間隨機分布，確保每種變體都覆蓋至少100次評估。最終報告ELO-K32評分和相對排名，這是一種來自國際象棋比賽的評分系統(tǒng)，能夠客觀地反映不同方法之間的相對優(yōu)劣。

五、實驗結果的全面分析

實驗結果令人振奮。在包含30種不同FramePack配置的消融研究中，反向反漂移采樣方法在7個評估指標中的5個都取得了最佳結果，而其他采樣方法最多只在單個指標上表現最佳。更重要的是，反向反漂移采樣在所有漂移相關指標上都達到了最優(yōu)性能，證明了這種方法在解決累積誤差問題上的有效性。

人工評估也支持了這些定量結果。實驗發(fā)現，每次生成9幀的配置比生成1幀或4幀的配置獲得了更好的人類偏好評分，這表明適中的生成塊大小能夠在質量和效率之間找到最佳平衡點。

令人驚訝的是，雖然傳統(tǒng)的香草采樣在動態(tài)評分上取得了最高分，但研究團隊認為這實際上是漂移效應造成的假象，而不是真正的質量優(yōu)勢。這是因為漂移會導致視頻內容發(fā)生不自然的變化，被動態(tài)評分系統(tǒng)誤認為是"高動態(tài)性"。

在與其他相關架構的比較實驗中，FramePack表現出了明顯的優(yōu)勢。與簡單重復圖像到視頻生成、錨點幀方法（類似StreamingT2V）、因果注意力（類似CausVid）、噪聲歷史方法（類似DiffusionForcing）和歷史引導方法（類似HistoryGuidance）相比，FramePack在3個全局指標上達到最佳，而其他方法最多只在1-2個指標上表現最好。更重要的是，FramePack在所有漂移相關指標上都取得了最佳結果，這與人工評估的ELO評分結果一致。

訓練效率方面的結果也非常令人鼓舞。使用13B參數的HunyuanVideo模型在480p分辨率下，FramePack能在單個8×A100-80G節(jié)點上達到64的批處理大小，這個數字甚至可以與12B Flux等圖像擴散模型相媲美。這使得FramePack適合個人或實驗室規(guī)模的訓練和實驗，大大降低了研究門檻。

六、技術實現的細節(jié)考量

FramePack的成功不僅在于其核心算法，還在于許多精心設計的技術細節(jié)。比如在處理不同壓縮率的輸入投影時，研究團隊發(fā)現使用獨立參數能夠顯著提升學習穩(wěn)定性。他們?yōu)樽畛Ｓ玫妮斎雺嚎s核設置了獨立的神經網絡層，包括(2,4,4)、(4,8,8)和(8,16,16)的核尺寸。對于更高的壓縮率，則先進行下采樣再使用最大的核進行處理。

在訓練這些新的輸入投影層時，團隊采用了權重插值初始化的策略，從預訓練的補丁化投影權重開始，然后逐步調整到目標配置。這種漸進式的訓練方法避免了從零開始訓練可能遇到的收斂困難。

對于極長視頻的處理，FramePack提供了三種尾部處理選項。第一種是簡單刪除尾部幀，第二種是允許每個尾部幀增加單個潛在像素的上下文長度，第三種是對所有尾部幀應用全局平均池化并用最大核處理。實驗表明，這三種選項在視覺效果上差異相對較小，為實際應用提供了靈活性。

RoPE（旋轉位置嵌入）對齊是另一個重要的技術細節(jié)。當使用不同壓縮核編碼輸入時，不同的上下文長度需要RoPE對齊。團隊采用了直接下采樣RoPE相位的方法，使用平均池化來匹配壓縮核的尺寸，確保位置信息的一致性。

七、實用價值與應用前景

FramePack的實用價值遠遠超出了學術研究的范疇。首先，它顯著降低了長視頻生成的計算門檻，使得更多研究團隊和創(chuàng)作者能夠參與到視頻AI的開發(fā)和應用中來。傳統(tǒng)的長視頻生成往往需要昂貴的大型計算集群，而FramePack讓個人實驗室級別的設備就能處理較長的視頻生成任務。

在創(chuàng)意產業(yè)中，FramePack為內容創(chuàng)作者提供了新的可能性。電影制作人可以使用這項技術快速生成概念視頻，廣告公司可以制作個性化的營銷內容，教育工作者可以創(chuàng)建生動的教學視頻。特別是反向反漂移采樣方法，讓用戶可以從一張靜態(tài)圖片開始，生成高質量的動態(tài)視頻內容。

技術開發(fā)者也將從FramePack中受益。這項技術可以輕松集成到現有的視頻生成模型中，不需要從頭開始訓練。研究團隊已經證明了它與Wan和HunyuanVideo等主流模型的兼容性，這意味著開發(fā)者可以快速將這些改進應用到自己的產品中。

在商業(yè)應用層面，FramePack的固定計算復雜度特性使得云服務提供商可以更好地預測和管理計算資源。用戶可以生成任意長度的視頻，而服務商的計算成本卻保持可控，這為按需視頻生成服務的商業(yè)化提供了可能。

八、當前限制與未來發(fā)展方向

盡管FramePack取得了顯著成果，但研究團隊也誠實地指出了當前技術的一些限制。首先，雖然FramePack在理論上可以處理無限長的視頻，但在實際應用中，當視頻長度變得極其龐大時，尾部幀可能會被壓縮到低于最小單元尺寸，這時需要特殊的處理策略。

其次，當前的重要性評估主要基于時間接近性，這種簡單的策略雖然有效，但可能不適用于所有類型的視頻內容。比如在一些藝術性視頻中，開頭和結尾可能同樣重要，或者某些中間幀包含關鍵信息，需要更智能的重要性評估算法。

壓縮策略的選擇也存在優(yōu)化空間。雖然研究團隊提供了多種壓縮配置，但最優(yōu)配置可能因任務而異。自動選擇最佳壓縮策略的算法將是一個有價值的研究方向。

在計算效率方面，雖然FramePack已經大大改善了長視頻生成的計算復雜度，但對于移動設備或邊緣計算場景，仍然需要進一步的優(yōu)化。結合模型蒸餾、量化等技術，可能會帶來更輕量級的實現方案。

未來的研究方向還包括將FramePack擴展到其他模態(tài)。比如，類似的思想是否可以應用到音頻生成、3D模型生成或者多模態(tài)內容生成中？這些都是值得探索的方向。

另一個有趣的方向是結合用戶反饋的自適應壓縮。系統(tǒng)可以根據用戶對生成內容的評價，動態(tài)調整不同幀的重要性權重，實現個性化的視頻生成體驗。

九、對AI視頻生成領域的深遠影響

FramePack的提出不僅解決了一個技術問題，更重要的是改變了人們對長序列生成任務的思考方式。傳統(tǒng)觀念認為，處理長序列必然帶來計算復雜度的急劇增長，而FramePack證明了通過智能的信息管理策略，可以實現常數級別的計算復雜度。

這種思想對整個AI生成領域都有啟發(fā)意義。在自然語言處理中，生成長文本時也面臨類似的問題。在語音合成中，生成長音頻也需要處理類似的時序依賴關系。FramePack提供的框架思想可能會啟發(fā)這些領域的研究者開發(fā)類似的解決方案。

從更宏觀的角度來看，FramePack體現了AI系統(tǒng)設計中一個重要原則：模仿人類認知機制。人類在處理長時間序列信息時，自然會對不同時間點的信息賦予不同的重要性權重，對重要信息保持高分辨率記憶，對次要信息進行壓縮存儲。FramePack的成功表明，將這種認知機制引入AI系統(tǒng)設計是一個有效的策略。

反向采樣策略的成功也挑戰(zhàn)了傳統(tǒng)的序列生成范式。長期以來，人們習慣于按照時間順序生成序列，但FramePack證明了非線性、雙向的生成策略可能更有效。這種思想可能會影響未來AI系統(tǒng)的設計哲學，從單純的因果模型轉向更復雜但更智能的生成策略。

十、技術普及與開源貢獻

研究團隊在論文中詳細描述了FramePack的實現細節(jié)，并提供了完整的評估方法和實驗配置。這種開放的研究態(tài)度極大地促進了技術的快速普及和進一步發(fā)展。許多技術細節(jié)，比如壓縮核尺寸的選擇、RoPE對齊的具體實現方法、訓練超參數的設置等，都被詳細記錄，為其他研究者提供了寶貴的參考。

特別值得稱贊的是，研究團隊設計的命名約定系統(tǒng)讓FramePack的各種配置變得容易理解和交流。比如"td_f16k4f4k2f1k1_g9"這樣的字符串能夠完整描述一個具體的FramePack配置，包括尾部處理方式、各層幀數和壓縮核、生成幀數等。這種標準化的描述方法有助于研究社區(qū)的協作和知識共享。

從技術轉移的角度來看，FramePack的設計考慮了與現有模型的兼容性。研究團隊證明了現有的預訓練視頻擴散模型可以通過微調適配FramePack，而不需要從頭開始訓練。這大大降低了技術采用的門檻，使得工業(yè)界可以快速將這些研究成果轉化為實際產品。

說到底，斯坦福大學的這項研究為AI視頻生成領域帶來了一次重要的技術突破。FramePack不僅優(yōu)雅地解決了長期困擾研究者的遺忘-漂移矛盾，還通過巧妙的工程設計實現了理論上的優(yōu)美與實際應用的實用性的完美結合。

歸根結底，這項研究的價值不僅在于提出了一個有效的技術方案，更在于它展示了一種系統(tǒng)性思考復雜技術問題的方法論。通過將認知科學的洞察與深度學習的技術相結合，通過將理論分析與工程實踐相結合，研究團隊創(chuàng)造了一個既有理論深度又有實用價值的解決方案。

對于普通用戶來說，FramePack意味著未來我們將能夠使用更少的計算資源生成更長、更一致、質量更高的AI視頻。對于開發(fā)者來說，這項技術提供了一個可以立即集成的解決方案。對于研究者來說，FramePack開啟了一個新的研究方向，讓我們重新思考如何設計更智能的序列生成系統(tǒng)。

隨著這項技術的進一步發(fā)展和普及，我們有理由相信，AI視頻生成將變得更加普及和實用，為創(chuàng)意產業(yè)、教育、娛樂等多個領域帶來革命性的變化。而這一切，都源于研究團隊對一個看似簡單卻極其深刻的問題的執(zhí)著探索：如何讓AI既記得住，又不跑偏。

有興趣了解更多技術細節(jié)的讀者，可以通過arXiv:2504.12626v2訪問這篇完整的研究論文，其中包含了更詳細的數學推導、實驗數據和技術實現說明。

Q&A

Q1：FramePack是什么？它解決了什么問題？ A：FramePack是斯坦福大學開發(fā)的一種AI視頻生成技術，主要解決了AI在生成長視頻時面臨的兩個矛盾問題：一是"遺忘"（AI逐漸忘記早期畫面內容），二是"漂移"（生成質量逐漸下降）。FramePack通過智能的記憶壓縮和反向采樣策略，讓AI既能記住更多歷史信息，又能避免錯誤累積。

Q2：FramePack的核心創(chuàng)新是什么？ A：核心創(chuàng)新有兩個：一是"幾何級數壓縮"策略，根據幀的重要性分配不同的記憶空間，讓計算復雜度保持固定；二是"反向反漂移采樣"方法，從已知的高質量幀開始反向生成，避免傳統(tǒng)順序生成中的誤差累積問題。

Q3：這項技術有什么實際應用價值？ A：FramePack大大降低了長視頻生成的計算門檻，讓個人實驗室級別的設備就能處理較長視頻。在創(chuàng)意產業(yè)中，可以用于電影概念視頻制作、個性化廣告、教學視頻等。同時，它可以輕松集成到現有視頻生成模型中，為商業(yè)化應用提供了可能性。