這項由浙江大學(xué)CCAI實驗室的陸宇和楊易教授團(tuán)隊開展的研究發(fā)表于2025年6月30日的IEEE模式分析與機(jī)器智能匯刊（IEEE Transactions on Pattern Analysis and Machine Intelligence），論文編號為arXiv:2507.00162v1。有興趣深入了解的讀者可以通過項目網(wǎng)站https://freelongvideo.github.io/訪問完整研究成果和演示視頻。

當(dāng)下的AI視頻生成技術(shù)確實令人驚嘆，像Wan2.1和LTX-Video這樣的模型能夠根據(jù)文字描述生成非常逼真的短視頻。但有一個讓人頭疼的問題：這些模型就像是只會做小菜的廚師，一旦要求它們制作大餐（生成更長的視頻），結(jié)果往往讓人失望。畫面會變得模糊，動作會出現(xiàn)奇怪的跳躍，就好像廚師手忙腳亂地把幾個小菜胡亂拼湊在一起，味道自然大打折扣。

這個問題的根源其實很好理解。當(dāng)前的視頻生成模型就像是在烹飪學(xué)校里只學(xué)過做5分鐘快手菜的學(xué)生，突然被要求去準(zhǔn)備一頓需要20分鐘的正式晚餐。雖然基本的烹飪技巧都會，但缺乏處理更復(fù)雜、更長時間烹飪過程的經(jīng)驗。具體到技術(shù)層面，這些模型在訓(xùn)練時只"見過"81幀或121幀的短視頻，當(dāng)被要求生成324幀甚至更長的視頻時，就會出現(xiàn)各種問題。

浙江大學(xué)的研究團(tuán)隊通過深入分析發(fā)現(xiàn)了一個有趣的現(xiàn)象。他們就像是食品科學(xué)家一樣，仔細(xì)分析了這些"失敗大餐"的成分。結(jié)果發(fā)現(xiàn)，問題主要出現(xiàn)在"調(diào)料"層面——也就是視頻的高頻成分。簡單來說，視頻可以分為兩種成分：低頻成分負(fù)責(zé)整體的結(jié)構(gòu)和連貫性，就像菜品的主要食材；高頻成分負(fù)責(zé)細(xì)節(jié)和精致感，就像各種調(diào)料和裝飾。當(dāng)模型試圖生成長視頻時，主要食材（低頻成分）還能保持基本穩(wěn)定，但調(diào)料（高頻成分）就開始變質(zhì)了。

研究團(tuán)隊發(fā)現(xiàn)，當(dāng)視頻長度增加到原來的4倍時，高頻成分的失真率竟然高達(dá)95%。這就解釋了為什么我們會看到長視頻中的貓毛變得模糊、樹葉失去細(xì)節(jié)，整體畫面看起來像是蒙了一層霧。

為了解決這個問題，研究團(tuán)隊提出了一個巧妙的解決方案，他們稱之為FreeLong。這個方案的核心思想就像是開設(shè)一家特殊的餐廳，專門負(fù)責(zé)把快手菜升級為精致大餐。

一、雙廚師協(xié)作系統(tǒng)：FreeLong的核心策略

FreeLong的工作原理可以比作一個雙廚師協(xié)作系統(tǒng)。第一位廚師是"全局大廚"，負(fù)責(zé)統(tǒng)籌整個長視頻的制作，確保從頭到尾的風(fēng)格一致、故事連貫。第二位廚師是"細(xì)節(jié)專家"，專門負(fù)責(zé)處理局部的精致細(xì)節(jié)，確保每個小片段都有足夠的清晰度和豐富感。

這個雙廚師系統(tǒng)的工作流程是這樣的：首先，全局大廚會處理整個視頻序列，建立一個穩(wěn)定的基礎(chǔ)框架，就像確定整頓飯的主要口味和基調(diào)。然后，細(xì)節(jié)專家會專注于處理相對較短的片段，就像在每道菜上精心添加調(diào)料和裝飾。

但關(guān)鍵的創(chuàng)新在于，F(xiàn)reeLong不是簡單地把兩位廚師的作品混合在一起，而是采用了一種叫做"頻譜融合"的技術(shù)。這就像是有一位超級品鑒師，能夠準(zhǔn)確識別哪些味道應(yīng)該來自全局大廚（低頻成分），哪些味道應(yīng)該來自細(xì)節(jié)專家（高頻成分），然后完美地融合在一起。

具體來說，這個融合過程是在"味覺頻譜"層面進(jìn)行的。系統(tǒng)會把視頻轉(zhuǎn)換到一個特殊的分析空間，就像把菜品分解為不同的味覺層次。然后，它會從全局大廚的作品中提取穩(wěn)定的基礎(chǔ)味道（低頻全局特征），從細(xì)節(jié)專家的作品中提取精致的調(diào)料味道（高頻局部特征），最后重新組合成一道既有整體協(xié)調(diào)性又有豐富細(xì)節(jié)的完美大餐。

二、頻率失真的科學(xué)發(fā)現(xiàn)

研究團(tuán)隊的另一個重要發(fā)現(xiàn)是對頻率失真現(xiàn)象的量化分析。他們發(fā)現(xiàn)，當(dāng)模型試圖生成比訓(xùn)練時長更長的視頻時，會出現(xiàn)一種系統(tǒng)性的"味覺失調(diào)"。

通過使用信噪比這個技術(shù)指標(biāo)（可以理解為"味道純凈度"的衡量標(biāo)準(zhǔn)），研究人員發(fā)現(xiàn)了一個令人擔(dān)憂的趨勢。當(dāng)視頻長度增加時，低頻成分的"純凈度"基本保持穩(wěn)定，從原始長度的1.0只下降到8倍長度時的0.97。但高頻成分的"純凈度"卻急劇下降，從1.0暴跌到8倍長度時的0.6。

這種現(xiàn)象就像是一位廚師在制作大份量菜品時，主要食材的品質(zhì)還能維持，但調(diào)料的配比完全失控了。結(jié)果就是菜品失去了應(yīng)有的精致感和層次感。

更有意思的是，研究團(tuán)隊還發(fā)現(xiàn)了"注意力散焦"現(xiàn)象。他們通過分析模型的注意力圖譜發(fā)現(xiàn)，當(dāng)處理81幀短視頻時，模型的注意力呈現(xiàn)清晰的對角線模式，說明相鄰幀之間有很強(qiáng)的關(guān)聯(lián)性。但當(dāng)處理648幀長視頻時，注意力圖譜變得雜亂無章，就像廚師在處理復(fù)雜菜品時注意力分散，無法專注于重要的烹飪步驟。

三、FreeLong++：多廚師精細(xì)化管理系統(tǒng)

在FreeLong的基礎(chǔ)上，研究團(tuán)隊進(jìn)一步開發(fā)了FreeLong++，這可以比作是從雙廚師系統(tǒng)升級為多廚師精細(xì)化管理系統(tǒng)。

FreeLong++的核心理念是認(rèn)識到不同時間尺度的視頻內(nèi)容需要不同的專業(yè)技能。就像制作一頓復(fù)雜的西式套餐，你需要開胃菜專家、主菜大廚、甜點(diǎn)師傅，每個人都有自己的專業(yè)領(lǐng)域和最佳工作節(jié)奏。

在FreeLong++系統(tǒng)中，研究團(tuán)隊設(shè)計了多個"專業(yè)廚師"，每個都負(fù)責(zé)不同的時間窗口。比如，對于4倍長度的視頻生成，系統(tǒng)會啟用三個專業(yè)分支：短期專家（窗口大小為原始長度）、中期專家（窗口大小為2倍原始長度）、長期專家（窗口大小為4倍原始長度）。

短期專家就像是負(fù)責(zé)精細(xì)裝飾的糕點(diǎn)師，專注于捕捉快速動作和精細(xì)紋理。中期專家類似于負(fù)責(zé)調(diào)味的主廚，處理中等時間尺度的動作模式。長期專家則像是負(fù)責(zé)整體規(guī)劃的總廚，確保整個視頻的全局一致性。

這種多廚師系統(tǒng)的巧妙之處在于，每個專家都在自己最擅長的"頻率帶寬"內(nèi)工作。根據(jù)奈奎斯特定理（一個信號處理的基本原理），不同時間窗口的專家天然地對應(yīng)不同的頻率范圍。窗口最大的長期專家處理最低頻的全局變化，窗口最小的短期專家處理最高頻的快速細(xì)節(jié)。

四、多頻段光譜融合技術(shù)

FreeLong++的另一個創(chuàng)新是多頻段光譜融合技術(shù)。這就像是擁有一位超級調(diào)酒師，能夠精確地混合不同專家制作的"原料"，確保最終的"雞尾酒"既有層次又協(xié)調(diào)。

在這個過程中，系統(tǒng)首先把每個專家的輸出轉(zhuǎn)換到頻率域，就像把不同的酒液分解為不同的香味成分。然后，系統(tǒng)為每個專家分配特定的頻率帶寬，確保他們各司其職不互相干擾。最后，通過精心設(shè)計的"調(diào)配公式"，把所有成分完美融合。

這種融合策略的科學(xué)依據(jù)是，不同時間尺度的動態(tài)變化在頻率域中有天然的分離特性。慢變化對應(yīng)低頻，快變化對應(yīng)高頻。通過這種方式，F(xiàn)reeLong++能夠同時保持長視頻的全局一致性和局部精細(xì)度。

五、SpecMix噪聲初始化技術(shù)

為了進(jìn)一步提高長視頻生成的質(zhì)量，研究團(tuán)隊還開發(fā)了一種叫做SpecMix的噪聲初始化技術(shù)。這可以比作為廚師提供"標(biāo)準(zhǔn)化原料包"，確保制作過程從一開始就有良好的基礎(chǔ)。

傳統(tǒng)的隨機(jī)噪聲初始化就像是給廚師一堆完全隨機(jī)的原料，可能導(dǎo)致制作過程中的不一致性。SpecMix技術(shù)則更像是提供一個經(jīng)過精心配制的"半成品包"，其中既有保證一致性的基礎(chǔ)成分，也有提供變化性的創(chuàng)新元素。

具體來說，SpecMix會創(chuàng)建兩種類型的噪聲：一種是"一致性基線"，通過滑動窗口重排技術(shù)確保低頻內(nèi)容的連貫性；另一種是"隨機(jī)殘差"，提供必要的局部變化。然后，系統(tǒng)會根據(jù)視頻中每一幀在整個序列中的位置，智能地混合這兩種成分。

六、實驗驗證與性能表現(xiàn)

研究團(tuán)隊在多個先進(jìn)的視頻生成模型上驗證了他們的方法，包括Wan2.1和LTX-Video。實驗結(jié)果就像是一場烹飪比賽的評分結(jié)果，F(xiàn)reeLong++在幾乎所有評價維度上都獲得了最高分。

在主觀一致性方面，F(xiàn)reeLong++達(dá)到了98.70分（滿分100），相比直接生成長視頻的98.10分有所提升，更是遠(yuǎn)超滑動窗口方法的94.64分。在背景一致性上，F(xiàn)reeLong++得到97.83分，顯著優(yōu)于其他方法。在圖像質(zhì)量方面，F(xiàn)reeLong++的得分為68.82，比直接生成方法的60.52分提升了13.7%。

更令人印象深刻的是，F(xiàn)reeLong++不僅在4倍長度視頻生成上表現(xiàn)出色，在8倍長度視頻生成上同樣保持了優(yōu)異的性能。這就像是一位廚師不僅能把5分鐘的快手菜完美升級為20分鐘的精致菜品，還能進(jìn)一步制作40分鐘的復(fù)雜套餐。

七、多提示詞視頻生成能力

FreeLong++還展現(xiàn)了強(qiáng)大的多提示詞視頻生成能力。這就像是一位廚師能夠在一頓飯中完美地融合不同的菜系風(fēng)格，創(chuàng)造出連貫而富有變化的用餐體驗。

在實驗中，研究團(tuán)隊展示了一個精彩的例子：一輛白色SUV從陽光明媚的土路上出發(fā)，途經(jīng)雪路，最后駛向星空下的夜路。整個過程中，車輛保持完美的連續(xù)性，但場景卻發(fā)生了戲劇性的變化。這種能力對于故事性視頻制作特別有價值，因為它能夠在保持視覺連貫性的同時支持情節(jié)的發(fā)展。

相比之下，其他方法包括一些商業(yè)化的視頻生成系統(tǒng)如Kling和Pika，往往在場景轉(zhuǎn)換時出現(xiàn)突兀的跳躍或視覺不連貫的問題。FreeLong++通過其多頻段融合機(jī)制，能夠智能地處理這種復(fù)雜的場景變化需求。

八、長距離控制能力

FreeLong++的另一個突出優(yōu)勢是其出色的長距離控制能力。這就像是一位經(jīng)驗豐富的舞蹈指導(dǎo)，能夠根據(jù)復(fù)雜的編舞要求，指導(dǎo)演員完成長達(dá)數(shù)百個節(jié)拍的連貫表演。

在姿態(tài)控制實驗中，研究團(tuán)隊使用了長達(dá)320幀的姿態(tài)序列來指導(dǎo)視頻生成。結(jié)果顯示，F(xiàn)reeLong++能夠忠實地遵循整個姿態(tài)序列，生成的人物動作自然流暢，身份保持一致，背景穩(wěn)定協(xié)調(diào)。相比之下，直接生成方法往往在較長的控制序列中出現(xiàn)身份漂移、動作失真或背景不一致的問題。

在深度圖控制實驗中，F(xiàn)reeLong++同樣表現(xiàn)出色。系統(tǒng)能夠根據(jù)提供的深度圖序列，準(zhǔn)確地控制場景的空間布局和攝像機(jī)運(yùn)動，生成具有正確透視關(guān)系和空間連貫性的長視頻。

九、計算效率與實用性考量

盡管FreeLong++的功能強(qiáng)大，但研究團(tuán)隊也充分考慮了實用性問題。他們開發(fā)了稀疏注意力機(jī)制來優(yōu)化計算效率，就像是在廚房中引入了智能化設(shè)備，既保證了菜品質(zhì)量，又提高了制作效率。

通過對全局分支使用稀疏關(guān)鍵幀注意力，系統(tǒng)能夠在基本不影響質(zhì)量的情況下，將推理時間從96秒降低到74秒，效率提升約23%。這種優(yōu)化策略的核心思想是，長距離的時間關(guān)系往往具有冗余性，只需要選擇關(guān)鍵幀就能有效捕捉全局上下文。

此外，F(xiàn)reeLong++采用了無需訓(xùn)練的設(shè)計理念，這意味著它可以直接應(yīng)用到現(xiàn)有的視頻生成模型上，無需額外的數(shù)據(jù)收集或模型微調(diào)。這大大降低了技術(shù)應(yīng)用的門檻，使得更多的研究者和開發(fā)者能夠受益于這項技術(shù)。

十、技術(shù)創(chuàng)新的理論基礎(chǔ)

FreeLong++的成功不是偶然的，它建立在堅實的理論基礎(chǔ)之上。研究團(tuán)隊通過深入的頻率分析，揭示了長視頻生成中的本質(zhì)問題：不同頻率成分需要不同的處理策略。

低頻成分代表視頻中的全局結(jié)構(gòu)和緩慢變化，這些內(nèi)容相對容易保持一致性。高頻成分代表精細(xì)細(xì)節(jié)和快速變化，這些內(nèi)容在長序列生成中最容易失真。中頻成分則介于兩者之間，代表中等時間尺度的動態(tài)變化。

基于這種理解，F(xiàn)reeLong++設(shè)計了多尺度注意力解耦機(jī)制，讓不同的分支專門處理不同頻率范圍的內(nèi)容。這就像是組建了一個專業(yè)化的交響樂團(tuán)，每個樂器組都負(fù)責(zé)特定的音頻范圍，最終合奏出和諧完整的音樂。

這項研究的另一個重要貢獻(xiàn)是提供了長視頻生成問題的定量分析框架。通過引入信噪比分析和頻域分解，研究團(tuán)隊為這個領(lǐng)域建立了更科學(xué)的評估方法。這種分析方法不僅解釋了為什么現(xiàn)有方法會失敗，還為未來的改進(jìn)指明了方向。

說到底，這項來自浙江大學(xué)的研究為我們展示了一種全新的思路：不是通過大量訓(xùn)練來教會AI生成長視頻，而是通過巧妙的工程設(shè)計來充分利用現(xiàn)有模型的能力。這就像是一位聰明的廚師，不需要重新學(xué)習(xí)烹飪技巧，而是通過改進(jìn)工作流程和團(tuán)隊協(xié)作來制作更復(fù)雜的菜品。

FreeLong++的成功證明了"小而巧"的技術(shù)創(chuàng)新同樣能夠產(chǎn)生巨大的價值。在AI技術(shù)日新月異的今天，這種注重工程智慧和理論洞察的研究方法值得更多關(guān)注。對于普通用戶而言，這意味著我們可能很快就能用上能夠生成高質(zhì)量長視頻的AI工具，而且這些工具的計算成本相對較低，應(yīng)用門檻也不會太高。

隨著這項技術(shù)的進(jìn)一步發(fā)展和推廣，我們可以期待看到更多創(chuàng)新應(yīng)用的出現(xiàn)。無論是教育視頻制作、廣告創(chuàng)意、還是個人娛樂內(nèi)容創(chuàng)作，F(xiàn)reeLong++都有望為相關(guān)領(lǐng)域帶來革命性的改變。同時，這項研究也為AI視頻生成技術(shù)的未來發(fā)展提供了新的思路和方向，相信會啟發(fā)更多優(yōu)秀的后續(xù)研究。

Q&A

Q1：FreeLong++是什么？它能做什么？ A：FreeLong++是浙江大學(xué)開發(fā)的一種AI技術(shù)，能夠讓原本只能生成短視頻的AI模型"變身"生成4-8倍時長的長視頻，而且不需要重新訓(xùn)練模型。它就像給短視頻AI模型裝上了一個"時間擴(kuò)展器"，讓5秒的視頻能變成20秒甚至40秒，畫質(zhì)和連貫性都很好。

Q2：FreeLong++生成的長視頻質(zhì)量怎么樣？會不會很模糊？ A：FreeLong++解決了傳統(tǒng)長視頻生成中畫面模糊、動作不連貫的問題。實驗顯示，它生成的長視頻在圖像質(zhì)量上比直接生成方法提升了13.7%，主觀一致性得分達(dá)到98.70分。簡單說就是畫面清晰、動作流暢、前后連貫。

Q3：普通人能使用FreeLong++技術(shù)嗎？有什么要求？ A：FreeLong++采用無需訓(xùn)練的設(shè)計，可以直接應(yīng)用到現(xiàn)有的視頻生成模型上。雖然目前還主要在研究階段，但由于其設(shè)計理念，未來集成到消費(fèi)級視頻生成工具中的門檻相對較低。普通用戶可以通過項目網(wǎng)站https://freelongvideo.github.io/了解更多信息。