這項由復(fù)旦大學(xué)計算機科學(xué)學(xué)院劉曉然、劉志庚等研究人員與上海創(chuàng)新研究院、上海AI實驗室合作完成的研究發(fā)表于2025年6月，論文編號為arXiv:2506.14429v1。感興趣的讀者可以通過該論文編號在arXiv平臺上訪問完整研究內(nèi)容。

近年來，人工智能界出現(xiàn)了一種全新的語言模型架構(gòu)——擴散大語言模型，它就像是傳統(tǒng)自回歸模型的"孿生兄弟"，但工作原理卻截然不同。傳統(tǒng)的GPT類模型就像一個只能從左到右逐字寫作的作家，而擴散模型更像一個可以同時考慮整個句子、反復(fù)修改潤色的編輯。然而，這種新型模型在處理超長文本時的能力一直是個未解之謎。

當(dāng)我們給傳統(tǒng)語言模型輸入超過其訓(xùn)練長度的文本時，就像讓一個只習(xí)慣寫短篇小說的作家突然去創(chuàng)作長篇巨著，結(jié)果往往是"力不從心"——要么完全崩潰，要么胡言亂語。但研究團隊在測試擴散模型時卻發(fā)現(xiàn)了一個令人驚訝的現(xiàn)象：這些模型不僅沒有崩潰，反而展現(xiàn)出了一種獨特的"局部透視"能力。

具體來說，當(dāng)研究人員將一條關(guān)鍵信息（比如"小明的生日是3月15日"）藏在一篇超長文檔的某個位置，然后讓模型去尋找時，傳統(tǒng)模型在文檔超過其能力范圍后就徹底"失明"了。但擴散模型卻能在最近的一段文字窗口內(nèi)準確找到信息，就像擁有一個會移動的"聚光燈"，雖然看不到全局，但能清晰照亮局部區(qū)域。

更神奇的是，擴散模型在處理超長文本時，其困惑度（衡量模型理解文本難度的指標(biāo)）保持得異常穩(wěn)定，而傳統(tǒng)模型的困惑度會急劇飆升。這就好比讓兩個人閱讀一本越來越厚的書，傳統(tǒng)模型讀到后面會越來越糊涂，而擴散模型卻能始終保持清醒的頭腦。

基于這些發(fā)現(xiàn)，研究團隊深入挖掘了這種現(xiàn)象背后的數(shù)學(xué)原理，發(fā)現(xiàn)這與模型中的位置編碼機制密切相關(guān)。位置編碼就像是給文本中每個詞語標(biāo)注的"門牌號"，告訴模型哪個詞在前，哪個詞在后。傳統(tǒng)模型在訓(xùn)練時只能看到從0號開始的連續(xù)門牌號，而擴散模型由于其雙向注意力機制，能同時看到正負兩個方向的門牌號，這讓它對位置信息有了更全面的理解。

研究團隊將這種現(xiàn)象比作學(xué)習(xí)地圖。傳統(tǒng)模型就像只學(xué)過從市中心出發(fā)路線的司機，一旦超出熟悉范圍就會迷路。而擴散模型更像學(xué)過整個城市布局的司機，即使到了陌生區(qū)域，也能憑借對路網(wǎng)結(jié)構(gòu)的整體把握找到方向。

在理解了這一機制后，研究團隊開發(fā)了一套名為"LongLLaDA"的技術(shù)方案。這套方案就像給模型戴上了一副"變焦鏡頭"，通過調(diào)整位置編碼的縮放比例，讓原本只能處理4000字的模型成功擴展到24000字，實現(xiàn)了6倍的能力提升，而且無需任何額外訓(xùn)練。

這種技術(shù)的工作原理可以用調(diào)音師調(diào)琴來類比。每個位置就像琴弦的不同頻率，原本模型只熟悉某個頻率范圍內(nèi)的"音符"。通過巧妙調(diào)整這些頻率的比例關(guān)系，研究團隊讓模型能夠"聽懂"更廣范圍內(nèi)的"音樂"，從而處理更長的文本。

在具體的應(yīng)用測試中，研究團隊設(shè)計了多種任務(wù)來驗證擴散模型的長文本能力。在"大海撈針"任務(wù)中，就是在一篇很長的文章里藏一個特定信息，然后看模型能否找到。結(jié)果顯示，傳統(tǒng)模型在超出能力范圍后完全失效，準確率降為零。而擴散模型雖然不能在整篇文檔中搜索，但能在最近的文本段落中保持近乎完美的搜索能力。

更有趣的是，研究團隊還發(fā)現(xiàn)擴散模型的這種能力會受到其"思考步數(shù)"的影響。就像人在仔細思考時需要更多時間一樣，當(dāng)給擴散模型更多的推理步驟時，它的長文本處理能力也會相應(yīng)提升。從1步到16步的遞增過程中，模型的表現(xiàn)持續(xù)改善。

在更復(fù)雜的綜合測試中，研究團隊比較了擴散模型和傳統(tǒng)模型在不同類型長文本任務(wù)上的表現(xiàn)。結(jié)果呈現(xiàn)出有趣的分化現(xiàn)象：在信息檢索類任務(wù)上，兩種模型表現(xiàn)相當(dāng)；在需要匯總整合信息的任務(wù)上，傳統(tǒng)模型略勝一籌；但在問答類任務(wù)上，擴散模型展現(xiàn)出了明顯優(yōu)勢。

這種能力差異就像不同類型的閱讀理解專家。傳統(tǒng)模型更像擅長寫摘要和總結(jié)的編輯，能夠統(tǒng)觀全局抓住要點。而擴散模型更像善于深度解析和回答問題的分析師，能夠在局部范圍內(nèi)進行精準的信息提取和推理。

研究團隊通過可視化技術(shù)進一步驗證了他們的理論。他們將模型內(nèi)部的注意力狀態(tài)投射到二維平面上，就像給模型的"大腦活動"拍X光片。結(jié)果清晰顯示，傳統(tǒng)模型在處理超長文本時出現(xiàn)了明顯的"認知斷層"——正常長度和超長文本的處理模式完全不同。而擴散模型的"大腦活動"則保持了高度一致性，沒有出現(xiàn)這種斷層現(xiàn)象。

這一發(fā)現(xiàn)不僅在理論上具有重要意義，在實際應(yīng)用中也開辟了新的可能性。比如在處理法律文檔、學(xué)術(shù)論文、技術(shù)手冊等超長文本時，擴散模型的這種"局部精準"能力可能比傳統(tǒng)模型的"全局模糊"更加實用。雖然它看不到全貌，但在需要精確回答具體問題時，這種能力反而更有價值。

研究過程中，團隊還意外發(fā)現(xiàn)了擴散模型長文本能力的一些有趣限制。當(dāng)文本長度超過一定閾值后，模型會出現(xiàn)類似傳統(tǒng)模型的"中間遺忘"現(xiàn)象——對文檔開頭和結(jié)尾的信息記憶清晰，但對中間部分相對模糊。這就像讀一本厚書時，我們往往對開頭結(jié)尾印象深刻，中間章節(jié)卻容易忘記。

更重要的是，這項研究首次系統(tǒng)性地證明了擴散模型在長文本處理方面的獨特優(yōu)勢和局限性。以往人們主要關(guān)注這類模型在生成質(zhì)量、推理能力等方面的表現(xiàn)，對其長文本處理能力缺乏深入了解。這次研究填補了這一空白，為未來的模型設(shè)計和應(yīng)用提供了重要參考。

從技術(shù)發(fā)展角度看，這項研究揭示了一個重要趨勢：不同架構(gòu)的語言模型可能各有所長，未來的AI系統(tǒng)可能需要根據(jù)具體任務(wù)選擇最適合的模型類型。就像工具箱里需要配備不同功能的工具一樣，AI領(lǐng)域也需要多樣化的模型來應(yīng)對不同場景的需求。

研究團隊的實驗還表明，傳統(tǒng)的模型評估方法可能需要更新。以往主要關(guān)注模型在標(biāo)準長度文本上的表現(xiàn)，但隨著實際應(yīng)用中長文本需求的增加，如何評估和優(yōu)化模型的長文本能力變得越來越重要。這項研究提供的測試方法和評估框架，為整個領(lǐng)域建立了新的標(biāo)準。

特別值得注意的是，這種無需訓(xùn)練的擴展方法大大降低了技術(shù)應(yīng)用的門檻。傳統(tǒng)的長文本能力提升往往需要重新訓(xùn)練模型，成本高昂且耗時漫長。而LongLLaDA技術(shù)就像給現(xiàn)有模型安裝了一個"即插即用"的擴展器，既經(jīng)濟又高效。

說到底，這項研究就像是給AI領(lǐng)域帶來了一個全新的視角。它告訴我們，擴散模型這個相對較新的技術(shù)路線，在長文本處理方面有著獨特的天賦。雖然它不能像傳統(tǒng)模型那樣"一覽眾山小"，但它的"局部透視"能力在很多實際應(yīng)用中可能更加實用。

這個發(fā)現(xiàn)對普通人意味著什么呢？隨著這類技術(shù)的成熟和普及，我們可能很快就能看到更強大的AI助手，它們能夠更好地處理長篇文檔、幫助我們從海量信息中精準提取所需內(nèi)容。無論是學(xué)生寫論文需要查閱大量文獻，還是律師處理復(fù)雜法律條文，亦或是醫(yī)生分析詳細病歷，這種技術(shù)都可能帶來顯著的效率提升。

更令人期待的是，這項研究開啟了擴散模型長文本能力研究的大門。隨著更多研究者的加入和技術(shù)的不斷完善，我們有理由相信，未來的AI系統(tǒng)將能夠更好地理解和處理人類的長篇表達，讓人機交互變得更加自然和高效。

當(dāng)然，這項研究也提醒我們，AI技術(shù)的發(fā)展往往充滿意外和驚喜。正如研究團隊最初也沒有預(yù)料到擴散模型會有如此獨特的長文本處理特性一樣，科學(xué)探索的魅力就在于不斷發(fā)現(xiàn)新的可能性。對于那些想要深入了解技術(shù)細節(jié)的讀者，完整的研究論文已在arXiv平臺發(fā)布，編號為2506.14429v1，其中包含了詳細的實驗數(shù)據(jù)和技術(shù)實現(xiàn)方案。

Q&A

Q1：擴散大語言模型的"局部透視"能力是什么意思？ A：這是指擴散模型在處理超長文本時，雖然不能像傳統(tǒng)模型那樣統(tǒng)觀全局，但能在最近的一段文字窗口內(nèi)精準找到和處理信息，就像擁有一個會移動的聚光燈，能清晰照亮局部區(qū)域。這種能力讓它在超出訓(xùn)練長度的文本中仍能保持相對穩(wěn)定的性能。

Q2：LongLLaDA技術(shù)會不會需要重新訓(xùn)練模型？ A：不需要。LongLLaDA是一種"即插即用"的技術(shù)，通過調(diào)整位置編碼的縮放比例來擴展模型能力，無需任何額外訓(xùn)練。研究顯示這種方法能讓原本只處理4000字的模型擴展到24000字，實現(xiàn)6倍提升，既經(jīng)濟又高效。

Q3：擴散模型在長文本任務(wù)上有什么優(yōu)勢和局限？ A：優(yōu)勢是在信息檢索和問答任務(wù)上表現(xiàn)優(yōu)秀，且處理超長文本時保持穩(wěn)定的困惑度。局限是在需要匯總整合全文信息的任務(wù)上不如傳統(tǒng)模型，且當(dāng)文本過長時會出現(xiàn)"中間遺忘"現(xiàn)象，對文檔中間部分的記憶相對模糊。