在2025年6月2日發(fā)表于arXiv的預(yù)印本論文《Esoteric Language Models》中，康奈爾理工學(xué)院和康奈爾大學(xué)的研究團隊，包括Subham Sekhar Sahoo、Zhihan Yang（聯(lián)合第一作者）等多位研究者提出了一種突破性的語言模型新范式。這篇論文探索了如何巧妙地結(jié)合自回歸模型和擴散模型的優(yōu)勢，創(chuàng)造出一種既高效又靈活的語言生成技術(shù)。對于那些對人工智能語言模型發(fā)展感興趣的讀者，可通過論文項目頁面（https://s-sahoo.com/Eso-LMs）獲取更多信息和模型檢查點。

目前的人工智能語言模型領(lǐng)域正處于一個重要轉(zhuǎn)折點。長期以來，自回歸（Autoregressive，簡稱AR）模型一直是語言生成的黃金標(biāo)準(zhǔn)，它們像寫故事一樣，一個詞一個詞地生成文本。然而，近年來另一種名為"掩碼擴散模型"（Masked Diffusion Models，簡稱MDMs）的技術(shù)正在迅速崛起，逐漸縮小與AR模型的差距，甚至在某些特定任務(wù)上表現(xiàn)更佳。

盡管MDMs具有并行生成和可控性等優(yōu)勢，但它們?nèi)悦媾R兩個主要挑戰(zhàn)：第一，推理速度慢，這主要是因為缺乏KV緩存（一種加速文本生成的關(guān)鍵技術(shù)）；第二，在復(fù)雜語言建模任務(wù)上，其質(zhì)量仍然不如AR模型。

為了解決這些問題，研究團隊提出了一種名為"神秘語言模型"（Esoteric Language Models，簡稱Eso-LMs）的新方法。這種模型巧妙地融合了AR和MDM范式，使我們能夠在兩者之間平滑過渡，同時克服它們各自的局限性。這就像是一位廚師不再局限于中餐或西餐的烹飪技巧，而是能夠根據(jù)需要靈活切換不同的烹飪方法，從而創(chuàng)造出更美味的菜肴。

一、Eso-LMs：融合擴散與自回歸的創(chuàng)新模型

傳統(tǒng)的自回歸語言模型工作原理就像人類寫作一樣，從左到右一個詞一個詞地生成文本。這種方法生成的文本質(zhì)量高，但速度較慢，因為必須等待前一個詞生成后才能生成下一個詞。想象一下，這就像一個人一筆一畫地寫書法，每一筆都必須等前一筆完成才能開始。

而掩碼擴散模型則采用了不同的方法。它們首先生成一個全是"掩碼"（可以理解為空白或占位符）的序列，然后通過多步迭代，逐漸將這些掩碼替換為實際單詞。這個過程的關(guān)鍵在于，多個位置的掩碼可以同時被替換，從而實現(xiàn)并行處理。這就像一群畫家同時在不同區(qū)域繪制一幅畫，而不是一個人從左到右、從上到下地繪制。

Eso-LMs的核心創(chuàng)新在于它結(jié)合了這兩種方法的優(yōu)點。研究團隊提出了一個兩階段的生成過程：首先使用掩碼擴散模型生成部分填充的序列（包含一些實際單詞和一些掩碼），然后使用自回歸模型從左到右填充剩余的掩碼。這就像先由多人同時勾勒出畫作的主要輪廓和關(guān)鍵元素（擴散階段），然后由一位細(xì)致的畫家從一端開始逐步完善細(xì)節(jié)（自回歸階段）。

這種融合方法不僅在理論上很優(yōu)雅，在實踐中也表現(xiàn)出色。通過控制初始掩碼的比例（由參數(shù)α0控制），Eso-LMs可以平滑地在純擴散模型（α0=1）和純自回歸模型（α0=0）之間過渡。當(dāng)α0值較高時，模型行為更像擴散模型；當(dāng)α0值較低時，則更像自回歸模型。這種靈活性讓研究人員可以根據(jù)具體任務(wù)需求調(diào)整模型的行為。

二、創(chuàng)新的注意力機制：解鎖KV緩存的奧秘

Eso-LMs最重要的技術(shù)突破之一是它能夠在擴散階段支持KV緩存，這是之前的擴散模型所不具備的能力。

KV緩存是什么呢？想象你在解決一道復(fù)雜的數(shù)學(xué)題。如果每次需要用到前面的計算結(jié)果時，你都必須重新計算一遍，那會非常耗時。KV緩存就像是把這些中間計算結(jié)果記錄下來，需要時直接查表獲取，大大加快了解題速度。在語言模型中，這種技術(shù)可以避免重復(fù)計算已生成部分的表示，從而顯著提高生成速度。

傳統(tǒng)的掩碼擴散模型不支持KV緩存，主要是因為它們使用了雙向注意力機制，即每個位置都可以關(guān)注序列中的任何其他位置。這就像在寫作時，可以參考文章的任何部分來決定當(dāng)前寫什么。這種方法雖然靈活，但每次生成新內(nèi)容時都需要重新計算整個序列的表示，無法有效重用之前的計算結(jié)果。

研究團隊提出了兩種變體模型來解決這一問題：Eso-LM (A)和Eso-LM (B)。

Eso-LM (A)通過限制掩碼之間的注意力，減少了計算量。在擴散階段，它允許每個待解碼的掩碼只關(guān)注已解碼的掩碼和干凈的標(biāo)記（未被掩碼的原始單詞），而不需要關(guān)注其他未解碼的掩碼。這大大減少了每步需要處理的標(biāo)記數(shù)量，特別是對于長序列。這就像在寫一篇文章時，你只需要關(guān)注已經(jīng)寫好的部分和大綱中確定的關(guān)鍵點，而不需要考慮尚未確定的所有細(xì)節(jié)。

Eso-LM (B)更進一步，它在干凈標(biāo)記之間也強制使用因果注意力（causal attention，即只關(guān)注自己及之前的位置）。這種設(shè)計允許在擴散階段完全支持KV緩存，因為每個位置只依賴于序列中排在它前面的位置。雖然這種限制可能會略微降低模型性能，但帶來的速度提升是顯著的。實驗表明，在長序列生成任務(wù)中，Eso-LM (B)比標(biāo)準(zhǔn)MDMs快65倍，比之前支持部分KV緩存的半自回歸方法（如BD3-LMs）快約4倍。

三、采樣策略：平衡效率與質(zhì)量的藝術(shù)

Eso-LMs的另一個關(guān)鍵創(chuàng)新是其獨特的采樣策略。在標(biāo)準(zhǔn)掩碼擴散模型中，采樣過程從一個全部是掩碼的序列開始，然后通過多步迭代，逐漸替換掩碼為實際單詞。這種方法雖然支持并行生成，但每一步都需要處理整個序列，導(dǎo)致計算效率低下。

Eso-LMs采用了更智能的方法。在擴散階段，它使用一個經(jīng)過優(yōu)化的采樣調(diào)度器，預(yù)先計算每一步要解碼的掩碼位置。這樣，每一步只需要處理已解碼的標(biāo)記和當(dāng)前要解碼的掩碼，而不需要處理整個序列。想象一下，這就像是在裝修一棟大樓時，有一個精確的工作計劃，指定每天要完成的具體區(qū)域，而不是所有工人每天都檢查整棟樓的所有區(qū)域。

在順序階段，Eso-LMs從左到右解碼剩余的掩碼，就像傳統(tǒng)的自回歸模型一樣。這個階段自然支持KV緩存，因為每個新解碼的標(biāo)記只依賴于其左側(cè)的內(nèi)容。有趣的是，與標(biāo)準(zhǔn)自回歸模型不同，Eso-LMs在這個階段還可以利用擴散階段生成的右側(cè)干凈標(biāo)記作為額外條件，從而生成更連貫的文本。

研究者們將這兩個階段的采樣過程無縫集成，使Eso-LMs能夠高效地生成高質(zhì)量文本。通過調(diào)整擴散階段解碼的標(biāo)記比例（由α0控制），可以在速度和質(zhì)量之間取得理想的平衡。

四、實驗結(jié)果：突破性性能與效率提升

研究團隊在兩個標(biāo)準(zhǔn)語言建?；鶞?zhǔn)上評估了Eso-LMs：One Billion Words（LM1B）數(shù)據(jù)集和OpenWebText（OWT）數(shù)據(jù)集。結(jié)果證明了Eso-LMs的卓越性能。

在困惑度（perplexity，衡量語言模型預(yù)測能力的指標(biāo)，越低越好）方面，Eso-LM (A)在各種α0設(shè)置下都優(yōu)于之前的擴散模型。特別是，它成功地實現(xiàn)了在自回歸模型和掩碼擴散模型之間的平滑過渡。令人驚訝的是，即使在α0=1（純擴散模式）下，Eso-LM (A)也比標(biāo)準(zhǔn)MDLM表現(xiàn)更好，這可能歸功于其改進的訓(xùn)練方法。

在生成速度方面，Eso-LM (B)展示了令人印象深刻的提升。對于長度為8192的序列，它比標(biāo)準(zhǔn)MDMs快約65倍，比BD3-LMs快3-4倍。這種速度提升主要來自于兩個方面：一是能夠在擴散階段使用KV緩存，二是優(yōu)化的采樣調(diào)度器減少了每步需要處理的標(biāo)記數(shù)量。

在樣本質(zhì)量方面，研究者們發(fā)現(xiàn)Eso-LMs在高NFEs（函數(shù)評估次數(shù)，衡量計算量）下接近自回歸模型的質(zhì)量，在低NFEs下保持與MDMs相當(dāng)?shù)馁|(zhì)量。相比之下，之前的半自回歸方法BD3-LMs在低NFEs下會出現(xiàn)嚴(yán)重的模式崩潰問題（生成重復(fù)或無意義的文本）。

特別值得一提的是，Eso-LM (B)在速度與質(zhì)量的權(quán)衡方面建立了新的最先進水平。通過調(diào)整α0和采樣步數(shù)，它可以適應(yīng)不同的應(yīng)用場景需求：當(dāng)時間預(yù)算有限時，高α0值（更多擴散）模型表現(xiàn)最佳；當(dāng)有充足的生成時間時，低α0值（更多自回歸）模型可以產(chǎn)生接近純自回歸模型的高質(zhì)量文本。

五、神秘語言模型的更廣泛意義

Eso-LMs不僅是一個技術(shù)上的進步，也代表了語言建模領(lǐng)域的一個重要范式轉(zhuǎn)變。長期以來，自回歸模型和擴散模型被視為兩種截然不同的方法，各有優(yōu)缺點。Eso-LMs打破了這種二元對立，證明了兩種方法可以有機結(jié)合，取長補短。

這種融合思路可能對其他領(lǐng)域也有啟發(fā)。例如，在分子生成、圖生成等涉及離散結(jié)構(gòu)的任務(wù)中，擴散模型已經(jīng)展現(xiàn)出超越自回歸模型的潛力。Eso-LMs的方法可能進一步提升這些領(lǐng)域的生成質(zhì)量和效率。

對于實際應(yīng)用，特別是需要實時響應(yīng)的系統(tǒng)（如聊天機器人），Eso-LMs提供的KV緩存支持和高效采樣策略意味著可以在不犧牲太多質(zhì)量的情況下顯著提升響應(yīng)速度。這可能使得更先進的語言模型能夠部署在計算資源有限的設(shè)備上。

從研究角度看，Eso-LMs還為進一步探索自回歸和擴散范式之間的聯(lián)系提供了一個有價值的框架。通過α0參數(shù)，研究人員可以系統(tǒng)地研究不同混合比例下模型的行為，深入理解兩種范式的優(yōu)勢和局限性。

六、結(jié)論與未來展望

Eso-LMs代表了語言建模領(lǐng)域的一個重要創(chuàng)新，它巧妙地融合了自回歸和掩碼擴散模型的優(yōu)點，創(chuàng)造了一個既高效又靈活的新范式。通過創(chuàng)新的注意力機制和采樣策略，它解決了之前擴散模型的關(guān)鍵限制，特別是在推理速度方面。

實驗結(jié)果表明，Eso-LMs在標(biāo)準(zhǔn)語言建?；鶞?zhǔn)上建立了新的擴散模型最高水平，同時在速度與質(zhì)量的權(quán)衡方面顯著超越了之前的方法。特別是Eso-LM (B)變體，在擴散階段支持KV緩存的能力使其在長序列生成任務(wù)中比標(biāo)準(zhǔn)MDMs快65倍，比之前的半自回歸方法快3-4倍。

這項研究打開了語言建模的新方向，展示了不同范式之間的融合可以帶來超越各自局限的性能。未來的工作可能會進一步探索這種融合思路在其他任務(wù)和領(lǐng)域中的應(yīng)用，以及如何進一步優(yōu)化模型架構(gòu)和訓(xùn)練方法。

對于普通用戶來說，這項研究的意義在于，未來的AI語言模型可能會變得更快、更高效，同時保持高質(zhì)量的輸出。特別是在需要實時響應(yīng)的應(yīng)用場景中，如AI助手和聊天機器人，這種技術(shù)進步可能帶來更流暢、更自然的交互體驗。

總的來說，Eso-LMs是自回歸與擴散范式之間橋梁的重要一步，為未來更先進、更高效的語言模型鋪平了道路。如果你對這項研究感興趣，可以訪問論文項目頁面（https://s-sahoo.com/Eso-LMs）了解更多細(xì)節(jié)并獲取代碼和模型檢查點。