這項研究是由復(fù)旦大學(xué)的梁景聰、南加州大學(xué)的王思遠、華為技術(shù)有限公司的田米仁、李毅桐、唐度宇以及復(fù)旦大學(xué)的魏忠鈺共同完成的，發(fā)表于2025年5月21日的arXiv預(yù)印本平臺（arXiv:2505.16056v1）。有興趣深入了解的讀者可以通過GitHub倉庫（https://github.com/ljcleo/moe-lrc）獲取研究的代碼實現(xiàn)。

一、研究背景：大模型的"省錢秘訣"與內(nèi)存困境

想象一下，你有一個龐大的專家團隊，但每次解決問題時只需要叫醒其中幾位專家就夠了。這就是混合專家模型（Mixture-of-Experts，簡稱MoE）的核心思想。在大語言模型（LLM）領(lǐng)域，MoE技術(shù)就像是一種"省錢秘訣"，它讓模型可以擁有海量參數(shù)，但在實際運行時只激活其中一小部分，大大降低了計算成本。

不過，這種省錢方式也帶來了一個難題：即使只需激活少量專家，所有專家的參數(shù)仍然需要存儲在內(nèi)存中。想象一下，雖然你只需要叫醒幾位專家工作，但你必須為整個專家團隊準(zhǔn)備住宿房間。這對于內(nèi)存有限的設(shè)備（比如手機）來說是個大問題。

為了解決這個問題，研究人員提出了"專家卸載"（expert offloading）技術(shù)。這就像是讓一部分常用專家住在高級酒店（快速內(nèi)存，如GPU內(nèi)存），而其他不常用的專家則住在經(jīng)濟型旅館（慢速內(nèi)存，如CPU內(nèi)存或硬盤）。當(dāng)需要不常用專家時，可以采取兩種方式：一是直接讓他們在經(jīng)濟型旅館工作（CPU計算），二是臨時將他們接到高級酒店（按需加載），同時可能需要安排一些常用專家暫時搬出去。

過去的研究發(fā)現(xiàn)，在實際使用中，連續(xù)處理的詞元（tokens）往往會激活相似的專家。這就像是處理同一類問題時，往往需要同一組專家的幫助。這種現(xiàn)象被稱為專家激活的"局部性"，可以幫助我們更高效地管理專家資源。然而，不同的MoE模型表現(xiàn)出的這種連續(xù)路由特性各不相同，有些模型經(jīng)常需要切換專家，而有些則能長時間使用相同的專家團隊。

本研究正是聚焦于這一問題：不同MoE模型在多大程度上表現(xiàn)出"局部路由一致性"（local routing consistency），以及這種特性如何影響專家卸載的效率。

二、如何衡量局部路由一致性？

要判斷一個MoE模型是否適合專家卸載，研究團隊提出了兩種測量方法，就像是給模型做"體檢"一樣，檢測它們在局部路由一致性方面的"健康狀況"。

首先是"段路由最佳性能"（Segment Routing Best Performance，簡稱SRP）。想象你正在看一本書，每一頁（段）都需要一組專家來理解。SRP測量的是：如果我們?yōu)檎搩?nèi)容固定使用同一組專家（而不是按詞逐個選擇專家），與原始的逐詞選擇專家相比，效果會差多少？如果差別很小，說明這個模型的局部路由一致性很高，非常適合段級別的專家緩存。

第二個指標(biāo)是"段緩存最佳命中率"（Segment Cache Best Hit Rate，簡稱SCH）。這個指標(biāo)更貼近實際應(yīng)用場景，它考慮了緩存大小的限制。SCH測量的是：在給定緩存大小的限制下，如果我們?yōu)橐徽挝谋具x擇固定的專家組合進行緩存，最高能達到多少緩存命中率？命中率越高，說明模型的局部路由一致性越好，專家卸載的效果也就越好。

研究團隊通過數(shù)學(xué)公式精確定義了這兩個指標(biāo)，并展示了它們之間的關(guān)系。簡單來說，這兩個指標(biāo)就像是從不同角度觀察同一件事物，SRP更關(guān)注模型的內(nèi)在特性，而SCH則更關(guān)注實際應(yīng)用中的效果。

三、模型大比拼：誰的局部路由一致性更高？

研究團隊對20個不同的MoE語言模型進行了全面分析，這些模型的參數(shù)規(guī)模從30億到540億不等，覆蓋了各種不同的架構(gòu)設(shè)計。就像是對不同品牌的汽車進行道路測試，看看哪種設(shè)計更適合特定的駕駛環(huán)境。

實驗結(jié)果顯示，模型在短段（4個詞元）上的局部路由一致性相對接近，但隨著段長的增加（16、64甚至256個詞元），差異逐漸顯現(xiàn)。研究者將這些模型按照局部路由一致性（以SRP為衡量標(biāo)準(zhǔn)）分為四組：

第一組（如LLaMA-MoE-v2、OLMoE等）表現(xiàn)最優(yōu)，即使在長段上也保持很高的局部路由一致性。想象一下，這些模型就像是有著穩(wěn)定專業(yè)傾向的專家，無論問題如何變化，他們的專業(yè)分工都很清晰，很少需要臨時調(diào)整團隊成員。

第二組（如Mixtral-8x7B、LLaMA-MoE-v1等）局部路由一致性略低，但仍然表現(xiàn)不錯。

第三組（如XVERSE-MoE、DeepSeekMoE等）在長段上的局部路由一致性明顯下降。

第四組（如NLLB-MoE、SwitchTransformers等）局部路由一致性最低，即使在短段上也需要頻繁切換專家。

那么，是什么因素導(dǎo)致了這些差異呢？研究發(fā)現(xiàn)，最關(guān)鍵的兩個因素是：（1）在每一層都應(yīng)用MoE結(jié)構(gòu)（而不是跳過某些層）；（2）不使用共享專家。符合這兩個特點的模型通常具有更高的局部路由一致性。

有趣的是，研究還發(fā)現(xiàn)高局部路由一致性并不一定與負載均衡（各專家被均勻激活）沖突。例如，Qwen3和GRIN-MoE這樣的模型既有較好的局部路由一致性，又能保持合理的負載均衡，主要是通過領(lǐng)域?qū)I(yè)化的專家實現(xiàn)的。

四、專家們的專業(yè)分工：領(lǐng)域?qū)I(yè)化vs詞匯專業(yè)化

在現(xiàn)實世界中，有些專家擅長特定領(lǐng)域（如醫(yī)學(xué)、法律），而有些則專精于特定工具或技能。在MoE模型中也存在類似的專業(yè)化現(xiàn)象。研究團隊分析了不同模型在7個不同領(lǐng)域（C4、CommonCrawl、Books、Wikipedia、ArXiv、StackExchange和GitHub）的表現(xiàn)。

結(jié)果顯示，有些模型（如Phi-3.5-MoE、GRIN-MoE和OLMoE）在專業(yè)性領(lǐng)域（如Wikipedia、ArXiv、StackExchange和GitHub）表現(xiàn)出更高的局部路由一致性。這就像是這些模型中的專家對專業(yè)知識有著更清晰的分工，處理同一領(lǐng)域的問題時往往由相同的專家團隊負責(zé)。

其他模型（如Yuan2.0、Qwen3和Qwen1.5-MoE）則在Wikipedia上表現(xiàn)出特別高的局部路由一致性，可能是因為Wikipedia包含大量多語言文本，需要特定的語言專家。

還有一些模型（如Mixtral-8x7B、MiniCPM-MoE和JetMoE）在各個領(lǐng)域的局部路由一致性相對均衡，沒有明顯的領(lǐng)域偏好。

研究團隊進一步分析了專家的專業(yè)化類型，發(fā)現(xiàn)兩種主要的專業(yè)化方式：（1）領(lǐng)域?qū)I(yè)化：某些專家專門處理特定領(lǐng)域的內(nèi)容；（2）詞匯專業(yè)化：某些專家專門處理特定類型的詞匯。

實驗結(jié)果表明，領(lǐng)域?qū)I(yè)化對局部路由一致性的貢獻更大。這就像是專業(yè)領(lǐng)域的專家分工更加穩(wěn)定，而處理特定詞匯的專家則需要根據(jù)上下文頻繁切換。模型如Qwen3、Phi-3.5-MoE、GRIN-MoE和OLMoE同時具有高度的領(lǐng)域?qū)I(yè)化、較高的局部路由一致性，以及它們之間的強相關(guān)性，證明了這一點。

五、緩存大小的黃金比例：專家數(shù)量的兩倍最佳

在實際應(yīng)用中，一個關(guān)鍵問題是：我們應(yīng)該為多少專家準(zhǔn)備"高級酒店"房間（快速內(nèi)存）？太少會導(dǎo)致頻繁的專家切換，太多則浪費寶貴的內(nèi)存資源。

研究團隊通過分析段緩存最佳命中率（SCH）在不同緩存大小下的變化，發(fā)現(xiàn)了一個實用的規(guī)律：對于大多數(shù)MoE模型，當(dāng)緩存大小是激活專家數(shù)量的2倍時，可以在緩存效果和內(nèi)存效率之間取得最佳平衡。

具體來說，第一組模型（局部路由一致性最高的模型）在緩存大小為激活專家數(shù)量2倍時，緩存命中率就能達到60%以上，并且繼續(xù)增加緩存大小對性能提升有限。第二組和第三組模型也能在這個緩存大小下取得不錯的性能，而第四組模型則需要更大的緩存大小才能達到滿意的效果。

這一發(fā)現(xiàn)為MoE模型的實際部署提供了重要參考。簡單來說，如果一個模型每次激活2個專家，那么為4個專家準(zhǔn)備快速內(nèi)存空間就是一個較為理想的選擇。

六、研究啟示與未來方向

這項研究的結(jié)果對MoE模型的設(shè)計和部署都具有重要意義。首先，它告訴我們不是所有MoE模型都同樣適合專家卸載。在設(shè)計需要部署到內(nèi)存受限設(shè)備的MoE模型時，應(yīng)該優(yōu)先考慮在每一層都應(yīng)用MoE結(jié)構(gòu)，并避免使用共享專家，這樣可以獲得更高的局部路由一致性。

此外，研究還表明，通過適當(dāng)?shù)脑O(shè)計，可以同時實現(xiàn)高局部路由一致性和良好的負載均衡，主要是依靠領(lǐng)域?qū)I(yè)化的專家。這為未來MoE模型的優(yōu)化提供了明確方向。

對于已有MoE模型的部署，研究建議將緩存大小設(shè)為激活專家數(shù)量的2倍，這個"黃金比例"在大多數(shù)情況下能夠平衡緩存效果和內(nèi)存效率。

需要注意的是，研究也存在一些局限性，比如實驗中的MoE模型參數(shù)規(guī)模僅達到60B，而未來可能會有更大規(guī)模的模型出現(xiàn)。此外，研究中的SRP和SCH指標(biāo)關(guān)注的是純粹的段路由/緩存，而實際的專家卸載系統(tǒng)可能會更加復(fù)雜。未來的研究可以探索這些理論發(fā)現(xiàn)在實際專家卸載系統(tǒng)中的應(yīng)用效果。

總的來說，這項研究為我們揭示了MoE模型中一個重要但之前被忽視的特性——局部路由一致性，并提供了測量和優(yōu)化這一特性的方法。這些發(fā)現(xiàn)不僅有助于設(shè)計更適合內(nèi)存受限設(shè)備的MoE模型，也為現(xiàn)有模型的高效部署提供了實用指導(dǎo)。