深度學(xué)習(xí)模型的訓(xùn)練調(diào)參一直是個(gè)讓研究者頭疼的問題，就像是在黑暗中摸索最佳的烹飪配方。每當(dāng)模型變大，之前好不容易找到的"調(diào)料配比"就失效了，必須重新開始漫長的試錯(cuò)過程。不過，華沙大學(xué)聯(lián)合多個(gè)研究機(jī)構(gòu)的團(tuán)隊(duì)在2025年8月發(fā)表了一項(xiàng)突破性研究，首次將μ參數(shù)化技術(shù)成功擴(kuò)展到了混合專家（MoE）架構(gòu)中，為這個(gè)困擾業(yè)界的問題提供了優(yōu)雅的解決方案。這項(xiàng)研究發(fā)表在arXiv預(yù)印本平臺(tái)上，論文編號為arXiv:2508.09752v1，有興趣深入了解的讀者可以通過該編號在arXiv網(wǎng)站上找到完整論文。

研究團(tuán)隊(duì)由華沙大學(xué)的Jan Malasnicki、Kamil Ciebiera等多位研究者組成，他們來自華沙大學(xué)、Syntro公司、IDEAS NCBR、波蘭科學(xué)院基礎(chǔ)技術(shù)研究所、Nomagic公司以及弗羅茨瓦夫理工大學(xué)等多個(gè)機(jī)構(gòu)。這種跨機(jī)構(gòu)合作體現(xiàn)了當(dāng)前AI研究的國際化特點(diǎn)，也為這項(xiàng)研究帶來了多元化的視角和資源支持。

要理解這項(xiàng)研究的重要性，我們得先從一個(gè)簡單的比喻說起。假設(shè)你是一位廚師，掌握了一道菜的完美配方。當(dāng)你想要制作更大份量的食物時(shí)，你不能簡單地將所有配料等比例放大，因?yàn)榕腼儠r(shí)間、火候、調(diào)料的相互作用都會(huì)發(fā)生變化。同樣地，在訓(xùn)練AI模型時(shí)，當(dāng)模型規(guī)模擴(kuò)大后，原本有效的學(xué)習(xí)率、初始化參數(shù)等"調(diào)料"配比就會(huì)失效，需要重新調(diào)整。

傳統(tǒng)的解決方案就是不斷試錯(cuò)，這個(gè)過程既耗時(shí)又昂貴。而μ參數(shù)化（μ-Parametrization，簡稱μP）技術(shù)的出現(xiàn)改變了這一切。它就像是找到了一個(gè)萬能的烹飪公式，能夠確保無論制作多大份量的食物，都能保持相同的美味。具體來說，μP通過巧妙地重新設(shè)計(jì)模型參數(shù)的縮放方式，使得在小模型上找到的最佳超參數(shù)可以直接應(yīng)用到大模型上，無需重新調(diào)整。

然而，這項(xiàng)技術(shù)之前只適用于傳統(tǒng)的密集型神經(jīng)網(wǎng)絡(luò)，就像是只適用于傳統(tǒng)烹飪方式。隨著混合專家（MoE）架構(gòu)的興起，情況變得更加復(fù)雜。MoE架構(gòu)就像是一個(gè)擁有多個(gè)專業(yè)廚師的廚房，每個(gè)廚師（專家）都擅長處理特定類型的食材（數(shù)據(jù)），而一個(gè)總調(diào)度員（路由器）負(fù)責(zé)決定每道菜應(yīng)該由哪個(gè)廚師來處理。這種架構(gòu)能夠大大提高效率，因?yàn)椴皇撬械膶＜叶夹枰瑫r(shí)工作，只有被選中的專家才會(huì)處理當(dāng)前的任務(wù)。

MoE架構(gòu)的復(fù)雜性在于它引入了稀疏激活模式和路由機(jī)制，這些特性使得傳統(tǒng)的μP理論不再直接適用。就好比在多廚師廚房中，不僅要考慮每個(gè)廚師的技藝調(diào)整，還要考慮總調(diào)度員的決策規(guī)則如何隨著廚房規(guī)模的擴(kuò)大而變化。

華沙大學(xué)團(tuán)隊(duì)面臨的挑戰(zhàn)是如何將μP的優(yōu)勢擴(kuò)展到這種更復(fù)雜的架構(gòu)中。他們需要從理論層面重新分析MoE中每個(gè)組件的行為模式，確定在模型寬度增加時(shí)，專家網(wǎng)絡(luò)和路由器分別應(yīng)該如何調(diào)整參數(shù)縮放策略。

研究團(tuán)隊(duì)首先從理論分析入手，將MoE層中的不同組件進(jìn)行分類。他們發(fā)現(xiàn)，專家網(wǎng)絡(luò)本質(zhì)上連接的是兩個(gè)無限寬的層，因此應(yīng)該被視為"隱藏權(quán)重"，而路由器則是從無限寬層映射到固定有限維度，應(yīng)該被視為"輸出權(quán)重"。這種分類決定了它們在初始化和優(yōu)化過程中應(yīng)該采用不同的縮放策略。

在理論推導(dǎo)過程中，研究團(tuán)隊(duì)需要確保三個(gè)關(guān)鍵條件得到滿足。首先，在初始化時(shí)，所有隱藏表示的大小應(yīng)該保持在常數(shù)量級，不會(huì)因?yàn)槟Ｐ蛯挾鹊脑黾佣l(fā)生劇烈變化。其次，模型的輸出logits也應(yīng)該保持在合理范圍內(nèi)。最后，經(jīng)過一次優(yōu)化步驟后，隱藏表示和輸出logits的變化量都應(yīng)該保持穩(wěn)定。

這些理論要求看似抽象，但它們確保了無論模型多大，訓(xùn)練過程都能保持穩(wěn)定的動(dòng)態(tài)特性。就像是確保無論廚房多大，每個(gè)環(huán)節(jié)的協(xié)調(diào)性都能得到維持。

在具體的參數(shù)化設(shè)計(jì)中，研究團(tuán)隊(duì)提出了完整的縮放策略。對于專家網(wǎng)絡(luò)，他們采用了與傳統(tǒng)密集網(wǎng)絡(luò)相同的處理方式，初始化方差為1/fan_in，學(xué)習(xí)率乘數(shù)為1/fan_in。而對于路由器，由于它的特殊性質(zhì)，初始化方差保持為1.0，學(xué)習(xí)率也不需要額外的縮放因子。

值得注意的是，研究團(tuán)隊(duì)還提供了一個(gè)簡化版本的參數(shù)化方案，稱為simpleP-MoE。在這個(gè)方案中，每個(gè)專家都被當(dāng)作傳統(tǒng)的多層感知器來處理，而路由器的處理則保持不變。這種簡化方案在實(shí)際應(yīng)用中也表現(xiàn)出了良好的效果，為那些希望快速應(yīng)用這項(xiàng)技術(shù)的研究者提供了便利。

理論分析完成后，研究團(tuán)隊(duì)進(jìn)行了大量的實(shí)驗(yàn)驗(yàn)證。他們使用了不同規(guī)模的Transformer模型，從64維的小模型一直到1024維的大模型，在C4數(shù)據(jù)集上進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果令人鼓舞：無論是完整的μP-MoE還是簡化的simpleP-MoE，都成功實(shí)現(xiàn)了學(xué)習(xí)率的跨模型傳遞。

在標(biāo)準(zhǔn)參數(shù)化方案中，每個(gè)模型規(guī)模都需要單獨(dú)調(diào)整學(xué)習(xí)率才能獲得最佳性能，學(xué)習(xí)率曲線在不同模型寬度下呈現(xiàn)出完全不同的形狀。而在μP方案下，所有模型的最優(yōu)學(xué)習(xí)率幾乎重合，這意味著研究者可以在小模型上找到最佳學(xué)習(xí)率，然后直接應(yīng)用到大模型上。

實(shí)驗(yàn)中還有一個(gè)有趣的發(fā)現(xiàn)：最優(yōu)學(xué)習(xí)率會(huì)隨著模型變寬而略微上升。這種現(xiàn)象在原始的μP理論中也有觀察到，可能與深度相對于寬度的比例變化有關(guān)。雖然這種偏移很小，但它提醒我們在實(shí)際應(yīng)用中仍需要進(jìn)行一些微調(diào)。

除了驗(yàn)證基本的學(xué)習(xí)率傳遞性，研究團(tuán)隊(duì)還探索了MoE架構(gòu)中其他參數(shù)的影響。他們發(fā)現(xiàn)，當(dāng)改變專家數(shù)量時(shí)，學(xué)習(xí)率傳遞性依然保持良好。這是一個(gè)重要發(fā)現(xiàn)，因?yàn)樗馕吨芯空卟粌H可以在不同模型寬度間傳遞參數(shù)，還可以在不同專家數(shù)量的配置間進(jìn)行傳遞。

然而，當(dāng)涉及到顆粒度（granularity）參數(shù)的變化時(shí)，情況變得復(fù)雜了。顆粒度是細(xì)粒度MoE中的一個(gè)概念，它通過同時(shí)調(diào)整專家數(shù)量、每個(gè)專家的大小和top-k值來控制模型的專家配置。實(shí)驗(yàn)顯示，不同顆粒度設(shè)置下的最優(yōu)學(xué)習(xí)率并不相同，這表明當(dāng)前的參數(shù)化方案在這個(gè)維度上還有改進(jìn)空間。

這個(gè)發(fā)現(xiàn)提醒我們，雖然μP-MoE在主要方面取得了成功，但在處理MoE架構(gòu)的所有復(fù)雜性方面仍有工作要做。研究團(tuán)隊(duì)坦誠地承認(rèn)了這一局限性，并將其作為未來研究的重要方向。

從實(shí)用角度來看，這項(xiàng)研究為大規(guī)模MoE模型的訓(xùn)練帶來了顯著的成本降低。以往，每當(dāng)研究者想要擴(kuò)大MoE模型的規(guī)模時(shí)，都需要進(jìn)行大量的超參數(shù)搜索，這個(gè)過程可能需要數(shù)千個(gè)GPU小時(shí)。而現(xiàn)在，他們可以在相對較小的模型上進(jìn)行參數(shù)調(diào)優(yōu)，然后將結(jié)果直接應(yīng)用到大模型上，大大減少了計(jì)算資源的消耗。

這種效率提升對整個(gè)AI研究領(lǐng)域具有重要意義。隨著模型規(guī)模的不斷增長，訓(xùn)練成本已經(jīng)成為制約研究進(jìn)展的重要因素。μP-MoE技術(shù)的出現(xiàn)為緩解這個(gè)問題提供了有效工具，讓更多研究團(tuán)隊(duì)能夠參與到大規(guī)模模型的研究中來。

從技術(shù)發(fā)展的角度來看，這項(xiàng)研究還展現(xiàn)了理論與實(shí)踐相結(jié)合的重要性。研究團(tuán)隊(duì)不是簡單地提出一個(gè)經(jīng)驗(yàn)性的方案，而是從理論層面深入分析了MoE架構(gòu)的數(shù)學(xué)性質(zhì)，然后基于這些分析設(shè)計(jì)出了相應(yīng)的參數(shù)化策略。這種嚴(yán)謹(jǐn)?shù)姆椒ㄕ摯_保了技術(shù)的可靠性和可擴(kuò)展性。

當(dāng)然，這項(xiàng)研究也存在一些限制。目前的理論分析主要針對Switch Transformer這種特定的MoE架構(gòu)，對于其他變體的適用性還需要進(jìn)一步驗(yàn)證。此外，在處理更復(fù)雜的MoE配置（如專家選擇路由、層次化專家等）時(shí)，可能需要對理論進(jìn)行相應(yīng)的擴(kuò)展。

展望未來，這項(xiàng)研究為MoE領(lǐng)域的發(fā)展奠定了重要基礎(chǔ)。隨著MoE架構(gòu)在大語言模型中的廣泛應(yīng)用，μP-MoE技術(shù)有望成為標(biāo)準(zhǔn)工具，幫助研究者更高效地訓(xùn)練和部署大規(guī)模模型。同時(shí)，這項(xiàng)工作也為其他復(fù)雜神經(jīng)網(wǎng)絡(luò)架構(gòu)的參數(shù)化研究提供了方法論指導(dǎo)。

研究團(tuán)隊(duì)在論文中還詳細(xì)介紹了實(shí)驗(yàn)設(shè)置，使用了標(biāo)準(zhǔn)的實(shí)驗(yàn)協(xié)議以確保結(jié)果的可重現(xiàn)性。他們采用了decoder-only的Transformer架構(gòu)，在C4數(shù)據(jù)集上訓(xùn)練，使用AdamW優(yōu)化器和余弦衰減學(xué)習(xí)率調(diào)度。所有的模型都使用ReLU激活函數(shù)，并采用了標(biāo)準(zhǔn)的MoE輔助損失來保證訓(xùn)練穩(wěn)定性。

這種開放和透明的研究方式體現(xiàn)了現(xiàn)代AI研究的良好傳統(tǒng)，讓其他研究者能夠基于這項(xiàng)工作進(jìn)一步發(fā)展。事實(shí)上，研究團(tuán)隊(duì)不僅提供了理論分析和實(shí)驗(yàn)結(jié)果，還在附錄中給出了詳細(xì)的數(shù)學(xué)推導(dǎo)和證明，為有興趣深入研究的學(xué)者提供了完整的技術(shù)細(xì)節(jié)。

總的來說，這項(xiàng)由華沙大學(xué)領(lǐng)導(dǎo)的國際合作研究成功地將μ參數(shù)化技術(shù)擴(kuò)展到了混合專家架構(gòu)，為大規(guī)模AI模型訓(xùn)練中的超參數(shù)調(diào)優(yōu)問題提供了優(yōu)雅的解決方案。雖然仍有一些技術(shù)細(xì)節(jié)需要進(jìn)一步完善，但這項(xiàng)工作已經(jīng)為MoE模型的高效訓(xùn)練鋪平了道路，有望在未來的AI研究和應(yīng)用中發(fā)揮重要作用。

Q&A

Q1：μ參數(shù)化技術(shù)是什么？它解決了什么問題？

A：μ參數(shù)化（μP）是一種特殊的神經(jīng)網(wǎng)絡(luò)參數(shù)縮放技術(shù)，就像找到了萬能的烹飪配方。傳統(tǒng)上，當(dāng)AI模型變大時(shí)，之前有效的學(xué)習(xí)率等參數(shù)就失效了，需要重新調(diào)試。μP通過巧妙設(shè)計(jì)參數(shù)縮放方式，讓在小模型上找到的最佳參數(shù)可以直接用在大模型上，大大節(jié)省了調(diào)參時(shí)間和計(jì)算成本。

Q2：混合專家架構(gòu)為什么比傳統(tǒng)模型更難處理？

A：混合專家（MoE）架構(gòu)就像擁有多個(gè)專業(yè)廚師的廚房，每個(gè)專家只處理特定類型的數(shù)據(jù)，還有一個(gè)調(diào)度員決定哪個(gè)專家處理哪個(gè)任務(wù)。這種稀疏激活和路由機(jī)制比傳統(tǒng)的密集網(wǎng)絡(luò)復(fù)雜得多，之前的μP技術(shù)無法直接應(yīng)用，需要重新設(shè)計(jì)參數(shù)化策略來處理專家和路由器的不同特性。

Q3：華沙大學(xué)這項(xiàng)研究的實(shí)際應(yīng)用價(jià)值有多大？

A：這項(xiàng)研究能大幅降低大規(guī)模MoE模型的訓(xùn)練成本。以前訓(xùn)練大模型需要數(shù)千個(gè)GPU小時(shí)來調(diào)參數(shù)，現(xiàn)在可以在小模型上找到最佳參數(shù)直接用到大模型上。這讓更多研究團(tuán)隊(duì)能夠參與大模型研究，加速整個(gè)AI領(lǐng)域的發(fā)展。不過目前在處理某些復(fù)雜MoE配置時(shí)還有改進(jìn)空間。