這項(xiàng)由浙江大學(xué)曹杰、林天威、何鴻洋等研究團(tuán)隊(duì)以及騰訊公司閆若蘭共同完成的創(chuàng)新研究，發(fā)表于2025年6月的arXiv預(yù)印本平臺(tái)（論文編號(hào)：arXiv:2506.05928v1）。有興趣深入了解的讀者可以通過https://github.com/DCDmllm/MoA訪問項(xiàng)目主頁獲取更多技術(shù)細(xì)節(jié)。

想象一下，你正在學(xué)習(xí)一門復(fù)雜的手藝，比如做菜。傳統(tǒng)的學(xué)習(xí)方法就像請(qǐng)來八個(gè)廚師，但這八個(gè)廚師都有著相同的烹飪風(fēng)格和技巧——雖然人多力量大，但由于大家都擅長同樣的東西，很容易出現(xiàn)"英雄所見略同"的情況，最終做出的菜品缺乏多樣性和創(chuàng)新。更糟糕的是，由于大家技能相似，往往會(huì)出現(xiàn)"搶活兒"的現(xiàn)象，有些廚師忙得不可開交，而另一些廚師卻無所事事。

這個(gè)烹飪的比喻恰好反映了當(dāng)前人工智能大模型訓(xùn)練中遇到的一個(gè)關(guān)鍵問題。目前最流行的參數(shù)高效微調(diào)方法叫做MoE-LoRA（專家混合低秩適應(yīng)），就像雇傭多個(gè)相同技能的專家來幫助AI學(xué)習(xí)新任務(wù)。但正如我們的烹飪例子一樣，這些"同質(zhì)化專家"存在著嚴(yán)重的局限性。

研究團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)前的AI訓(xùn)練方法面臨兩個(gè)核心困境。首先是"表征坍塌"問題，就像那八個(gè)廚師最終都學(xué)會(huì)了同樣的菜譜，失去了各自的特色。在AI領(lǐng)域，這意味著原本設(shè)計(jì)為不同專家的模塊最終學(xué)到了相似的知識(shí)表示，浪費(fèi)了系統(tǒng)的潛在能力。其次是"專家負(fù)載不均衡"問題，就像某些廚師總是被優(yōu)先選擇，而其他廚師逐漸被邊緣化，導(dǎo)致整個(gè)團(tuán)隊(duì)的工作效率低下。

為了解決這些問題，浙江大學(xué)的研究團(tuán)隊(duì)提出了一個(gè)革命性的解決方案：異構(gòu)適配器混合方法（MoA）。如果說傳統(tǒng)方法像是雇傭八個(gè)相同的廚師，那么MoA就像是組建一個(gè)多元化的烹飪團(tuán)隊(duì)——其中有擅長中式炒菜的師傅、專業(yè)的西式烘焙師、精通日式料理的匠人，以及熟悉分子美食的創(chuàng)新廚師。每個(gè)專家都有自己獨(dú)特的技能和工具，當(dāng)面對(duì)不同類型的烹飪?nèi)蝿?wù)時(shí)，系統(tǒng)會(huì)智能地選擇最合適的專家組合。

這種異構(gòu)設(shè)計(jì)的核心理念在于充分利用不同類型適配器的互補(bǔ)特性。研究團(tuán)隊(duì)巧妙地整合了三種不同類型的參數(shù)高效微調(diào)技術(shù)：LoRA（低秩適應(yīng)）、并行適配器和提示調(diào)優(yōu)。就像我們的多元化烹飪團(tuán)隊(duì)一樣，每種技術(shù)都有其獨(dú)特的"專長"。LoRA就像是經(jīng)驗(yàn)豐富的全能廚師，能夠高效地處理大部分常見任務(wù)；并行適配器則像是專業(yè)的配菜師傅，專門負(fù)責(zé)處理特定的輔助任務(wù)；而提示調(diào)優(yōu)則像是調(diào)味專家，能夠?yàn)檎啦似吩鎏砬〉胶锰幍娘L(fēng)味。

更令人興奮的是，研究團(tuán)隊(duì)開發(fā)了兩種不同的"專家協(xié)調(diào)機(jī)制"。第一種叫做"軟MoA"，就像是一個(gè)善于統(tǒng)籌的主廚，會(huì)根據(jù)每道菜的具體需求，按照不同比例混合各位專家的貢獻(xiàn)。比如在制作一道復(fù)雜的融合菜品時(shí)，主廚可能會(huì)要求中式炒菜師傅貢獻(xiàn)40%的技藝，西式烘焙師貢獻(xiàn)30%，分子美食專家貢獻(xiàn)20%，其余專家各自貢獻(xiàn)一小部分。

第二種機(jī)制叫做"稀疏MoA"，則更像是一個(gè)精明的餐廳經(jīng)理，會(huì)根據(jù)每道菜的具體需求動(dòng)態(tài)決定需要哪些廚師參與。對(duì)于簡單的家常菜，可能只需要一兩個(gè)廚師就夠了；而對(duì)于復(fù)雜的宴席大菜，則可能需要調(diào)動(dòng)更多專家。這種動(dòng)態(tài)選擇機(jī)制不僅提高了效率，還大大節(jié)省了"人力成本"——在AI訓(xùn)練中，這意味著顯著降低了計(jì)算資源的消耗。

研究團(tuán)隊(duì)在數(shù)學(xué)推理和常識(shí)推理兩大領(lǐng)域進(jìn)行了廣泛的實(shí)驗(yàn)驗(yàn)證。數(shù)學(xué)推理任務(wù)包括GSM8K、SVAMP、MultiArith等六個(gè)測試數(shù)據(jù)集，就像是考察廚師們處理不同復(fù)雜程度菜品的能力。常識(shí)推理任務(wù)則包括BoolQ、PIQA、SIQA等八個(gè)數(shù)據(jù)集，相當(dāng)于測試廚師們對(duì)不同菜系文化背景的理解程度。

實(shí)驗(yàn)結(jié)果令人振奮。在數(shù)學(xué)推理任務(wù)中，軟MoA方法取得了81.51%的平均準(zhǔn)確率，而所使用的訓(xùn)練參數(shù)僅為24.52百萬個(gè)——這相當(dāng)于用不到傳統(tǒng)方法四分之一的"食材成本"，卻做出了更美味的"菜品"。稀疏MoA方法雖然準(zhǔn)確率略低（81.20%），但參數(shù)量進(jìn)一步減少到22.29百萬個(gè)，在效率方面表現(xiàn)更加出色。

在常識(shí)推理任務(wù)中，兩種MoA方法也都顯著超越了現(xiàn)有的最先進(jìn)方法。更重要的是，通過詳細(xì)的效率分析，研究團(tuán)隊(duì)發(fā)現(xiàn)MoA方法在訓(xùn)練時(shí)間、GPU內(nèi)存使用和推理速度等關(guān)鍵指標(biāo)上都表現(xiàn)優(yōu)異。就像我們的多元化烹飪團(tuán)隊(duì)不僅能做出更好的菜品，還能更高效地利用廚房資源一樣。

為了深入理解MoA方法的工作機(jī)制，研究團(tuán)隊(duì)進(jìn)行了大量的消融實(shí)驗(yàn)。他們發(fā)現(xiàn)，在MoA的異構(gòu)專家團(tuán)隊(duì)中，LoRA模塊確實(shí)承擔(dān)了主要的"重活兒"，就像全能廚師在大部分情況下都是主力。但有趣的是，并行適配器和提示調(diào)優(yōu)這兩種"輔助專家"的存在對(duì)最終性能有著不可忽視的提升作用，就像調(diào)味師傅的一小撮香料能讓整道菜的味道提升一個(gè)層次。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：在不同的網(wǎng)絡(luò)層中，各個(gè)專家的活躍程度呈現(xiàn)出明顯的分層特性。在網(wǎng)絡(luò)的前半部分（較低層），專家們通常比較活躍，而在后半部分（較高層），活躍度相對(duì)較低。這就像在烹飪過程中，前期的準(zhǔn)備工作需要多個(gè)廚師協(xié)作，而后期的精細(xì)調(diào)味則可能只需要少數(shù)專家參與。

更令人印象深刻的是，MoA方法展現(xiàn)出了優(yōu)秀的一致性和穩(wěn)定性。無論使用什么樣的隨機(jī)種子進(jìn)行訓(xùn)練，各個(gè)專家的權(quán)重分布都保持高度一致，這表明該方法找到了真正有效的專家分工模式，而不是偶然的巧合。相比之下，傳統(tǒng)的同質(zhì)化專家方法在不同訓(xùn)練條件下的表現(xiàn)變化很大，就像那八個(gè)相同技能的廚師在不同環(huán)境下可能會(huì)產(chǎn)生完全不同的協(xié)作效果。

在計(jì)算效率方面，MoA方法的優(yōu)勢(shì)更加明顯。稀疏MoA通過智能的專家選擇機(jī)制，平均只需要激活原本專家數(shù)量的60%左右，卻幾乎沒有性能損失。這就像一個(gè)聰明的餐廳經(jīng)理，能夠根據(jù)訂單的復(fù)雜程度精確調(diào)配人員，既保證了菜品質(zhì)量，又最大化了人員利用效率。

研究團(tuán)隊(duì)還特別關(guān)注了方法的實(shí)際應(yīng)用價(jià)值。他們發(fā)現(xiàn)，隨著批處理大小的增加，稀疏MoA的計(jì)算優(yōu)勢(shì)變得更加明顯。在小批量處理時(shí)，由于需要進(jìn)行專家選擇的額外計(jì)算，稀疏MoA的速度優(yōu)勢(shì)并不明顯；但在大批量處理時(shí)，這種動(dòng)態(tài)選擇機(jī)制帶來的計(jì)算節(jié)省遠(yuǎn)超過了額外開銷，使得整體效率顯著提升。

從技術(shù)創(chuàng)新的角度來看，MoA方法的最大貢獻(xiàn)在于突破了傳統(tǒng)"同質(zhì)化專家"的思維局限。它證明了在AI訓(xùn)練中，多樣性比數(shù)量更重要——與其雇傭更多相同技能的專家，不如組建一個(gè)技能互補(bǔ)的小團(tuán)隊(duì)。這種設(shè)計(jì)理念不僅提升了性能，還大大提高了資源利用效率。

值得注意的是，MoA方法在路由機(jī)制的設(shè)計(jì)上也有獨(dú)到之處。傳統(tǒng)的專家混合方法通常使用softmax激活函數(shù)，這會(huì)強(qiáng)制各專家之間形成競爭關(guān)系——一個(gè)專家權(quán)重的增加必然導(dǎo)致其他專家權(quán)重的減少。而MoA方法采用了sigmoid激活函數(shù)，允許專家之間進(jìn)行協(xié)作而非競爭。這就像是鼓勵(lì)廚師們相互配合做出更好的菜品，而不是讓他們互相爭奪表現(xiàn)機(jī)會(huì)。

在實(shí)際應(yīng)用方面，研究團(tuán)隊(duì)還探討了實(shí)例級(jí)路由和詞匯級(jí)路由的區(qū)別。實(shí)例級(jí)路由就像是為每一桌客人指定一套固定的廚師組合，而詞匯級(jí)路由則像是根據(jù)每道菜的每個(gè)步驟動(dòng)態(tài)調(diào)整參與的廚師。實(shí)驗(yàn)證明，詞匯級(jí)路由雖然計(jì)算復(fù)雜度更高，但能夠提供更精細(xì)的專家分工，從而獲得更好的效果。

研究團(tuán)隊(duì)通過可視化分析進(jìn)一步揭示了MoA方法的工作原理。他們發(fā)現(xiàn)，不同類型的專家在處理不同類型的語言信息時(shí)表現(xiàn)出明顯的偏好。例如，在處理數(shù)學(xué)推理任務(wù)時(shí)，LoRA專家在處理數(shù)字和運(yùn)算符時(shí)更加活躍，而提示調(diào)優(yōu)專家則在處理問題描述的自然語言部分發(fā)揮更大作用。這種專門化分工正是異構(gòu)設(shè)計(jì)的核心價(jià)值所在。

從更廣泛的影響來看，MoA方法的成功為參數(shù)高效微調(diào)領(lǐng)域開辟了新的研究方向。它表明，未來的AI訓(xùn)練方法應(yīng)該更多地關(guān)注不同技術(shù)的互補(bǔ)性，而不是簡單地?cái)U(kuò)大單一技術(shù)的規(guī)模。這種設(shè)計(jì)理念可能會(huì)影響未來大模型架構(gòu)的發(fā)展方向。

研究團(tuán)隊(duì)也誠實(shí)地討論了該方法的局限性。稀疏MoA在小批量處理時(shí)的計(jì)算開銷問題，以及某些參數(shù)高效微調(diào)技術(shù)（如提示調(diào)優(yōu)）與稀疏路由機(jī)制的兼容性問題，都是需要在后續(xù)研究中繼續(xù)改進(jìn)的方向。此外，如何進(jìn)一步擴(kuò)展異構(gòu)專家的類型，以及如何在更大規(guī)模的模型上驗(yàn)證這種方法的有效性，也是值得探索的問題。

說到底，浙江大學(xué)團(tuán)隊(duì)的這項(xiàng)研究為我們提供了一個(gè)重要啟示：在AI技術(shù)快速發(fā)展的今天，創(chuàng)新往往來自于對(duì)現(xiàn)有技術(shù)的巧妙組合，而不是完全從零開始的發(fā)明。通過將不同的參數(shù)高效微調(diào)技術(shù)有機(jī)結(jié)合，MoA方法不僅提升了性能，還提高了效率，為未來大模型的實(shí)用化部署提供了有價(jià)值的技術(shù)路徑。

歸根結(jié)底，這項(xiàng)研究證明了一個(gè)樸素而深刻的道理：團(tuán)隊(duì)合作的力量不在于成員數(shù)量的多少，而在于成員技能的多樣性和互補(bǔ)性。就像一個(gè)優(yōu)秀的烹飪團(tuán)隊(duì)需要不同專長的廚師相互配合一樣，未來的AI系統(tǒng)也需要不同類型的"專家模塊"協(xié)同工作，才能在復(fù)雜多變的任務(wù)中發(fā)揮出最佳性能。這種異構(gòu)專家混合的設(shè)計(jì)理念，可能會(huì)成為下一代AI系統(tǒng)架構(gòu)設(shè)計(jì)的重要指導(dǎo)原則。

對(duì)于普通讀者而言，這項(xiàng)研究的意義在于它讓我們看到了AI技術(shù)變得更加高效和實(shí)用的可能性。隨著類似技術(shù)的不斷發(fā)展和完善，未來我們可能會(huì)看到更多能夠以更低成本提供更好服務(wù)的AI應(yīng)用，從而讓人工智能技術(shù)真正惠及更廣泛的用戶群體。有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以訪問研究團(tuán)隊(duì)在GitHub上開源的項(xiàng)目頁面，或者查閱發(fā)表在arXiv平臺(tái)上的完整論文。