這項(xiàng)由東京科學(xué)技術(shù)大學(xué)的中村泰志、石川里希和川村正樹(shù)等研究者主導(dǎo)的研究團(tuán)隊(duì)，聯(lián)合東北大學(xué)、理化學(xué)研究所等機(jī)構(gòu)，于2025年發(fā)表了一項(xiàng)關(guān)于大型語(yǔ)言模型架構(gòu)優(yōu)化的重要發(fā)現(xiàn)。該研究發(fā)表在機(jī)器學(xué)習(xí)頂級(jí)會(huì)議上，感興趣的讀者可以通過(guò)arXiv:2508.18672獲取完整論文和相關(guān)代碼。

在人工智能快速發(fā)展的今天，大型語(yǔ)言模型就像是一個(gè)超級(jí)大腦，能夠理解和生成人類語(yǔ)言。而專家混合模型（Mixture-of-Experts，簡(jiǎn)稱MoE）則像是一個(gè)擁有多個(gè)專業(yè)顧問(wèn)的智囊團(tuán)，每個(gè)顧問(wèn)都有自己的專長(zhǎng)領(lǐng)域。傳統(tǒng)觀念認(rèn)為，顧問(wèn)越多，智囊團(tuán)的能力就越強(qiáng)。但是，東京科學(xué)技術(shù)大學(xué)的這個(gè)研究團(tuán)隊(duì)卻發(fā)現(xiàn)了一個(gè)令人意外的現(xiàn)象：當(dāng)面對(duì)需要深度思考的推理任務(wù)時(shí)，專家太多反而可能幫倒忙。

這個(gè)發(fā)現(xiàn)就像是在烹飪界發(fā)現(xiàn)了一個(gè)違反常識(shí)的現(xiàn)象：并非所有菜品都是調(diào)料越多越香。研究團(tuán)隊(duì)通過(guò)大量實(shí)驗(yàn)發(fā)現(xiàn)，在處理記憶性任務(wù)（比如回憶歷史事實(shí)）時(shí)，專家數(shù)量確實(shí)是多多益善，就像制作一道復(fù)雜的滿漢全席，需要各種調(diào)料的精妙配合。但當(dāng)面對(duì)需要邏輯推理的數(shù)學(xué)問(wèn)題時(shí)，情況卻完全不同了。

想象一下，你正在解決一道復(fù)雜的數(shù)學(xué)題。如果有太多"顧問(wèn)"同時(shí)在你耳邊給出不同的建議，反而會(huì)讓你思路混亂，無(wú)法集中注意力找到正確答案。研究團(tuán)隊(duì)發(fā)現(xiàn)，對(duì)于數(shù)學(xué)推理任務(wù)，存在一個(gè)"黃金比例"——專家數(shù)量超過(guò)這個(gè)最優(yōu)點(diǎn)后，模型的表現(xiàn)不但不會(huì)提升，甚至?xí)_(kāi)始下降。這就像是一個(gè)精密的天平，需要找到完美的平衡點(diǎn)。

研究團(tuán)隊(duì)設(shè)計(jì)了一系列精巧的實(shí)驗(yàn)來(lái)驗(yàn)證這個(gè)發(fā)現(xiàn)。他們訓(xùn)練了多個(gè)不同配置的專家混合模型，就像是培養(yǎng)了多個(gè)不同規(guī)模的智囊團(tuán)。每個(gè)智囊團(tuán)都有不同數(shù)量的專家，從8個(gè)到256個(gè)不等，同時(shí)每次處理問(wèn)題時(shí)會(huì)調(diào)用不同數(shù)量的顧問(wèn)，從2個(gè)到16個(gè)。這樣的設(shè)計(jì)讓研究團(tuán)隊(duì)能夠細(xì)致地觀察專家數(shù)量變化對(duì)模型性能的影響。

在實(shí)驗(yàn)過(guò)程中，研究團(tuán)隊(duì)使用了125億個(gè)文本token進(jìn)行訓(xùn)練，這相當(dāng)于讓模型閱讀了數(shù)萬(wàn)本書籍的內(nèi)容。訓(xùn)練數(shù)據(jù)包含了高質(zhì)量的網(wǎng)頁(yè)文本、數(shù)學(xué)資料、學(xué)術(shù)文獻(xiàn)和程序代碼，確保模型能夠全面地學(xué)習(xí)各種知識(shí)和技能。整個(gè)訓(xùn)練過(guò)程就像是為這些AI專家們安排了一場(chǎng)全方位的"教育培訓(xùn)"。

實(shí)驗(yàn)結(jié)果令人震驚。在處理TriviaQA和HellaSwag這類知識(shí)問(wèn)答任務(wù)時(shí)，模型的表現(xiàn)確實(shí)隨著專家數(shù)量的增加而提升，就像一個(gè)博學(xué)的圖書管理員，知識(shí)儲(chǔ)備越豐富，回答問(wèn)題的準(zhǔn)確率就越高。但在面對(duì)GSM8K和GSM-Plus這類數(shù)學(xué)推理任務(wù)時(shí)，情況卻截然不同。當(dāng)專家數(shù)量超過(guò)某個(gè)臨界點(diǎn)后，模型的數(shù)學(xué)能力開(kāi)始走下坡路，即使它在訓(xùn)練數(shù)據(jù)上的表現(xiàn)依然在改善。

這種現(xiàn)象就像是學(xué)習(xí)鋼琴的過(guò)程。初學(xué)者需要掌握基本的手指技巧和音樂(lè)理論，這時(shí)候多學(xué)一些基礎(chǔ)知識(shí)確實(shí)有幫助。但當(dāng)需要演奏復(fù)雜的協(xié)奏曲時(shí)，過(guò)多的"技巧"反而可能讓演奏變得僵硬和機(jī)械，失去了音樂(lè)應(yīng)有的流暢性和表現(xiàn)力。數(shù)學(xué)推理需要的是清晰、專注的思維過(guò)程，而過(guò)多的專家可能會(huì)帶來(lái)"信息過(guò)載"的問(wèn)題。

更有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)這種現(xiàn)象與模型的"稀疏度"密切相關(guān)。稀疏度可以理解為在解決問(wèn)題時(shí)實(shí)際參與工作的專家比例。如果把專家混合模型比作一個(gè)樂(lè)團(tuán)，稀疏度就是在演奏某首曲子時(shí)實(shí)際上臺(tái)演奏的樂(lè)手比例。對(duì)于需要精密協(xié)調(diào)的室內(nèi)樂(lè)，可能只需要少數(shù)幾個(gè)高水平的樂(lè)手；而對(duì)于氣勢(shì)磅礴的交響樂(lè)，則需要更多樂(lè)手的參與。

研究團(tuán)隊(duì)進(jìn)一步探索了在固定計(jì)算預(yù)算下的最優(yōu)配置。這就像是在有限的預(yù)算內(nèi)組建最強(qiáng)的團(tuán)隊(duì)——你是選擇聘請(qǐng)更多普通專家，還是聘請(qǐng)少數(shù)幾個(gè)超級(jí)專家？實(shí)驗(yàn)結(jié)果顯示，對(duì)于記憶性任務(wù)，"多而精"的策略更有效；但對(duì)于推理任務(wù)，"少而強(qiáng)"的策略往往能取得更好的效果。

特別值得注意的是，研究團(tuán)隊(duì)還測(cè)試了是否可以通過(guò)后期優(yōu)化來(lái)彌補(bǔ)這種性能損失。他們嘗試了兩種補(bǔ)救措施：強(qiáng)化學(xué)習(xí)后訓(xùn)練和增加測(cè)試時(shí)的計(jì)算資源。然而，結(jié)果令人沮喪——就像是試圖通過(guò)增加調(diào)料來(lái)拯救一道已經(jīng)過(guò)咸的菜肴一樣，這些補(bǔ)救措施并不能完全挽回過(guò)度稀疏化帶來(lái)的推理能力損失。這說(shuō)明，找到正確的架構(gòu)配置在訓(xùn)練初期就至關(guān)重要，后期的修補(bǔ)往往事倍功半。

研究團(tuán)隊(duì)還深入研究了一個(gè)重要參數(shù)——每參數(shù)對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)量。這個(gè)概念可以理解為每個(gè)專家需要"消化"多少信息才能變得足夠聰明。就像培養(yǎng)一個(gè)醫(yī)生需要多年的醫(yī)學(xué)院學(xué)習(xí)和臨床實(shí)踐一樣，AI專家也需要足夠的數(shù)據(jù)來(lái)訓(xùn)練。研究發(fā)現(xiàn)，對(duì)于記憶性任務(wù)，專家們可以"饑不擇食"，即使數(shù)據(jù)相對(duì)較少也能表現(xiàn)良好；但對(duì)于推理任務(wù)，專家們需要更充足的"營(yíng)養(yǎng)"，數(shù)據(jù)量不足時(shí)推理能力會(huì)顯著下降。

在代碼生成任務(wù)的測(cè)試中，研究團(tuán)隊(duì)發(fā)現(xiàn)了類似的模式。使用HumanEval和MBPP這兩個(gè)編程基準(zhǔn)測(cè)試，結(jié)果再次證實(shí)了同樣的規(guī)律：當(dāng)需要進(jìn)行復(fù)雜的邏輯推理來(lái)編寫程序時(shí)，過(guò)多的專家同樣會(huì)降低性能。這進(jìn)一步證明了這一發(fā)現(xiàn)的普遍性——不僅僅是數(shù)學(xué)推理，任何需要深度邏輯思考的任務(wù)都可能受到這種"專家過(guò)多"問(wèn)題的影響。

研究團(tuán)隊(duì)還探索了不同學(xué)習(xí)率和初始化方法對(duì)模型性能的影響。他們發(fā)現(xiàn)，這些傳統(tǒng)的優(yōu)化技巧對(duì)推理任務(wù)的影響模式與專家稀疏度的影響驚人地相似。這就像是發(fā)現(xiàn)了多條通往同一目的地的道路——無(wú)論是調(diào)整專家數(shù)量、學(xué)習(xí)速度還是起始設(shè)置，對(duì)于推理能力的影響都遵循著相似的規(guī)律。這個(gè)發(fā)現(xiàn)為理解大型語(yǔ)言模型的內(nèi)在機(jī)制提供了新的視角。

從實(shí)用角度來(lái)看，這項(xiàng)研究為AI系統(tǒng)的設(shè)計(jì)提供了重要指導(dǎo)。在有限的計(jì)算資源下，如果你的目標(biāo)是構(gòu)建一個(gè)善于記憶和檢索信息的系統(tǒng)，那么增加專家數(shù)量是明智的選擇。但如果你希望系統(tǒng)具備強(qiáng)大的推理能力，那么應(yīng)該更加謹(jǐn)慎地平衡專家數(shù)量和質(zhì)量。這就像是在組建不同類型的工作團(tuán)隊(duì)：信息收集團(tuán)隊(duì)可能需要更多成員來(lái)擴(kuò)大搜索范圍，而創(chuàng)新思考團(tuán)隊(duì)則可能需要少數(shù)幾個(gè)深度思考者。

這項(xiàng)研究的意義遠(yuǎn)超技術(shù)層面。它揭示了一個(gè)深刻的哲學(xué)問(wèn)題：在復(fù)雜系統(tǒng)中，"更多"并不總是意味著"更好"。就像大自然中的生態(tài)系統(tǒng)一樣，最健康的系統(tǒng)往往不是物種最多的，而是各種元素之間達(dá)到最佳平衡的。這個(gè)發(fā)現(xiàn)提醒我們，在追求人工智能性能提升的道路上，需要更加精細(xì)化的策略，而不是簡(jiǎn)單的規(guī)模擴(kuò)張。

說(shuō)到底，這項(xiàng)研究告訴我們一個(gè)簡(jiǎn)單卻深刻的道理：智慧不在于擁有多少個(gè)"專家"，而在于如何讓這些專家以最佳方式協(xié)作。對(duì)于需要深度思考的任務(wù)，有時(shí)候"術(shù)業(yè)有專攻"的小而精的團(tuán)隊(duì)比龐大而復(fù)雜的專家集群更有效。這不僅對(duì)AI系統(tǒng)設(shè)計(jì)有啟發(fā)意義，對(duì)我們?nèi)粘Ｉ钪械膱F(tuán)隊(duì)組建和資源配置也有借鑒價(jià)值。下次當(dāng)你面臨"是否需要更多專家參與"的決策時(shí)，不妨想想這個(gè)研究的發(fā)現(xiàn)——有時(shí)候，少即是多。

如果你對(duì)這項(xiàng)研究的具體技術(shù)細(xì)節(jié)感興趣，研究團(tuán)隊(duì)已經(jīng)將所有代碼和實(shí)驗(yàn)數(shù)據(jù)開(kāi)源，可以通過(guò)GitHub訪問(wèn)相關(guān)資源。這種開(kāi)放的研究態(tài)度讓更多人能夠驗(yàn)證和擴(kuò)展這些發(fā)現(xiàn)，推動(dòng)整個(gè)AI領(lǐng)域的進(jìn)步。

Q&A

Q1：專家混合模型是什么？為什么專家數(shù)量會(huì)影響性能？

A：專家混合模型就像一個(gè)擁有多個(gè)專業(yè)顧問(wèn)的智囊團(tuán)，每個(gè)"專家"負(fù)責(zé)處理特定類型的信息。傳統(tǒng)認(rèn)為專家越多能力越強(qiáng)，但研究發(fā)現(xiàn)對(duì)于數(shù)學(xué)推理等需要深度思考的任務(wù)，過(guò)多專家反而會(huì)造成"信息過(guò)載"，就像解題時(shí)有太多人同時(shí)給建議會(huì)讓思路混亂一樣。

Q2：這個(gè)發(fā)現(xiàn)對(duì)普通用戶使用AI產(chǎn)品有什么影響？

A：這意味著未來(lái)的AI產(chǎn)品可能會(huì)針對(duì)不同用途采用不同的架構(gòu)設(shè)計(jì)。如果你需要AI幫助查找資料或回答知識(shí)性問(wèn)題，那么"專家多"的模型效果更好；但如果你需要AI協(xié)助解決數(shù)學(xué)題或編程問(wèn)題，那么"專家精"的模型可能表現(xiàn)更佳。

Q3：為什么強(qiáng)化學(xué)習(xí)和增加計(jì)算資源都無(wú)法解決專家過(guò)多的問(wèn)題？

A：這就像試圖通過(guò)加調(diào)料來(lái)拯救過(guò)咸的菜一樣，架構(gòu)設(shè)計(jì)的根本問(wèn)題很難通過(guò)后期補(bǔ)救完全解決。如果在訓(xùn)練初期就選擇了不合適的專家配置，模型的推理能力已經(jīng)受到了結(jié)構(gòu)性損害，后期的優(yōu)化技巧只能部分改善，無(wú)法完全恢復(fù)到最佳狀態(tài)。