這項由中國人民大學(xué)高瓴人工智能學(xué)院的呂昂、騰訊大語言模型部門的謝若冰、東南大學(xué)的錢一寧等多位研究者共同完成的突破性研究，發(fā)表于2025年5月的第42屆國際機(jī)器學(xué)習(xí)大會（ICML 2025）。有興趣深入了解技術(shù)細(xì)節(jié)的讀者可以通過研究團(tuán)隊在GitHub上公開的代碼庫（https://github.com/trestad/Autonomy-of-Experts）訪問完整資料。

在人工智能的世界里，有一種被稱為"混合專家模型"的技術(shù)，就像是在一家大型咨詢公司里安排不同的專家來處理不同的問題。傳統(tǒng)的做法是：當(dāng)客戶帶著問題來時，前臺接待員（也就是"路由器"）會根據(jù)問題的表面特征，決定把這個客戶分配給哪位專家。比如聽起來像法律問題就分給法律專家，像財務(wù)問題就分給財務(wù)專家。

但這種安排方式有個根本性的問題：前臺接待員其實(shí)并不真正了解每位專家的實(shí)際能力和專長，也不知道這個問題是否真的適合某位專家處理。結(jié)果就可能出現(xiàn)這樣的情況：一個復(fù)雜的商業(yè)糾紛被分配給了只擅長處理簡單合同的律師，而真正的商業(yè)法專家卻在處理一些基礎(chǔ)問題。

更糟糕的是，當(dāng)分配錯誤發(fā)生時，那位不太合適的專家為了完成任務(wù)，不得不硬著頭皮學(xué)習(xí)處理這類問題，這就逐漸偏離了他原本的專長。同時，前臺接待員也只能通過反復(fù)試錯來學(xué)習(xí)如何更好地分配任務(wù)，這個過程既低效又浪費(fèi)資源。

研究團(tuán)隊提出了一個革命性的解決方案：讓專家們自己決定是否接手某個任務(wù)，這就是他們稱之為"專家自主模型"的創(chuàng)新概念。在這個新系統(tǒng)中，當(dāng)一個問題到來時，所有專家都會先快速瀏覽一下，然后根據(jù)自己的判斷給出一個"興趣度評分"。只有那些最感興趣、最有把握的專家才會真正投入時間和精力來解決這個問題。

這種做法的巧妙之處在于：專家對自己的能力最了解。當(dāng)一位商業(yè)法專家看到一個涉及復(fù)雜并購的案例時，他內(nèi)心會產(chǎn)生強(qiáng)烈的"這正是我的專長"的感覺，這種感覺會反映在他的興趣度評分上。相反，如果他看到一個簡單的交通違章咨詢，他的興趣度就會很低，因為他知道這類問題更適合其他同事處理。

一、從現(xiàn)實(shí)發(fā)現(xiàn)到理論突破：專家真的"知道"自己知道什么

研究團(tuán)隊的發(fā)現(xiàn)始于一個有趣的實(shí)驗。他們拿來了兩個已經(jīng)訓(xùn)練好的大型AI模型——一個叫Mixtral，另一個叫Phi-3.5，這兩個模型都采用傳統(tǒng)的專家分配方式。研究人員做了一個大膽的嘗試：他們完全移除了這些模型中的"前臺接待員"（路由器），然后讓每個專家根據(jù)自己的"內(nèi)心感受"來決定是否處理某個問題。

這就好比在一家醫(yī)院里，突然取消了分診臺，而是讓每位醫(yī)生看到病人的癥狀后，根據(jù)自己內(nèi)心的專業(yè)直覺來判斷："這個病人的情況我最適合處理嗎？"

結(jié)果令人驚喜。在處理一些智力挑戰(zhàn)題時，即使沒有分診系統(tǒng)，這些"自選"的專家組合仍然能達(dá)到原系統(tǒng)95%的準(zhǔn)確率。在另一個常識推理測試中，準(zhǔn)確率甚至保持在71%。這個發(fā)現(xiàn)證實(shí)了一個重要觀點(diǎn)：專家確實(shí)對自己的能力有著敏銳的自我認(rèn)知。

研究人員進(jìn)一步發(fā)現(xiàn)，專家的這種"自我認(rèn)知"其實(shí)體現(xiàn)在它們處理信息時的"激活程度"上。當(dāng)一個AI專家遇到適合自己的問題時，其內(nèi)部神經(jīng)網(wǎng)絡(luò)的活躍度會明顯升高，就像一個人遇到感興趣的話題時會變得神采奕奕一樣。通過測量這種激活程度的強(qiáng)弱，就能判斷這個專家對當(dāng)前任務(wù)的勝任度。

這個發(fā)現(xiàn)為整個領(lǐng)域帶來了全新的思路。研究團(tuán)隊意識到，與其讓一個外部的"分配器"來猜測哪個專家最合適，不如讓專家們基于自己的內(nèi)在感受來自主選擇。這種方法不僅更準(zhǔn)確，還能避免傳統(tǒng)方法中決策制定和執(zhí)行分離所帶來的種種問題。

二、技術(shù)創(chuàng)新：讓AI專家學(xué)會"毛遂自薦"

要讓專家自主選擇聽起來簡單，但在實(shí)際的AI系統(tǒng)中實(shí)現(xiàn)這一點(diǎn)卻需要巧妙的技術(shù)設(shè)計。研究團(tuán)隊面臨的第一個挑戰(zhàn)是效率問題。如果讓每個專家都完整地處理每個輸入，然后根據(jù)結(jié)果來選擇最佳答案，這就像讓十位醫(yī)生都給同一個病人做完整的檢查，然后再選擇最好的診斷結(jié)果，顯然這樣做成本太高。

研究團(tuán)隊想出了一個聰明的解決方案。他們讓每個專家只需要做一個"初步診斷"——快速瀏覽問題并給出一個興趣度評分，而不需要立即給出完整答案。這就像讓醫(yī)生們先看看病人的基本癥狀，判斷一下"這個病人的情況我有多大把握處理好"，然后只有最有把握的幾位醫(yī)生才會進(jìn)行詳細(xì)診斷。

為了讓這種"初步診斷"既快速又準(zhǔn)確，研究團(tuán)隊對專家的內(nèi)部結(jié)構(gòu)進(jìn)行了巧妙的改造。他們將專家內(nèi)部負(fù)責(zé)"感知"的部分分解成兩個更小的組件：一個負(fù)責(zé)快速形成初步印象，另一個負(fù)責(zé)基于這個印象進(jìn)行深度思考。這種設(shè)計就像是給每個專家配了一個"直覺系統(tǒng)"和一個"分析系統(tǒng)"，直覺系統(tǒng)快速判斷是否感興趣，分析系統(tǒng)負(fù)責(zé)給出詳細(xì)答案。

通過這種分層設(shè)計，每個專家可以用很少的計算資源快速判斷自己對某個問題的勝任度，只有在確認(rèn)自己最適合處理時，才會啟動"分析系統(tǒng)"給出最終答案。這大大提高了整個系統(tǒng)的效率，讓"專家自主選擇"變得既實(shí)用又高效。

更有趣的是，研究團(tuán)隊發(fā)現(xiàn)這種自主選擇機(jī)制還帶來了意外的好處。在傳統(tǒng)系統(tǒng)中，經(jīng)常會出現(xiàn)某些專家工作過載而其他專家相對空閑的情況。而在新系統(tǒng)中，由于專家們會基于自己的實(shí)際能力來選擇任務(wù)，工作負(fù)載自然就更加均衡了。這就像一個項目團(tuán)隊中，當(dāng)大家都根據(jù)自己的專長和興趣主動認(rèn)領(lǐng)任務(wù)時，整個團(tuán)隊的效率和滿意度都會更高。

三、深入驗證：小規(guī)模實(shí)驗揭示大道理

為了深入驗證這種"專家自主"方法的有效性，研究團(tuán)隊設(shè)計了一系列精心控制的實(shí)驗。他們構(gòu)建了一些規(guī)模相對較小但功能完整的AI模型，就像在實(shí)驗室里搭建微縮版的智能系統(tǒng)，來觀察和分析各種現(xiàn)象。

這些小型模型包含12個處理層，每層有12個注意力頭和8個專家，總參數(shù)量約為7.3億個，其中實(shí)際激活的參數(shù)約為2.47億個。研究團(tuán)隊讓這些模型學(xué)習(xí)處理1000億個文本片段，這個數(shù)據(jù)量相當(dāng)于閱讀數(shù)百萬本書籍。訓(xùn)練完成后，他們在8個不同類型的任務(wù)上測試這些模型的表現(xiàn)。

實(shí)驗結(jié)果令人印象深刻。采用專家自主選擇機(jī)制的模型在所有8個測試任務(wù)上都超越了傳統(tǒng)的專家分配模型。更有趣的發(fā)現(xiàn)是，即使不使用任何額外的負(fù)載均衡技術(shù)，專家自主模型也能自發(fā)地實(shí)現(xiàn)更好的工作分配。這就像一個團(tuán)隊中，當(dāng)成員們都能根據(jù)自己的興趣和專長主動選擇任務(wù)時，整個團(tuán)隊的協(xié)作效果反而比強(qiáng)制分配任務(wù)時更好。

研究團(tuán)隊還深入分析了專家們在訓(xùn)練過程中的行為變化。他們發(fā)現(xiàn)了一個有趣的現(xiàn)象：在訓(xùn)練初期，不同專家處理問題時的"激活強(qiáng)度"相差很大，有些專家表現(xiàn)得很積極，有些則相對沉默。但隨著訓(xùn)練的進(jìn)行，專家們逐漸找到了自己的定位，那些處理同一類問題的專家最終會形成相似的激活模式。

這種自發(fā)的專業(yè)化分工過程特別引人深思。在傳統(tǒng)系統(tǒng)中，專家的分工往往是通過外部的分配機(jī)制強(qiáng)制形成的。而在新系統(tǒng)中，專家們通過自主選擇逐漸找到了最適合自己的"職業(yè)方向"，這種自然形成的專業(yè)化往往更加精準(zhǔn)和穩(wěn)定。

四、擴(kuò)展驗證：不同場景下的表現(xiàn)如何

為了確保這種方法不只是在特定情況下有效，研究團(tuán)隊還在多種不同的專家選擇策略下測試了他們的方法。除了傳統(tǒng)的"選擇前K個最佳專家"策略，他們還測試了"動態(tài)概率選擇"和"專家主動選擇"等不同方案。

在動態(tài)概率選擇方案中，系統(tǒng)不是簡單地選擇評分最高的幾個專家，而是根據(jù)評分來計算每個專家被選中的概率，然后進(jìn)行隨機(jī)選擇。這就像在組建項目團(tuán)隊時，不是只選擇最頂尖的幾個人，而是綜合考慮多個因素，給不同水平的專家都留有機(jī)會。

在專家主動選擇方案中，每個專家都會主動"申請"處理一定數(shù)量的任務(wù)，系統(tǒng)再根據(jù)申請情況進(jìn)行協(xié)調(diào)。這更像是一個內(nèi)部招聘系統(tǒng)，專家們根據(jù)自己的興趣和能力主動申請參與不同的項目。

令人驚喜的是，無論采用哪種選擇策略，專家自主方法都表現(xiàn)出了比傳統(tǒng)方法更好的效果。這表明這種方法的優(yōu)勢不是偶然的，而是具有普遍適用性的。

研究團(tuán)隊還詳細(xì)分析了系統(tǒng)的效率表現(xiàn)。他們發(fā)現(xiàn)，新方法能夠達(dá)到傳統(tǒng)方法97%的處理速度，同時在準(zhǔn)確性上有明顯提升。雖然存在一些額外的內(nèi)存開銷，但考慮到性能的顯著改善，這種權(quán)衡是非常值得的。

特別值得注意的是，在實(shí)際的分布式計算環(huán)境中，專家自主方法還能帶來額外的效率優(yōu)勢。由于專家們的工作負(fù)載更加均衡，那些處理能力強(qiáng)的服務(wù)器不會因為被分配過多任務(wù)而成為整個系統(tǒng)的瓶頸，這進(jìn)一步提升了整體的處理效率。

五、規(guī)模驗證：40億參數(shù)的真實(shí)世界測試

為了驗證這種方法在實(shí)際應(yīng)用中的可行性，研究團(tuán)隊將實(shí)驗規(guī)模擴(kuò)大到了40億參數(shù)的大型模型。這個規(guī)模的模型已經(jīng)接近許多商業(yè)AI應(yīng)用的水準(zhǔn)，能夠更好地反映真實(shí)世界的應(yīng)用場景。

在這個大規(guī)模實(shí)驗中，模型包含24個處理層，每層有20個注意力頭，總參數(shù)達(dá)到40億個，其中實(shí)際激活參數(shù)為11.8億個。訓(xùn)練數(shù)據(jù)量也相應(yīng)增加，模型需要學(xué)習(xí)處理更加復(fù)雜和多樣化的任務(wù)。

大規(guī)模實(shí)驗的結(jié)果進(jìn)一步證實(shí)了專家自主方法的優(yōu)越性。在所有測試任務(wù)中，新方法都表現(xiàn)出了比傳統(tǒng)方法更好的性能。更重要的是，隨著模型規(guī)模的增大，這種優(yōu)勢變得更加明顯。這表明專家自主方法不僅在理論上合理，在實(shí)際的大規(guī)模應(yīng)用中也具有很強(qiáng)的實(shí)用價值。

研究團(tuán)隊還觀察到，在大規(guī)模模型中，專家們的專業(yè)化分工變得更加精細(xì)和明確。不同的專家逐漸專注于不同類型的語言模式和知識領(lǐng)域，形成了一個高效的"智力分工體系"。這種自然形成的專業(yè)化分工比人工設(shè)計的分工方案更加靈活和有效。

六、意外發(fā)現(xiàn)：AI專家的"專業(yè)直覺"

在研究過程中，團(tuán)隊發(fā)現(xiàn)了一個特別有趣的現(xiàn)象。他們注意到，那些表現(xiàn)更好的專家在面對適合自己處理的問題時，會表現(xiàn)出更強(qiáng)的"信心"——這種信心體現(xiàn)在其內(nèi)部激活的集中度上。

這就像優(yōu)秀的醫(yī)生在面對自己擅長治療的疾病時會表現(xiàn)得更加自信和專注，而面對不熟悉的癥狀時則會顯得猶豫不決。研究團(tuán)隊通過測量這種"信心指數(shù)"，發(fā)現(xiàn)它確實(shí)能夠很好地預(yù)測專家處理某個任務(wù)的效果。

更令人驚訝的是，專家們的這種"專業(yè)直覺"還表現(xiàn)出了層次性特征。在模型的淺層，專家們主要關(guān)注基礎(chǔ)的語言模式和常見結(jié)構(gòu)，它們的選擇標(biāo)準(zhǔn)相對寬泛。而在深層，專家們變得更加挑剔和專業(yè)化，只有在遇到真正符合自己專長的復(fù)雜問題時，才會表現(xiàn)出強(qiáng)烈的處理意愿。

這種層次化的專業(yè)分工很像人類專家的成長軌跡：初級專家能夠處理各種基礎(chǔ)問題，而資深專家則專注于特定領(lǐng)域的復(fù)雜挑戰(zhàn)。這種自然形成的層次結(jié)構(gòu)為整個系統(tǒng)提供了既有廣度又有深度的問題解決能力。

七、理論解釋：為什么"自主選擇"更有效

從理論角度來看，專家自主選擇方法的成功可以從幾個層面來理解。首先，它解決了傳統(tǒng)方法中的信息不對稱問題。在傳統(tǒng)系統(tǒng)中，負(fù)責(zé)分配任務(wù)的路由器只能看到問題的表面特征，無法真正了解每個專家的內(nèi)在能力。而專家自主選擇讓真正了解自身能力的專家來做決策，自然能夠?qū)崿F(xiàn)更精準(zhǔn)的匹配。

其次，這種方法避免了決策制定和執(zhí)行分離帶來的問題。在傳統(tǒng)系統(tǒng)中，如果路由器做出了錯誤的分配決定，被分配的專家要么勉強(qiáng)完成任務(wù)（導(dǎo)致質(zhì)量下降），要么為了適應(yīng)任務(wù)而改變自己的專長（導(dǎo)致專業(yè)化程度降低）。而在新系統(tǒng)中，專家只會選擇自己真正擅長的任務(wù)，這保證了既高質(zhì)量又專業(yè)化的處理效果。

從學(xué)習(xí)效率的角度來看，專家自主選擇還能促進(jìn)更有效的專業(yè)化發(fā)展。當(dāng)專家們能夠根據(jù)自己的興趣和能力來選擇任務(wù)時，他們更容易在特定領(lǐng)域積累深度的專業(yè)知識，而不是被迫成為"萬金油"式的通用處理器。

研究團(tuán)隊通過一個簡化的分類任務(wù)實(shí)驗生動地展示了這種差異。在這個實(shí)驗中，系統(tǒng)需要學(xué)會區(qū)分三類不同的輸入。傳統(tǒng)方法會讓兩個專家都參與所有類型的分類，結(jié)果每個專家都只能達(dá)到中等水平的專業(yè)化程度。而自主選擇方法讓一個專家專門處理其中兩類相關(guān)的任務(wù)，另一個專家專門處理第三類任務(wù)，最終實(shí)現(xiàn)了更好的整體性能。

八、實(shí)際應(yīng)用：從實(shí)驗室到真實(shí)世界

這項研究的意義不僅僅局限于學(xué)術(shù)領(lǐng)域，它為現(xiàn)實(shí)中的AI應(yīng)用提供了重要的改進(jìn)方向。目前，許多大型AI系統(tǒng)都采用某種形式的專家分工機(jī)制，比如搜索引擎中的不同算法模塊、推薦系統(tǒng)中的不同推薦策略、以及聊天機(jī)器人中的不同對話技能。

在搜索引擎的應(yīng)用中，傳統(tǒng)方法可能會有一個中央調(diào)度系統(tǒng)來決定對于每個查詢應(yīng)該使用哪種搜索算法。而采用專家自主選擇的方法，各種搜索算法可以根據(jù)查詢的特征自主判斷自己的適用性，那些最有把握給出高質(zhì)量結(jié)果的算法會主動承擔(dān)任務(wù)。

在推薦系統(tǒng)中，不同的推薦策略（比如基于內(nèi)容的推薦、協(xié)同過濾推薦、深度學(xué)習(xí)推薦等）可以根據(jù)用戶的行為模式和偏好特征，自主判斷哪種策略最適合為該用戶提供推薦。這樣不僅能提高推薦的準(zhǔn)確性，還能讓每種推薦策略在自己最擅長的場景中得到更充分的發(fā)展。

對于聊天機(jī)器人應(yīng)用，這種方法可能帶來更加自然和高效的對話體驗。不同的對話技能模塊（比如閑聊、問答、任務(wù)執(zhí)行等）可以根據(jù)用戶的輸入自主判斷是否適合自己處理，從而實(shí)現(xiàn)更流暢的對話切換和更準(zhǔn)確的響應(yīng)。

研究團(tuán)隊指出，這種方法還特別適用于需要處理多樣化任務(wù)的大型AI系統(tǒng)。隨著AI應(yīng)用場景的不斷擴(kuò)展，單一的模型往往難以在所有任務(wù)上都達(dá)到最佳性能。通過讓不同的專家模塊自主選擇最適合自己的任務(wù)，整個系統(tǒng)可以在保持高效的同時，在各個細(xì)分領(lǐng)域都達(dá)到專業(yè)化的水準(zhǔn)。

當(dāng)然，這項研究也指出了一些需要進(jìn)一步改進(jìn)的地方。比如隨著專家數(shù)量的增加和任務(wù)稀疏度的提高，系統(tǒng)的效率可能會受到一定影響。研究團(tuán)隊正在積極探索針對這些挑戰(zhàn)的優(yōu)化方案，以使這種方法能夠在更大規(guī)模的實(shí)際應(yīng)用中發(fā)揮作用。

說到底，這項研究揭示了一個深刻的道理：在復(fù)雜的智能系統(tǒng)中，讓最了解自身能力的組件來做決策，往往比依賴外部的統(tǒng)一調(diào)度更加有效。這不僅適用于AI系統(tǒng)，在人類組織和團(tuán)隊管理中也有著重要的啟發(fā)意義。當(dāng)團(tuán)隊成員能夠根據(jù)自己的專長和興趣主動承擔(dān)合適的任務(wù)時，整個團(tuán)隊的效率和創(chuàng)新能力都會得到顯著提升。

這項研究為AI領(lǐng)域帶來了一種全新的思維方式，它告訴我們，有時候最好的管理就是讓專業(yè)的人做專業(yè)的事，而判斷什么是"專業(yè)的事"的最佳人選，正是專家自己。隨著這種方法在更多實(shí)際應(yīng)用中的驗證和改進(jìn)，我們有理由相信它將為AI技術(shù)的發(fā)展開辟出一條更加自然和高效的道路。

Q&A

Q1：專家自主模型和傳統(tǒng)混合專家模型的核心區(qū)別是什么？

A：核心區(qū)別在于任務(wù)分配的決策者不同。傳統(tǒng)混合專家模型依靠外部路由器來決定哪個專家處理哪個任務(wù)，就像公司前臺分配客戶給不同專家。而專家自主模型讓專家自己根據(jù)內(nèi)在判斷來選擇任務(wù)，類似專家們看到問題后主動說"這個我最擅長"。這種方式避免了外部分配可能出現(xiàn)的不匹配問題，讓真正有能力的專家處理最適合的任務(wù)。

Q2：專家自主選擇會不會導(dǎo)致某些專家一直不工作或工作過載？

A：實(shí)際上恰恰相反。研究發(fā)現(xiàn)專家自主選擇機(jī)制能夠自然實(shí)現(xiàn)更均衡的工作分配。因為每個專家都會根據(jù)自己的實(shí)際能力來選擇任務(wù)，既不會勉強(qiáng)接受超出能力范圍的任務(wù)，也不會錯過適合自己的機(jī)會。就像技能互補(bǔ)的團(tuán)隊中，成員們根據(jù)專長主動認(rèn)領(lǐng)任務(wù)時，工作分配往往比強(qiáng)制指派更合理。這種自然的負(fù)載均衡效果甚至比傳統(tǒng)方法中專門設(shè)計的負(fù)載均衡機(jī)制還要好。

Q3：這種專家自主選擇技術(shù)現(xiàn)在能在哪些實(shí)際應(yīng)用中使用？

A：目前這項技術(shù)主要還處在研究驗證階段，研究團(tuán)隊已經(jīng)在GitHub開源了相關(guān)代碼。但其核心理念可以應(yīng)用到很多AI系統(tǒng)中，比如搜索引擎的多算法協(xié)調(diào)、推薦系統(tǒng)的策略選擇、聊天機(jī)器人的技能模塊切換等。隨著技術(shù)的進(jìn)一步成熟，預(yù)計會逐步應(yīng)用到需要多專家協(xié)作的大型AI系統(tǒng)中，讓這些系統(tǒng)能夠更智能地協(xié)調(diào)內(nèi)部的不同能力模塊。