這項由華盛頓大學李悅泰等研究者領(lǐng)導的研究發(fā)表于2025年2月，論文標題為《Small Models Struggle to Learn from Strong Reasoners》。研究團隊包括來自華盛頓大學、卡內(nèi)基梅隆大學和西華盛頓大學的多位學者，有興趣深入了解的讀者可以通過論文項目頁面 https://small-model-gap.github.io/ 或Hugging Face平臺 https://huggingface.co/UWNSL 訪問相關(guān)資源。

在人工智能的世界里，有一個普遍的假設：小學生應該向大學教授學習，這樣才能變得更聰明。把這個想法移植到AI領(lǐng)域，就是讓參數(shù)較少的"小模型"向參數(shù)龐大的"大模型"學習復雜推理能力。然而，華盛頓大學的研究團隊通過大規(guī)模實驗發(fā)現(xiàn)了一個令人意外的現(xiàn)象——小模型其實學不會大模型的"高深"推理方法，就像讓小學生直接學習大學高等數(shù)學課程反而會適得其反一樣。

研究團隊將這個現(xiàn)象命名為"小模型可學習性差距"，這個發(fā)現(xiàn)顛覆了AI領(lǐng)域的一個基本認知。長期以來，研究者們都認為讓小模型模仿大模型的推理過程是提升性能的最佳途徑，但實驗數(shù)據(jù)告訴我們：當小模型（參數(shù)量在30億以下）試圖學習大模型那些冗長復雜的推理鏈條時，不僅沒有變聰明，反而表現(xiàn)更糟糕了。

這就像是讓一個剛學會加減法的孩子直接去理解微積分的復雜證明過程。孩子不但學不會，還可能被這些過于復雜的內(nèi)容搞得暈頭轉(zhuǎn)向，連原本會的簡單運算都做不好了。研究發(fā)現(xiàn)，小模型在面對那些步驟繁多、邏輯復雜的推理路徑時，由于自身能力限制，很難抓住其中的關(guān)鍵要點，反而會在復雜信息中迷失方向。

為了解決這個問題，研究團隊提出了一個巧妙的解決方案——"混合蒸餾法"。這種方法就像是為學生制定了一個循序漸進的學習計劃：不僅讓他們接觸高深的知識，也保持對基礎(chǔ)知識的學習；不僅讓他們向頂尖專家學習，也安排能力相近的"學長"來指導。通過這種方式，小模型的推理能力得到了顯著提升。

這項研究不僅揭示了AI模型訓練中的一個重要盲點，更為整個行業(yè)提供了新的思路。它告訴我們，在AI的世界里，"因材施教"同樣重要——不同規(guī)模的模型需要不同的培養(yǎng)方式，盲目追求復雜并不總是最好的選擇。

一、小模型的學習困境：當學生遇到太難的課程

在探討這個研究的核心發(fā)現(xiàn)之前，我們需要先理解什么是"鏈式思維推理"?？梢园阉胂蟪山鉀Q一道復雜數(shù)學題的過程：你不能直接給出答案，而是需要一步步展示你的思考過程——先做什么，再做什么，每一步的邏輯依據(jù)是什么，最終如何得出結(jié)論。

在AI領(lǐng)域，研究者們發(fā)現(xiàn)讓模型展現(xiàn)這種逐步推理的過程能顯著提升其解決復雜問題的能力。就像老師要求學生不僅要給出正確答案，還要寫出詳細的解題步驟一樣，這種方法能讓AI的推理過程變得更加透明和可靠。

然而，推理過程也有長短之分。短鏈推理就像解決簡單應用題時的簡潔步驟：看題、列式、計算、答題，寥寥幾步就能搞定。而長鏈推理則像是解決奧數(shù)競賽題目，需要多次嘗試不同方法、反復驗證、深入分析，整個過程可能包含數(shù)十個步驟，充滿了自我質(zhì)疑和路徑調(diào)整。

研究團隊通過對比實驗發(fā)現(xiàn)了一個有趣的現(xiàn)象：當他們讓小模型學習這兩種不同類型的推理過程時，結(jié)果截然不同。小模型在學習簡短、直接的推理路徑時表現(xiàn)良好，就像小學生按照標準步驟解決簡單數(shù)學題一樣，能夠很好地掌握和應用。

但是當研究者讓同樣的小模型去學習那些冗長復雜的推理過程時，情況就不一樣了。這些復雜的推理鏈條往往包含大量的自我反思、多次驗證、路徑回溯等高級認知活動。對于小模型來說，這就像讓一個剛學會基本運算的學生去理解高等數(shù)學的證明過程——不僅理解困難，還可能被這些復雜信息干擾，影響對基礎(chǔ)知識的掌握。

研究團隊在數(shù)學推理任務上進行了大規(guī)模測試，涵蓋了從基礎(chǔ)的GSM8K數(shù)學題到高難度的AIME和奧林匹克數(shù)學競賽題目。結(jié)果顯示，當小模型接受長鏈復雜推理訓練時，在MATH數(shù)據(jù)集上的表現(xiàn)比接受短鏈推理訓練時低了10個百分點以上。這個差距相當顯著，就像是一個原本能考80分的學生，因為學習方法不當，成績下滑到了70分。

更有趣的是，這種現(xiàn)象并不是偶然出現(xiàn)的。研究團隊測試了多個不同規(guī)模的模型，從5億參數(shù)到32億參數(shù)不等，發(fā)現(xiàn)了一個規(guī)律性的現(xiàn)象：模型越小，這種"學習困境"就越明顯。而當模型規(guī)模達到7億參數(shù)以上時，情況開始發(fā)生逆轉(zhuǎn)——大模型反而能夠從復雜的推理過程中受益，表現(xiàn)出更強的推理能力。

這個發(fā)現(xiàn)讓研究團隊意識到，模型規(guī)模本身就決定了其學習能力的上限。就像不同年齡段的學生有不同的認知發(fā)展水平一樣，不同規(guī)模的AI模型也有其特定的學習能力范圍。強行讓小模型學習超出其理解能力的復雜內(nèi)容，不僅無法提升性能，反而可能造成"消化不良"。

二、師資匹配的重要性：為什么大教授不適合教小學生

除了推理鏈條的長短問題，研究團隊還發(fā)現(xiàn)了另一個重要現(xiàn)象：小模型不僅難以學習復雜的推理過程，也很難從那些能力遠超自己的"老師"那里有效學習。這個發(fā)現(xiàn)進一步揭示了AI模型訓練中"師資匹配"的重要性。

在傳統(tǒng)的模型蒸餾過程中，研究者們通常會讓規(guī)模龐大、能力強悍的大模型作為"老師"，將其知識傳授給規(guī)模較小的"學生"模型。這種做法的邏輯看似合理：既然大模型能夠產(chǎn)生更準確、更復雜的推理結(jié)果，那么讓小模型學習這些高質(zhì)量的示例應該能夠提升其能力。

然而，實驗結(jié)果再次打破了這個直觀認知。研究團隊設計了一系列對比實驗，讓同一個小模型分別向不同規(guī)模的"老師"學習。結(jié)果發(fā)現(xiàn)，當小模型向那些參數(shù)量是自己幾十倍甚至上百倍的超大型模型學習時，效果往往不如向規(guī)模相近的"同齡人"學習。

這種現(xiàn)象可以用一個生動的比喻來理解：讓小學生直接聽大學教授的高等數(shù)學課，效果遠不如讓中學數(shù)學老師來教授。大學教授的知識深度和廣度確實遠超中學老師，但他們的思維方式、表達習慣和知識結(jié)構(gòu)對小學生來說過于復雜，難以消化吸收。相比之下，中學老師雖然知識水平有限，但他們更了解學習的漸進過程，能夠用更貼近學生認知水平的方式進行教學。

研究團隊通過具體的數(shù)據(jù)驗證了這個觀察。他們讓Qwen2.5-3B這個小模型分別向72億參數(shù)的大模型和同為3億參數(shù)的小模型學習。結(jié)果顯示，向大模型學習時，小模型在多個測試任務上的表現(xiàn)都出現(xiàn)了下降，特別是在AIME數(shù)學競賽題目上，性能下降了超過3個百分點。而向同規(guī)模模型學習時，雖然提升幅度不大，但至少能夠保持穩(wěn)定的表現(xiàn)。

進一步的分析揭示了造成這種現(xiàn)象的深層原因。大模型由于其龐大的參數(shù)量和復雜的內(nèi)部結(jié)構(gòu)，在處理問題時會使用更加精細和復雜的策略。它們的"思考"方式往往包含大量的隱含信息和復雜的邏輯關(guān)系，這些對小模型來說都是難以理解和模仿的。

就像一個剛學會走路的孩子很難模仿專業(yè)舞蹈演員的復雜動作一樣，小模型在面對大模型的復雜推理模式時，往往只能抓住一些表面特征，而錯過了真正的核心邏輯。這種不完整的學習不僅無法帶來性能提升，還可能引入錯誤的模式，干擾模型原有的能力。

研究團隊進一步發(fā)現(xiàn)，這種"師資不匹配"的問題在不同類型的任務中表現(xiàn)程度不同。在相對簡單的數(shù)學計算任務中，影響較小，因為這類任務的推理路徑相對固定，即使是大模型的解答也不會過于復雜。但在需要創(chuàng)造性思維和復雜推理的奧林匹克數(shù)學題中，這種不匹配就顯得特別突出，小模型的表現(xiàn)下降幅度可達到10個百分點以上。

三、混合教學法：找到最適合的學習配方

面對小模型學習困境的發(fā)現(xiàn)，研究團隊并沒有停留在問題的發(fā)現(xiàn)上，而是積極尋找解決方案。他們提出的"混合蒸餾法"就像是為學生量身定制的個性化學習計劃，既不放棄挑戰(zhàn)，也不忽視基礎(chǔ)。

混合蒸餾法的核心思想其實很樸素：既然小模型無法很好地消化過于復雜的單一類型訓練數(shù)據(jù)，那么為什么不讓它同時接觸多種難度層次的學習材料呢？就像一個合理的課程設計既包含基礎(chǔ)練習，也包含提高題目，讓學生在掌握基礎(chǔ)的同時逐步接受更大的挑戰(zhàn)。

研究團隊設計了兩種具體的混合策略。第一種稱為"Mix-Long"，它將長鏈復雜推理和短鏈簡潔推理按照特定比例混合在一起。具體來說，他們將20%的長鏈推理數(shù)據(jù)和80%的短鏈推理數(shù)據(jù)組合，讓小模型能夠在學習基礎(chǔ)推理模式的同時，適度接觸一些更復雜的思維過程。

這種設計的巧妙之處在于找到了挑戰(zhàn)與能力之間的平衡點。80%的短鏈推理確保了小模型能夠建立堅實的基礎(chǔ)推理能力，就像學生需要大量練習基礎(chǔ)題目來鞏固基本功一樣。而20%的長鏈推理則像是適度的"加餐"，讓模型能夠接觸到更復雜的思維方式，但又不至于因為過于困難而無所適從。

第二種策略叫做"Mix-Large"，它在師資選擇上采用了類似的混合思路。與其讓小模型只向單一的大模型或小模型學習，不如讓它同時接受來自不同能力層次"老師"的指導。這種設計讓小模型既能接觸到高水平的推理示例，又能學習到更貼近自身能力的解題方法。

實驗結(jié)果證明了這種混合策略的有效性。使用Mix-Long方法訓練的Qwen2.5-3B模型在MATH數(shù)據(jù)集上的表現(xiàn)比單純使用長鏈推理訓練時提升了8個百分點以上，在AMC競賽題目上也有類似的顯著提升。更重要的是，這種提升是全面性的，不僅在復雜題目上表現(xiàn)更好，在基礎(chǔ)題目上也保持了良好的水平。

Mix-Large策略同樣取得了令人鼓舞的結(jié)果。小模型在接受混合師資指導后，在MATH、AIME和AMC等多個測試集上都實現(xiàn)了7個百分點以上的性能提升。這種提升的可貴之處在于其穩(wěn)定性——不像單純向大模型學習時可能出現(xiàn)的不穩(wěn)定表現(xiàn)，混合訓練后的模型展現(xiàn)出了更加可靠和一致的推理能力。

研究團隊通過詳細分析發(fā)現(xiàn)，混合訓練的成功不僅僅在于數(shù)據(jù)的多樣性，更在于它創(chuàng)造了一個更符合學習規(guī)律的環(huán)境。在這個環(huán)境中，小模型可以根據(jù)自身的理解能力選擇性地吸收不同復雜度的信息，就像一個聰明的學生能夠在課堂上重點關(guān)注自己能理解的部分，同時對更難的內(nèi)容保持開放態(tài)度，為將來的學習做準備。

值得注意的是，研究團隊發(fā)現(xiàn)混合比例的選擇至關(guān)重要。他們測試了不同的混合比例，發(fā)現(xiàn)當長鏈推理或大模型指導的比例達到20%時，效果最為理想。比例過低，挑戰(zhàn)性不足，模型難以獲得足夠的提升；比例過高，又會重新陷入之前發(fā)現(xiàn)的學習困境。這個20%的"黃金比例"反映了學習過程中挑戰(zhàn)與能力匹配的微妙平衡。

四、深層機制：為什么會出現(xiàn)這種現(xiàn)象

為了深入理解小模型學習困境的根本原因，研究團隊進行了一系列細致的分析工作。他們的發(fā)現(xiàn)揭示了這個現(xiàn)象背后的多層次機制，為我們理解AI模型的學習過程提供了寶貴洞察。

首先，研究團隊發(fā)現(xiàn)領(lǐng)域?qū)I(yè)知識的程度顯著影響著學習效果。他們比較了通用小模型和數(shù)學專門模型的學習表現(xiàn)，結(jié)果令人深思。同樣是1.5億參數(shù)的小模型，數(shù)學專門模型在學習復雜推理和大模型指導時表現(xiàn)出了更強的適應能力，其學習困境比通用模型要小得多。

這個發(fā)現(xiàn)就像是發(fā)現(xiàn)了一個重要的學習規(guī)律：有一定基礎(chǔ)的學生更容易接受高難度的教學內(nèi)容。數(shù)學專門模型由于在預訓練階段就接觸了大量數(shù)學相關(guān)內(nèi)容，建立了相對完整的數(shù)學概念框架，因此在面對復雜數(shù)學推理時不會顯得完全無所適從。相比之下，通用模型就像是一個剛開始接觸數(shù)學的學生，突然面對高深的證明過程時自然會感到困惑。

其次，研究團隊對比了基礎(chǔ)模型和經(jīng)過指令微調(diào)的模型，發(fā)現(xiàn)了另一個有趣的規(guī)律。基礎(chǔ)模型（即只經(jīng)過基本語言建模訓練的模型）表現(xiàn)出了更嚴重的學習困境，而那些經(jīng)過指令微調(diào)的模型則表現(xiàn)得相對穩(wěn)定一些。這說明模型的"社會化"程度也會影響其學習新技能的能力。

經(jīng)過指令微調(diào)的模型就像是已經(jīng)接受過一定教育訓練的學生，它們了解如何理解和回應不同類型的指令，具備了基本的學習框架。而基礎(chǔ)模型則更像是剛?cè)雽W的新生，需要更多的適應時間和更細致的指導。

研究團隊還進行了一項特別有意思的分析：他們追蹤了模型在學習過程中詞匯使用習慣的變化。結(jié)果發(fā)現(xiàn)，當小模型試圖學習大模型的推理方式時，它們的語言風格發(fā)生了顯著變化，開始頻繁使用一些表達性和風格化的詞匯，如"等等"、"但是"、"讓我們"等。

這個現(xiàn)象就像是一個小學生試圖模仿大學生的說話方式，結(jié)果是表面上看起來更"高深"了，但實際的理解能力并沒有相應提升。模型把注意力過多地放在了模仿表面的語言特征上，反而忽略了真正重要的邏輯推理能力。這種"形式大于內(nèi)容"的學習方式不僅無效，還可能干擾模型原有的能力。

研究團隊通過對模型內(nèi)部激活模式的分析發(fā)現(xiàn)，小模型在處理復雜推理任務時，其內(nèi)部表征出現(xiàn)了明顯的不穩(wěn)定性。與學習簡單推理時的清晰、有序的激活模式相比，學習復雜推理后的模型顯示出了更多的噪聲和不一致性，這表明模型的內(nèi)部知識結(jié)構(gòu)受到了干擾。

這種現(xiàn)象可以理解為認知負荷過載的表現(xiàn)。就像人在處理超出自身能力的復雜任務時會出現(xiàn)思維混亂一樣，小模型在面對過于復雜的學習內(nèi)容時，其內(nèi)部的信息處理機制也會出現(xiàn)紊亂，導致整體性能下降。

最后，研究團隊發(fā)現(xiàn)模型規(guī)模確實存在某種"臨界點"效應。他們的實驗顯示，大約在7億參數(shù)左右，模型開始能夠有效地處理復雜推理任務，而在3億參數(shù)以下，這種能力就顯得非常有限。這個發(fā)現(xiàn)為AI模型的設計和應用提供了重要參考：不同規(guī)模的模型適合解決不同復雜度的任務，強行跨越能力界限往往得不償失。

五、實踐啟示：重新思考AI模型訓練策略

這項研究的發(fā)現(xiàn)對整個AI領(lǐng)域具有深遠的實踐意義，它不僅改變了我們對模型訓練的認知，也為未來的研究方向提供了重要指導。

在模型部署方面，這項研究提醒我們需要重新評估小模型的價值和定位。長期以來，業(yè)界普遍認為小模型只是大模型的"廉價替代品"，主要價值在于降低計算成本。但這項研究表明，小模型有其獨特的學習特點和優(yōu)勢領(lǐng)域，如果采用合適的訓練方法，它們完全可以在特定任務上取得出色的表現(xiàn)。

這種認知轉(zhuǎn)變對于資源有限的應用場景特別重要。許多實際應用并不需要超大規(guī)模模型的全部能力，而且受到計算資源、響應時間、部署成本等多方面約束。在這些場景中，經(jīng)過精心訓練的小模型可能是更好的選擇。研究結(jié)果顯示，采用混合訓練策略的3億參數(shù)模型在數(shù)學推理任務上的表現(xiàn)可以媲美某些更大規(guī)模的模型。

在訓練數(shù)據(jù)的準備方面，這項研究強調(diào)了"因材施教"的重要性。傳統(tǒng)的做法是為所有模型準備同樣的高質(zhì)量訓練數(shù)據(jù)，認為數(shù)據(jù)質(zhì)量越高越好，推理過程越復雜越好。但研究結(jié)果告訴我們，不同規(guī)模的模型需要不同類型的訓練數(shù)據(jù)。為小模型設計訓練數(shù)據(jù)時，應該更多考慮其理解能力和學習特點，而不是簡單地追求復雜度。

研究團隊提出的混合訓練策略為數(shù)據(jù)準備提供了具體的指導原則。在為小模型準備訓練數(shù)據(jù)時，應該以適合其能力水平的簡潔推理為主體，適度添加一些挑戰(zhàn)性內(nèi)容作為補充。這種策略不僅能夠確保模型掌握基礎(chǔ)能力，還能夠逐步提升其處理復雜問題的能力。

在教師模型的選擇方面，研究結(jié)果顛覆了"越大越好"的傳統(tǒng)觀念。對于小模型的訓練，選擇能力相近但稍強的模型作為教師可能比選擇最強的模型更有效。這種選擇不僅能夠提供合適的學習目標，還能夠減少由于能力差距過大而導致的學習困難。

這個發(fā)現(xiàn)對于構(gòu)建模型訓練的"梯隊體系"具有重要啟發(fā)意義。與其讓所有小模型都向同一個超大模型學習，不如構(gòu)建一個分層的訓練體系：讓最小的模型向中等規(guī)模模型學習，中等規(guī)模模型向大模型學習，形成一個遞進的知識傳遞鏈條。這種設計可能會帶來更好的整體訓練效果。

在評估方法方面，這項研究也提出了新的思考。傳統(tǒng)的模型評估往往只關(guān)注最終的任務表現(xiàn)，而忽略了模型的學習過程和內(nèi)在機制。研究團隊通過分析模型的語言風格變化、內(nèi)部表征穩(wěn)定性等指標，揭示了表面性能背后的深層問題。這種全面的評估方法對于真正理解和改進模型訓練具有重要價值。

未來的研究可以在這項工作的基礎(chǔ)上探索更多方向。比如，如何為不同規(guī)模的模型設計更精細的訓練策略？如何在保持模型能力平衡的同時進一步提升性能？如何將這些發(fā)現(xiàn)應用到其他類型的任務和領(lǐng)域中？這些問題的探索將推動AI模型訓練技術(shù)的進一步發(fā)展。

說到底，這項研究最大的價值在于它提醒我們：在AI的世界里，就像在教育領(lǐng)域一樣，沒有放之四海而皆準的萬能方法。每個模型都有自己的特點和局限，需要我們用更加細致和個性化的方法來培養(yǎng)它們的能力。只有真正理解了模型的學習規(guī)律，我們才能讓AI技術(shù)發(fā)揮出最大的潛力，為人類社會帶來更大的價值。這種"因材施教"的理念不僅適用于人類教育，在AI模型的培養(yǎng)中同樣重要。研究團隊的工作為我們打開了一扇新的窗戶，讓我們看到了更加精細化、個性化的AI訓練方法的可能性。

Q&A

Q1：什么是小模型可學習性差距？為什么小模型學不好復雜推理？

A：小模型可學習性差距是指參數(shù)量在30億以下的小AI模型無法有效學習大模型的復雜推理方法的現(xiàn)象。就像讓小學生直接學大學數(shù)學會適得其反一樣，小模型在面對復雜的推理鏈條時，由于自身能力限制，很難抓住關(guān)鍵要點，反而會在復雜信息中迷失方向，導致性能下降而不是提升。

Q2：混合蒸餾法具體是怎么工作的？效果如何？

A：混合蒸餾法就像為學生制定循序漸進的學習計劃，包含兩種策略：Mix-Long將80%簡單推理和20%復雜推理混合訓練；Mix-Large讓小模型同時向大模型和小模型學習。實驗顯示，使用這種方法的小模型在數(shù)學推理任務上性能提升了7-8個百分點，既能處理復雜題目又保持了基礎(chǔ)能力。

Q3：這項研究對AI模型的實際應用有什么意義？

A：這項研究改變了"越大越好"的傳統(tǒng)觀念，證明小模型有其獨特價值和適用場景。對于資源有限的應用，經(jīng)過合適訓練的小模型可能比盲目使用大模型更有效。研究還提出了"因材施教"的訓練理念，為不同規(guī)模模型設計不同的訓練策略，這將推動更精細化、個性化的AI訓練方法發(fā)展。