這項研究來自蘋果公司和杜克大學(xué)的聯(lián)合團隊，發(fā)表于2025年5月的論文《交織式推理：通過強化學(xué)習(xí)增強大語言模型能力》。該論文由蘋果公司的Roy Xie、David Qiu、Deepak Gopinath、Dong Lin、Yanchao Sun、Chong Wang、Saloni Potdar以及同時隸屬于杜克大學(xué)的Bhuwan Dhingra共同完成，發(fā)布于arXiv預(yù)印本平臺（arXiv:2505.19640v1）。

想象一下，你正在與一位聰明的朋友交談，但他每次回答問題前都需要默默思考很長時間，然后一口氣說出所有內(nèi)容。這種體驗可能會讓你感到沮喪，特別是在需要快速回應(yīng)的情況下。大型語言模型（LLM）如今也面臨類似的挑戰(zhàn)——它們使用"思考-回答"模式，即先完成所有推理過程，然后才給出答案，這導(dǎo)致了兩個關(guān)鍵問題：一是用戶需要長時間等待第一個回應(yīng)出現(xiàn)（稱為"首詞響應(yīng)時間"或TTFT），二是模型容易在思考過程中積累錯誤，導(dǎo)致最終答案不準確。

本研究提出了一種創(chuàng)新的解決方案：交織式推理（Interleaved Reasoning）。就像我們?nèi)祟愒谌粘υ捴袝吽伎歼吇貞?yīng)，這種方法讓語言模型學(xué)會在復(fù)雜推理過程中穿插輸出中間答案。想象一位解釋數(shù)學(xué)問題的老師，不是默默算完所有步驟后才說話，而是每完成一個關(guān)鍵步驟就向?qū)W生解釋，這不僅讓學(xué)生能更早獲得有用信息，還能幫助老師自己檢查每個步驟是否正確。

研究團隊通過強化學(xué)習(xí)（RL）訓(xùn)練模型實現(xiàn)這種交織式思考與回答的能力。他們發(fā)現(xiàn)，模型本身就具備交替思考和回答的潛能，只需通過適當?shù)莫剟顧C制引導(dǎo)，就能顯著提升這種能力。更令人驚喜的是，這種方法不僅讓模型響應(yīng)速度平均提高了80%以上，還在某些任務(wù)上將準確率提升了高達19.3%。而且，僅通過在問答和邏輯推理數(shù)據(jù)集上訓(xùn)練，模型就能將這種能力泛化到更復(fù)雜的數(shù)學(xué)和物理問題上。

讓我們一起深入了解這項研究如何改變大語言模型的思考方式，以及它為什么對我們?nèi)粘Ｊ褂肁I助手的體驗如此重要。

一、研究背景：為什么我們需要改變語言模型的思考方式？

想象你正在使用一個AI助手，比如問它："柏林墻倒塌五年后獲得奧斯卡最佳影片的電影導(dǎo)演是誰？"在傳統(tǒng)的"思考-回答"模式下，AI會先在內(nèi)部完成所有推理：回憶柏林墻倒塌的年份（1989年），計算五年后是1994年，查找1994年獲奧斯卡最佳影片的電影（《阿甘正傳》），再確定該片導(dǎo)演（羅伯特·澤米吉斯）。整個過程可能需要幾秒甚至更長時間，而在此期間，用戶看不到任何回應(yīng)，這種等待體驗顯然不夠理想。

更糟糕的是，如果AI在推理早期就出錯（比如錯誤地認為柏林墻倒塌于1991年），這個錯誤會影響后續(xù)所有推理，最終導(dǎo)致完全錯誤的答案。而用戶無法看到中間推理過程，也就無法及時指出錯誤。

當前的大語言模型，如OpenAI的O1和DeepSeek的R1，都通過生成長鏈式思考（Chain-of-Thought，簡稱CoT）來增強推理能力。這種方法確實提高了模型解決復(fù)雜問題的準確率，但也帶來了上述的延遲和錯誤累積問題。

蘋果和杜克大學(xué)的研究團隊意識到，人類在解決復(fù)雜問題時通常不會一直保持沉默直到得出最終答案，而是會在解決問題的過程中分享中間思考和初步結(jié)論。這種交織式的推理方式有三個主要優(yōu)勢：一是提供及時反饋，二是允許糾正早期錯誤，三是使整個推理過程更加透明和可驗證。

二、交織式推理：讓AI像人類一樣"邊思考邊回答"

交織式推理的核心理念是將復(fù)雜問題分解為一系列子問題，模型在解決每個子問題后立即提供一個"子答案"，而不是等到完成所有推理步驟后才給出最終答案。

以前面提到的問題為例，使用交織式推理的AI會這樣回答：

*思考：首先，我需要確定柏林墻倒塌的時間。* *回答：柏林墻倒塌于1989年。*

*思考：現(xiàn)在，讓我們計算一下：1989 + 5 = 1994。* *回答：1989年之后的第五年是1994年。*

*思考：接下來，我需要找出1994年獲得奧斯卡最佳影片的電影。* *回答：《阿甘正傳》在1994年獲得了奧斯卡最佳影片獎。*

*思考：最后，讓我找出《阿甘正傳》的導(dǎo)演是誰。* *回答：導(dǎo)演是羅伯特·澤米吉斯。*

這種方式不僅讓用戶幾乎立即就能看到第一個回應(yīng)（"柏林墻倒塌于1989年"），還能在每個步驟后驗證信息的正確性。如果用戶發(fā)現(xiàn)中間某個步驟有錯誤，可以立即糾正，避免錯誤傳播到最終答案。

為了實現(xiàn)這種交織式推理，研究團隊使用了強化學(xué)習(xí)方法。他們設(shè)計了一個特殊的指令模板，告訴模型在標簽內(nèi)進行推理，在標簽內(nèi)提供答案，并且鼓勵模型在有了確定的中間結(jié)論時立即分享。然后，他們定義了三種獎勵信號來指導(dǎo)模型學(xué)習(xí)：

1. 格式獎勵：確保模型正確交替使用思考和回答標簽。 2. 最終準確性獎勵：評估最終答案是否正確。 3. 條件中間準確性獎勵：在特定條件下，獎勵模型生成正確的中間答案。

值得注意的是，研究者發(fā)現(xiàn)直接獎勵所有中間答案的正確性會導(dǎo)致次優(yōu)結(jié)果，因為模型可能會過度關(guān)注局部正確性而犧牲最終答案的準確性。為解決這個問題，他們設(shè)計了一個條件獎勵策略：只有當模型的最終答案正確、輸出格式有效，且訓(xùn)練進度穩(wěn)定時，才為正確的中間答案提供額外獎勵。

三、研究方法：如何訓(xùn)練模型實現(xiàn)交織式推理

研究團隊首先觀察到一個有趣的現(xiàn)象：即使是未經(jīng)專門訓(xùn)練的基礎(chǔ)模型，在給定交織式推理模板后，也能展現(xiàn)出一定程度的交織推理能力。這表明語言模型本身就具備這種能力的潛質(zhì)，只是需要適當?shù)囊龑?dǎo)和強化。

基于這一發(fā)現(xiàn)，他們設(shè)計了一個完整的強化學(xué)習(xí)訓(xùn)練框架。整個過程可以比喻為教一個聰明但缺乏經(jīng)驗的學(xué)生學(xué)會一種新的解題方法：

首先，他們選擇了兩類數(shù)據(jù)集進行訓(xùn)練：

1. "騎士與騙子"（Knights and Knaves）：一種邏輯推理游戲，要求通過分析一系列陳述來確定哪些角色總是說真話（騎士），哪些總是說謊（騙子）。 2. "Musique"：一種多跳問答數(shù)據(jù)集，要求模型從多個信息源中檢索和組合信息來回答問題。

這兩個數(shù)據(jù)集的共同特點是自然包含子問題和相應(yīng)的答案，非常適合訓(xùn)練交織式推理能力。

接下來，研究團隊探索了三種不同的強化學(xué)習(xí)算法：

1. 近端策略優(yōu)化（PPO）：最經(jīng)典的RL算法之一，通過使用價值網(wǎng)絡(luò)估計狀態(tài)價值來計算優(yōu)勢。 2. 群相對策略優(yōu)化（GRPO）：PPO的一個變種，減少了對額外評論家網(wǎng)絡(luò)的需求。 3. REINFORCE++：一種簡單高效的對齊大語言模型的方法。

經(jīng)過比較，他們發(fā)現(xiàn)PPO算法雖然訓(xùn)練速度較慢，但提供了最穩(wěn)定的訓(xùn)練過程，最終性能也最好。

在獎勵計算方面，研究團隊探索了三種不同的中間獎勵計算方法：

1. 全或無：要求所有中間步驟都正確才給予獎勵。 2. 部分積分：為每個正確的中間步驟單獨給予部分獎勵。 3. 時間折扣：為較早出現(xiàn)的正確中間步驟給予更高權(quán)重的獎勵。

實驗結(jié)果表明，時間折扣方法效果最佳，因為它既鼓勵模型盡早提供正確的中間步驟，又保持了推理的連貫性。

四、研究成果：交織式推理模型的驚人表現(xiàn)

研究團隊在多個數(shù)據(jù)集上評估了他們的交織式推理模型，包括訓(xùn)練中使用的"騎士與騙子"和"Musique"，以及三個完全未見過的數(shù)據(jù)集：GPQA（研究生物理問題）、MMLU（多任務(wù)語言理解）和MATH（數(shù)學(xué)問題解決）。

實驗結(jié)果令人振奮。首先，在首詞響應(yīng)時間（TTFT）方面，交織式推理模型比傳統(tǒng)的"思考-回答"模型平均快了80%以上。這意味著用戶幾乎可以立即看到AI的第一個回應(yīng)，大大提升了互動體驗。

更令人驚訝的是準確率的提升。使用Qwen2.5-1.5B模型（一個相對較小的模型）時，加入中間獎勵的交織式推理（Interleave+IR）相比傳統(tǒng)"思考-回答"方法，在"騎士與騙子"任務(wù)上準確率提高了19.3%，在GPQA上提高了16.1%。即使在更大的7B模型上，交織式推理也能帶來5.7%的平均準確率提升。

這些提升不僅體現(xiàn)在訓(xùn)練數(shù)據(jù)集上，更令人驚喜的是模型展現(xiàn)出強大的泛化能力。僅通過在問答和邏輯推理數(shù)據(jù)集上訓(xùn)練，模型就能將交織式推理能力泛化到未見過的數(shù)學(xué)和物理問題上，表明這種能力是一種通用的思考方式，而不僅僅是特定領(lǐng)域的技巧。

研究團隊還發(fā)現(xiàn)，隨著問題難度的增加，交織式推理相比傳統(tǒng)方法的優(yōu)勢更加明顯。在"騎士與騙子"數(shù)據(jù)集的更難版本中（涉及6、7、8個角色），交織式推理模型的性能優(yōu)勢顯著擴大，表明這種方法在復(fù)雜多步推理任務(wù)中特別有效。

五、研究洞察：為什么交織式推理如此有效？

研究團隊通過深入分析發(fā)現(xiàn)了幾個有趣的洞察，幫助我們理解為什么交織式推理如此有效：

首先，他們發(fā)現(xiàn)模型非?？焖俚貙W(xué)會了交織式格式，遠快于學(xué)會準確回答問題。這表明結(jié)構(gòu)化的回應(yīng)方式對模型來說相對容易掌握，真正的挑戰(zhàn)在于提高推理質(zhì)量。

其次，關(guān)于中間答案的時機至關(guān)重要。研究者比較了標準交織式推理（在推理過程中立即提供中間答案）與延遲中間答案（完成所有推理后，最終答案前才提供中間結(jié)論）的效果。結(jié)果顯示，延遲提供中間答案會顯著降低準確率并增加響應(yīng)時間，這證明了及時、增量式反饋在整個推理過程中的重要性。

第三，關(guān)于獎勵設(shè)計，研究表明條件獎勵策略（只在模型表現(xiàn)良好時獎勵中間步驟）比直接獎勵所有中間步驟更有效。這類似于教育心理學(xué)中的理念：在學(xué)生掌握基礎(chǔ)知識后再鼓勵更復(fù)雜的思考方式。

最后，研究者觀察到正確答案通常比錯誤答案更簡潔。對于1.5B和7B模型，正確解答的平均長度都顯著短于錯誤解答，這表明模型在找到正確解題路徑后，能更高效地表達解決方案，而不會生成不必要的思考內(nèi)容。

六、實際應(yīng)用與未來展望

這項研究的實際應(yīng)用價值非常明顯。交織式推理可以顯著改善AI助手的用戶體驗，讓它們更像真實的人類對話伙伴，提供及時的反饋和漸進式的答案。對于需要復(fù)雜推理的應(yīng)用場景，如教育輔導(dǎo)、科學(xué)研究助手、醫(yī)療診斷支持等，這種方法尤其有價值。

值得強調(diào)的是，與其他需要外部工具的方法不同，交織式推理是一種純粹依靠模型內(nèi)部能力的方法，不需要額外的API調(diào)用或外部知識庫。這使得它更容易部署，也更加高效。

未來研究可能的方向包括：

1. 探索在更多樣化的數(shù)據(jù)集上訓(xùn)練交織式推理能力。 2. 研究如何根據(jù)問題復(fù)雜度自動調(diào)整思考和回答的頻率。 3. 結(jié)合用戶反饋，讓模型能夠根據(jù)用戶對中間答案的回應(yīng)調(diào)整后續(xù)推理路徑。 4. 探索更復(fù)雜的獎勵機制，進一步提高模型的準確性和效率。

七、研究局限性與挑戰(zhàn)

盡管取得了令人矚目的成果，這項研究也面臨一些局限和挑戰(zhàn)：

首先，訓(xùn)練過程僅使用了包含中間答案的數(shù)據(jù)集，未來需要探索如何在沒有中間答案標注的數(shù)據(jù)集上訓(xùn)練這種能力。

其次，獎勵機制的設(shè)計仍有優(yōu)化空間。當前的條件獎勵策略雖然有效，但可能并非最優(yōu)解，未來可以探索更精細的獎勵設(shè)計。

第三，雖然交織式推理減少了首詞響應(yīng)時間，但總體推理時間可能沒有顯著減少。未來研究可以探索如何在保持準確性的同時，進一步提高推理效率。

最后，該研究主要關(guān)注了準確性和響應(yīng)時間，未來可以擴展到考量推理的多樣性、穩(wěn)健性等更多維度。

結(jié)論：重新思考AI如何思考

歸根結(jié)底，這項研究向我們展示了一個重要的轉(zhuǎn)變：AI不必非得先完成所有思考再給出答案，它可以像人類一樣，在思考過程中與用戶互動，提供漸進式的信息和洞察。

這種交織式推理方法不僅讓AI更快地響應(yīng)用戶，還通過明確的中間步驟提高了推理準確性，同時增強了整個互動過程的透明度和可解釋性。它使AI助手更像一個真實的對話伙伴，而不是一個需要長時間"加載"才能回應(yīng)的黑盒子。

最令人興奮的是，研究表明這種能力可以泛化到未見過的復(fù)雜任務(wù)上，這意味著一旦學(xué)會了這種思考方式，AI就能在各種推理任務(wù)中應(yīng)用它。就像一個學(xué)會了"邊思考邊表達"的學(xué)生，能在各種學(xué)科中都更有效地解決問題和溝通想法。

對于我們這些AI系統(tǒng)的用戶來說，這意味著未來的AI助手將提供更快、更準確、更透明的互動體驗，就像與一個思維敏捷的朋友交流，而不是一個神秘的預(yù)言機器。

如果你對這項研究感興趣，可以通過arXiv:2505.19640訪問完整論文，深入了解交織式推理如何改變大語言模型的思考方式。