在人工智能領(lǐng)域，大型語言模型(LLM)的推理能力近年來取得了顯著進(jìn)展，特別是在解決復(fù)雜的自然語言任務(wù)方面表現(xiàn)出色。這種成功引發(fā)了信息檢索(IR)領(lǐng)域研究者的興趣，他們開始探索如何將類似的推理能力整合到基于LLM的文章重排系統(tǒng)中。這項(xiàng)名為《不要過度"深思"段落重排：推理真的必要嗎？》(Don't "Overthink" Passage Reranking: Is Reasoning Truly Necessary?)的研究由麻省理工學(xué)院林肯實(shí)驗(yàn)室的Nour Jedidi、麻省理工學(xué)院的Yung-Sung Chuang和James Glass，以及滑鐵盧大學(xué)的Jimmy Lin共同完成，發(fā)表于2025年5月的arXiv預(yù)印本平臺(tái)(arXiv:2505.16886)。

想象一下，當(dāng)你在網(wǎng)絡(luò)上搜索信息時(shí)，搜索引擎會(huì)返回一系列相關(guān)結(jié)果。在幕后，有一個(gè)重要的步驟是"重排"——確定哪些結(jié)果最符合你的查詢，并將它們排在前面。近期，研究人員開始嘗試讓AI系統(tǒng)在做這種重排決策前先進(jìn)行"推理"——就像我們?nèi)祟悤?huì)先思考一下問題再做決定。但這種額外的"思考"真的能提高排序質(zhì)量嗎？這就是本研究要解答的問題。

這個(gè)問題很重要，因?yàn)樵贏I系統(tǒng)中，推理過程需要額外的計(jì)算資源和時(shí)間。如果發(fā)現(xiàn)推理過程并不能真正提高重排的準(zhǔn)確性，那么我們可以構(gòu)建更高效的系統(tǒng)，節(jié)省大量計(jì)算資源。研究團(tuán)隊(duì)通過設(shè)計(jì)嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)，比較了帶推理和不帶推理的重排器在相同訓(xùn)練條件下的表現(xiàn)，結(jié)果發(fā)現(xiàn)了一些出人意料的發(fā)現(xiàn)。

論文的核心問題很簡(jiǎn)單：在重排任務(wù)中，讓模型先生成一系列推理步驟（類似"思考"）再得出最終判斷，是否真的比直接得出判斷更有效？為了回答這個(gè)問題，研究團(tuán)隊(duì)設(shè)計(jì)了兩個(gè)研究角度：一是在完全相同的訓(xùn)練環(huán)境下，比較帶推理和不帶推理的重排器；二是看看當(dāng)我們強(qiáng)制禁用推理重排器的推理能力時(shí)，它的效果會(huì)如何變化。

一、研究設(shè)計(jì)：三種不同的重排器

研究團(tuán)隊(duì)開發(fā)并測(cè)試了三種重排器模型：

首先是StandardRR，這是一個(gè)標(biāo)準(zhǔn)的基于LLM的逐點(diǎn)重排器(pointwise reranker)。想象一下，這就像是一個(gè)快速評(píng)價(jià)員，它直接判斷每對(duì)查詢-文章是否相關(guān)，不需要解釋自己的判斷理由。它工作方式很簡(jiǎn)單：看到一個(gè)查詢和一篇文章，立即給出"相關(guān)"或"不相關(guān)"的判斷。

第二種是ReasonRR，這是對(duì)Weller等人(2025)提出的Rank1模型的復(fù)現(xiàn)。與StandardRR不同，這個(gè)模型就像一個(gè)會(huì)思考的評(píng)價(jià)員，它會(huì)先生成一系列推理步驟，記錄下自己為什么認(rèn)為文章相關(guān)或不相關(guān)，然后再給出最終判斷。這種方法類似于最近流行的"思維鏈"(Chain-of-Thought, CoT)技術(shù)。

第三種是ReasonRR-NoReason，這是ReasonRR的一個(gè)變體，研究者在推理時(shí)強(qiáng)制禁用了它的推理過程。想象成這樣：雖然這個(gè)評(píng)價(jià)員被訓(xùn)練成先思考再判斷，但現(xiàn)在我們強(qiáng)制它跳過思考環(huán)節(jié)，直接給出判斷。具體實(shí)現(xiàn)方式是在推理時(shí)預(yù)先填充一個(gè)固定的"我已思考完畢"的文本，這樣模型就會(huì)跳過實(shí)際的推理過程直接輸出結(jié)論。

為了確保公平比較，所有模型都使用相同的基礎(chǔ)LLM架構(gòu)(Qwen2.5系列，包括1.5B、3B和7B參數(shù)規(guī)模)，并在完全相同的數(shù)據(jù)集上訓(xùn)練。訓(xùn)練數(shù)據(jù)來源于MS MARCO數(shù)據(jù)集，增強(qiáng)了由DeepSeek R1生成的推理鏈。

二、驚人的發(fā)現(xiàn)：推理過程可能反而有害

研究團(tuán)隊(duì)在兩類數(shù)據(jù)集上評(píng)估了這些模型：源自MS MARCO的數(shù)據(jù)集(包括TREC DL19至DL23)作為領(lǐng)域內(nèi)測(cè)試，以及推理密集型檢索基準(zhǔn)BRIGHT作為領(lǐng)域外測(cè)試。評(píng)估的主要指標(biāo)是NDCG@10，這是信息檢索領(lǐng)域常用的衡量排序質(zhì)量的指標(biāo)。

結(jié)果令人驚訝。在相同的訓(xùn)練條件下，StandardRR(沒有推理過程的重排器)通常表現(xiàn)優(yōu)于ReasonRR(帶推理過程的重排器)。具體來說，在MS MARCO數(shù)據(jù)集上，StandardRR平均比ReasonRR高出5.3、3.7和5個(gè)百分點(diǎn)(分別對(duì)應(yīng)1.5B、3B和7B模型大小)。更令人驚訝的是，在推理密集型的BRIGHT數(shù)據(jù)集上，StandardRR同樣表現(xiàn)更好，平均高出3.4、1和3.2個(gè)百分點(diǎn)。

更有趣的是，當(dāng)研究者強(qiáng)制禁用ReasonRR的推理過程(即ReasonRR-NoReason)時(shí)，它的表現(xiàn)反而比原版ReasonRR更好。在MS MARCO上，ReasonRR-NoReason平均比ReasonRR高出0.8、0.5和1.4個(gè)百分點(diǎn)；在BRIGHT數(shù)據(jù)集上，隨著模型規(guī)模增大，ReasonRR-NoReason的優(yōu)勢(shì)越發(fā)明顯，在7B規(guī)模時(shí)甚至超過ReasonRR 3個(gè)百分點(diǎn)。

這些結(jié)果清晰表明：至少對(duì)于逐點(diǎn)重排任務(wù)，推理過程不僅不是必要的，有時(shí)甚至可能是有害的。這與該領(lǐng)域之前的一些直覺是相悖的。

三、為什么推理會(huì)傷害重排效果？

既然發(fā)現(xiàn)推理過程可能有害，研究團(tuán)隊(duì)深入分析了原因。他們假設(shè)推理過程可能導(dǎo)致模型產(chǎn)生"極化"的相關(guān)性分?jǐn)?shù)，使其難以表達(dá)文章與查詢之間的"部分相關(guān)性"。

想象一下這個(gè)場(chǎng)景：兩個(gè)人在評(píng)價(jià)餐廳。第一個(gè)人直接給出評(píng)分："這家餐廳值7分(滿分10分)"。第二個(gè)人則先詳細(xì)分析："食物很好但服務(wù)一般，環(huán)境不錯(cuò)但價(jià)格偏高..."，最后得出結(jié)論："所以，這家餐廳好/不好"。很可能第二個(gè)人會(huì)傾向于給出更極端的評(píng)價(jià)(非常好或非常差)，因?yàn)樗呀?jīng)通過推理得出了一個(gè)明確的結(jié)論。

研究者通過三種方式驗(yàn)證了這一假設(shè)：

首先，他們比較了各模型作為簡(jiǎn)單相關(guān)性分類器的表現(xiàn)。結(jié)果顯示，ReasonRR確實(shí)在精確度(precision)和F1分?jǐn)?shù)上優(yōu)于ReasonRR-NoReason，但后者在NDCG@10指標(biāo)上表現(xiàn)更好。這說明僅僅提高相關(guān)性分類的準(zhǔn)確度并不足以提升重排的效果。

其次，研究者分析了各模型產(chǎn)生的相關(guān)性分?jǐn)?shù)分布。發(fā)現(xiàn)StandardRR和ReasonRR都將大約70%的文章分類為低相關(guān)性(0-0.1分)，但對(duì)于剩余文章，StandardRR會(huì)將相關(guān)性分?jǐn)?shù)分布在中間區(qū)域(0.1-0.9分)和高相關(guān)性區(qū)域(0.9-1.0分)，比例分別為11.4%和19.7%。而ReasonRR幾乎不給文章分配中間相關(guān)性分?jǐn)?shù)，將所有部分相關(guān)的文章都集中分配在極高相關(guān)性區(qū)域(29.0%)。這證實(shí)了推理過程確實(shí)導(dǎo)致了更極化的判斷。

第三，通過定性分析，研究者發(fā)現(xiàn)ReasonRR在推理過程中可能會(huì)明確提到文章"部分相關(guān)"，但因?yàn)樽罱K必須選擇"相關(guān)"或"不相關(guān)"的二分結(jié)果，它往往會(huì)傾向于將部分相關(guān)歸類為高度相關(guān)，導(dǎo)致相關(guān)性分?jǐn)?shù)極高(接近1)。

這就像一個(gè)審慎的法官和一個(gè)直覺型法官的區(qū)別。審慎法官會(huì)詳細(xì)推理，但最終只能判"有罪"或"無罪"，這可能導(dǎo)致非黑即白的判決。而直覺型法官雖然不詳細(xì)解釋，但可能更能表達(dá)"這個(gè)案件不是完全有罪，但有一定嫌疑"的微妙判斷。在重排任務(wù)中，這種靈活性反而更為重要。

四、改進(jìn)方向：如何讓推理更有效？

研究者并沒有完全否定推理在重排中的價(jià)值，而是探索了如何改進(jìn)推理重排器。他們嘗試了"自洽性"(Self-Consistency)技術(shù)，即生成多個(gè)推理鏈，然后平均它們的預(yù)測(cè)結(jié)果。這種方法確實(shí)使ReasonRR的相關(guān)性分?jǐn)?shù)分布更加均勻，并在MS MARCO和BRIGHT數(shù)據(jù)集上分別提高了1.8和2.9個(gè)百分點(diǎn)的NDCG@10。

然而，即使經(jīng)過這種改進(jìn)，推理重排器的表現(xiàn)仍落后于標(biāo)準(zhǔn)重排器。這表明，至少在當(dāng)前技術(shù)條件下，簡(jiǎn)單、直接的方法可能更為有效和資源高效。

研究團(tuán)隊(duì)還提出了幾種潛在的改進(jìn)方向：

一種思路是訓(xùn)練推理重排器預(yù)測(cè)非二元的相關(guān)性分?jǐn)?shù)，例如從1到5的評(píng)分，而不是簡(jiǎn)單的"相關(guān)"或"不相關(guān)"。這可能使模型更好地表達(dá)部分相關(guān)性。

另一種思路是從推理過程中提取信號(hào)，當(dāng)模型明確表示"部分相關(guān)"時(shí)，利用這些線索產(chǎn)生更準(zhǔn)確的中間分?jǐn)?shù)。

第三種思路是通過設(shè)計(jì)專門的損失函數(shù)，直接訓(xùn)練模型產(chǎn)生校準(zhǔn)良好的分?jǐn)?shù)，鼓勵(lì)輸出能反映各種程度的相關(guān)性。

這些改進(jìn)方向仍是開放的研究問題，需要未來工作進(jìn)一步探索。

總的來說，這項(xiàng)研究挑戰(zhàn)了我們對(duì)推理過程在重排任務(wù)中作用的傳統(tǒng)認(rèn)識(shí)。研究表明，至少對(duì)于逐點(diǎn)重排任務(wù)，簡(jiǎn)單直接的方法可能比復(fù)雜的推理過程更有效，這不僅帶來了理論上的新見解，也為構(gòu)建更高效的信息檢索系統(tǒng)提供了實(shí)用指導(dǎo)。