這項(xiàng)由Qualcomm AI Research團(tuán)隊(duì)的Corrado Rainone、Tim Bakker和Roland Memisevic完成的研究發(fā)表于2025年7月，論文標(biāo)題為"Replacing thinking with tool usage enables reasoning in small language models"，有興趣深入了解的讀者可以通過arXiv:2507.05065v1獲取完整論文。

現(xiàn)在的大語言模型就像一個(gè)聰明的學(xué)生，當(dāng)遇到復(fù)雜問題時(shí)，它們會(huì)先在心里默默思考一番，然后再給出答案。這種"思考"過程被稱為Chain-of-Thought（思維鏈），就像你在考試時(shí)會(huì)在草稿紙上寫下解題步驟一樣。但是，這種方法有個(gè)大問題：只有那些"優(yōu)等生"（超大型模型）才能很好地運(yùn)用這種思考方式，而那些"普通學(xué)生"（小型模型）往往在思考過程中迷失方向。

研究團(tuán)隊(duì)提出了一個(gè)有趣的解決方案：既然小模型不擅長自由思考，那就給它們一個(gè)專門的工具來幫助思考。這就像給一個(gè)不太會(huì)心算的學(xué)生提供一個(gè)計(jì)算器一樣，雖然他們不能在腦海中完成復(fù)雜運(yùn)算，但借助工具同樣能解決問題。

傳統(tǒng)的大模型推理就像一個(gè)作家在寫作時(shí)的思考過程，他們會(huì)在心里構(gòu)思情節(jié)、斟酌詞句，然后將完整的想法寫在紙上。但對(duì)于小模型來說，這種內(nèi)心的構(gòu)思過程往往會(huì)變得混亂無序。研究團(tuán)隊(duì)的創(chuàng)新之處在于，他們不再要求小模型進(jìn)行這種抽象的內(nèi)心思考，而是讓它們通過與一個(gè)具體的編程工具進(jìn)行交互來解決問題。

這個(gè)編程工具就像一個(gè)智能的文本編輯器，它可以執(zhí)行代碼、提供反饋，并告訴模型哪里出了錯(cuò)。模型不需要在腦海中想象代碼的運(yùn)行結(jié)果，而是可以實(shí)際運(yùn)行代碼，看到真實(shí)的執(zhí)行結(jié)果。這種方法被研究團(tuán)隊(duì)稱為Chain-of-Edits（編輯鏈），因?yàn)槟Ｐ偷拿恳徊讲僮鞫际菍?duì)代碼的具體編輯。

一、從抽象思考到具體操作

傳統(tǒng)的思維鏈方法就像讓學(xué)生在考試時(shí)寫下詳細(xì)的解題思路。當(dāng)面對(duì)一道數(shù)學(xué)題時(shí)，學(xué)生會(huì)寫："首先，我需要找到未知數(shù)x的值。然后，我將方程兩邊同時(shí)加上3。接下來，我將兩邊都除以2..."這種方法對(duì)于優(yōu)秀的學(xué)生來說很有效，因?yàn)樗麄兡軌蚯逦乇磉_(dá)自己的思路。

但是，小型模型在進(jìn)行這種抽象思考時(shí)經(jīng)常會(huì)陷入困境。它們可能會(huì)重復(fù)相同的話語，或者產(chǎn)生不連貫的推理過程。這就像一個(gè)學(xué)習(xí)有困難的學(xué)生，當(dāng)被要求寫出詳細(xì)的解題步驟時(shí)，他們往往會(huì)寫出"我需要解這個(gè)方程，然后我需要解這個(gè)方程，然后..."這樣的重復(fù)內(nèi)容。

研究團(tuán)隊(duì)意識(shí)到，問題的根源在于小模型缺乏足夠的能力來進(jìn)行抽象的推理表達(dá)。因此，他們提出了一個(gè)根本性的轉(zhuǎn)變：不再要求模型進(jìn)行抽象思考，而是讓它們通過具體的操作來解決問題。

這種轉(zhuǎn)變就像是從要求學(xué)生寫出"我要把蛋打散，然后加入面粉，再倒入牛奶"這樣的抽象描述，改為讓學(xué)生實(shí)際操作："現(xiàn)在打蛋，現(xiàn)在加面粉，現(xiàn)在倒牛奶"。每一步都是具體的、可驗(yàn)證的操作，而不是抽象的思考描述。

在代碼修復(fù)任務(wù)中，這種轉(zhuǎn)變特別有意義。傳統(tǒng)方法需要模型說："我發(fā)現(xiàn)這段代碼有語法錯(cuò)誤，需要修正變量名，然后調(diào)整邏輯結(jié)構(gòu)..."而新方法則是讓模型直接執(zhí)行："替換第3行的變量名，刪除第5行的多余代碼，在第8行添加新的語句。"每一步操作都會(huì)立即得到反饋，模型可以看到修改后的代碼是否能正確運(yùn)行。

二、智能文本編輯器的設(shè)計(jì)

研究團(tuán)隊(duì)為小模型設(shè)計(jì)了一個(gè)特殊的工作環(huán)境，這個(gè)環(huán)境就像一個(gè)增強(qiáng)版的代碼編輯器。這個(gè)編輯器不僅能顯示代碼內(nèi)容，還能立即執(zhí)行代碼并提供詳細(xì)的反饋信息。

這個(gè)編輯器的界面設(shè)計(jì)得非常直觀。代碼的每一行都有清晰的行號(hào)標(biāo)記，就像我們?cè)赪ord文檔中看到的行號(hào)一樣。當(dāng)模型需要修改代碼時(shí)，它只需要指定行號(hào)和具體的修改內(nèi)容即可。比如，模型可以說："將第5行替換為'return sum(numbers)'"，編輯器就會(huì)立即執(zhí)行這個(gè)修改。

更重要的是，每次修改后，編輯器都會(huì)立即運(yùn)行代碼并顯示結(jié)果。如果代碼運(yùn)行成功，編輯器會(huì)保持靜默；如果出現(xiàn)錯(cuò)誤，編輯器會(huì)顯示詳細(xì)的錯(cuò)誤信息，包括錯(cuò)誤類型、錯(cuò)誤位置和可能的原因。這就像一個(gè)耐心的老師，每次學(xué)生寫完一行代碼后都會(huì)立即檢查并給出反饋。

為了讓模型能夠高效地與編輯器交互，研究團(tuán)隊(duì)設(shè)計(jì)了一套簡單而強(qiáng)大的命令語言。這套語言包含了五個(gè)基本命令：添加新行（ADDL）、替換現(xiàn)有行（REPL）、替換單詞（REPW）、刪除行（DELL）和退出（EXIT）。每個(gè)命令都有明確的語法格式，比如"ADDL 5 >>>print('Hello World')"表示在第5行添加一個(gè)打印語句。

這種命令設(shè)計(jì)的巧妙之處在于，它將復(fù)雜的代碼編輯操作分解為簡單的原子操作。模型不需要一次性理解整個(gè)代碼的結(jié)構(gòu)，而是可以逐步進(jìn)行小的修改。這就像用積木搭建復(fù)雜結(jié)構(gòu)一樣，每次只需要專注于放置一個(gè)積木塊，而不需要考慮整個(gè)建筑的宏觀設(shè)計(jì)。

三、訓(xùn)練過程的巧妙設(shè)計(jì)

訓(xùn)練一個(gè)能夠熟練使用這種編輯工具的模型需要大量的示例數(shù)據(jù)，但手動(dòng)創(chuàng)建這些示例是非常耗時(shí)的工作。研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)聰明的自動(dòng)化數(shù)據(jù)生成系統(tǒng)，這個(gè)系統(tǒng)就像一個(gè)會(huì)故意犯錯(cuò)的學(xué)生和一個(gè)會(huì)改正錯(cuò)誤的老師的組合。

數(shù)據(jù)生成過程從一個(gè)正確的代碼開始，就像從一幅完整的拼圖開始一樣。然后，系統(tǒng)會(huì)故意向這個(gè)代碼中引入各種錯(cuò)誤，比如刪除某些行、添加多余的代碼、引入拼寫錯(cuò)誤或者改變變量名。這個(gè)過程就像是把完整的拼圖打散成碎片。

接下來，系統(tǒng)會(huì)記錄如何將這些錯(cuò)誤逐步修正，直到恢復(fù)到原始的正確代碼。這個(gè)過程就像是記錄如何重新組裝拼圖的每一個(gè)步驟。最終，系統(tǒng)得到的是一個(gè)完整的修復(fù)軌跡，包括每一步的編輯操作和相應(yīng)的反饋信息。

這種反向工程的方法確保了每個(gè)訓(xùn)練示例都有一個(gè)明確的正確解決路徑。模型在學(xué)習(xí)過程中不僅能看到最終的正確結(jié)果，還能學(xué)習(xí)到達(dá)到這個(gè)結(jié)果的具體步驟。這就像給學(xué)生提供了詳細(xì)的解題步驟說明，而不僅僅是答案。

研究團(tuán)隊(duì)使用這種方法從MBPP（Mostly Basic Python Problems）數(shù)據(jù)集中生成了35,223個(gè)訓(xùn)練示例。每個(gè)示例都包含了完整的問題描述、損壞的代碼、修復(fù)過程和最終的正確代碼。這些示例涵蓋了各種常見的編程錯(cuò)誤和修復(fù)策略，為模型提供了豐富的學(xué)習(xí)素材。

四、強(qiáng)化學(xué)習(xí)的智能應(yīng)用

僅僅學(xué)會(huì)模仿示例是不夠的，模型還需要能夠處理更復(fù)雜、更真實(shí)的問題。研究團(tuán)隊(duì)采用了強(qiáng)化學(xué)習(xí)的方法來進(jìn)一步訓(xùn)練模型，這個(gè)過程就像讓學(xué)生從做教科書上的練習(xí)題轉(zhuǎn)向解決實(shí)際的工程問題。

在強(qiáng)化學(xué)習(xí)階段，模型面對(duì)的是更加困難的代碼修復(fù)任務(wù)。這些任務(wù)中的錯(cuò)誤代碼不是通過簡單的人工破壞生成的，而是由另一個(gè)語言模型在嘗試解決編程問題時(shí)產(chǎn)生的。這些錯(cuò)誤更加復(fù)雜和真實(shí)，就像學(xué)生在實(shí)際編程中可能遇到的各種問題。

強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)機(jī)制設(shè)計(jì)得非常直觀。當(dāng)模型成功修復(fù)代碼，使其能夠通過所有測試用例時(shí)，它會(huì)獲得正面獎(jiǎng)勵(lì)。如果模型使用了錯(cuò)誤的命令格式或者在代碼已經(jīng)修復(fù)后沒有及時(shí)退出，它會(huì)受到輕微的懲罰。這種獎(jiǎng)勵(lì)機(jī)制就像一個(gè)耐心的老師，會(huì)在學(xué)生做對(duì)時(shí)給予鼓勵(lì)，在犯錯(cuò)時(shí)給予溫和的提醒。

強(qiáng)化學(xué)習(xí)過程中的一個(gè)關(guān)鍵創(chuàng)新是使用了"按回合標(biāo)準(zhǔn)化"的方法。傳統(tǒng)的強(qiáng)化學(xué)習(xí)可能會(huì)因?yàn)槟承┤蝿?wù)特別困難而導(dǎo)致學(xué)習(xí)過程不穩(wěn)定。研究團(tuán)隊(duì)的方法就像在考試中使用標(biāo)準(zhǔn)化分?jǐn)?shù)一樣，確保模型在面對(duì)不同難度的任務(wù)時(shí)都能獲得合理的反饋。

五、實(shí)驗(yàn)結(jié)果的令人驚喜發(fā)現(xiàn)

研究團(tuán)隊(duì)在三個(gè)不同規(guī)模的模型上測試了他們的方法：1B參數(shù)的Llama-3.2-1B、3B參數(shù)的Llama-3.2-3B和8B參數(shù)的Llama-3.1-8B-Instruct。實(shí)驗(yàn)結(jié)果展現(xiàn)了一個(gè)有趣的規(guī)律，就像不同年級(jí)的學(xué)生在面對(duì)同樣的學(xué)習(xí)方法時(shí)會(huì)有不同的反應(yīng)。

對(duì)于最小的1B模型，這種工具輔助方法帶來了顯著的提升。在直接回答模式下，這個(gè)模型的成功率只有1.3%，就像一個(gè)剛開始學(xué)編程的新手。但是通過使用編輯工具，它的成功率提升到了7.82%，這是一個(gè)將近6倍的改進(jìn)。更重要的是，傳統(tǒng)的思維鏈方法在這個(gè)小模型上幾乎完全失效，成功率只有0.15%。

3B模型的表現(xiàn)更加出色，工具輔助方法將成功率從6.9%提升到了13.8%，這是一個(gè)翻倍的改進(jìn)。同樣，傳統(tǒng)思維鏈方法在這個(gè)模型上的表現(xiàn)也不理想，成功率只有1.44%。這些結(jié)果證明了對(duì)于小模型來說，具體的工具操作比抽象的思考描述更加有效。

然而，當(dāng)實(shí)驗(yàn)來到8B模型時(shí)，結(jié)果出現(xiàn)了有趣的逆轉(zhuǎn)。這個(gè)較大的模型在直接回答模式下就能達(dá)到33.4%的成功率，而傳統(tǒng)思維鏈方法也能達(dá)到23.3%的成功率。但是，工具輔助方法的表現(xiàn)反而有所下降，只達(dá)到了21.7%的成功率。這就像一個(gè)已經(jīng)很擅長心算的學(xué)生，當(dāng)被要求使用計(jì)算器時(shí)反而可能會(huì)因?yàn)椴皇煜すぞ叨绊懓l(fā)揮。

六、深入分析：為什么工具比思考更有效

這些實(shí)驗(yàn)結(jié)果揭示了一個(gè)重要的認(rèn)知科學(xué)原理：不同能力水平的學(xué)習(xí)者需要不同的學(xué)習(xí)策略。對(duì)于能力較弱的學(xué)習(xí)者，具體的、有結(jié)構(gòu)的任務(wù)比抽象的、開放式的任務(wù)更容易掌握。

小模型在使用傳統(tǒng)思維鏈方法時(shí)經(jīng)常會(huì)陷入重復(fù)循環(huán)或產(chǎn)生不連貫的內(nèi)容。研究團(tuán)隊(duì)觀察到，這些模型可能會(huì)重復(fù)輸出相同的代碼行號(hào)，或者反復(fù)提到同樣的問題描述，就像一個(gè)學(xué)生在考試時(shí)因?yàn)榫o張而不斷重復(fù)同一句話。

相比之下，工具輔助方法為模型提供了明確的行動(dòng)框架。每一步操作都有具體的語法要求，每一次修改都會(huì)立即得到反饋。這種結(jié)構(gòu)化的環(huán)境幫助小模型避免了在抽象思考中迷失方向的問題。

另一個(gè)重要優(yōu)勢是反饋的即時(shí)性和具體性。在傳統(tǒng)方法中，模型需要在生成完整的思考過程后才能知道最終結(jié)果是否正確。而在工具輔助方法中，每一步操作都會(huì)立即得到反饋，模型可以根據(jù)這些反饋調(diào)整后續(xù)的行動(dòng)。這就像學(xué)習(xí)騎自行車時(shí)，立即的平衡反饋比事后的指導(dǎo)更有效。

七、技術(shù)實(shí)現(xiàn)的精巧細(xì)節(jié)

研究團(tuán)隊(duì)在技術(shù)實(shí)現(xiàn)上做了許多精巧的設(shè)計(jì)，這些細(xì)節(jié)雖然看起來不起眼，但對(duì)最終效果至關(guān)重要。就像烹飪中的各種小技巧，每一個(gè)都不可或缺。

首先，他們使用了LoRA（Low-Rank Adaptation）技術(shù)來訓(xùn)練模型。這種技術(shù)就像給汽車加裝改裝套件一樣，不需要改變?cè)家?，只需要添加一些新的組件就能改善性能。這種方法大大減少了訓(xùn)練成本，使得在普通的GPU上也能訓(xùn)練大型模型。

其次，研究團(tuán)隊(duì)在強(qiáng)化學(xué)習(xí)中使用了改進(jìn)的GRPO（Group Relative Policy Optimization）算法。這個(gè)算法的改進(jìn)就像在團(tuán)隊(duì)比賽中使用更公平的評(píng)分系統(tǒng)，確保每個(gè)參與者都能得到合理的評(píng)價(jià)。具體來說，他們將原本基于整個(gè)任務(wù)序列的標(biāo)準(zhǔn)化改為基于單個(gè)回合的標(biāo)準(zhǔn)化，這樣可以更準(zhǔn)確地評(píng)估每一步操作的價(jià)值。

模型的輸入輸出格式也經(jīng)過了精心設(shè)計(jì)。代碼編輯器的狀態(tài)信息包括帶行號(hào)的代碼內(nèi)容和詳細(xì)的執(zhí)行反饋，這些信息用特殊的分隔符（三個(gè)星號(hào)"***"）清晰地分開。這種格式設(shè)計(jì)既保證了信息的完整性，又便于模型理解和處理。

在訓(xùn)練過程中，研究團(tuán)隊(duì)還采用了梯度累積技術(shù)來模擬更大的批次大小。這就像在烹飪時(shí)分批處理食材，最后統(tǒng)一調(diào)味一樣，既保證了處理質(zhì)量，又避免了資源不足的問題。

八、實(shí)際應(yīng)用價(jià)值和局限性

這項(xiàng)研究的實(shí)際應(yīng)用價(jià)值遠(yuǎn)不止于代碼修復(fù)。它為小模型的應(yīng)用開辟了新的可能性，證明了通過適當(dāng)?shù)墓ぞ咴O(shè)計(jì)，即使是資源有限的模型也能完成復(fù)雜的任務(wù)。

在實(shí)際應(yīng)用中，這種方法可以用于開發(fā)更加平民化的編程助手。目前的大型編程助手需要巨大的計(jì)算資源，普通開發(fā)者很難承擔(dān)。而基于這種工具輔助方法的小模型助手可以在普通的個(gè)人電腦上運(yùn)行，為更多的人提供編程幫助。

此外，這種方法還可以擴(kuò)展到其他需要結(jié)構(gòu)化操作的領(lǐng)域。比如，可以設(shè)計(jì)專門的工具來幫助小模型進(jìn)行數(shù)據(jù)分析、文檔編輯或者系統(tǒng)管理等任務(wù)。每個(gè)領(lǐng)域都可以有自己的專用工具集，讓小模型在特定領(lǐng)域內(nèi)發(fā)揮出色的表現(xiàn)。

然而，這項(xiàng)研究也有一些局限性。首先，它主要針對(duì)的是代碼修復(fù)任務(wù)，對(duì)于其他類型的推理任務(wù)是否同樣有效還需要更多的驗(yàn)證。其次，這種方法需要為每個(gè)應(yīng)用領(lǐng)域設(shè)計(jì)專門的工具，這可能會(huì)增加開發(fā)成本。

另外，研究團(tuán)隊(duì)也注意到，對(duì)于較大的模型，這種工具輔助方法可能不如傳統(tǒng)方法有效。這提醒我們，不同規(guī)模的模型需要不同的優(yōu)化策略，不存在一種萬能的方法。

九、對(duì)未來研究的啟示

這項(xiàng)研究為語言模型的發(fā)展方向提供了新的思路。它表明，模型的能力提升不一定要通過簡單的規(guī)模擴(kuò)大來實(shí)現(xiàn)，而是可以通過更巧妙的設(shè)計(jì)和更合適的工具來達(dá)到。

未來的研究可能會(huì)朝著更加專業(yè)化的方向發(fā)展。不再追求單一的超大模型，而是為不同的任務(wù)和應(yīng)用場景設(shè)計(jì)專門的模型和工具組合。這就像從通用工具轉(zhuǎn)向?qū)I(yè)工具一樣，雖然專業(yè)工具的適用范圍可能更窄，但在特定領(lǐng)域內(nèi)的表現(xiàn)往往更加出色。

另一個(gè)有趣的研究方向是如何設(shè)計(jì)更好的人機(jī)交互界面。目前的工具輔助方法還相對(duì)簡單，未來可能會(huì)有更加復(fù)雜和智能的交互方式。比如，可以設(shè)計(jì)能夠理解自然語言指令的編程工具，或者能夠主動(dòng)提供建議的智能助手。

此外，這項(xiàng)研究也提示了一個(gè)重要的研究問題：如何為不同能力水平的模型選擇最合適的學(xué)習(xí)和推理策略。這不僅對(duì)模型開發(fā)者有指導(dǎo)意義，對(duì)教育領(lǐng)域也有重要啟示。

說到底，這項(xiàng)研究最大的價(jià)值在于它改變了我們對(duì)模型能力的理解。它告訴我們，智能不一定要表現(xiàn)為抽象的思考能力，具體的操作能力同樣重要。通過合適的工具設(shè)計(jì)，即使是能力有限的模型也能完成復(fù)雜的任務(wù)。這種觀念的轉(zhuǎn)變可能會(huì)影響未來很長一段時(shí)間內(nèi)的AI發(fā)展方向。

研究團(tuán)隊(duì)的工作也體現(xiàn)了AI研究的一個(gè)重要趨勢：從追求通用智能轉(zhuǎn)向追求實(shí)用智能。與其花費(fèi)巨大的資源去訓(xùn)練一個(gè)什么都能做的超級(jí)模型，不如設(shè)計(jì)一系列針對(duì)特定任務(wù)的專用模型和工具。這種方法不僅更加經(jīng)濟(jì)實(shí)用，也更容易讓普通人從AI技術(shù)中受益。

這項(xiàng)研究還有一個(gè)重要的社會(huì)意義：它降低了使用AI技術(shù)的門檻。當(dāng)小模型也能通過適當(dāng)?shù)墓ぞ咴O(shè)計(jì)完成復(fù)雜任務(wù)時(shí)，更多的開發(fā)者和用戶就能夠享受到AI技術(shù)帶來的便利。這對(duì)于推動(dòng)AI技術(shù)的普及和民主化具有重要意義。

最后，這項(xiàng)研究也提醒我們，在AI快速發(fā)展的今天，我們需要更加關(guān)注如何讓AI技術(shù)真正服務(wù)于人類的需求，而不是單純地追求技術(shù)指標(biāo)的提升。通過Qualcomm團(tuán)隊(duì)的工作，我們看到了一種更加務(wù)實(shí)和人性化的AI發(fā)展路徑。

Q&A

Q1：什么是Chain-of-Edits？它與傳統(tǒng)的思維鏈有什么區(qū)別？ A：Chain-of-Edits（編輯鏈）是一種新的AI推理方法，讓模型通過與編程工具的具體交互來解決問題，而不是進(jìn)行抽象的思考描述。傳統(tǒng)思維鏈要求模型寫出"我需要修改這段代碼的邏輯"這樣的思考過程，而編輯鏈則讓模型直接執(zhí)行"替換第3行代碼"這樣的具體操作。對(duì)于小模型來說，具體操作比抽象思考更容易掌握。

Q2：為什么小模型用工具輔助方法比傳統(tǒng)思維鏈效果更好？ A：小模型在進(jìn)行抽象思考時(shí)容易陷入重復(fù)循環(huán)或產(chǎn)生不連貫內(nèi)容，就像學(xué)習(xí)有困難的學(xué)生在寫作文時(shí)會(huì)重復(fù)相同的句子。工具輔助方法為模型提供了明確的行動(dòng)框架和即時(shí)反饋，每一步操作都有具體的語法要求，這種結(jié)構(gòu)化環(huán)境幫助小模型避免在抽象思考中迷失方向。

Q3：這種方法能應(yīng)用到代碼修復(fù)以外的其他領(lǐng)域嗎？ A：理論上可以，但需要為每個(gè)領(lǐng)域設(shè)計(jì)專門的工具。這種方法的核心思想是將抽象推理轉(zhuǎn)化為具體操作，因此可以擴(kuò)展到數(shù)據(jù)分析、文檔編輯、系統(tǒng)管理等需要結(jié)構(gòu)化操作的任務(wù)。不過，每個(gè)應(yīng)用領(lǐng)域都需要開發(fā)相應(yīng)的工具集和交互界面，這可能會(huì)增加開發(fā)成本。