2024年5月，來(lái)自伊利諾伊大學(xué)香檳分校的研究團(tuán)隊(duì)（Jiaru Zou、Yikun Ban、Zihao Li、Yunzhe Qi、Ruizhong Qiu、Jingrui He）與普林斯頓大學(xué)的Ling Yang合作，在arXiv上發(fā)表了一篇突破性研究論文《Transformer Copilot: Learning from The Mistake Log in LLM Fine-tuning》。這項(xiàng)研究提出了一種全新的大語(yǔ)言模型微調(diào)框架，通過(guò)記錄和利用模型訓(xùn)練過(guò)程中的錯(cuò)誤信息來(lái)顯著提升最終推理性能。

想象一下，你在準(zhǔn)備一場(chǎng)重要考試。最有效的學(xué)習(xí)方法是什么？?jī)H僅反復(fù)閱讀教材可能不夠高效。聰明的學(xué)習(xí)者會(huì)做筆記，特別是記錄下自己在練習(xí)中犯的錯(cuò)誤，然后反復(fù)思考這些錯(cuò)誤的原因，以避免在正式考試中重蹈覆轍。伊利諾伊大學(xué)的研究團(tuán)隊(duì)正是將這種人類(lèi)的反思學(xué)習(xí)機(jī)制應(yīng)用到了大語(yǔ)言模型的訓(xùn)練過(guò)程中。

傳統(tǒng)的大語(yǔ)言模型微調(diào)（Supervised Fine-tuning，簡(jiǎn)稱(chēng)SFT）主要關(guān)注如何通過(guò)優(yōu)化模型參數(shù)來(lái)降低生成損失，但往往忽略了模型在學(xué)習(xí)過(guò)程中產(chǎn)生的豐富信號(hào)。研究團(tuán)隊(duì)提出的核心創(chuàng)新是引入"錯(cuò)誤日志"（Mistake Log）概念，系統(tǒng)性地記錄模型微調(diào)過(guò)程中的學(xué)習(xí)行為和反復(fù)出現(xiàn)的錯(cuò)誤?；谶@個(gè)錯(cuò)誤日志，他們?cè)O(shè)計(jì)了一個(gè)"副駕駛"（Copilot）模型來(lái)輔助原始"駕駛員"（Pilot）模型，通過(guò)輸出校正來(lái)提升最終的推理性能。

這項(xiàng)創(chuàng)新被命名為"Transformer Copilot"（變形器副駕駛，簡(jiǎn)稱(chēng)T-Copilot），它包含三個(gè)關(guān)鍵組成部分：一個(gè)全新的副駕駛模型設(shè)計(jì)、一個(gè)聯(lián)合訓(xùn)練范式（副駕駛在訓(xùn)練中持續(xù)從不斷更新的錯(cuò)誤日志中學(xué)習(xí)），以及一個(gè)融合推理范式（副駕駛在推理時(shí)校正駕駛員的輸出分布）。

研究團(tuán)隊(duì)在12個(gè)涵蓋常識(shí)推理、算術(shù)和推薦任務(wù)的基準(zhǔn)測(cè)試上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明Transformer Copilot能夠?qū)⒛Ｐ托阅芴嵘哌_(dá)34.5%，同時(shí)只引入極少的計(jì)算開(kāi)銷(xiāo)，并展現(xiàn)出強(qiáng)大的可擴(kuò)展性和可遷移性。

一、錯(cuò)誤日志：從人類(lèi)學(xué)習(xí)中獲取靈感

人類(lèi)是如何有效學(xué)習(xí)的？?jī)?yōu)秀的學(xué)習(xí)者不僅僅依靠記憶，還會(huì)保持一個(gè)練習(xí)錯(cuò)誤日志，反思錯(cuò)誤發(fā)生的原因，并利用這些經(jīng)驗(yàn)在正式考試中避免同樣的錯(cuò)誤。研究團(tuán)隊(duì)將這種反思性學(xué)習(xí)機(jī)制引入到大語(yǔ)言模型的微調(diào)過(guò)程中。

在標(biāo)準(zhǔn)的微調(diào)過(guò)程中，模型優(yōu)化器主要關(guān)注如何通過(guò)調(diào)整參數(shù)來(lái)最小化訓(xùn)練數(shù)據(jù)集上的期望損失。研究團(tuán)隊(duì)更進(jìn)一步，系統(tǒng)地記錄模型內(nèi)部的豐富中間信息，包括輸入數(shù)據(jù)（問(wèn)題）、內(nèi)部隱藏狀態(tài)表示（推理過(guò)程）以及token級(jí)別的量化錯(cuò)誤（錯(cuò)誤）。這些信息作為錯(cuò)誤日志的組成部分，用于跟蹤模型在訓(xùn)練軌跡中的錯(cuò)誤。

具體來(lái)說(shuō)，錯(cuò)誤日志包含三個(gè)關(guān)鍵元素：

首先是輸入表示（問(wèn)題），它為模型提供上下文基礎(chǔ)，就像考試中的題目一樣。其次是內(nèi)部隱藏狀態(tài)表示（推理過(guò)程），這相當(dāng)于模型解決問(wèn)題的思考過(guò)程，反映了模型的內(nèi)部推理。最后是token級(jí)別的量化錯(cuò)誤（錯(cuò)誤），這測(cè)量了模型預(yù)測(cè)分布與真實(shí)分布之間的差異，就像在練習(xí)中標(biāo)記出答錯(cuò)的地方。

將這些元素組合起來(lái)，錯(cuò)誤日志系統(tǒng)地記錄了模型在整個(gè)微調(diào)過(guò)程中的上下文輸入、內(nèi)部表示和token級(jí)別的預(yù)測(cè)錯(cuò)誤。這就像一個(gè)學(xué)生不僅記錄了錯(cuò)誤的答案，還記錄了自己當(dāng)時(shí)的思考過(guò)程和錯(cuò)誤的具體位置。

二、Transformer Copilot框架：駕駛員與副駕駛協(xié)同工作

基于錯(cuò)誤日志的概念，研究團(tuán)隊(duì)提出了"Transformer Copilot"框架，這是一個(gè)駕駛員-副駕駛架構(gòu)，通過(guò)學(xué)習(xí)模型內(nèi)部信號(hào)實(shí)現(xiàn)錯(cuò)誤感知的優(yōu)化。

想象一下開(kāi)車(chē)的場(chǎng)景：駕駛員（Pilot模型）負(fù)責(zé)主要的駕駛?cè)蝿?wù)，而副駕駛（Copilot模型）則觀察駕駛員的行為，記錄錯(cuò)誤，并在關(guān)鍵時(shí)刻提供糾正建議。在這個(gè)框架中，原始的變形器模型被視為駕駛員，而新設(shè)計(jì)的副駕駛模型則學(xué)習(xí)從錯(cuò)誤日志中捕獲的重復(fù)錯(cuò)誤模式，并通過(guò)token級(jí)別的錯(cuò)誤校正來(lái)輔助駕駛員。

這個(gè)框架從三個(gè)關(guān)鍵方面提供了優(yōu)勢(shì)：

第一，新型模型架構(gòu)設(shè)計(jì)。副駕駛被設(shè)計(jì)為一個(gè)轉(zhuǎn)導(dǎo)神經(jīng)網(wǎng)絡(luò)，專(zhuān)門(mén)學(xué)習(xí)錯(cuò)誤日志中的重復(fù)錯(cuò)誤模式。研究團(tuán)隊(duì)在副駕駛和駕駛員模型之間建立了殘差流連接，允許副駕駛在生成過(guò)程中通過(guò)token級(jí)別的錯(cuò)誤校正來(lái)輔助駕駛員。

第二，全新的訓(xùn)練范式。研究團(tuán)隊(duì)重新設(shè)計(jì)了SFT程序，在每輪中聯(lián)合訓(xùn)練駕駛員和副駕駛模型，使副駕駛能夠從不斷演變的錯(cuò)誤日志中持續(xù)學(xué)習(xí)，并與駕駛員模型同步適應(yīng)。這就像一個(gè)經(jīng)驗(yàn)豐富的副駕駛不斷從駕駛員的新錯(cuò)誤中學(xué)習(xí)，提高自己的輔助能力。

第三，創(chuàng)新的推理范式。在下一個(gè)token生成過(guò)程中，系統(tǒng)融合駕駛員和副駕駛模型的輸出logits為統(tǒng)一的概率分布，實(shí)現(xiàn)協(xié)作式自回歸生成。這就像副駕駛在關(guān)鍵時(shí)刻提醒駕駛員注意路況，共同做出更準(zhǔn)確的判斷。

通過(guò)這種方式，Transformer Copilot從根本上將內(nèi)化的反思機(jī)制集成到標(biāo)準(zhǔn)SFT中，實(shí)現(xiàn)了自適應(yīng)且錯(cuò)誤感知的生成能力。

三、Transformer Copilot的技術(shù)細(xì)節(jié)：如何實(shí)現(xiàn)錯(cuò)誤感知的生成

讓我們深入了解Transformer Copilot的技術(shù)實(shí)現(xiàn)細(xì)節(jié)。整個(gè)框架包括三個(gè)關(guān)鍵組成部分：副駕駛模型設(shè)計(jì)、訓(xùn)練范式和推理范式。

首先，副駕駛模型設(shè)計(jì)。副駕駛模型繼承自相應(yīng)駕駛員模型的解碼器模塊，但進(jìn)行了幾項(xiàng)關(guān)鍵修改。對(duì)于編碼器-解碼器架構(gòu)，副駕駛從錯(cuò)誤日志中接收輸入，包括由駕駛員模型記錄的token級(jí)別錯(cuò)誤序列。為了結(jié)合來(lái)自駕駛員輸入和內(nèi)部隱藏表示的額外信息，研究團(tuán)隊(duì)在副駕駛的每一層中提出了一種修改后的交叉注意力機(jī)制。這使副駕駛能夠同時(shí)關(guān)注外部輸入上下文和駕駛員的內(nèi)部處理動(dòng)態(tài)。

對(duì)于僅解碼器架構(gòu)，研究團(tuán)隊(duì)稍微調(diào)整了副駕駛模型以適應(yīng)相應(yīng)的僅解碼器變形器。具體來(lái)說(shuō)，他們修改了自注意力機(jī)制，在奇數(shù)層保留標(biāo)準(zhǔn)自注意力以允許副駕駛捕獲序列內(nèi)依賴(lài)關(guān)系，在偶數(shù)層則用修改后的交叉注意力機(jī)制替換自注意力，使副駕駛能夠關(guān)注錯(cuò)誤日志中存儲(chǔ)的駕駛員輸入和內(nèi)部狀態(tài)表示。

副駕駛的學(xué)習(xí)目標(biāo)是預(yù)測(cè)token級(jí)別的錯(cuò)誤，即駕駛員模型預(yù)測(cè)分布與真實(shí)分布之間的差異。研究團(tuán)隊(duì)使用RMSE損失來(lái)避免平方操作進(jìn)一步減小分布誤差，防止在反向傳播過(guò)程中過(guò)度平滑梯度信號(hào)。

其次，訓(xùn)練范式。算法1概述了聯(lián)合訓(xùn)練駕駛員和副駕駛模型的過(guò)程。在訓(xùn)練輪次t中，從數(shù)據(jù)分布D中抽取一對(duì)序列(Xt,Yt)。對(duì)于每個(gè)token i，首先計(jì)算駕駛員模型的輸出分布。然后，直接從駕駛員模型的前向傳遞中檢索信息，通過(guò)記錄輸入表示、隱藏狀態(tài)和每個(gè)token的錯(cuò)誤來(lái)更新錯(cuò)誤日志。同時(shí)，計(jì)算駕駛員模型的交叉熵?fù)p失并更新其參數(shù)。接下來(lái)，準(zhǔn)備訓(xùn)練副駕駛模型的輸入。給定之前收集的所有訓(xùn)練輪次信息，從更新后的錯(cuò)誤日志中抽取樣本。計(jì)算副駕駛模型的RMSE損失并更新其參數(shù)。經(jīng)過(guò)T輪迭代訓(xùn)練后，得到駕駛員和副駕駛模型的最終參數(shù)。

最后，推理范式。學(xué)習(xí)完錯(cuò)誤日志后，副駕駛模型與駕駛員模型一起部署，以增強(qiáng)推理時(shí)的生成能力。給定一個(gè)新的輸入序列Xt，駕駛員模型在每個(gè)token生成步驟輸出預(yù)測(cè)分布。隨后，副駕駛模型自回歸計(jì)算其輸出。最后，通過(guò)公式pt,i = pt,i + λfCt,i獲得校正后的分布，其中λ（通常設(shè)置為1）是可調(diào)節(jié)的超參數(shù)，控制校正強(qiáng)度。算法2概述了整體推理范式。給定Xt，駕駛員模型在每個(gè)token生成步驟i輸出預(yù)測(cè)分布。隨后，副駕駛模型自回歸計(jì)算其輸出。最后，通過(guò)公式獲得校正后的分布，并用于生成下一個(gè)token。

整個(gè)過(guò)程就像一個(gè)有經(jīng)驗(yàn)的副駕駛不斷觀察駕駛員的行為，記錄錯(cuò)誤，學(xué)習(xí)模式，并在關(guān)鍵時(shí)刻提供糾正建議，使整個(gè)駕駛過(guò)程更加安全和高效。

四、為什么從錯(cuò)誤日志中學(xué)習(xí)有效？理論與實(shí)證分析

研究團(tuán)隊(duì)通過(guò)理論和實(shí)證分析闡明了錯(cuò)誤日志和副駕駛模型在增強(qiáng)駕駛員模型推理性能中的作用。

從理論上講，副駕駛模型fC被設(shè)計(jì)用于分析駕駛員模型的內(nèi)部認(rèn)知狀態(tài)，并學(xué)習(xí)預(yù)測(cè)由token級(jí)別差異lt(pt,i,pt,i)衡量的錯(cuò)誤。在推理過(guò)程中，校正后的預(yù)測(cè)表示為pt,i = pt,i + λfCt,i。研究團(tuán)隊(duì)證明，在溫和的假設(shè)下，調(diào)整后的預(yù)測(cè)pt,i比原始估計(jì)pt,i產(chǎn)生更好的推理性能。

具體來(lái)說(shuō)，他們定義了駕駛員和副駕駛模型在第k個(gè)輸出維度上的期望誤差和方差。在這些定義下，他們證明如果εP > 0且εC < √(ε2P + σ2P)，那么存在λ0 > 0，使得對(duì)于任何0 < λ < λ0，校正后的預(yù)測(cè)pt,i在維度k上比原始估計(jì)pt,i更接近真實(shí)分布pt,i。

值得注意的是，這一理論表明，副駕駛模型可以在不需要匹配駕駛員單獨(dú)準(zhǔn)確性的情況下提高推理性能。這一見(jiàn)解促使研究團(tuán)隊(duì)在實(shí)證實(shí)現(xiàn)中應(yīng)用相對(duì)較小規(guī)模的副駕駛來(lái)補(bǔ)充駕駛員。

從實(shí)證角度看，研究團(tuán)隊(duì)檢驗(yàn)了副駕駛模型在推理過(guò)程中的校正有效性。圖3展示了1B副駕駛模型在不同駕駛員模型和推理類(lèi)別上引入的平均logits校正?？紤]到典型的logits范圍約為[-10, 10]，觀察到的logits分布偏移表明副駕駛模型對(duì)最終預(yù)測(cè)進(jìn)行了明確且一致的調(diào)整。

研究團(tuán)隊(duì)進(jìn)一步驗(yàn)證了這種調(diào)整確實(shí)將token預(yù)測(cè)引向正確方向：他們分析了駕駛員模型輸出中常見(jiàn)的錯(cuò)誤模式，特別是事實(shí)和格式錯(cuò)誤。圖4展示了1B副駕駛對(duì)駕駛員模型LLaMA-3.2-3B進(jìn)行token級(jí)別logits校正的詳細(xì)示例。在推理中途，駕駛員沒(méi)有遵循正確的答案格式，導(dǎo)致錯(cuò)誤（正確的token"answer"具有高但非最優(yōu)的logit）。副駕駛通過(guò)降低錯(cuò)誤token"forgot"的logit并放大正確token的logit來(lái)校正預(yù)測(cè)，從而糾正token預(yù)測(cè)錯(cuò)誤。

五、實(shí)驗(yàn)評(píng)估：Transformer Copilot在多種任務(wù)上的表現(xiàn)

研究團(tuán)隊(duì)在多種任務(wù)和基準(zhǔn)測(cè)試上進(jìn)行了廣泛實(shí)驗(yàn)，以評(píng)估Transformer Copilot的有效性。他們使用了涵蓋常識(shí)推理、算術(shù)和推薦任務(wù)的12個(gè)基準(zhǔn)測(cè)試。

對(duì)于常識(shí)推理任務(wù)，他們選擇了六個(gè)開(kāi)放式多項(xiàng)選擇QA任務(wù)：PIQA（物理常識(shí)推理）、WinoGrande（常識(shí)代詞解析）、HellaSwag（故事完成的常識(shí)推理）、BoolQ（基于給定段落回答是/否問(wèn)題）、SIQA（關(guān)于社交和情感情境的推理）以及OpenbookQA（結(jié)合常識(shí)和多個(gè)事實(shí)的知識(shí)型問(wèn)答）。

對(duì)于算術(shù)推理任務(wù)，他們?cè)u(píng)估了四個(gè)開(kāi)放式數(shù)學(xué)問(wèn)題求解數(shù)據(jù)集：AQuA（以多項(xiàng)選擇形式呈現(xiàn)的代數(shù)和算術(shù)詞問(wèn)題）、GSM8K（小學(xué)水平數(shù)學(xué)詞問(wèn)題）、MAWPS（匯總來(lái)自各種來(lái)源的數(shù)學(xué)詞問(wèn)題）和SVAMP（引入簡(jiǎn)單算術(shù)詞問(wèn)題的系統(tǒng)變化以評(píng)估模型魯棒性）。

對(duì)于下游推薦任務(wù)，他們使用了兩個(gè)序列推薦數(shù)據(jù)集：Beauty（包含來(lái)自亞馬遜美容產(chǎn)品類(lèi)別的用戶(hù)-項(xiàng)目交互數(shù)據(jù)）和LastFM（包含用戶(hù)和音樂(lè)交互數(shù)據(jù)）。

在實(shí)現(xiàn)細(xì)節(jié)方面，研究團(tuán)隊(duì)構(gòu)建了與駕駛員模型使用相同類(lèi)型解碼器架構(gòu)的副駕駛模型，以確保一致性。他們使用AdamW優(yōu)化器和余弦學(xué)習(xí)率調(diào)度器訓(xùn)練駕駛員和副駕駛模型。他們修改了HuggingFace Transformers中的generate函數(shù)，以執(zhí)行token級(jí)別的logits融合和校正后的下一個(gè)token生成。所有實(shí)驗(yàn)都在NVIDIA A100 GPU上進(jìn)行。

對(duì)于模型和基線(xiàn)，研究團(tuán)隊(duì)將Transformer Copilot與各種主干駕駛員模型結(jié)合。對(duì)于編碼器-解碼器駕駛員，他們使用了不同變體的T5和FLAN-T5。對(duì)于僅解碼器駕駛員，他們使用了來(lái)自LLaMA-3和Qwen2.5系列的多個(gè)模型。他們將T-Copilot-small/base/0.5B/1B/3B表示為不同規(guī)模的副駕駛模型。

研究團(tuán)隊(duì)將他們的方法與三類(lèi)基線(xiàn)進(jìn)行了比較：(i)上述的僅駕駛員模型；(ii)具有可比和更大參數(shù)的前沿LLM，包括LLaMA-3.1-8B、Gemma-2-9B和Qwen2.5-14B；(iii)層/適配器擴(kuò)展方法，包括MoE模型（Mistral-7B、Ministral-8B）、LLaMA/Mistral-Pro-8B、Mergekit-9B和TIES。

實(shí)驗(yàn)結(jié)果表明，將T-Copilot整合到駕駛員模型中能夠顯著提升性能。表1展示了在不同模型規(guī)模和類(lèi)型的駕駛員模型中整合T-Copilot帶來(lái)的性能提升。T-Copilot在10個(gè)推理任務(wù)上將現(xiàn)有LLM的性能提升了2.0%至34.5%。特別是，輕量級(jí)副駕駛（如T-Copilot-small）在與大型駕駛員模型（如FLAN-T5-large）配對(duì)時(shí)也能帶來(lái)顯著改進(jìn)（算術(shù)任務(wù)提升6.5%）。此外，擴(kuò)大副駕駛模型規(guī)模會(huì)帶來(lái)額外改進(jìn)，凸顯其在推理過(guò)程中校正駕駛員模型預(yù)測(cè)的有效性。

當(dāng)與規(guī)模匹配的基線(xiàn)進(jìn)行比較時(shí)（表2），研究團(tuán)隊(duì)的方法表現(xiàn)同樣出色。雖然LLaMA-3.2-3B最初明顯落后于LLaMA-3.1-8B，但整合T-Copilot-3B使模型能夠超越LLaMA-3.1-8B，盡管總參數(shù)少了2B。同樣，對(duì)于Qwen2.5系列，整合T-Copilot-3B使較小的Qwen2.5-7B能夠超越Qwen2.5-14B，盡管參數(shù)少了4B。

在效率方面，T-Copilot保持與相應(yīng)駕駛員模型相當(dāng)?shù)耐评硗掏铝亢陀?xùn)練速度，同時(shí)僅增加4%的平均時(shí)間開(kāi)銷(xiāo)。相比之下，其他基線(xiàn)如LLaMA-Pro-8B和MergeKit-9B相對(duì)于其基礎(chǔ)模型LLaMA-3.1-8B遭受了顯著更高的延遲和計(jì)算成本。

在可遷移性和可擴(kuò)展性方面，T-Copilot表現(xiàn)出色，可以無(wú)縫遷移到具有可比效果的新駕駛員模型，無(wú)需額外的微調(diào)。

六、研究意義與未來(lái)展望

Transformer Copilot框架的提出標(biāo)志著大語(yǔ)言模型微調(diào)領(lǐng)域的一個(gè)重要進(jìn)步。通過(guò)引入錯(cuò)誤日志概念，并設(shè)計(jì)副駕駛模型學(xué)習(xí)這些錯(cuò)誤，研究團(tuán)隊(duì)實(shí)現(xiàn)了顯著的性能提升，同時(shí)保持了模型的效率和可擴(kuò)展性。

這種方法與人類(lèi)學(xué)習(xí)過(guò)程有著深刻的相似之處：就像人類(lèi)通過(guò)反思過(guò)去的錯(cuò)誤來(lái)改進(jìn)未來(lái)表現(xiàn)一樣，Transformer Copilot使模型能夠從其自身的學(xué)習(xí)軌跡中獲益。這種元認(rèn)知能力—"思考自己的思考"—代表了向更智能、更自反思的AI系統(tǒng)邁進(jìn)的一步。

此外，該框架的靈活性使其能夠輕松集成到各種Transformer架構(gòu)中，無(wú)論是編碼器-解碼器還是僅解碼器模型。它也可以與現(xiàn)有的參數(shù)高效微調(diào)方法（如LoRA）結(jié)合使用，進(jìn)一步增強(qiáng)其實(shí)用性。

從更廣泛的角度來(lái)看，Transformer Copilot提供了一種新的思路，即如何在不增加大量計(jì)算開(kāi)銷(xiāo)的情況下提高大語(yǔ)言模型的性能。在當(dāng)前AI研究和應(yīng)用中，提高效率和資源利用率變得越來(lái)越重要，而這項(xiàng)研究恰好解決了這一挑戰(zhàn)。

未來(lái)工作可能包括探索更復(fù)雜的錯(cuò)誤表示，擴(kuò)展框架以結(jié)合多模態(tài)信息，以及研究副駕駛模型如何在持續(xù)學(xué)習(xí)環(huán)境中適應(yīng)不斷變化的錯(cuò)誤模式。此外，研究人員可能會(huì)調(diào)查如何將這種方法應(yīng)用于更廣泛的任務(wù)，如代碼生成、創(chuàng)意寫(xiě)作和復(fù)雜推理。

總的來(lái)說(shuō)，Transformer Copilot代表了大語(yǔ)言模型訓(xùn)練和優(yōu)化領(lǐng)域的一個(gè)創(chuàng)新步驟，通過(guò)引入從錯(cuò)誤中學(xué)習(xí)的能力，為構(gòu)建更智能、更高效的AI系統(tǒng)開(kāi)辟了新的可能性。