這項(xiàng)開創(chuàng)性研究由Cohere實(shí)驗(yàn)室的Daniel D'souza、Julia Kreutzer、Adrien Morisot、Ahmet Ustün和Sara Hooker團(tuán)隊(duì)完成，論文發(fā)表于2025年6月。有興趣深入了解的讀者可以通過arXiv:2506.14702v1訪問完整論文。研究團(tuán)隊(duì)在論文中提出了一種名為"Treasure Hunt"（尋寶游戲）的全新訓(xùn)練方法，專門解決大模型在處理少見任務(wù)時(shí)表現(xiàn)不佳的問題。

大語言模型就像一個(gè)博學(xué)的圖書管理員，對(duì)常見問題了如指掌，但面對(duì)冷門問題時(shí)卻常常束手無策。研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：這些模型在訓(xùn)練時(shí)接觸最多的是高頻任務(wù)，比如回答常見問題或生成普通文本，但對(duì)于那些在訓(xùn)練數(shù)據(jù)中出現(xiàn)頻率較低的"長尾任務(wù)"——比如修復(fù)代碼錯(cuò)誤、按特定長度要求寫作、或者處理小語種翻譯——表現(xiàn)往往差強(qiáng)人意。這就好比一個(gè)廚師精通家常菜，但遇到罕見菜系時(shí)就顯得生疏。

傳統(tǒng)的解決方案是在推理時(shí)通過精心設(shè)計(jì)提示詞或提供示例來引導(dǎo)模型，但這種方法就像臨時(shí)抱佛腳，效果往往不穩(wěn)定且需要用戶具備相當(dāng)?shù)膶I(yè)知識(shí)。Cohere團(tuán)隊(duì)想到了一個(gè)更根本的解決辦法：為什么不在訓(xùn)練階段就為模型繪制一張?jiān)敿?xì)的"藏寶圖"，讓它知道在什么情況下該去哪里尋找最合適的答案呢？

一、藏寶圖的設(shè)計(jì)原理：90個(gè)精密標(biāo)記構(gòu)建的導(dǎo)航系統(tǒng)

研究團(tuán)隊(duì)的核心創(chuàng)新在于開發(fā)了一套包含90個(gè)不同標(biāo)記的綜合標(biāo)記系統(tǒng)，這些標(biāo)記就像藏寶圖上的各種符號(hào)，為模型提供極其詳細(xì)的導(dǎo)航信息。與以往只關(guān)注單一特征的簡單標(biāo)記不同，這套系統(tǒng)覆蓋了文本生成的方方面面。

質(zhì)量標(biāo)記系統(tǒng)采用雙重評(píng)估機(jī)制。首先是數(shù)值化的質(zhì)量分?jǐn)?shù)，通過人工標(biāo)注或獎(jiǎng)勵(lì)模型評(píng)估得出，就像給每道菜評(píng)分一樣客觀量化內(nèi)容質(zhì)量。同時(shí)還有分桶質(zhì)量標(biāo)記，將質(zhì)量分為四個(gè)等級(jí)，為模型提供更直觀的質(zhì)量參考。這種設(shè)計(jì)讓模型在生成內(nèi)容時(shí)能夠自動(dòng)調(diào)節(jié)質(zhì)量水準(zhǔn)，就像廚師根據(jù)場合選擇烹飪精細(xì)度一樣。

長度控制標(biāo)記提供了從精確到模糊的多層次控制。精確標(biāo)記包括具體的詞匯數(shù)量、句子數(shù)量和段落數(shù)量，而模糊標(biāo)記則將長度歸類為簡潔、中等和長篇三種類型。這種分層設(shè)計(jì)讓模型既能滿足嚴(yán)格的長度要求，也能在沒有明確要求時(shí)做出合理的長度判斷。

領(lǐng)域和任務(wù)標(biāo)記構(gòu)成了知識(shí)分類的核心。領(lǐng)域標(biāo)記涵蓋科學(xué)、技術(shù)、醫(yī)學(xué)、法律等十個(gè)主要知識(shí)領(lǐng)域，而任務(wù)標(biāo)記則細(xì)分為問答、總結(jié)、翻譯、代碼生成等十四種具體任務(wù)類型。這種精細(xì)分類讓模型能夠根據(jù)不同領(lǐng)域的特點(diǎn)調(diào)整生成策略，就像專業(yè)翻譯員會(huì)根據(jù)文檔類型調(diào)整翻譯風(fēng)格一樣。

語言和編程語言標(biāo)記支持23種自然語言和17種編程語言的精確識(shí)別。這種多語言支持不僅讓模型能夠準(zhǔn)確識(shí)別目標(biāo)語言，還能減少不同語言間的混淆現(xiàn)象，避免出現(xiàn)回答中文問題卻用英文回復(fù)的尷尬情況。

格式和風(fēng)格標(biāo)記則關(guān)注輸出的呈現(xiàn)形式。格式標(biāo)記涵蓋JSON、XML、表格、Markdown等八種結(jié)構(gòu)化格式，而風(fēng)格標(biāo)記區(qū)分正式、非正式和自定義風(fēng)格。這些標(biāo)記讓模型能夠根據(jù)使用場景自動(dòng)選擇最合適的輸出格式和語言風(fēng)格。

二、聰明的訓(xùn)練策略：讓模型學(xué)會(huì)自主推理

僅僅添加標(biāo)記還不夠，關(guān)鍵在于如何訓(xùn)練模型有效利用這些標(biāo)記。研究團(tuán)隊(duì)設(shè)計(jì)了一套巧妙的訓(xùn)練策略，核心思想是讓模型既能在有標(biāo)記指導(dǎo)時(shí)表現(xiàn)出色，也能在沒有明確標(biāo)記時(shí)自主推斷。

雙重丟棄策略是這套訓(xùn)練方法的精髓。數(shù)據(jù)集級(jí)別丟棄會(huì)隨機(jī)選擇一定比例的訓(xùn)練樣本，完全移除其輸入部分的標(biāo)記，迫使模型學(xué)會(huì)在沒有明確指導(dǎo)時(shí)自主判斷。樣本級(jí)別丟棄則會(huì)在每個(gè)樣本中隨機(jī)刪除部分標(biāo)記，讓模型學(xué)會(huì)處理信息不完整的情況。這種訓(xùn)練方式就像讓學(xué)生既練習(xí)開卷考試，也練習(xí)閉卷考試，最終培養(yǎng)出更強(qiáng)的應(yīng)變能力。

為了確保模型始終能夠生成正確的標(biāo)記，研究團(tuán)隊(duì)在輸出部分保持標(biāo)記完整，不進(jìn)行任何丟棄操作。這種不對(duì)稱設(shè)計(jì)讓模型學(xué)會(huì)了一種重要技能：即使輸入信息不完整，也要在輸出時(shí)提供完整的標(biāo)記信息。這就像訓(xùn)練一個(gè)服務(wù)員，即使客戶沒有完全說明需求，也要能夠準(zhǔn)確理解并提供完整的服務(wù)。

訓(xùn)練目標(biāo)函數(shù)經(jīng)過精心設(shè)計(jì)，讓模型同時(shí)學(xué)習(xí)內(nèi)容生成和標(biāo)記預(yù)測(cè)兩項(xiàng)技能。模型需要在給定輸入和可選標(biāo)記的情況下，生成既符合內(nèi)容要求又包含正確標(biāo)記的輸出。這種設(shè)計(jì)確保了標(biāo)記系統(tǒng)與內(nèi)容生成的緊密融合，而不是簡單的后期添加。

三、LLM自動(dòng)標(biāo)注：解決人工標(biāo)注的規(guī)模化難題

面對(duì)海量訓(xùn)練數(shù)據(jù)，純?nèi)斯?biāo)注顯然不現(xiàn)實(shí)。研究團(tuán)隊(duì)巧妙地利用多語言開源模型Command R+作為自動(dòng)標(biāo)注工具，為缺失的元信息提供高質(zhì)量標(biāo)注。

自動(dòng)標(biāo)注系統(tǒng)采用了精心設(shè)計(jì)的提示策略。對(duì)于領(lǐng)域標(biāo)注，系統(tǒng)為每個(gè)領(lǐng)域提供詳細(xì)定義和多語言示例，確保標(biāo)注的準(zhǔn)確性和一致性。比如在標(biāo)注"科學(xué)"領(lǐng)域時(shí)，會(huì)明確說明包括生物學(xué)、化學(xué)、物理學(xué)等具體學(xué)科，并提供不同語言的典型例子。

任務(wù)類型標(biāo)注同樣使用結(jié)構(gòu)化方法，為每種任務(wù)類型提供清晰定義和判別標(biāo)準(zhǔn)。系統(tǒng)能夠區(qū)分看似相似但本質(zhì)不同的任務(wù)，比如準(zhǔn)確區(qū)分代碼生成、代碼修復(fù)和代碼翻譯等細(xì)分任務(wù)。

格式標(biāo)注相對(duì)簡單，因?yàn)楦袷教卣魍ǔ１容^明顯。系統(tǒng)可以通過關(guān)鍵詞識(shí)別和結(jié)構(gòu)分析自動(dòng)判斷輸出應(yīng)該采用哪種格式。

為了保證標(biāo)注質(zhì)量，研究團(tuán)隊(duì)在23種語言中都提供了本土化的示例，確保跨語言標(biāo)注的準(zhǔn)確性。這種細(xì)致的多語言處理避免了因文化差異導(dǎo)致的標(biāo)注偏差。

四、推理時(shí)的靈活應(yīng)用：三種使用模式

訓(xùn)練完成的模型在推理時(shí)提供了三種不同的使用模式，滿足不同場景的需求。

默認(rèn)模式下，用戶只需正常輸入問題，模型會(huì)自動(dòng)推斷所需的標(biāo)記并生成相應(yīng)內(nèi)容。這種模式對(duì)用戶最友好，無需任何額外操作就能享受到標(biāo)記系統(tǒng)的好處。就像使用智能手機(jī)拍照，相機(jī)會(huì)自動(dòng)調(diào)節(jié)各種參數(shù)，用戶只需按下快門即可。

固定標(biāo)記模式允許用戶明確指定某些標(biāo)記值，比如要求生成高質(zhì)量內(nèi)容或指定特定長度。這種模式適合有明確需求的專業(yè)用戶，能夠提供更精確的控制。

最靈活的是即時(shí)標(biāo)注模式，系統(tǒng)會(huì)在推理時(shí)調(diào)用另一個(gè)LLM對(duì)輸入進(jìn)行實(shí)時(shí)標(biāo)注，然后基于這些標(biāo)記生成內(nèi)容。這種模式結(jié)合了自動(dòng)推斷和精確控制的優(yōu)勢(shì)，特別適合處理復(fù)雜或非標(biāo)準(zhǔn)的請(qǐng)求。

三種模式的設(shè)計(jì)體現(xiàn)了研究團(tuán)隊(duì)對(duì)實(shí)用性的深度考慮。不同技術(shù)水平的用戶都能找到適合自己的使用方式，從完全自動(dòng)化到高度可控，滿足了從普通用戶到專業(yè)開發(fā)者的各種需求。

五、實(shí)驗(yàn)驗(yàn)證：長尾任務(wù)性能顯著提升

為了驗(yàn)證這種方法的有效性，研究團(tuán)隊(duì)進(jìn)行了全面的實(shí)驗(yàn)評(píng)估，結(jié)果令人印象深刻。

在開放式生成質(zhì)量測(cè)試中，使用了具有挑戰(zhàn)性的ArenaHard基準(zhǔn)測(cè)試。這個(gè)測(cè)試包含從實(shí)際用戶查詢中精選的困難問題，能夠真實(shí)反映模型在復(fù)雜任務(wù)中的表現(xiàn)。實(shí)驗(yàn)結(jié)果顯示，標(biāo)記訓(xùn)練的模型在整體分布上獲得了5.7%的勝率提升，這個(gè)數(shù)字看似不大，但在AI領(lǐng)域已經(jīng)是顯著的進(jìn)步。

更重要的發(fā)現(xiàn)是長尾任務(wù)的表現(xiàn)差異。在訓(xùn)練數(shù)據(jù)中占比超過5%的高頻領(lǐng)域，模型獲得了5.7%的性能提升。但在占比不足5%的低頻領(lǐng)域，性能提升達(dá)到了驚人的9.1%。這個(gè)對(duì)比清楚地證明了標(biāo)記系統(tǒng)對(duì)長尾任務(wù)的特殊價(jià)值。

代碼相關(guān)任務(wù)的實(shí)驗(yàn)結(jié)果更加引人注目。在代碼生成這個(gè)相對(duì)高頻的任務(wù)上，模型獲得了3.2%的性能提升。但在極其少見的代碼修復(fù)任務(wù)上，性能提升達(dá)到了14.1%。這種巨大差異說明，訓(xùn)練時(shí)的標(biāo)記信息能夠有效激活模型對(duì)稀有任務(wù)模式的記憶。

長度控制實(shí)驗(yàn)展現(xiàn)了標(biāo)記系統(tǒng)的精確控制能力。在長度指令跟隨測(cè)試中，基線模型有36.58%的違規(guī)率，即超過三分之一的回答沒有遵循長度要求。使用標(biāo)記系統(tǒng)后，違規(guī)率降到了1.25%，幾乎完全解決了長度控制問題。同時(shí)，內(nèi)容質(zhì)量不僅沒有下降，反而獲得了7.5%的提升，實(shí)現(xiàn)了約束和質(zhì)量的雙重優(yōu)化。

多語言能力測(cè)試覆蓋了23種語言，結(jié)果顯示標(biāo)記系統(tǒng)能夠顯著改善語言混淆問題。在跨語言指令跟隨測(cè)試中，模型的行級(jí)別通過率平均提升了10.98%，其中俄語提升最大，達(dá)到18.6%。這說明標(biāo)記系統(tǒng)不僅改善了內(nèi)容生成，還提高了模型對(duì)語言指令的理解和執(zhí)行能力。

機(jī)器翻譯實(shí)驗(yàn)選擇了具有挑戰(zhàn)性的WMT'24++測(cè)試集，涵蓋英語到22種語言的翻譯任務(wù)。雖然標(biāo)記系統(tǒng)的主要目標(biāo)不是翻譯質(zhì)量，但在5種語言上仍然獲得了顯著提升，最高達(dá)到1.18個(gè)COMET分?jǐn)?shù)的改進(jìn)。這種"意外收獲"進(jìn)一步證明了標(biāo)記系統(tǒng)的通用價(jià)值。

六、技術(shù)細(xì)節(jié)和創(chuàng)新點(diǎn)

這項(xiàng)研究的技術(shù)實(shí)現(xiàn)體現(xiàn)了多個(gè)層面的創(chuàng)新思考。

模型架構(gòu)基于70億參數(shù)的專有基礎(chǔ)模型，訓(xùn)練數(shù)據(jù)包含270萬個(gè)樣本，覆蓋23種語言。訓(xùn)練采用了精心調(diào)優(yōu)的超參數(shù)設(shè)置：批量大小32，學(xué)習(xí)率峰值2.5×10??，通過余弦學(xué)習(xí)率調(diào)度在8000步內(nèi)完成訓(xùn)練。整個(gè)訓(xùn)練過程在128塊H100 GPU上運(yùn)行約6小時(shí)，體現(xiàn)了工程實(shí)現(xiàn)的高效性。

標(biāo)記模板設(shè)計(jì)采用XML格式，確保了結(jié)構(gòu)化信息的清晰表達(dá)。每個(gè)標(biāo)記都有明確的開始和結(jié)束標(biāo)簽，避免了解析歧義。模板的語言化處理讓標(biāo)記信息能夠無縫融入自然語言流，不會(huì)破壞文本的流暢性。

丟棄策略的參數(shù)選擇經(jīng)過了細(xì)致的實(shí)驗(yàn)驗(yàn)證。50%的數(shù)據(jù)集級(jí)別丟棄和50%的樣本級(jí)別丟棄被證明是最優(yōu)組合，既保證了模型的泛化能力，又維持了對(duì)標(biāo)記信息的敏感性。過高的丟棄率會(huì)損害模型性能，過低的丟棄率則無法充分發(fā)揮標(biāo)記系統(tǒng)的潛力。

評(píng)估方法的多樣性確保了結(jié)果的可靠性。除了自動(dòng)化指標(biāo)，研究團(tuán)隊(duì)還使用GPT-4o作為評(píng)判模型，提供了更接近人類判斷的質(zhì)量評(píng)估。不同評(píng)估維度的一致性結(jié)果增強(qiáng)了結(jié)論的可信度。

七、實(shí)際應(yīng)用價(jià)值和未來展望

這項(xiàng)研究的實(shí)際應(yīng)用價(jià)值遠(yuǎn)超學(xué)術(shù)意義，為AI系統(tǒng)的實(shí)用化部署提供了重要參考。

在企業(yè)級(jí)應(yīng)用中，這種方法能夠顯著改善AI助手處理專業(yè)任務(wù)的能力。比如法律文檔分析、醫(yī)學(xué)文獻(xiàn)總結(jié)、技術(shù)代碼審查等低頻但高價(jià)值的任務(wù)，都能從標(biāo)記系統(tǒng)中獲得明顯的性能提升。企業(yè)無需為每個(gè)專業(yè)領(lǐng)域單獨(dú)訓(xùn)練模型，而是可以通過統(tǒng)一的標(biāo)記系統(tǒng)實(shí)現(xiàn)多領(lǐng)域的高質(zhì)量服務(wù)。

對(duì)于內(nèi)容創(chuàng)作平臺(tái)來說，長度控制和格式控制功能具有直接的商業(yè)價(jià)值。用戶可以精確要求"生成一篇800字的正式商業(yè)報(bào)告"或"寫一個(gè)150字的產(chǎn)品介紹"，系統(tǒng)能夠準(zhǔn)確理解并執(zhí)行這些要求，大大提升了用戶體驗(yàn)和內(nèi)容質(zhì)量的一致性。

多語言支持的改進(jìn)對(duì)全球化企業(yè)特別重要?？鐕究梢允褂猛惶譇I系統(tǒng)處理不同語言的客戶咨詢、文檔翻譯、本地化內(nèi)容生成等任務(wù)，而不必?fù)?dān)心語言混淆或質(zhì)量不一致的問題。

這種方法的另一個(gè)重要價(jià)值在于降低了AI應(yīng)用的技術(shù)門檻。傳統(tǒng)的提示工程需要用戶具備相當(dāng)?shù)膶I(yè)知識(shí)，而標(biāo)記系統(tǒng)讓普通用戶也能獲得高質(zhì)量的AI服務(wù)。系統(tǒng)能夠自動(dòng)識(shí)別用戶意圖并應(yīng)用合適的生成策略，就像智能手機(jī)讓復(fù)雜的通信技術(shù)變得人人可用一樣。

研究團(tuán)隊(duì)展示的即時(shí)標(biāo)注功能開辟了AI協(xié)作的新模式。通過讓一個(gè)AI模型為另一個(gè)AI模型提供標(biāo)注服務(wù)，形成了AI之間的分工協(xié)作。這種模式在復(fù)雜任務(wù)處理中具有廣闊的應(yīng)用前景，比如讓專門的分析模型為生成模型提供更精確的任務(wù)理解。

從技術(shù)發(fā)展趨勢(shì)來看，這項(xiàng)研究為AI系統(tǒng)的可控性和可解釋性提供了新的思路。標(biāo)記系統(tǒng)不僅改善了性能，還讓AI的決策過程更加透明。用戶可以通過觀察系統(tǒng)推斷的標(biāo)記來理解AI是如何理解任務(wù)的，這對(duì)建立人機(jī)信任關(guān)系具有重要意義。

未來的改進(jìn)方向包括標(biāo)記系統(tǒng)的進(jìn)一步細(xì)化和動(dòng)態(tài)調(diào)整。隨著應(yīng)用場景的擴(kuò)展，可能需要添加更多專業(yè)領(lǐng)域的標(biāo)記，或者開發(fā)能夠根據(jù)用戶反饋?zhàn)詣?dòng)調(diào)整標(biāo)記權(quán)重的自適應(yīng)系統(tǒng)。另一個(gè)有趣的方向是探索標(biāo)記之間的關(guān)聯(lián)關(guān)系，比如某些任務(wù)類型通常對(duì)應(yīng)特定的質(zhì)量要求或長度偏好。

這項(xiàng)研究也為AI安全和對(duì)齊研究提供了新的工具。通過精確控制AI的輸出特征，可以更好地確保AI系統(tǒng)的行為符合人類期望和安全要求。比如在敏感應(yīng)用中，可以通過標(biāo)記系統(tǒng)確保AI始終采用適當(dāng)?shù)恼Z言風(fēng)格和內(nèi)容深度。

說到底，Cohere團(tuán)隊(duì)的這項(xiàng)研究解決了一個(gè)看似簡單卻一直困擾AI系統(tǒng)的基本問題：如何讓AI在面對(duì)各種任務(wù)時(shí)都能表現(xiàn)出色，而不只是在訓(xùn)練時(shí)見過很多次的常見任務(wù)上發(fā)揮良好。他們的解決方案優(yōu)雅而實(shí)用，通過在訓(xùn)練階段就為模型提供詳細(xì)的"藏寶圖"，讓AI學(xué)會(huì)了在需要時(shí)自動(dòng)尋找最合適的解決方案。

這種方法的美妙之處在于，它不需要用戶成為提示工程專家，也不需要為每個(gè)細(xì)分任務(wù)單獨(dú)訓(xùn)練模型。就像一個(gè)經(jīng)驗(yàn)豐富的向?qū)?，?xùn)練好的模型能夠根據(jù)情況自動(dòng)選擇最佳的處理策略，同時(shí)還能接受用戶的明確指導(dǎo)來滿足特定需求。

對(duì)于普通用戶來說，這意味著AI助手將變得更加智能和貼心。無論是寫一封正式的商務(wù)郵件、總結(jié)一份技術(shù)文檔，還是修復(fù)一段代碼，AI都能提供更加精準(zhǔn)和符合期望的幫助。而對(duì)于AI研究和開發(fā)者來說，這項(xiàng)工作提供了一個(gè)通用的框架，可以應(yīng)用到各種不同的AI系統(tǒng)中，推動(dòng)整個(gè)行業(yè)向更實(shí)用、更可控的方向發(fā)展。

這項(xiàng)研究讓我們看到了AI發(fā)展的一個(gè)重要方向：不是簡單地讓模型變得更大更強(qiáng)，而是讓它們變得更加智能和善解人意。通過這種細(xì)致入微的訓(xùn)練方法，AI正在學(xué)會(huì)真正理解人類的多樣化需求，并提供更加精準(zhǔn)的服務(wù)。這或許就是未來AI助手應(yīng)該具備的核心能力——不僅要知識(shí)淵博，更要能在關(guān)鍵時(shí)刻找到最合適的答案。

Q&A

Q1：什么是"藏寶圖訓(xùn)練法"？它是如何工作的？ A：藏寶圖訓(xùn)練法是Cohere團(tuán)隊(duì)開發(fā)的一種新型AI訓(xùn)練方法，通過在訓(xùn)練數(shù)據(jù)中添加90個(gè)詳細(xì)標(biāo)記（如質(zhì)量、長度、語言、任務(wù)類型等）來指導(dǎo)模型。就像給模型提供了一張?jiān)敿?xì)地圖，告訴它在什么情況下該如何處理不同類型的任務(wù)。訓(xùn)練時(shí)還會(huì)隨機(jī)隱藏部分標(biāo)記，讓模型學(xué)會(huì)自主推斷。

Q2：這種方法會(huì)不會(huì)讓AI變得過于復(fù)雜，普通用戶難以使用？ A：恰恰相反，這種方法讓AI使用變得更簡單。用戶無需學(xué)習(xí)復(fù)雜的提示工程技巧，只要正常提問，AI就能自動(dòng)識(shí)別任務(wù)類型并提供合適的回答。如果有特殊需求（比如指定長度或格式），也可以明確說明，系統(tǒng)會(huì)精確執(zhí)行。

Q3：這種訓(xùn)練方法對(duì)哪些任務(wù)效果最明顯？ A：對(duì)低頻出現(xiàn)的"長尾任務(wù)"效果最顯著。實(shí)驗(yàn)顯示，常見任務(wù)性能提升5.7%，而罕見任務(wù)提升達(dá)9.1%。代碼修復(fù)這類極少見任務(wù)甚至獲得14.1%的提升。長度控制方面，違規(guī)率從36.58%降到1.25%，幾乎完全解決了長度不準(zhǔn)確的問題。