這項由西班牙馬德里Komorebi AI公司的Víctor Gallego博士領(lǐng)導(dǎo)的研究，發(fā)表于2025年6月的ICML（國際機器學(xué)習(xí)大會）人工智能對齊工作坊。這份名為"基于評分標(biāo)準(zhǔn)引導(dǎo)的合成數(shù)據(jù)進(jìn)行可配置偏好調(diào)優(yōu)"的研究論文，為AI寫作控制帶來了全新突破。感興趣的讀者可以通過論文編號arXiv:2506.11702v1訪問完整研究內(nèi)容，相關(guān)代碼和數(shù)據(jù)集已在github.com/vicgalle/configurable-preference-tuning開源發(fā)布。

當(dāng)你使用ChatGPT或其他AI寫作工具時，是否發(fā)現(xiàn)它們總是用一種固定的風(fēng)格回答問題？就像一個只會做一道菜的廚師，無論你想要清淡還是重口味，它都給你同樣的味道。這個問題困擾著整個AI行業(yè)——現(xiàn)有的語言模型就像被鎖定在某種"標(biāo)準(zhǔn)模式"中，無法根據(jù)用戶的具體需求靈活調(diào)整寫作風(fēng)格。

Gallego博士的團(tuán)隊發(fā)現(xiàn)了這個問題的根源：傳統(tǒng)的AI訓(xùn)練方法假設(shè)存在一套"萬能"的偏好標(biāo)準(zhǔn)，就像制作一份適合所有人口味的菜譜。但現(xiàn)實中，人們的偏好千差萬別——有人喜歡正式嚴(yán)肅的商務(wù)文檔，有人偏愛輕松幽默的聊天風(fēng)格，還有人需要富有創(chuàng)意的文學(xué)表達(dá)。把這些不同需求強行融合成一個"平均值"，結(jié)果就是AI寫出來的內(nèi)容既不夠正式，也不夠生動，更談不上有創(chuàng)意。

這項研究的突破性在于提出了"可配置偏好調(diào)優(yōu)"（CPT）框架。這就像給AI裝上了一個"風(fēng)格調(diào)節(jié)器"，用戶可以通過簡單的指令，讓同一個AI模型在不同場合展現(xiàn)出完全不同的寫作風(fēng)格。更重要的是，這種調(diào)節(jié)不需要重新訓(xùn)練模型，就像調(diào)節(jié)收音機頻道一樣簡單直接。

一、從"一刀切"到"量身定制"：傳統(tǒng)方法的局限性

當(dāng)前的AI對齊技術(shù)，比如強化學(xué)習(xí)人類反饋（RLHF）和直接偏好優(yōu)化（DPO），都基于一個隱含假設(shè)：存在一套固定不變的"最佳"偏好標(biāo)準(zhǔn)。這就像假設(shè)世界上只需要一種服裝尺碼就能適合所有人一樣荒謬。

以一個AI寫電影評論為例。傳統(tǒng)方法會收集大量人類寫的電影評論，然后訓(xùn)練AI模仿這些評論的"平均風(fēng)格"。結(jié)果就是AI寫出來的評論可能語法正確、邏輯清晰，但缺乏個性和針對性。它不知道什么時候應(yīng)該寫得更學(xué)術(shù)嚴(yán)肅，什么時候應(yīng)該更輕松娛樂，也不知道如何根據(jù)不同的讀者群體調(diào)整語言風(fēng)格。

這種"一刀切"的做法產(chǎn)生了幾個嚴(yán)重問題。首先是缺乏適應(yīng)性——AI無法根據(jù)具體情境調(diào)整行為，就像一個只會說標(biāo)準(zhǔn)普通話的機器人，無法根據(jù)對話對象是老人還是孩子來調(diào)整說話方式。其次是缺乏可控性——用戶無法明確告訴AI自己想要什么樣的風(fēng)格，只能被動接受AI的"標(biāo)準(zhǔn)輸出"。最后是資源浪費——每次想要調(diào)整AI的行為風(fēng)格，都需要重新收集數(shù)據(jù)、重新訓(xùn)練模型，成本極高。

二、化腐朽為神奇：合成數(shù)據(jù)的巧妙運用

Gallego團(tuán)隊的解決方案頗具創(chuàng)意：既然無法收集到覆蓋所有可能偏好的真實數(shù)據(jù)，那就讓AI自己"制造"訓(xùn)練數(shù)據(jù)。這個想法乍聽起來像是"左手訓(xùn)練右手"，但實際操作卻非常巧妙。

研究團(tuán)隊首先設(shè)計了詳細(xì)的評分標(biāo)準(zhǔn)（rubric），就像制定菜譜一樣精確。以寫作風(fēng)格為例，他們制定了一套包含五個維度的評分標(biāo)準(zhǔn)：攝影喚起效果、算法煉金術(shù)、本體不穩(wěn)定性、詞匯無政府主義和元反思斷裂。每個維度都有明確的評分等級，從"低分"到"極高分"，就像給不同口味的菜品標(biāo)注辣度等級一樣。

接下來是關(guān)鍵的數(shù)據(jù)生成過程。研究團(tuán)隊使用強大的"教師模型"（如DeepSeek-R1和o3-mini）來生成訓(xùn)練樣本。這個過程就像請一位經(jīng)驗豐富的廚師按照不同的菜譜要求，制作出各種風(fēng)味的菜品樣本。教師模型會根據(jù)具體的評分要求，生成相應(yīng)風(fēng)格的文本。比如，當(dāng)要求"極高分的詞匯無政府主義"時，教師模型會生成充滿創(chuàng)意詞匯、打破傳統(tǒng)語法規(guī)則的文本；當(dāng)要求"低分的詞匯無政府主義"時，則會生成標(biāo)準(zhǔn)規(guī)范的常規(guī)文本。

更巧妙的是系統(tǒng)提示詞的生成。研究團(tuán)隊讓同樣的教師模型將復(fù)雜的評分標(biāo)準(zhǔn)"翻譯"成簡潔明了的系統(tǒng)指令。這就像把詳細(xì)的烹飪步驟濃縮成簡單的"小火慢燉"或"大火爆炒"這樣的關(guān)鍵詞。例如，復(fù)雜的"極高分詞匯無政府主義"標(biāo)準(zhǔn)被簡化為"生成一個支離破碎、不合邏輯且充滿意外聯(lián)系的文本，擁抱荒誕并顛覆語言和形式的傳統(tǒng)期望"這樣的簡短指令。

三、精心編排的訓(xùn)練過程：讓AI學(xué)會"變臉"

有了豐富的合成數(shù)據(jù)，下一步就是訓(xùn)練"學(xué)生模型"學(xué)會根據(jù)不同指令調(diào)整行為。這個過程的核心是構(gòu)建巧妙的偏好對比樣本。

具體來說，研究團(tuán)隊會針對同一個寫作任務(wù)，使用兩種不同的評分要求生成兩個不同風(fēng)格的回應(yīng)。比如，對于"為你喜歡的電影寫一篇評論"這個任務(wù)，他們會生成一個"極高分非常規(guī)風(fēng)格"的評論和一個"低分常規(guī)風(fēng)格"的評論。前者可能充滿創(chuàng)意表達(dá)和打破常規(guī)的語言實驗，后者則遵循標(biāo)準(zhǔn)的影評寫作規(guī)范。

關(guān)鍵的創(chuàng)新在于構(gòu)建訓(xùn)練樣本的方式。對于上述兩個不同風(fēng)格的評論，研究團(tuán)隊會創(chuàng)建兩個訓(xùn)練樣本：第一個樣本告訴AI，當(dāng)系統(tǒng)指令要求"非常規(guī)風(fēng)格"時，應(yīng)該偏好創(chuàng)意評論而非標(biāo)準(zhǔn)評論；第二個樣本則相反，當(dāng)系統(tǒng)指令要求"常規(guī)風(fēng)格"時，應(yīng)該偏好標(biāo)準(zhǔn)評論而非創(chuàng)意評論。這種"鏡像"式的訓(xùn)練樣本構(gòu)建，讓AI能夠?qū)W會根據(jù)不同的系統(tǒng)指令產(chǎn)生相應(yīng)的偏好判斷。

訓(xùn)練過程采用了直接偏好優(yōu)化（DPO）技術(shù)，這是一種無需訓(xùn)練額外獎勵模型的高效方法。通過這種訓(xùn)練，AI模型逐漸學(xué)會了一項關(guān)鍵能力：理解系統(tǒng)指令的含義，并據(jù)此調(diào)整自己的輸出風(fēng)格。就像一個優(yōu)秀的演員能夠根據(jù)導(dǎo)演的指示，在同一個劇本中展現(xiàn)出完全不同的表演風(fēng)格。

四、實驗驗證：從理論到實踐的完美轉(zhuǎn)化

為了驗證這套方法的有效性，研究團(tuán)隊進(jìn)行了一系列嚴(yán)謹(jǐn)?shù)膶嶒?。他們的實驗設(shè)計就像一場精心安排的"烹飪比賽"，要驗證經(jīng)過訓(xùn)練的AI"廚師"是否真的學(xué)會了按照不同要求制作不同風(fēng)味的"菜品"。

首先是驗證"教師模型"生成能力的實驗。研究團(tuán)隊測試了DeepSeek-R1和o3-mini兩個強大模型是否能夠按照評分要求生成相應(yīng)質(zhì)量的文本。結(jié)果令人驚喜：當(dāng)要求生成"極高分"文本時，這些模型的平均得分達(dá)到了96.3和97.9分（滿分100）；當(dāng)要求生成"低分"文本時，得分分別降到了14.1和23.1分。這種巨大的分?jǐn)?shù)差距證明了教師模型確實具備了按需生成不同質(zhì)量文本的能力，為后續(xù)的合成數(shù)據(jù)生成奠定了基礎(chǔ)。

接下來是核心的學(xué)生模型訓(xùn)練效果驗證。研究團(tuán)隊選擇了五個不同規(guī)模的語言模型進(jìn)行測試，包括Rocinante-12B、Qwen3-4B、Mistral-Nemo-12B、Mistral-Small-24B和Phi-4-14B。這些模型就像不同天賦的學(xué)生，要看看它們是否都能掌握這種"風(fēng)格切換"的技能。

實驗結(jié)果展現(xiàn)了CPT方法的強大效果。以Mistral-Nemo-12B為例，經(jīng)過CPT訓(xùn)練后，模型在準(zhǔn)確匹配目標(biāo)風(fēng)格方面的準(zhǔn)確率從60%提升到了83%，相關(guān)性指標(biāo)也有顯著改善。更重要的是，這種提升在所有測試模型中都得到了體現(xiàn)，證明了CPT方法的普適性。

特別有趣的是與"多次采樣選優(yōu)"（Best-of-N sampling）的對比實驗。這種方法類似于"多做幾道菜然后選最好的"，而CPT則是"直接做出想要的菜"。實驗顯示，經(jīng)過CPT訓(xùn)練的模型不僅能夠直接生成高質(zhì)量的目標(biāo)風(fēng)格文本，還能在與多次采樣選優(yōu)結(jié)合時產(chǎn)生更好的效果。這就像一個技藝精湛的廚師，不僅平時做菜水平很高，在精心準(zhǔn)備時更能超常發(fā)揮。

五、深度剖析：技術(shù)細(xì)節(jié)與創(chuàng)新要點

CPT框架的技術(shù)實現(xiàn)體現(xiàn)了多個層面的巧思。在數(shù)據(jù)層面，研究團(tuán)隊構(gòu)建了包含900個樣本的合成偏好數(shù)據(jù)集，涵蓋四個不同的評分維度和三個不同的分?jǐn)?shù)等級。這個數(shù)據(jù)集已經(jīng)開源發(fā)布，為后續(xù)研究提供了寶貴資源。

在模型訓(xùn)練層面，研究團(tuán)隊采用了參數(shù)高效的LoRA（低秩適應(yīng)）微調(diào)技術(shù)，只需要一個訓(xùn)練周期就能達(dá)到理想效果。這種方法大大降低了計算成本，使得普通研究者也能夠復(fù)現(xiàn)和改進(jìn)這項技術(shù)。

評估方法的設(shè)計也頗具創(chuàng)新性。除了傳統(tǒng)的準(zhǔn)確率指標(biāo)，研究團(tuán)隊還引入了Kendall's Tau和Spearman相關(guān)系數(shù)等統(tǒng)計指標(biāo)，全面評估模型輸出與目標(biāo)風(fēng)格的一致性。這就像不僅要看菜品是否合格，還要評估其口感層次的豐富程度。

更值得注意的是系統(tǒng)提示詞的精巧設(shè)計。這些提示詞需要在簡潔明了和準(zhǔn)確表達(dá)之間找到平衡點。過于簡單的指令可能無法傳達(dá)足夠的風(fēng)格信息，過于復(fù)雜的指令又會增加模型理解的難度。研究團(tuán)隊通過大量實驗找到了這個"甜蜜點"，創(chuàng)造出既便于用戶理解又便于模型執(zhí)行的指令格式。

六、現(xiàn)實應(yīng)用與未來展望

CPT技術(shù)的應(yīng)用前景非常廣闊。在內(nèi)容創(chuàng)作領(lǐng)域，它可以幫助作家和編輯快速生成不同風(fēng)格的文案，從嚴(yán)肅的學(xué)術(shù)論文到輕松的社交媒體內(nèi)容，一個模型就能勝任。在企業(yè)溝通中，同一個AI助手可以根據(jù)不同場合調(diào)整語言風(fēng)格，與客戶溝通時親切友好，撰寫內(nèi)部報告時專業(yè)嚴(yán)謹(jǐn)。

在教育領(lǐng)域，CPT技術(shù)能夠讓AI導(dǎo)師根據(jù)學(xué)生的年齡、知識水平和學(xué)習(xí)偏好調(diào)整解釋方式。對于小學(xué)生，它可以用生動有趣的故事方式解釋復(fù)雜概念；對于大學(xué)生，則可以提供更深入詳細(xì)的學(xué)術(shù)分析。

研究團(tuán)隊也坦誠地討論了技術(shù)的局限性和潛在風(fēng)險。CPT技術(shù)依賴于高質(zhì)量的教師模型來生成訓(xùn)練數(shù)據(jù)，這意味著教師模型的偏見可能會傳遞給學(xué)生模型。此外，如何確保生成的不同風(fēng)格內(nèi)容都符合安全和倫理標(biāo)準(zhǔn)，也是需要持續(xù)關(guān)注的問題。

在可擴展性方面，當(dāng)需要支持更多風(fēng)格維度或更復(fù)雜的風(fēng)格組合時，評分標(biāo)準(zhǔn)的設(shè)計和系統(tǒng)提示詞的生成可能會變得更加復(fù)雜。研究團(tuán)隊建議未來的工作應(yīng)該探索自動化的評分標(biāo)準(zhǔn)生成和更高效的多維度風(fēng)格控制方法。

從更廣闊的視角來看，CPT技術(shù)代表了AI對齊研究的一個重要方向轉(zhuǎn)變：從尋求"一刀切"的完美解決方案，轉(zhuǎn)向支持多樣化、個性化的用戶需求。這種轉(zhuǎn)變不僅在技術(shù)上更加現(xiàn)實可行，也更符合人類社會的多元化特征。

Gallego博士在論文中特別強調(diào)了負(fù)責(zé)任AI開發(fā)的重要性。CPT技術(shù)雖然為用戶提供了更大的控制權(quán)，但也需要建立相應(yīng)的安全防護(hù)機制，防止技術(shù)被惡意使用。研究團(tuán)隊建議在部署此類技術(shù)時，應(yīng)該包含強健的安全檢查機制，確保生成內(nèi)容的質(zhì)量和安全性。

這項研究不僅在技術(shù)層面實現(xiàn)了突破，更在理念上為整個AI對齊領(lǐng)域提供了新的思路。它證明了通過巧妙的技術(shù)設(shè)計，我們可以讓AI系統(tǒng)變得更加靈活、可控和有用，而不必犧牲安全性和可靠性。隨著相關(guān)代碼和數(shù)據(jù)的開源發(fā)布，相信會有更多研究者在此基礎(chǔ)上進(jìn)行創(chuàng)新，推動這一技術(shù)向更加成熟和實用的方向發(fā)展。

說到底，CPT技術(shù)解決的是一個根本性問題：如何讓AI真正為人類的多樣化需求服務(wù)。在這個人工智能快速發(fā)展的時代，我們需要的不是另一個"萬能但平庸"的AI工具，而是能夠理解并適應(yīng)我們個性化需求的智能助手。Gallego博士團(tuán)隊的這項研究，正是朝著這個目標(biāo)邁出的重要一步。對于有興趣深入了解技術(shù)細(xì)節(jié)的讀者，完整的研究論文、代碼實現(xiàn)和數(shù)據(jù)集都已經(jīng)開源發(fā)布，為后續(xù)的研究和應(yīng)用提供了寶貴的基礎(chǔ)資源。

Q&A

Q1：什么是可配置偏好調(diào)優(yōu)（CPT）？它能解決什么問題？ A：CPT是一種讓AI模型能夠根據(jù)用戶指令動態(tài)調(diào)整寫作風(fēng)格的新技術(shù)。它解決了傳統(tǒng)AI只能用固定風(fēng)格寫作的問題，讓同一個模型可以在正式商務(wù)、輕松聊天、創(chuàng)意文學(xué)等不同風(fēng)格間自由切換，無需重新訓(xùn)練。

Q2：CPT技術(shù)會不會讓AI生成有害內(nèi)容？ A：研究團(tuán)隊意識到了這個風(fēng)險。CPT本身是一個中性的技術(shù)框架，關(guān)鍵在于如何設(shè)計安全的評分標(biāo)準(zhǔn)和系統(tǒng)提示詞。論文建議在實際部署時必須包含強健的安全檢查機制，確保所有風(fēng)格的輸出都符合安全和倫理標(biāo)準(zhǔn)。

Q3：普通用戶能使用CPT技術(shù)嗎？有什么要求？ A：目前CPT還是研究階段的技術(shù)，但研究團(tuán)隊已經(jīng)開源了所有代碼和數(shù)據(jù)集。對于普通用戶來說，需要等待技術(shù)進(jìn)一步成熟并被集成到實際產(chǎn)品中。未來可能會出現(xiàn)支持CPT的AI寫作工具，讓用戶通過簡單指令就能控制AI的寫作風(fēng)格。