在人工智能快速發(fā)展的今天，大型語(yǔ)言模型(LLMs)已成為我們?nèi)粘Ｉ畹囊徊糠?。然而，這些模型如何做出選擇？它們偏好某些回答而非其他回答的原因是什么？以色列理工學(xué)院(Technion)的Nitay Calderon、IBM研究院的Liat Ein-Dor和Technion的Roi Reichart在2025年5月發(fā)布的一項(xiàng)開(kāi)創(chuàng)性研究中，深入剖析了這個(gè)問(wèn)題。他們的論文《Multi-Domain Explainability of Preferences》發(fā)表在arXiv預(yù)印本平臺(tái)(arXiv:2505.20088v2)上，為我們揭開(kāi)了語(yǔ)言模型偏好機(jī)制的神秘面紗。

一、研究背景：為什么要理解AI的"喜好"？

想象一下，你有兩位私人助理。當(dāng)你問(wèn)他們同一個(gè)問(wèn)題時(shí)，他們給出了不同的回答。你更喜歡其中一個(gè)回答，但你能解釋為什么嗎？這正是研究團(tuán)隊(duì)面臨的挑戰(zhàn)，只不過(guò)他們的"助理"是復(fù)雜的AI系統(tǒng)。

在當(dāng)今的AI研究中，"偏好機(jī)制"扮演著至關(guān)重要的角色。所謂偏好機(jī)制，簡(jiǎn)單來(lái)說(shuō)就是在給定用戶提問(wèn)的情況下，從多個(gè)可能的回答中選擇一個(gè)"最佳"回答的系統(tǒng)。這些機(jī)制主要有三種：人類偏好評(píng)估(真人判斷哪個(gè)回答更好)、LLM作為評(píng)判者(AI評(píng)判其他AI)，以及獎(jiǎng)勵(lì)模型(一種專門學(xué)習(xí)人類喜好的AI系統(tǒng))。

這些偏好機(jī)制不僅是評(píng)估AI系統(tǒng)的重要工具，更是訓(xùn)練和改進(jìn)它們的關(guān)鍵。比如，當(dāng)你使用ChatGPT時(shí)，它會(huì)努力生成你喜歡的回答，這背后就有一個(gè)獎(jiǎng)勵(lì)模型在指導(dǎo)它。研究人員通過(guò)人類反饋強(qiáng)化學(xué)習(xí)(RLHF)和偏好對(duì)齊等技術(shù)，不斷調(diào)整這些模型以更好地滿足人類期望。

然而，正如Calderon及其團(tuán)隊(duì)指出的，盡管偏好機(jī)制如此重要，我們對(duì)于驅(qū)動(dòng)這些偏好的內(nèi)在概念(如語(yǔ)言清晰度、事實(shí)準(zhǔn)確性、共情能力等)卻知之甚少。就像我們知道人喜歡某種食物，卻不一定了解具體是因?yàn)樗南銡?、口感還是溫度一樣。

現(xiàn)有的研究已經(jīng)發(fā)現(xiàn)一些有趣的線索。例如，回答的長(zhǎng)度會(huì)影響偏好(人們往往偏好長(zhǎng)度適中的回答)，模型可能會(huì)表現(xiàn)出"阿諛?lè)畛?的傾向(傾向于認(rèn)同用戶觀點(diǎn))，甚至某些寫作風(fēng)格也會(huì)影響評(píng)判。更有趣的是，AI評(píng)判可能會(huì)偏愛(ài)與自己風(fēng)格相似的回答。最近的研究還表明，人類評(píng)判者重視禮貌和觀點(diǎn)一致性，而AI評(píng)判者則更看重事實(shí)性和安全性。

但這些研究存在三個(gè)主要局限性：首先，它們依賴于研究者預(yù)先定義的概念，可能帶有主觀偏見(jiàn)；其次，它們通常需要人工標(biāo)注，難以大規(guī)模應(yīng)用；最后，它們往往局限于單一領(lǐng)域或數(shù)據(jù)集，無(wú)法反映不同場(chǎng)景下偏好的變化。

正是針對(duì)這些挑戰(zhàn)，Calderon團(tuán)隊(duì)提出了一個(gè)全新的自動(dòng)化方法，不僅能發(fā)現(xiàn)偏好背后的關(guān)鍵概念，還能跨多個(gè)領(lǐng)域解釋這些概念如何影響AI和人類的判斷。

二、破解AI思維的創(chuàng)新方法：從概念發(fā)現(xiàn)到多領(lǐng)域建模

想象你是一位偵探，試圖理解一系列復(fù)雜的決策背后的動(dòng)機(jī)。你沒(méi)有預(yù)設(shè)的答案，而是讓證據(jù)自己"說(shuō)話"。這正是Calderon團(tuán)隊(duì)的研究方法。

他們開(kāi)發(fā)的方法如同一個(gè)四階段的偵探調(diào)查過(guò)程：

首先是"線索收集"階段。研究團(tuán)隊(duì)不預(yù)設(shè)任何概念，而是讓AI系統(tǒng)(在這項(xiàng)研究中使用的是Gemini 1.5 Pro)自己發(fā)現(xiàn)可能影響偏好的概念。例如，在分析法律建議類的問(wèn)題時(shí)，AI可能會(huì)發(fā)現(xiàn)"避免自我推銷"是一個(gè)重要概念——這指的是回答是否客觀中立，而非試圖推銷自己的服務(wù)。

這一階段的細(xì)節(jié)非常巧妙。他們將不同領(lǐng)域的用戶問(wèn)題按照任務(wù)類型(如問(wèn)答、解釋、建議等)和子領(lǐng)域(如醫(yī)療、技術(shù)、Python編程等)分組。這樣分組有兩個(gè)好處：一方面可以發(fā)現(xiàn)適用于特定領(lǐng)域的概念，另一方面也便于識(shí)別跨領(lǐng)域的通用概念。

第二階段是"概念表征"。一旦發(fā)現(xiàn)了潛在概念，團(tuán)隊(duì)就使用AI為每個(gè)問(wèn)題-回答組合創(chuàng)建"概念向量"。這有點(diǎn)像給每個(gè)回答打分：這個(gè)回答在"清晰度"方面得幾分？在"準(zhǔn)確性"方面得幾分？研究者使用了兩種表征方法：Comp-rep(比較表征)和Score-rep(評(píng)分表征)。

Comp-rep就像是直接比較兩個(gè)回答，判斷哪個(gè)在某個(gè)概念上更勝一籌。例如，回答A在"清晰度"上是否優(yōu)于回答B(yǎng)？而Score-rep則像是給每個(gè)回答單獨(dú)打分，然后比較分?jǐn)?shù)差異。

第三階段是"建立解釋模型"。這是研究的核心創(chuàng)新。研究團(tuán)隊(duì)意識(shí)到，偏好不僅因領(lǐng)域而異，而且某些概念可能在所有領(lǐng)域都很重要，而其他概念則可能只在特定領(lǐng)域起作用。例如，"隱瞞"這個(gè)概念在安全相關(guān)的問(wèn)題中可能至關(guān)重要，但在烹飪食譜中則幾乎無(wú)關(guān)緊要。

為此，他們?cè)O(shè)計(jì)了一個(gè)叫做"層次多領(lǐng)域回歸"(HMDR)的模型。這個(gè)模型就像是一個(gè)有兩層判斷機(jī)制的法官：第一層考慮對(duì)所有領(lǐng)域都重要的通用因素(如清晰度、準(zhǔn)確性)，第二層則考慮特定領(lǐng)域的特殊因素(如在烹飪領(lǐng)域中的"口味描述"或在技術(shù)領(lǐng)域中的"代碼質(zhì)量")。

最后一階段是"從模型到解釋"。模型訓(xùn)練完成后，研究者分析模型權(quán)重，識(shí)別出對(duì)偏好影響最大的概念。這些概念的重要性被量化為"提升百分比"，直觀顯示每個(gè)概念對(duì)最終決策的貢獻(xiàn)。

整個(gè)方法的獨(dú)特之處在于，它能自動(dòng)發(fā)現(xiàn)概念，無(wú)需人工預(yù)定義；能跨多個(gè)領(lǐng)域工作，識(shí)別通用和特定概念；最重要的是，它產(chǎn)生的結(jié)果是可解釋的——我們可以清楚地看到每個(gè)概念如何影響最終決策。

三、跨越八大領(lǐng)域：數(shù)據(jù)與研究設(shè)計(jì)

要評(píng)估一個(gè)解釋偏好的方法，你需要多樣化的數(shù)據(jù)。Calderon團(tuán)隊(duì)精心策劃了八個(gè)具有挑戰(zhàn)性的不同領(lǐng)域數(shù)據(jù)集，每個(gè)領(lǐng)域包含800個(gè)例子(400個(gè)用于概念發(fā)現(xiàn)，400個(gè)用于訓(xùn)練和測(cè)試模型)。

這些領(lǐng)域包括：

一般性問(wèn)答(General)：來(lái)自Reddit的各類常見(jiàn)問(wèn)題，涵蓋社會(huì)、物理、歷史等廣泛話題。

旅行(Travel)：關(guān)于旅行計(jì)劃、目的地推薦和戶外裝備的問(wèn)題。

食物(Food)：烹飪技巧、食譜調(diào)整和飲食建議等問(wèn)題。

法律(Legal)：涉及住房、家庭、財(cái)務(wù)和就業(yè)等方面的法律咨詢。

影視推薦(Picks)：關(guān)于書籍、電影和音樂(lè)推薦的討論。

軟件(Software)：來(lái)自StackOverflow的編程和軟件相關(guān)問(wèn)題。

PKU：一個(gè)聚焦安全的偏好數(shù)據(jù)集，包含倫理和風(fēng)險(xiǎn)評(píng)估問(wèn)題。

UltraFeedback(UFB)：一個(gè)通用RLAIF(基于AI反饋的強(qiáng)化學(xué)習(xí))數(shù)據(jù)集，包含各種問(wèn)題類型。

對(duì)于Reddit和StackOverflow的數(shù)據(jù)，研究團(tuán)隊(duì)使用了一種巧妙的方法來(lái)確定哪個(gè)回答更好：被選中的回答必須有至少15個(gè)贊，至少是被拒絕回答贊數(shù)的兩倍，出現(xiàn)在帖子靠后位置，并且與被拒絕的回答長(zhǎng)度相似。這確保了偏好判斷的可靠性。

研究團(tuán)隊(duì)分析了12種不同的偏好機(jī)制，包括： - 人類偏好(從數(shù)據(jù)集中提取) - 兩種獎(jiǎng)勵(lì)模型(QRM和Skywork) - 九種LLM評(píng)判者(涵蓋GPT-4o、Gemini-1.5-Pro、Gemini-1.5-Flash和Llama-3.1等模型，以及鏈?zhǔn)剿伎?、少樣本學(xué)習(xí)和LLM集成等不同提示技術(shù))

這種多樣化的設(shè)計(jì)使得研究結(jié)果具有廣泛的適用性和代表性。

四、令人驚訝的發(fā)現(xiàn)：AI和人類評(píng)判的深層差異

當(dāng)研究團(tuán)隊(duì)分析結(jié)果時(shí)，他們發(fā)現(xiàn)了一系列令人著迷的模式，揭示了人類和AI偏好機(jī)制的深層差異。

首先，研究團(tuán)隊(duì)驗(yàn)證了他們的方法。他們邀請(qǐng)六名人類評(píng)估者標(biāo)注400個(gè)概念，并將這些標(biāo)注與AI系統(tǒng)的標(biāo)注進(jìn)行比較。結(jié)果表明，AI系統(tǒng)的標(biāo)注在85%的情況下與人類標(biāo)注一樣好或更好，這證明了使用AI進(jìn)行概念標(biāo)注的可行性。

在偏好預(yù)測(cè)方面，研究團(tuán)隊(duì)的可解釋模型表現(xiàn)出色，達(dá)到66%的準(zhǔn)確率，與最強(qiáng)大的LLM評(píng)判者(使用10個(gè)少樣本示例的Gemini-Flash集成)相當(dāng)。這一發(fā)現(xiàn)意義重大，表明簡(jiǎn)單的基于概念的線性模型可以與復(fù)雜的大型語(yǔ)言模型媲美，同時(shí)還提供了清晰的解釋。

研究的核心發(fā)現(xiàn)來(lái)自對(duì)不同偏好機(jī)制的解釋分析。例如，人類評(píng)判者高度重視"權(quán)威性"、"清晰度"和"自信"，而像GPT-4o這樣的AI評(píng)判者則更關(guān)注"準(zhǔn)確性"和"事實(shí)性"。這種差異反映了一個(gè)有趣的現(xiàn)象：非專業(yè)人類評(píng)判者(如Reddit用戶)傾向于選擇看起來(lái)專業(yè)和自信的回答，而可能缺乏驗(yàn)證內(nèi)容準(zhǔn)確性的能力；相比之下，AI系統(tǒng)則更善于識(shí)別事實(shí)錯(cuò)誤。

領(lǐng)域特定概念的分析更是揭示了偏好的復(fù)雜性。例如：

- 在法律領(lǐng)域，"避免自我推銷"是一個(gè)關(guān)鍵概念，指回答是否客觀而非試圖獲取業(yè)務(wù) - 在食品領(lǐng)域，"食譜修改"概念(調(diào)整烹飪方法的能力)顯著影響偏好 - 在旅行領(lǐng)域，"鼓勵(lì)"和"情感影響"等概念比在其他領(lǐng)域更為重要 - 在安全相關(guān)的PKU領(lǐng)域，"微妙性"和"隱瞞"等概念起著關(guān)鍵作用

研究團(tuán)隊(duì)還進(jìn)行了兩項(xiàng)應(yīng)用驅(qū)動(dòng)的評(píng)估，進(jìn)一步驗(yàn)證了他們解釋的質(zhì)量。在"黑客評(píng)判者"(Judge Hack)實(shí)驗(yàn)中，他們使用從評(píng)判者解釋中提取的頂級(jí)概念來(lái)指導(dǎo)LLM生成回答。結(jié)果顯示，評(píng)判者一致偏好這些基于解釋引導(dǎo)的回答，勝率比隨機(jī)概念引導(dǎo)的回答高出10-20個(gè)百分點(diǎn)。

在"打破平局"(Tie Break)實(shí)驗(yàn)中，研究者使用解釋來(lái)解決AI評(píng)判者給出不一致預(yù)測(cè)的情況(根據(jù)回答位置不同而改變判斷)。通過(guò)提示評(píng)判者考慮對(duì)人類重要的概念，他們改善了與人類偏好的一致性，提升幅度高達(dá)10%。

這些發(fā)現(xiàn)不僅增進(jìn)了我們對(duì)偏好機(jī)制的理解，還提供了實(shí)用的方法來(lái)改善AI系統(tǒng)與人類價(jià)值觀的一致性。

五、研究意義與未來(lái)展望

Calderon團(tuán)隊(duì)的研究為我們打開(kāi)了一扇理解AI決策過(guò)程的窗口，其意義遠(yuǎn)超學(xué)術(shù)價(jià)值。

對(duì)于AI研究人員來(lái)說(shuō)，這項(xiàng)研究提供了一種新的方法來(lái)理解和改進(jìn)偏好機(jī)制。通過(guò)識(shí)別驅(qū)動(dòng)偏好的關(guān)鍵概念，研究人員可以更有針對(duì)性地改進(jìn)模型，使其更好地符合人類期望。例如，如果研究表明人類特別重視"共情能力"，而當(dāng)前的AI模型忽視了這一點(diǎn)，那么研究人員可以專門設(shè)計(jì)訓(xùn)練方法來(lái)增強(qiáng)這一能力。

對(duì)于AI系統(tǒng)的使用者來(lái)說(shuō)，這項(xiàng)研究也提供了有價(jià)值的洞見(jiàn)。了解AI是如何"思考"的，可以幫助我們更好地與之互動(dòng)，更準(zhǔn)確地解釋其輸出，也更清楚地知道何時(shí)應(yīng)該質(zhì)疑它的判斷。

研究還揭示了一個(gè)重要事實(shí)：不同類型的偏好機(jī)制(人類、LLM評(píng)判者、獎(jiǎng)勵(lì)模型)關(guān)注不同的概念。這意味著在設(shè)計(jì)AI系統(tǒng)時(shí)，我們需要謹(jǐn)慎選擇適當(dāng)?shù)脑u(píng)估和訓(xùn)練方法，以確保系統(tǒng)符合我們的價(jià)值觀和預(yù)期。

當(dāng)然，這項(xiàng)研究也有一些局限性。首先，使用的是線性模型，可能無(wú)法完全捕捉概念之間的復(fù)雜非線性關(guān)系。其次，研究沒(méi)有探討概念之間的因果關(guān)系，這限制了我們對(duì)偏好機(jī)制內(nèi)部工作原理的深入理解。最后，該方法計(jì)算成本較高，需要大量LLM調(diào)用，可能限制其在某些場(chǎng)景下的應(yīng)用。

展望未來(lái)，這項(xiàng)研究開(kāi)辟了幾個(gè)有前景的研究方向：

一是因果關(guān)系分析。未來(lái)的研究可以探索概念之間的因果關(guān)系，構(gòu)建更完整的偏好機(jī)制工作模型。例如，"清晰度"是否會(huì)影響"有用性"的判斷？

二是跨文化偏好分析。不同文化背景的人可能有不同的偏好標(biāo)準(zhǔn)，未來(lái)研究可以探索這些差異及其對(duì)AI系統(tǒng)設(shè)計(jì)的影響。

三是實(shí)時(shí)解釋系統(tǒng)。開(kāi)發(fā)能夠?qū)崟r(shí)解釋AI決策的系統(tǒng)，讓用戶了解為什么AI推薦了特定回答或內(nèi)容。

Calderon團(tuán)隊(duì)的工作為解釋AI偏好提供了一個(gè)強(qiáng)大的框架，它不僅是對(duì)當(dāng)前AI研究的重要貢獻(xiàn)，也為未來(lái)的探索指明了方向。正如研究者所說(shuō)，這項(xiàng)工作"為L(zhǎng)LM時(shí)代的可解釋性建立了一個(gè)新范式"。

六、深入理解：為什么這項(xiàng)研究如此重要？

要理解這項(xiàng)研究的重要性，我們需要放在更廣闊的AI發(fā)展背景下考慮。當(dāng)前的大型語(yǔ)言模型如ChatGPT、Claude或Gemini正在迅速融入我們的日常生活和工作。然而，這些AI系統(tǒng)往往是"黑盒"——我們輸入問(wèn)題，獲得回答，但很少了解AI為什么給出特定回答而非其他可能的回答。

這種不透明性帶來(lái)了多方面的問(wèn)題。對(duì)用戶而言，難以判斷AI回答的可靠性和適當(dāng)性；對(duì)開(kāi)發(fā)者而言，難以有針對(duì)性地改進(jìn)系統(tǒng)；對(duì)社會(huì)而言，難以確保AI系統(tǒng)符合人類價(jià)值觀和倫理標(biāo)準(zhǔn)。

Calderon團(tuán)隊(duì)的研究正是針對(duì)這一核心挑戰(zhàn)。通過(guò)自動(dòng)發(fā)現(xiàn)和量化影響偏好的概念，研究為AI系統(tǒng)的決策過(guò)程提供了一個(gè)可解釋的框架。這就像是在AI的"思考"過(guò)程中安裝了一個(gè)窗口，讓我們能夠看到內(nèi)部運(yùn)作機(jī)制。

更重要的是，這項(xiàng)研究揭示了人類和AI評(píng)判標(biāo)準(zhǔn)的差異。例如，發(fā)現(xiàn)人類評(píng)判者重視"自信"和"權(quán)威性"，而AI評(píng)判者更注重"準(zhǔn)確性"和"事實(shí)性"，這指出了AI系統(tǒng)可能需要調(diào)整的方向：既要保持事實(shí)準(zhǔn)確性，又要學(xué)會(huì)以人類認(rèn)可的方式表達(dá)這些事實(shí)。

研究的多領(lǐng)域方法也是一個(gè)重要貢獻(xiàn)。通過(guò)在八個(gè)不同領(lǐng)域分析偏好，研究展示了某些概念(如"清晰度"和"專業(yè)知識(shí)")在所有領(lǐng)域都很重要，而其他概念則是領(lǐng)域特定的。這種理解可以指導(dǎo)開(kāi)發(fā)更靈活、更適應(yīng)不同場(chǎng)景的AI系統(tǒng)。

從實(shí)際應(yīng)用角度看，研究提供的兩個(gè)應(yīng)用場(chǎng)景——"黑客評(píng)判者"和"打破平局"——展示了如何將理論發(fā)現(xiàn)轉(zhuǎn)化為實(shí)際工具。這些工具可以幫助改進(jìn)AI生成內(nèi)容的質(zhì)量，增強(qiáng)AI評(píng)判與人類價(jià)值觀的一致性。

最后，從方法論角度看，研究提出的自動(dòng)化概念發(fā)現(xiàn)和表征方法，以及層次多領(lǐng)域回歸模型，為AI解釋性研究提供了新的思路和工具。這種方法不僅適用于偏好機(jī)制，還可能擴(kuò)展到其他AI決策系統(tǒng)的解釋。

總的來(lái)說(shuō)，Calderon團(tuán)隊(duì)的研究不僅增進(jìn)了我們對(duì)AI偏好機(jī)制的理解，還為構(gòu)建更透明、更符合人類價(jià)值觀的AI系統(tǒng)提供了實(shí)用工具和方法。在AI系統(tǒng)日益普及的今天，這樣的研究對(duì)于確保技術(shù)發(fā)展方向與人類福祉一致至關(guān)重要。

七、結(jié)語(yǔ)：透明AI的關(guān)鍵一步

回顧C(jī)alderon、Ein-Dor和Reichart的這項(xiàng)開(kāi)創(chuàng)性研究，我們可以看到它在AI領(lǐng)域開(kāi)辟了一條新路徑。就像給一個(gè)外語(yǔ)學(xué)習(xí)者提供了一本解釋為什么某些表達(dá)方式比其他更好的指南，這項(xiàng)研究幫助我們理解AI系統(tǒng)如何"思考"和"判斷"。

歸根結(jié)底，這項(xiàng)研究的核心貢獻(xiàn)在于它建立了一個(gè)橋梁——連接AI系統(tǒng)的內(nèi)部工作機(jī)制與人類可理解的概念。通過(guò)這座橋梁，我們不僅能更好地理解AI，還能更有效地指導(dǎo)和改進(jìn)AI。

對(duì)于普通用戶，這意味著未來(lái)的AI助手可能會(huì)更好地理解我們的價(jià)值觀和偏好；對(duì)于研究人員，這提供了一種新的方法來(lái)分析和改進(jìn)AI系統(tǒng)；對(duì)于社會(huì)，這有助于確保AI技術(shù)的發(fā)展方向與人類福祉一致。

當(dāng)然，正如所有開(kāi)創(chuàng)性研究一樣，這只是旅程的開(kāi)始，而非終點(diǎn)。未來(lái)的研究可能會(huì)探索更復(fù)雜的非線性關(guān)系，分析概念間的因果聯(lián)系，或者將這種方法應(yīng)用到更廣泛的AI系統(tǒng)中。

如果你對(duì)這項(xiàng)研究感興趣，可以通過(guò)GitHub（https://github.com/nitaytech/PrefExplain）訪問(wèn)研究代碼和數(shù)據(jù)，或者通過(guò)arXiv（arXiv:2505.20088v2）閱讀完整論文。無(wú)論你是AI研究者、開(kāi)發(fā)者還是對(duì)AI未來(lái)感興趣的普通人，這項(xiàng)研究都提供了寶貴的洞見(jiàn)，幫助我們走向更透明、更符合人類價(jià)值觀的AI未來(lái)。