這項由西安交通大學(xué)人機混合增強智能國家重點實驗室的王樂教授團隊與螞蟻集團鄭若冰博士聯(lián)合領(lǐng)導(dǎo)的研究發(fā)表于2025年8月，論文題為《HumanSense: 從多模態(tài)感知到通過推理型多模態(tài)大語言模型實現(xiàn)同理心語境感知響應(yīng)》。有興趣深入了解的讀者可以通過https://digital-avatar.github.io/ai/HumanSense/訪問完整論文和項目主頁。

當你和朋友聊天時，你不僅在聽對方說什么，還在觀察他們的表情、語調(diào)和肢體語言。如果朋友看起來沮喪，即使他們說"沒事"，你也能察覺出不對勁，并給予適當?shù)陌参?。這種能力看似簡單，實際上需要復(fù)雜的感知、理解和推理過程?，F(xiàn)在，研究團隊正在教會AI具備這樣的能力。

當前的AI聊天機器人雖然能夠進行對話，但它們往往像是在讀劇本——缺乏對人類情感的真正理解，無法根據(jù)具體情境給出恰當?shù)幕貞?yīng)。就像一個只會背誦醫(yī)學(xué)教科書的人，雖然知識豐富，但無法成為一個真正理解病人感受的醫(yī)生。

這項研究的核心突破在于創(chuàng)建了一個全新的評估體系，專門測試AI是否真正具備"讀懂人心"的能力。研究團隊不僅要求AI能夠識別人臉和聲音，更重要的是要求它能夠理解隱藏在表象下的真實情感和需求，并給出合適的反饋。

一、搭建AI的"情商測試"——HumanSense評估框架

傳統(tǒng)的AI測試就像讓學(xué)生做數(shù)學(xué)題，只看答案對錯。但評估AI是否真正理解人類卻需要更加精妙的方法。研究團隊設(shè)計的HumanSense框架就像是為AI量身定制的"情商測試"，包含了15項不同難度的測試，總共3882道題目，全部來源于真實的人際互動記錄。

這個測試框架采用了四層金字塔結(jié)構(gòu)，就像學(xué)習(xí)鋼琴一樣，需要從基礎(chǔ)練習(xí)逐步進階到復(fù)雜演奏。最底層的L1和L2級別測試AI的基礎(chǔ)感知能力，相當于訓(xùn)練它"看得清"和"聽得懂"。L1級別包括識別人物外貌特征、基本動作、手勢和面部表情，就像教孩子認識"這個人在笑"或"那個人在揮手"。L2級別則要求AI理解更復(fù)雜的場景，比如判斷一段視頻中發(fā)生了什么復(fù)雜動作，或者識別異常行為。

更高層次的L3級別測試AI的"讀心術(shù)"——能否理解人際關(guān)系中的隱含信息。這包括判斷兩個人的熟悉程度、分析對話氛圍是否和諧、識別人際關(guān)系類型，甚至檢測某人是否在撒謊。這就像要求AI具備心理學(xué)家的洞察力，能夠從微妙的線索中推斷出深層的人際動態(tài)。

最頂層的L4級別測試AI的"同理心"——在理解情境后能否給出恰當?shù)姆答仭＿@不僅要求AI知道對方的感受，還要知道應(yīng)該表現(xiàn)出什么樣的情緒回應(yīng)，或者在心理咨詢場景中給出專業(yè)而溫暖的建議。

整個測試體系的創(chuàng)新之處在于，它不僅測試AI能否正確回答問題，更關(guān)注AI是否能像真正的朋友一樣，在復(fù)雜的人際互動中給出合適的反應(yīng)。研究團隊從YouTube視頻、專業(yè)數(shù)據(jù)集和真實對話記錄中精心挑選了測試材料，確保每一道題目都反映真實生活中的情況。

二、當前AI的"情商體檢報告"

研究團隊對十幾個當前最先進的AI模型進行了全面測試，結(jié)果令人深思。就像給學(xué)生做體檢一樣，這次"情商體檢"揭示了AI在理解人類方面還有很大的進步空間。

在基礎(chǔ)的感知測試中，大多數(shù)AI表現(xiàn)尚可，就像學(xué)生在簡單的選擇題上能得到不錯的分數(shù)。但當測試升級到需要深度理解和推理的高級任務(wù)時，AI的表現(xiàn)就開始顯著下降。人類評估者在整個測試中平均得分87.5%，而表現(xiàn)最好的AI模型也只能達到57.8%，差距相當明顯。

特別有趣的發(fā)現(xiàn)是，那些能夠同時處理視頻、音頻和文字信息的"全能型"AI模型，在高級任務(wù)中明顯優(yōu)于只能處理視覺信息的模型。這就像一個既會看表情又能聽語調(diào)的朋友，總是比只看得見聽不著的朋友更能理解你的真實感受。

研究團隊進行的模態(tài)消融實驗進一步證實了這一點。他們分別測試了AI在使用不同信息來源時的表現(xiàn)，發(fā)現(xiàn)音頻信息在理解人際關(guān)系和情感方面發(fā)揮著至關(guān)重要的作用。當AI同時獲得視覺和聽覺信息時，它在判斷對話和諧程度、識別人際關(guān)系等任務(wù)上的表現(xiàn)都有顯著提升。

然而，即使是最先進的全能型AI，在需要給出恰當反饋的任務(wù)中仍然表現(xiàn)不佳。這揭示了一個關(guān)鍵問題：當前AI的瓶頸不在于基礎(chǔ)的感知能力，而在于缺乏基于多模態(tài)信息進行深度推理的能力。就像一個能夠準確描述病癥但無法給出治療建議的醫(yī)學(xué)學(xué)生，AI雖然能識別情感信號，但還不會將這些信號整合起來，形成對情境的深度理解并給出合適的回應(yīng)。

三、教會AI"推理"的藝術(shù)

面對AI在高級任務(wù)中的表現(xiàn)不足，研究團隊提出了一個創(chuàng)新的解決方案：通過多階段的強化學(xué)習(xí)訓(xùn)練，教會AI進行基于多模態(tài)信息的深度推理。這個過程就像訓(xùn)練一個優(yōu)秀的心理咨詢師，需要循序漸進地培養(yǎng)其觀察、理解和回應(yīng)的能力。

研究團隊設(shè)計的訓(xùn)練方法采用了三個階段的遞進式學(xué)習(xí)。第一階段專注于視覺推理能力的建立，讓AI學(xué)會如何基于看到的信息進行思考和推理。第二階段加入音頻信息，訓(xùn)練AI整合聽覺線索進行推理。第三階段則將視頻、音頻和文字信息完全整合，讓AI學(xué)會在復(fù)雜的多模態(tài)環(huán)境中進行全面推理。

這種訓(xùn)練方法的效果非常顯著。經(jīng)過強化學(xué)習(xí)訓(xùn)練的AI模型在各項任務(wù)中都有了明顯提升，特別是在需要深度理解和推理的高級任務(wù)中。更重要的是，研究團隊發(fā)現(xiàn)訓(xùn)練后的AI確實學(xué)會了一種系統(tǒng)性的推理模式：首先識別關(guān)鍵特征和情感狀態(tài)，然后分析語境信息，最后基于這些綜合信息給出合適的回應(yīng)。

通過分析成功案例，研究團隊發(fā)現(xiàn)AI的推理過程展現(xiàn)出了高度的一致性。無論是分析人際關(guān)系還是提供心理咨詢建議，訓(xùn)練后的AI都會按照"觀察特征→理解情感→分析語境→給出回應(yīng)"這樣的邏輯鏈條進行思考。這種推理模式與人類心理學(xué)家或咨詢師的思維過程非常相似。

四、不需要訓(xùn)練的"速成技巧"

基于對AI成功推理模式的觀察，研究團隊還發(fā)現(xiàn)了一個意外的收獲：可以通過精心設(shè)計的提示語，讓未經(jīng)特殊訓(xùn)練的AI也能顯著提升表現(xiàn)。這就像找到了一個"速成秘籍"，能夠快速激發(fā)AI的潛在推理能力。

研究團隊設(shè)計的提示模板引導(dǎo)AI在分析音頻或視頻時，重點關(guān)注三個方面：人物的關(guān)鍵特征和行為、表達或推斷的情感狀態(tài)，以及對話或語言中的相關(guān)語境信息。然后要求AI基于這些要素進行推理并得出結(jié)論。

這個簡單的提示策略在測試中取得了令人驚喜的效果。使用這種提示方法的AI在多個高級任務(wù)中都有了顯著提升，特別是在需要綜合分析多種信息的任務(wù)中。這表明許多AI模型其實已經(jīng)具備了進行復(fù)雜推理的基礎(chǔ)能力，只是需要正確的引導(dǎo)來激發(fā)這種能力。

這一發(fā)現(xiàn)對于AI應(yīng)用具有重要的實踐意義。它意味著即使是現(xiàn)有的AI模型，通過適當?shù)奶崾驹O(shè)計，也能在人際互動理解方面取得更好的表現(xiàn)。這為那些無法進行大規(guī)模模型訓(xùn)練的研究者和開發(fā)者提供了一個成本較低但效果顯著的改進方案。

五、AI推理的"思維導(dǎo)圖"

通過深入分析訓(xùn)練成功的案例，研究團隊揭示了AI在處理人際互動時的"思維導(dǎo)圖"。這個過程就像一個經(jīng)驗豐富的人際關(guān)系專家在分析復(fù)雜情況時的思考步驟。

在分析人際關(guān)系時，AI首先會觀察視頻中人物的外貌特征、年齡差異和互動方式，然后結(jié)合對話內(nèi)容和語調(diào)變化，最后綜合這些信息判斷兩人的關(guān)系類型。比如在判斷父子關(guān)系時，AI會注意到年齡差異、相似的面部特征、親密的交流方式和家庭化的對話內(nèi)容。

在評估對話和諧程度時，AI學(xué)會了同時關(guān)注言語內(nèi)容和非言語信號。它會分析說話者的情感表達、對話的流暢程度、是否存在緊張或?qū)擂蔚臅r刻，以及雙方的互動頻率。這種多維度的分析讓AI能夠準確判斷對話氛圍，即使在表面看似正常的對話中也能察覺到潛在的緊張關(guān)系。

最令人印象深刻的是AI在心理咨詢場景中的表現(xiàn)。經(jīng)過訓(xùn)練的AI學(xué)會了傾聽來訪者的困擾，識別其情感狀態(tài)，理解問題的核心，然后給出既專業(yè)又有溫度的建議。這個過程體現(xiàn)了AI對人類心理復(fù)雜性的深度理解和恰當回應(yīng)的能力。

這些成功案例表明，通過適當?shù)挠?xùn)練，AI確實可以學(xué)會進行類似人類的復(fù)雜推理，在理解人際互動方面達到相當高的水平。這為開發(fā)更加智能和人性化的AI系統(tǒng)提供了重要的方向和方法。

六、技術(shù)突破的深層意義

這項研究的意義遠遠超出了技術(shù)層面的改進，它實際上為AI與人類的互動方式帶來了根本性的變革。傳統(tǒng)的AI系統(tǒng)更像是高效的工具，能夠執(zhí)行指令、回答問題，但缺乏真正的理解和共情能力。而這項研究展示的AI則更像是一個有溫度的伙伴，能夠感知人類的情感需求并給出貼心的回應(yīng)。

在實際應(yīng)用場景中，這種技術(shù)突破具有廣泛的應(yīng)用前景。在客戶服務(wù)領(lǐng)域，AI能夠更好地理解客戶的不滿情緒并給出安撫性的回應(yīng)。在教育領(lǐng)域，AI可以根據(jù)學(xué)生的情感狀態(tài)調(diào)整教學(xué)方式。在醫(yī)療健康領(lǐng)域，AI可以為患者提供更加人性化的心理支持。在老年人陪伴領(lǐng)域，AI可以成為真正理解老人需求的智能伙伴。

這項研究也揭示了AI發(fā)展的一個重要趨勢：從單純的任務(wù)執(zhí)行向情感智能的演進。就像人類社會的發(fā)展不僅需要高效的工具，更需要理解和關(guān)懷一樣，未來的AI系統(tǒng)也必須具備類似的情感智能才能真正融入人類社會。

研究團隊構(gòu)建的多模態(tài)推理框架為這一發(fā)展方向提供了重要的技術(shù)基礎(chǔ)。通過整合視覺、聽覺和語言信息，AI能夠更全面地理解人類的表達和需求。而基于強化學(xué)習(xí)的訓(xùn)練方法則為AI獲得這種能力提供了有效的途徑。

更重要的是，這項研究證明了AI的情感智能是可以通過系統(tǒng)性的方法來培養(yǎng)和提升的。這為未來開發(fā)更加智能和人性化的AI系統(tǒng)指明了方向，也為實現(xiàn)真正的人機協(xié)作奠定了基礎(chǔ)。

結(jié)論部分，說到底，這項研究做的事情其實很簡單也很重要：教會AI像人一樣理解情感，像朋友一樣給予回應(yīng)。雖然當前的AI在這方面還有很大的提升空間，但研究團隊已經(jīng)找到了正確的方向和有效的方法。

歸根結(jié)底，這不僅僅是一個技術(shù)問題，更是關(guān)于如何讓AI真正服務(wù)于人類福祉的問題。當AI能夠理解我們的情感、體察我們的需求、給出恰當?shù)幕貞?yīng)時，它們就不再只是工具，而是真正的伙伴。這種轉(zhuǎn)變將深刻影響我們與AI的互動方式，也將改變AI在社會中的角色和價值。

這項研究為我們展現(xiàn)了一個充滿希望的未來：AI不僅能夠高效地完成任務(wù)，還能夠理解我們的感受，陪伴我們度過生活中的喜怒哀樂。雖然要實現(xiàn)這個愿景還需要更多的研究和技術(shù)突破，但這項工作無疑是朝著正確方向邁出的重要一步。有興趣了解更多技術(shù)細節(jié)的讀者可以通過項目主頁https://digital-avatar.github.io/ai/HumanSense/訪問完整的研究資料和數(shù)據(jù)集。

Q&A

Q1：HumanSense評估框架是什么，它如何測試AI的情商？

A：HumanSense是西安交通大學(xué)和螞蟻集團聯(lián)合開發(fā)的AI情商測試系統(tǒng)，包含15項測試任務(wù)和3882道題目。它采用四層金字塔結(jié)構(gòu)，從基礎(chǔ)的人臉識別、動作識別，到復(fù)雜的人際關(guān)系判斷、情感理解，最后測試AI能否給出恰當?shù)那楦谢貞?yīng)和心理咨詢建議。

Q2：目前最先進的AI模型在人際互動理解方面表現(xiàn)如何？

A：測試結(jié)果顯示，人類在HumanSense測試中平均得分87.5%，而表現(xiàn)最好的AI模型只能達到57.8%。AI在基礎(chǔ)感知任務(wù)上表現(xiàn)尚可，但在需要深度理解和推理的高級任務(wù)中表現(xiàn)明顯不足，特別是在情感回應(yīng)和心理咨詢等需要共情能力的任務(wù)上。

Q3：研究團隊是如何提升AI情感理解能力的？

A：研究團隊采用了兩種方法：一是通過三階段強化學(xué)習(xí)訓(xùn)練，讓AI逐步學(xué)會整合視覺、聽覺和語言信息進行推理；二是設(shè)計特殊的提示模板，引導(dǎo)AI關(guān)注人物特征、情感狀態(tài)和語境信息，即使未經(jīng)專門訓(xùn)練的AI也能顯著提升表現(xiàn)。