這項由武漢大學人工智能學院的謝倩倩教授領導的研究團隊在2025年8月發(fā)表，論文題為《From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Models》，該研究首次將教育心理學中的認知診斷理論引入到金融AI評估領域。有興趣深入了解的讀者可以通過GitHub項目頁面https://github.com/WHUNextGen/FinCDM訪問完整研究成果。

當我們?nèi)メt(yī)院體檢時，醫(yī)生不會只告訴你"身體狀況70分"就完事，而是會詳細檢查你的心臟、肝臟、肺部各個器官的具體情況，告訴你哪里健康、哪里需要注意。但令人意外的是，在評估金融AI模型時，我們卻一直在用那種簡單粗暴的"總分"方式。

考慮這樣一個場景：兩個學生都考了80分，但一個是因為數(shù)學好語文差，另一個是語文好數(shù)學差。如果只看總分，我們永遠不知道該給他們推薦什么樣的補習班。武漢大學的研究團隊發(fā)現(xiàn)，評估金融AI模型時也存在完全相同的問題。目前所有的評估方法都只給出一個總體得分，比如"在金融問答任務上準確率85%"，但這個分數(shù)完全無法告訴我們這個AI在具體的金融知識點上表現(xiàn)如何。

研究團隊通過深入分析現(xiàn)有評估方法發(fā)現(xiàn)了兩個關鍵問題。第一個問題他們稱為"分數(shù)扁平化"，就像把一幅色彩豐富的畫壓縮成一個灰度值一樣，所有的細節(jié)信息都丟失了。舉個例子，GPT-4o和專門的金融AI模型FinMA在某個金融測試上得分差不多，但實際上GPT-4o更擅長數(shù)值計算（比如計算現(xiàn)金流變化），而FinMA更擅長識別金融概念（比如辨認什么是股東權(quán)益）。傳統(tǒng)評估方法完全掩蓋了這些重要差異。

第二個問題是"覆蓋不平衡"，就像一個偏食嚴重的體檢項目，只檢查心臟和肺，完全忽略肝臟和腎臟?，F(xiàn)有的金融AI測試題目嚴重偏向某些特定領域，比如大部分題目都在問總收入和凈利潤，而稅務、法規(guī)等同樣重要的領域卻很少涉及。這就導致我們對AI模型能力的了解存在嚴重盲區(qū)。

為了解決這個問題，研究團隊開發(fā)出了一套全新的評估框架，他們稱之為FinCDM（金融認知診斷模型）。這個框架的靈感來自教育心理學中的認知診斷理論，就像一個超級精細的醫(yī)學檢查設備，能夠準確診斷出AI模型在每個具體金融知識點上的掌握情況。

想象你是一個經(jīng)驗豐富的教師，面對一群學生的考試答卷。傳統(tǒng)方法只告訴你每個學生的總分，但FinCDM就像擁有透視眼的老師，能夠從學生的答題模式中推斷出他們對每個知識點的掌握程度。如果一個學生在所有涉及"資產(chǎn)負債表"的題目上都答錯了，不管這些題目表面上看起來多么不同，這個框架就能識別出學生在這個特定知識點上存在缺陷。

FinCDM的工作原理可以用拼圖游戲來類比。每道測試題就像一塊拼圖，需要多個知識技能才能完成。比如一道關于企業(yè)財務分析的題目，可能需要會計知識、稅法知識和財務分析技能這三塊"拼圖"。如果一個AI模型缺少其中任何一塊，就無法正確回答這道題。通過分析大量題目的答題模式，F(xiàn)inCDM能夠反推出每個模型具體缺少哪些"拼圖塊"。

一、構(gòu)建全面的金融知識地圖

為了實現(xiàn)精準診斷，研究團隊首先需要構(gòu)建一個全面的金融知識框架。他們選擇了注冊會計師（CPA）考試作為基礎，這就像選擇了一個被廣泛認可的"標準體檢項目單"。CPA考試涵蓋了會計、審計、財務成本管理、公司戰(zhàn)略與風險管理、經(jīng)濟法和稅法六大核心領域，基本覆蓋了金融專業(yè)人士需要掌握的所有重要知識。

基于CPA考試的內(nèi)容和技能規(guī)格說明，研究團隊梳理出了70個核心金融概念，就像建立了一個包含70個房間的知識大廈。這些概念從基礎的"固定資產(chǎn)"、"負債"，到復雜的"長期投資決策"、"企業(yè)合并"，形成了一個完整的知識網(wǎng)絡。每個概念都有明確的定義和邊界，確保診斷結(jié)果的準確性。

為了確保這個知識框架的質(zhì)量，研究團隊采用了嚴格的專家標注流程。三位金融領域?qū)＜遥òㄒ幻究粕?、一名研究生和一名副教授）組成了標注團隊，就像三個不同經(jīng)驗層次的醫(yī)生共同會診。對于70個金融概念中的每一個，三位專家都要獨立創(chuàng)建三道不同的測試題，確保從多個角度全面考察該概念。

這個標注過程就像制作一道復雜菜品，需要多道工序和質(zhì)量檢查。首先，每位專家根據(jù)指定的金融概念創(chuàng)建題目，確保題目清晰、準確且沒有歧義。然后，其他兩位專家要獨立檢查這些題目，評估其相關性、清晰度以及與預期概念的匹配程度。如果出現(xiàn)分歧，三人會進行討論直到達成一致。

研究團隊還建立了嚴格的質(zhì)量控制標準，就像工廠的質(zhì)檢流程。他們使用Krippendorff's alpha等專業(yè)指標來衡量專家之間的一致性，結(jié)果顯示一致性達到了0.937，這是一個非常高的水平，說明專家們對題目質(zhì)量和知識點歸屬的判斷高度一致。最終，他們構(gòu)建了包含210道高質(zhì)量題目的CPA-KQA數(shù)據(jù)集，為精準診斷提供了可靠的"檢測工具"。

二、揭示傳統(tǒng)評估的盲區(qū)

為了更好地展示現(xiàn)有評估方法的局限性，研究團隊還對廣泛使用的FinEval基準測試進行了重新標注。這就像給一個老舊的體檢設備安裝新的診斷軟件，看看能發(fā)現(xiàn)什么新問題。

通過用他們的70個金融概念框架重新審視FinEval中的101道會計相關題目，研究團隊發(fā)現(xiàn)了一個令人驚訝的現(xiàn)象：這些題目的分布極不均勻，就像一個偏食嚴重的營養(yǎng)餐。在FinEval中，"金融工具"這個概念被考了13次，而很多同樣重要的概念卻完全沒有涉及，形成了嚴重的評估盲區(qū)。

這種不平衡會導致什么問題呢？想象一下，如果學?？荚囍豢颊Z文和數(shù)學，從不考英語和科學，那么一個英語很好但數(shù)學很差的學生可能會被錯誤地評價為"學習能力差"。同樣地，如果金融AI評估只關注某些熱門概念，那些在冷門但重要領域表現(xiàn)出色的模型就會被埋沒。

相比之下，CPA-KQA數(shù)據(jù)集在70個概念上保持了相對均衡的分布，就像一份營養(yǎng)均衡的體檢套餐。這種平衡設計能夠更公正、全面地評估AI模型的金融知識掌握情況，避免因為測試偏向而產(chǎn)生的誤導性結(jié)論。

三、認知診斷的技術原理

FinCDM的核心技術原理可以用一個精密的推理游戲來解釋。假設你面前有一個巨大的拼圖，每個AI模型都在嘗試完成不同的拼圖片段，而你需要從他們的成功和失敗模式中推斷出每個模型具體擁有哪些"拼圖技能"。

整個診斷過程基于一個關鍵假設：如果一個AI模型能夠正確回答某道題目，說明它掌握了解決這道題目所需的所有知識技能；如果答錯了，說明它在某些必需的知識點上存在缺陷。通過觀察大量題目的回答模式，系統(tǒng)就能逐步推斷出每個模型的知識掌握"地圖"。

從數(shù)學角度來看，F(xiàn)inCDM使用了一種叫做"非負矩陣共分解"的技術。這個聽起來復雜的名詞其實可以用簡單的比喻來理解：想象你有一個巨大的答題成績表，行是題目，列是AI模型，每個格子里是對錯記錄。FinCDM的任務就是將這個大表格分解成三個更簡單的小表格：一個描述每道題目需要哪些技能，一個描述每個模型掌握各項技能的程度，還有一個描述技能與知識概念之間的對應關系。

這種分解過程就像考古學家從破碎的文物片段中重建古代文明的全貌。通過巧妙的數(shù)學推理，系統(tǒng)能夠從看似雜亂的答題數(shù)據(jù)中提取出清晰的知識掌握模式。每個AI模型都會得到一個詳細的"技能檔案"，顯示它在70個金融概念上的掌握程度，就像一個多維度的能力雷達圖。

四、大規(guī)模模型評估的驚人發(fā)現(xiàn)

研究團隊將FinCDM應用于30個不同的AI模型，包括GPT-4、Claude、Gemini等知名的通用模型，以及專門為金融領域開發(fā)的特化模型。這次大規(guī)模測試就像給30位不同背景的"學生"進行全面體檢，結(jié)果揭示了許多令人意外的發(fā)現(xiàn)。

最令人印象深刻的發(fā)現(xiàn)是模型間的"隱藏差異"現(xiàn)象。表面上看起來表現(xiàn)相似的模型，實際上在具體知識領域的掌握上存在巨大差異。比如，Doubao模型在中國特有的法規(guī)制度和專業(yè)會計領域表現(xiàn)突出，而Gemini則在"債務重組"、"租賃"、"資產(chǎn)負債表后事項"等通用會計概念上展現(xiàn)出卓越理解力。這兩個模型在傳統(tǒng)的總分評估中可能得分相近，但它們的知識結(jié)構(gòu)完全不同，就像兩個總分相同但特長完全不同的學生。

另一個重要發(fā)現(xiàn)是"語言資源效應"的關鍵作用。那些在中文語料上訓練不足的模型，比如Falcon-7B，不僅在總體準確率上表現(xiàn)糟糕（只有15%），在具體概念掌握上也幾乎一片空白。這說明充分的語言基礎是掌握專業(yè)領域知識的前提條件，就像一個不懂中文的外國人很難理解中國的法律條文一樣。

研究還揭示了現(xiàn)有基準測試的嚴重不足。通過概念級別的分析，研究團隊發(fā)現(xiàn)傳統(tǒng)測試嚴重忽視了一些關鍵但復雜的金融概念，比如遞延稅負債、租賃分類、監(jiān)管比率等。這些概念在實際金融工作中極其重要，但在現(xiàn)有測試中幾乎見不到，導致我們對AI模型在這些關鍵領域的能力完全不了解。

五、模型聚類與行為模式識別

通過分析不同模型在70個金融概念上的掌握模式，研究團隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：某些模型會表現(xiàn)出相似的"學習偏好"，形成不同的能力集群。這就像在一個班級里，有些學生在理科方面相似，有些在文科方面相似，反映出不同的知識獲取和處理策略。

比如，GPT-3.5和DeepSeek-VL在財務報告和估值分析方面表現(xiàn)出相似的優(yōu)勢，它們都擅長處理數(shù)字化的、計算密集型的金融任務。而FinGPT和FinQwen則在監(jiān)管要求和宏觀經(jīng)濟推理方面展現(xiàn)出一致的能力，反映出它們在處理政策性、法規(guī)性內(nèi)容方面的特長。

這種聚類模式不是偶然的，而是反映了不同模型訓練數(shù)據(jù)和優(yōu)化目標的差異。通過識別這些模式，我們可以更好地理解不同AI模型的"個性"特征，為特定應用場景選擇最合適的模型。比如，如果你需要處理大量的財務計算工作，選擇第一類模型可能更合適；如果你需要分析政策變化的影響，第二類模型可能是更好的選擇。

六、技術方法的有效性驗證

為了驗證FinCDM方法的有效性，研究團隊進行了詳細的技術比較和案例研究。他們將自己的方法與其他認知診斷技術進行了對比，包括神經(jīng)網(wǎng)絡類方法和圖神經(jīng)網(wǎng)絡方法。結(jié)果顯示，基于矩陣共分解的FinCDM方法在準確率、AUC值和誤差控制方面都顯著優(yōu)于其他方法，準確率提升了17.7個百分點。

研究團隊還進行了一個特別有說服力的案例研究。他們選擇了Claude 3.5模型，重點分析其在F3和F5兩個概念（分別是消費稅法和個人所得稅法）上的表現(xiàn)。FinCDM診斷顯示這個模型在這兩個概念上掌握不足，進一步檢查發(fā)現(xiàn)，Claude 3.5確實在相關的6道題目上全部答錯了。

更有趣的是，研究團隊邀請了5位注冊審計師專家來獨立驗證這個診斷結(jié)果。這5位專家在不知道原始標簽的情況下，獨立判斷這6道題目主要考察什么概念。結(jié)果顯示，其中4位專家的判斷與FinCDM的診斷完全一致，第5位專家的判斷也非常接近。專家間的一致性達到0.80，這個高一致性強有力地證明了FinCDM診斷結(jié)果的可靠性。

七、對未來的啟示和應用前景

這項研究的意義遠不止于提供一個更好的評估工具，它實際上開啟了AI模型評估的新范式。傳統(tǒng)的"一刀切"評估方式就像用一把尺子測量所有東西，而FinCDM提供了一整套精密的測量儀器，能夠針對不同維度進行精確測量。

對于AI模型的開發(fā)者來說，這種詳細的診斷信息極其寶貴。以前他們只知道模型"在金融任務上表現(xiàn)一般"，現(xiàn)在他們可以精確知道模型在哪些具體概念上需要改進。這就像醫(yī)生能夠告訴病人具體哪個器官有問題，而不是簡單地說"身體不太好"。開發(fā)者可以據(jù)此調(diào)整訓練數(shù)據(jù)，針對性地改進模型在薄弱環(huán)節(jié)的表現(xiàn)。

對于需要選擇AI模型的企業(yè)用戶來說，F(xiàn)inCDM提供了前所未有的選擇指導。不同的業(yè)務場景需要不同的知識技能組合，現(xiàn)在他們可以根據(jù)自己的具體需求，選擇在相關概念上表現(xiàn)最好的模型。比如，專門做稅務咨詢的公司可以選擇在稅法相關概念上表現(xiàn)出色的模型，而投資銀行可能更需要在估值和風險管理方面強的模型。

從更廣闊的視角來看，這種認知診斷方法不僅適用于金融領域，還可以推廣到醫(yī)療、法律、教育等其他專業(yè)領域。每個領域都可以建立自己的概念框架和診斷體系，形成一個更加精細、可靠的AI能力評估生態(tài)系統(tǒng)。

研究團隊已經(jīng)將所有數(shù)據(jù)集和評估腳本公開發(fā)布，這意味著其他研究者可以在此基礎上繼續(xù)改進和擴展這個框架。未來我們可能會看到更多語言版本、更多專業(yè)領域的認知診斷工具，最終形成一個全面的AI能力"體檢中心"。

這項研究還為AI模型的"個性化訓練"提供了新思路。就像個性化醫(yī)療根據(jù)每個人的基因特征制定專門的治療方案一樣，未來我們可能能夠根據(jù)每個AI模型的具體知識缺陷，制定個性化的訓練策略，讓每個模型都能在自己的優(yōu)勢領域發(fā)揮最大價值。

說到底，F(xiàn)inCDM最重要的貢獻在于改變了我們看待AI能力的方式。它告訴我們，AI模型不是簡單的"好"與"壞"，而是復雜的、多維度的智能系統(tǒng)，每個模型都有自己獨特的知識結(jié)構(gòu)和能力特征。只有深入了解這些特征，我們才能更好地利用AI技術，讓它們在合適的地方發(fā)揮合適的作用。

這種精細化的評估方法也為AI的可解釋性研究提供了新方向。當我們能夠準確知道一個AI模型具體掌握了哪些知識、缺少哪些技能時，它的行為就變得更加可預測和可信任。這對于金融這樣的高風險領域尤其重要，因為在這里，了解AI的能力邊界往往比了解它能做什么更加關鍵。

Q&A

Q1：FinCDM是什么？它和傳統(tǒng)的AI評估方法有什么不同？

A：FinCDM是武漢大學開發(fā)的金融AI認知診斷框架，就像給AI做全面體檢一樣。傳統(tǒng)方法只給AI一個總分（比如"金融任務80分"），而FinCDM能詳細診斷AI在70個具體金融概念上的掌握情況，告訴你AI具體在哪些知識點上強或弱，就像醫(yī)生告訴你心臟好但肝臟有問題一樣精確。

Q2：為什么需要對金融AI進行這種精細化評估？

A：因為現(xiàn)有評估方法存在嚴重問題。研究發(fā)現(xiàn)，兩個總分相同的AI模型實際能力可能完全不同，一個擅長數(shù)值計算，另一個擅長概念識別。而且傳統(tǒng)測試覆蓋不全面，大量重要的金融概念（如稅務、法規(guī)）很少被測到。精細化評估能幫助企業(yè)根據(jù)具體需求選擇合適的AI，避免用錯模型造成損失。

Q3：CPA-KQA數(shù)據(jù)集有什么特別之處？

A：CPA-KQA是基于注冊會計師考試構(gòu)建的全面金融知識測試集，包含70個核心金融概念和210道高質(zhì)量題目。與現(xiàn)有測試不同，它保持了概念分布的均衡性，避免了某些概念被過度測試而其他重要概念被忽視的問題。所有題目都經(jīng)過三位金融專家嚴格標注和交叉驗證，確保質(zhì)量可靠。