這項由復旦大學計算機科學學院奚志恒團隊領導的重要研究成果，于2025年7月4日發(fā)表在計算機科學期刊《arXiv》上（論文編號：2507.03483v1）。該研究匯集了來自復旦大學、上海人工智能實驗室、哈爾濱工業(yè)大學、華東師范大學、牛津大學、悉尼大學等多所知名院校的研究力量。有興趣深入了解的讀者可以通過項目官網https://bmmr.pages.dev/或GitHub代碼庫https://github.com/WooooDyy/BMMR/獲取完整論文和相關資源。

要理解這項研究的重要性，我們不妨從一個簡單的例子開始。當你問一個擅長數(shù)學的AI"2+3等于幾"時，它能立刻給出正確答案。但如果你拿出一張古代建筑的照片，詢問"這種建筑風格體現(xiàn)了什么文化特征"，或者展示一個生物實驗圖，問"這個實驗說明了什么生物學原理"，很多AI就開始"抓瞎"了。這就像一個偏科嚴重的學生，數(shù)學滿分，但其他科目卻表現(xiàn)平平。

當前的大型多模態(tài)模型雖然在數(shù)學推理方面表現(xiàn)出色，但在面對跨學科的復雜問題時卻經常"力不從心"。正如我們在日常生活中會遇到需要同時運用物理、化學、歷史、地理等多學科知識的問題一樣，AI也需要具備這樣的"通識教育"能力。然而，現(xiàn)有的訓練數(shù)據(jù)和評估標準主要集中在單一學科，特別是數(shù)學領域，這就像讓學生只做數(shù)學題而不接觸其他學科一樣。

復旦大學研究團隊正是看到了這個問題，他們決定為AI打造一個"全科教育"的訓練營。這個訓練營就是BMMR數(shù)據(jù)集，它包含了11萬個涵蓋300個不同學科領域的大學水平問題。這些問題不是簡單的選擇題，而是需要深度思考、跨模態(tài)理解和專業(yè)知識的復合型挑戰(zhàn)。

研究團隊的創(chuàng)新不僅僅在于數(shù)據(jù)規(guī)模的龐大，更在于他們構建的評估體系。他們開發(fā)了一個名為"BMMR-Verifier"的評估工具，這個工具就像一位嚴格的老師，不僅會檢查AI給出的最終答案是否正確，還會逐步檢驗AI的思考過程是否合理。這樣的評估方式能夠有效避免AI"蒙對答案"的情況，確保它真正掌握了解題的邏輯和方法。

讓這項研究更具實用價值的是，BMMR數(shù)據(jù)集支持中英雙語，涵蓋了從健康醫(yī)學、商業(yè)法律、信息技術、藝術人文、農業(yè)科學、社會科學、自然科學到工程建造等八大學科門類。每個問題都配有詳細的推理過程說明，就像給學生提供了完整的解題思路。

在對24個不同AI模型的測試中，研究結果令人深思。即使是目前最先進的AI模型，在這個全學科挑戰(zhàn)中的表現(xiàn)也遠不如它們在單一學科中的表現(xiàn)出色。這個發(fā)現(xiàn)就像讓我們意識到，即使是最聰明的"偏科生"，在面對全面發(fā)展的要求時也需要更多的努力和訓練。

一、構建AI的"全科教育"體系

傳統(tǒng)的AI訓練就像讓學生專攻一門課程，雖然能在該領域達到很高水平，但缺乏跨學科的綜合能力。BMMR數(shù)據(jù)集的誕生就是為了改變這種現(xiàn)狀，為AI提供一個全面的"通識教育"環(huán)境。

這個數(shù)據(jù)集的構建過程相當嚴謹，研究團隊采用了聯(lián)合國教科文組織（UNESCO）制定的學科分類標準作為藍圖。這個標準就像教育界的"世界地圖"，將人類知識按照層次分為四個級別：最頂層包含8個主要學科門類，第二層細分為16個子學科，第三層擴展到40個分支，最底層則涵蓋了超過300個具體的專業(yè)領域。

數(shù)據(jù)收集的過程就像組建一個龐大的圖書館。研究團隊從各種來源搜集材料，包括紙質教材、在線課程、考試題庫等。最初收集的數(shù)據(jù)超過200萬條，涉及29種不同類型的圖像內容。但研究團隊并沒有簡單地將這些材料堆砌在一起，而是設計了一套精密的篩選和處理流程。

這套流程的第一步是確保問題和答案的完整性。就像檢查拼圖是否缺少重要碎片一樣，系統(tǒng)會自動識別那些信息不完整或者答案模糊的問題，并將它們剔除。接下來是學科分類和標記階段，系統(tǒng)會像圖書管理員一樣，將每個問題準確地歸類到相應的學科分支中。

安全性和客觀性檢查是另一個重要環(huán)節(jié)。系統(tǒng)會識別并排除那些可能涉及個人偏見或敏感話題的內容，確保最終的數(shù)據(jù)集能夠客觀公正地評估AI的能力。同時，為了確保問題具有足夠的挑戰(zhàn)性，系統(tǒng)還會通過多輪驗證來篩選那些需要多步推理和專業(yè)知識的復雜問題。

在數(shù)據(jù)轉換和增強階段，研究團隊做了一個重要決定：不簡單地將所有問題都轉換為選擇題。選擇題雖然便于評分，但可能降低問題的難度，讓AI通過猜測獲得正確答案。因此，他們保留了多種題型，包括填空題和開放性問答，同時還創(chuàng)建了"事實驗證"任務，要求AI對相關陳述的正確性進行判斷并給出理由。

最后的質量控制階段采用了"級聯(lián)驗證"策略。系統(tǒng)會讓不同能力水平的AI模型對同一問題進行多次嘗試，通過分析它們的一致性來判斷問題的質量。那些過于簡單（所有模型都答對）或過于困難（所有模型都答錯）的問題會被進一步審查。對于仍然存在爭議的問題，研究團隊還邀請了40位來自不同學科背景的專家進行人工驗證。

經過這一系列嚴格的處理，最終的BMMR數(shù)據(jù)集被分為兩個部分：包含約2萬個問題的評估集（BMMR-Eval）和包含約8.9萬個問題的訓練集（BMMR-Train）。評估集主要用于測試AI的綜合能力，而訓練集則為AI的"全科教育"提供豐富的學習材料。

二、打造AI的"嚴格考官"

單純檢查AI給出的最終答案是否正確，就像只看學生的考試成績而不關心他們的解題過程一樣，往往無法真正反映其能力水平。一個學生可能通過死記硬背或運氣得到正確答案，但這并不意味著他真正理解了相關知識。同樣，AI也可能通過某種"技巧"得出正確結果，而非真正掌握推理邏輯。

為了解決這個問題，研究團隊開發(fā)了BMMR-Verifier，這是一個專門用于評估AI推理過程的工具。這個工具就像一位經驗豐富的老師，不僅會看學生的答案是否正確，還會仔細檢查每一個推理步驟是否合理、邏輯是否清晰。

BMMR-Verifier的工作原理相當精巧。當AI面對一個問題時，它需要展示完整的思考過程，就像學生解數(shù)學題時需要寫出詳細的解題步驟一樣。Verifier會逐步分析這些推理過程，對每個步驟給出"正確"、"錯誤"或"無法驗證"的評價。

這個評估工具的訓練過程也很有趣。研究團隊首先收集了14萬個問題的回答樣本，這些樣本來自不同能力水平的AI模型。對于每個問題，系統(tǒng)會生成32個不同的回答版本，然后通過規(guī)則檢查來判斷這些回答的正確性。這個過程就像讓很多學生做同一道題，然后分析哪些解法是正確的，哪些是錯誤的。

接下來，系統(tǒng)會對每個推理步驟進行標記。正確的步驟會被標記為"+"，錯誤的步驟會被標記為"-"。通過這種方式，Verifier學會了如何識別推理過程中的問題所在。這就像訓練一位老師學會發(fā)現(xiàn)學生在解題過程中的常見錯誤。

在實際應用中，BMMR-Verifier可以給出非常細致的反饋。它不僅能指出AI的答案是否正確，還能告訴我們AI在推理過程的哪個環(huán)節(jié)出現(xiàn)了問題。這種詳細的分析對于改進AI的推理能力具有重要價值。

為了驗證這個評估工具的可靠性，研究團隊進行了一系列對比實驗。他們讓GPT-4o和人類專家對同一批推理過程進行評估，然后將結果與BMMR-Verifier的評估進行對比。結果顯示，BMMR-Verifier與GPT-4o的一致性達到了91.67%，與人類專家的一致性更是高達95%。這說明這個工具確實能夠準確評估AI的推理質量。

三、揭示AI的"成績單"

當研究團隊用BMMR數(shù)據(jù)集對24個不同的AI模型進行測試時，結果既在意料之中，又讓人深思。就像讓一群專攻不同學科的學生參加綜合性考試一樣，這些AI模型在面對跨學科挑戰(zhàn)時表現(xiàn)出了明顯的"偏科"現(xiàn)象。

最引人注目的發(fā)現(xiàn)是，即使是目前最先進的AI模型，在這個全學科挑戰(zhàn)中的表現(xiàn)也遠不如人們期待的那樣。以OpenAI的o3模型為例，這個被譽為推理能力極強的模型在BMMR測試中只取得了38.06分的成績。Google的Gemini-2.5-Pro表現(xiàn)稍好一些，獲得了50.15分，但距離人類專家的水平仍有很大差距。

這些結果就像給AI界敲響了警鐘。在數(shù)學等單一學科中表現(xiàn)出色的模型，在面對需要綜合運用多學科知識的問題時，往往顯得力不從心。這種現(xiàn)象反映了當前AI發(fā)展中的一個重要問題：過度專業(yè)化可能會限制AI的通用性。

更有趣的是不同模型在各學科間的表現(xiàn)差異。一些被稱為"推理模型"的AI在某些技術性學科（如信息技術、工程學）中確實表現(xiàn)優(yōu)異，但在人文社科領域卻表現(xiàn)平平。例如，o3模型在信息通信技術領域能達到63.89分，但在健康醫(yī)學領域卻只有27.78分。這種巨大的差異說明，不同類型的推理任務對AI來說難度是不同的。

開源模型與商業(yè)模型之間的差距也很明顯。最好的開源模型Qwen2.5-VL-72B的總分為38.22分，而最好的商業(yè)模型Gemini-2.5-Pro則達到了50.15分。不過，這個差距并非不可逾越。當研究團隊使用BMMR訓練集對開源模型進行訓練后，它們的表現(xiàn)有了顯著提升。

語言能力方面，大多數(shù)模型在中文和英文任務上的表現(xiàn)相對均衡，這說明當前的多語言訓練技術已經相當成熟。但仍有少數(shù)模型存在明顯的語言偏好，比如Phi-4-multimodal在英文任務上得18.84分，但中文任務只有8.78分。

思維鏈推理（讓AI展示完整思考過程）對提升表現(xiàn)起到了重要作用。當AI被要求展示詳細的推理步驟時，它們的表現(xiàn)普遍有所改善，特別是那些專門為推理優(yōu)化的模型。這個發(fā)現(xiàn)強調了透明化思維過程的重要性。

通過BMMR-Verifier的詳細分析，研究團隊還發(fā)現(xiàn)了AI推理中的一些有趣模式。表現(xiàn)更好的模型往往在推理步驟的質量分布上更加均衡，而表現(xiàn)較差的模型則容易在某些推理環(huán)節(jié)出現(xiàn)系統(tǒng)性錯誤。

四、AI學習的"提升之路"

為了驗證BMMR數(shù)據(jù)集的訓練價值，研究團隊選擇了5個不同規(guī)模的開源AI模型，使用BMMR-Train進行了專門的訓練。這個過程就像讓原本偏科的學生接受全面的補習教育，結果令人鼓舞。

訓練后的效果可以說是"立竿見影"。以Qwen2.5-VL-3B模型為例，經過BMMR-Train訓練后，它在信息通信技術領域的表現(xiàn)提升了72.28%，這種提升幅度在AI訓練中是相當罕見的。更令人驚喜的是，經過訓練的BMMR-InternVL2.5-38B模型竟然在8個主要學科中的4個超越了未經訓練的更大規(guī)模模型InternVL2.5-78B。這就像一個經過全面訓練的中等生在綜合考試中超越了只擅長單科的優(yōu)等生。

不同學科的提升效果也很有意思。健康醫(yī)學領域是改進最明顯的領域之一，BMMR-InternVL2.5-78B在這個領域的表現(xiàn)提升了43.34%。這可能是因為醫(yī)學問題往往需要綜合運用多種知識，而多學科訓練正好彌補了原有模型在這方面的不足。

訓練過程中，研究團隊也發(fā)現(xiàn)了一些有價值的經驗。較小的模型（如3B參數(shù)規(guī)模）在某些學科中的提升幅度甚至超過了大型模型，這說明專門的多學科訓練數(shù)據(jù)可能比單純增加模型規(guī)模更加有效。這個發(fā)現(xiàn)對于資源有限的研究團隊來說具有重要意義，它表明通過精心設計的訓練數(shù)據(jù)，較小的模型也能獲得優(yōu)異的跨學科表現(xiàn)。

另一個重要發(fā)現(xiàn)是訓練的"遷移效應"。在某個學科中訓練得到的能力往往能夠幫助模型在相關學科中也取得進步。例如，在自然科學領域的訓練不僅提升了模型在物理、化學方面的表現(xiàn)，也間接改善了它在工程學領域的能力。

五、深入AI的"思維世界"

通過BMMR-Verifier對AI推理過程的深入分析，研究團隊揭示了AI思維中一些有趣而又令人擔憂的模式。這些發(fā)現(xiàn)就像心理學家分析人類思維模式一樣，為我們理解AI的"內心世界"提供了珍貴的窗口。

在對19000個AI回答樣本的錯誤分析中，研究團隊發(fā)現(xiàn)了幾個主要的問題類型。最常見的錯誤是"知識盲區(qū)"，占總錯誤的31.9%。這類錯誤反映了AI在某些專業(yè)領域知識儲備的不足，就像一個學生遇到了從未學過的知識點。第二常見的是"計算推導錯誤"，占28.7%，這說明AI在進行復雜的數(shù)學運算或邏輯推導時仍然容易出錯。

更有趣的是"推理錯誤"類別，占26.4%。這類錯誤往往不是因為AI不知道相關知識，而是在將知識串聯(lián)起來解決問題時出現(xiàn)了邏輯漏洞。這就像學生明明知道所有必要的公式和概念，卻在解題時走錯了方向。

視覺理解錯誤雖然只占9.4%，但卻特別值得關注。在一些需要結合圖像信息的問題中，AI有時會完全忽視圖像內容，轉而基于自己"想象"的情況進行推理。研究團隊展示了一個典型案例：在一道需要分析函數(shù)圖像的數(shù)學題中，AI沒有分析給定的圖像，而是自己虛構了一個完全不同的函數(shù)，然后基于這個虛構的函數(shù)進行計算。這種"幻覺"現(xiàn)象在AI研究中被稱為"hallucination"。

另一個發(fā)現(xiàn)是"過度思考"現(xiàn)象。有些AI模型在面對問題時會陷入無休止的思考循環(huán)，就像一個學生反復驗證自己的答案，最終反而把正確的答案改錯了。在一個案例中，AI最初正確地分析了所有選項，但隨后開始反復質疑自己的判斷，最終得出了錯誤的結論。

通過分析不同模型的推理質量分布，研究團隊還發(fā)現(xiàn)了一個有趣的模式：表現(xiàn)優(yōu)秀的模型往往在推理步驟的質量上更加穩(wěn)定，很少出現(xiàn)明顯的錯誤步驟。而表現(xiàn)較差的模型則容易在推理過程中出現(xiàn)"跳躍"，即跳過重要的中間步驟直接得出結論。

在不同學科的推理質量分析中，研究團隊發(fā)現(xiàn)自然科學和工程學領域的問題往往需要更多步驟的嚴密推理，因此AI在這些領域的推理質量分數(shù)普遍較低。相比之下，社會科學和健康醫(yī)學領域的問題雖然也需要專業(yè)知識，但推理步驟相對簡單，AI在這些領域的推理質量較高。

六、模型能力的"體檢報告"

為了更深入地理解影響AI多學科推理能力的因素，研究團隊對23個不同的AI模型進行了全面的"體檢"。他們從模型規(guī)模、輸出長度和視覺編碼器三個維度分析了這些因素與性能之間的關系，結果呈現(xiàn)出了一些清晰而有趣的模式。

模型規(guī)模與性能之間的關系最為明顯。以Qwen2.5-VL系列為例，從3B參數(shù)的小模型到72B參數(shù)的大模型，性能分數(shù)從13.57分穩(wěn)步提升到38.22分。這種提升趨勢在多個模型系列中都能觀察到，說明增加模型規(guī)模確實是提升AI能力的有效途徑。然而，這種提升并非線性的，隨著模型規(guī)模的增大，邊際收益有遞減的趨勢。

輸出長度（即AI生成回答的詳細程度）與性能的關系更加復雜。一般來說，輸出更詳細推理過程的模型表現(xiàn)更好，但也有例外。某些模型雖然生成了很長的回答，但性能提升并不明顯，甚至出現(xiàn)了下降。研究團隊將這種現(xiàn)象歸因于"過度思考"問題，即模型在某些簡單問題上進行了不必要的復雜推理，反而增加了出錯的概率。

視覺編碼器的參數(shù)量對模型的多模態(tài)理解能力有重要影響。擁有更強視覺編碼能力的模型在需要分析圖像的問題上表現(xiàn)更好。但有趣的是，在同一個模型系列中，不同規(guī)模的模型有時使用相同的視覺編碼器，這時性能差異主要來自于語言理解和推理能力的不同。

除了這些定量分析，研究團隊還深入研究了一些典型的失敗案例，試圖理解AI在跨學科推理中面臨的具體挑戰(zhàn)。通過案例分析，他們發(fā)現(xiàn)了兩種主要的錯誤模式：過度思考和幻覺現(xiàn)象。

過度思考的案例通常發(fā)生在AI對自己的判斷過分質疑的時候。在一個關于地理和環(huán)境科學的綜合題目中，AI最初正確地分析了所有選項，但隨后開始反復驗證某個選項的正確性，最終迷失在過度復雜的推理中，忽略了對其他選項的檢查。這就像一個考生在考試中花費過多時間糾結于某道題，最終影響了整體表現(xiàn)。

幻覺現(xiàn)象則更加令人擔憂。在一個需要分析函數(shù)圖像求拐點的數(shù)學問題中，AI完全忽略了題目提供的函數(shù)圖像，轉而基于自己虛構的分段函數(shù)進行計算。這種錯誤不僅反映了AI在視覺理解方面的不足，更說明了它在整合多模態(tài)信息時存在嚴重缺陷。

這些深入分析為改進AI模型提供了寶貴的方向。研究結果表明，未來的AI發(fā)展不應該僅僅關注單一能力的提升，而需要在視覺理解、知識整合、推理穩(wěn)定性等多個方面協(xié)調發(fā)展。

說到底，這項研究最重要的貢獻可能不在于創(chuàng)造了一個新的數(shù)據(jù)集，而在于它提醒我們：真正智能的AI需要具備跨學科的綜合能力。當前的AI雖然在某些專門領域已經達到甚至超越了人類專家的水平，但在面對需要綜合運用多種知識的復雜問題時，仍然有很長的路要走。

BMMR數(shù)據(jù)集的發(fā)布為AI研究社區(qū)提供了一個重要的工具和標準。它不僅能夠幫助研究者更好地評估AI的綜合能力，也為訓練更加全面的AI模型提供了豐富的資源。更重要的是，它揭示了AI發(fā)展中的一些根本性問題，為未來的研究方向提供了清晰的指引。

對于普通人來說，這項研究的意義在于它讓我們對AI的能力有了更加客觀的認識。雖然AI在某些方面已經非常強大，但它距離真正的通用人工智能還有相當?shù)木嚯x。在可預見的未來，AI更可能在特定領域發(fā)揮輔助作用，而不是完全替代人類的綜合判斷能力。

這項研究也為教育領域提供了有價值的啟示。正如AI需要全面的多學科訓練一樣，人類教育也應該注重培養(yǎng)跨學科的綜合能力。在一個知識高度分化又高度關聯(lián)的時代，能夠整合不同領域知識解決復雜問題的能力變得越來越重要。

隨著BMMR數(shù)據(jù)集和相關工具的公開發(fā)布，我們有理由期待看到更多針對AI綜合能力的研究和改進。這個數(shù)據(jù)集可能會成為AI研究中的一個重要里程碑，推動整個領域向著更加均衡和全面的方向發(fā)展。未來的AI或許能夠真正成為我們在各個知識領域的可靠伙伴，而不僅僅是某個特定領域的專家助手。

Q&A

Q1：BMMR數(shù)據(jù)集與現(xiàn)有的AI評估標準有什么不同？ A：BMMR最大的不同在于它覆蓋了300個不同學科領域，而不是專注于單一學科如數(shù)學。它包含11萬個大學水平的問題，需要AI同時具備視覺理解、專業(yè)知識和跨學科推理能力。更重要的是，它不僅評估最終答案，還通過BMMR-Verifier工具檢查AI的整個思考過程。

Q2：普通人能用BMMR數(shù)據(jù)集測試AI嗎？ A：是的，研究團隊已經將BMMR數(shù)據(jù)集公開發(fā)布。普通用戶可以通過項目官網https://bmmr.pages.dev/獲取相關資源，不過使用這個數(shù)據(jù)集需要一定的技術背景。對于想要了解AI能力的普通用戶，可以關注使用該數(shù)據(jù)集的評測結果和分析報告。

Q3：這項研究會不會影響AI的實際應用？ A：會有積極影響。這項研究揭示了當前AI在跨學科應用中的局限性，有助于開發(fā)更全面的AI系統(tǒng)。通過BMMR訓練集的訓練，開源AI模型的跨學科表現(xiàn)已經獲得了顯著提升。這意味著未來的AI助手可能會在處理復雜的現(xiàn)實問題時表現(xiàn)得更加可靠和全面。