這項由中國科學技術大學杜明軒、許本峰、朱馳偉等研究者與北京元石科技合作完成的研究發(fā)表于2025年6月，論文題目為《DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents》。感興趣的讀者可以通過arXiv:2506.11763v1訪問完整論文，相關代碼和數(shù)據(jù)集也已在GitHub開源。

你有沒有想過，人工智能能不能像一個勤奮的研究生一樣，自己在網(wǎng)上搜索資料，整理信息，最后寫出一份像模像樣的研究報告？答案是肯定的，而且現(xiàn)在已經(jīng)有不少這樣的AI助手在為人們服務了。但問題是，我們怎么知道這些AI助手的研究能力到底有多強呢？

就像給學生出考試題一樣，研究人員需要設計一套標準化的測試來評估這些"深度研究智能體"的真實水平。這就是中科大團隊要解決的核心問題。他們開發(fā)了一個名為"DeepResearch Bench"的評測基準，專門用來測試AI在進行深度研究方面的能力。

這個研究的重要性就像給汽車設計駕照考試一樣關鍵。如果沒有統(tǒng)一的評測標準，我們就無法判斷哪款AI研究助手更可靠，也無法推動整個領域的進步。更重要的是，這些AI研究助手正在被越來越多的人使用，從學者到商業(yè)分析師，從記者到投資顧問，大家都希望能有一個得力的數(shù)字助手來幫忙處理繁重的信息收集和分析工作。

研究團隊面臨的挑戰(zhàn)其實很像給廚師設計一場終極烹飪比賽。首先，比賽題目必須足夠真實，要反映真正的研究需求，而不能只是紙上談兵。其次，評判標準要公平合理，既要看菜品的味道（研究質量），又要看制作過程（信息收集能力），還要考慮呈現(xiàn)效果（報告可讀性）。最關鍵的是，這套評判體系必須得到專業(yè)評委（人類專家）的認可。

為了構建這套評測基準，研究團隊首先做了一項"市場調研"。他們收集了超過9萬6千條真實用戶查詢記錄，通過AI篩選出了4萬4千多條真正需要深度研究的問題。這就像餐廳老板統(tǒng)計顧客最常點的菜品一樣，要了解人們真正需要什么樣的研究服務。

基于這些真實需求，他們最終精心挑選了100個研究任務，覆蓋22個不同領域，從科技前沿到商業(yè)分析，從社會熱點到學術探索。每個任務都經(jīng)過相關領域博士級專家的精心設計和反復打磨，確保既有挑戰(zhàn)性又貼近實際需求。這個過程就像策劃一場包含各種菜系的美食節(jié)，每道菜都要經(jīng)過米其林大廚的認證。

一、雙重評測框架：既看"做菜過程"又品"最終味道"

評估一個AI研究助手的能力，就像評判一位廚師的水平一樣，既要看他做菜的過程，又要品嘗最終的成品。研究團隊巧妙地設計了兩套互補的評測框架，分別對應這兩個方面。

第一套框架叫做RACE（Reference-based Adaptive Criteria-driven Evaluation），專門用來評判AI生成的研究報告質量。這就像美食比賽中的"成品評分"環(huán)節(jié)。傳統(tǒng)的評分方法往往過于死板，就像用同一套標準評判川菜和粵菜一樣不合理。RACE框架的創(chuàng)新之處在于它能夠根據(jù)不同的研究任務動態(tài)調整評分標準。

RACE框架的工作原理可以用高級餐廳的品鑒過程來類比。首先，系統(tǒng)會根據(jù)具體的研究任務確定四個主要評分維度的權重：全面性（是否涵蓋了所有重要信息）、深度洞察（分析是否深入透徹）、任務匹配度（是否完全回答了問題）和可讀性（表達是否清晰流暢）。就像評判一道菜時，有時更注重口味，有時更看重擺盤，有時則優(yōu)先考慮營養(yǎng)搭配。

接著，系統(tǒng)會為每個維度生成具體的評分標準。這個過程就像為每種菜系制定專門的評判細則一樣精細。比如評估一份關于人工智能發(fā)展趨勢的報告時，全面性可能要求涵蓋技術發(fā)展、市場應用、監(jiān)管政策等多個角度；而評估投資建議報告時，可能更關注數(shù)據(jù)支撐和風險分析的質量。

最巧妙的是，RACE不會讓AI在真空中給自己打分，而是采用"對比評分"的方式。系統(tǒng)會拿一份公認的高質量報告作為參照標準，然后比較待評估報告與參照報告在各個方面的表現(xiàn)。這就像品酒師總是需要一瓶標準酒作為基準來校正自己的味覺判斷。通過這種相對評分機制，系統(tǒng)能夠更準確地識別不同報告之間的質量差異。

第二套框架叫做FACT（Factual Abundance and Citation Trustworthiness），專門評估AI在信息收集和引用方面的能力。這就像觀察廚師選材和處理食材的過程。一個優(yōu)秀的研究助手不僅要能找到大量相關信息，更重要的是要確保引用的準確性和可靠性。

FACT框架的評估過程就像質檢員檢查食材來源一樣嚴格。系統(tǒng)首先會從AI生成的報告中提取出所有的"陳述-鏈接"配對，也就是每一個具體的論斷和它對應的信息來源。然后，系統(tǒng)會逐一驗證這些引用是否準確：訪問原始網(wǎng)頁，檢查頁面內(nèi)容是否真的支持AI所聲稱的論斷。

這個驗證過程可以想象成這樣一個場景：如果AI聲稱"某項研究顯示XYZ"，F(xiàn)ACT框架就會去查看AI引用的那個網(wǎng)頁，看看是否真的包含這樣的研究結果。如果網(wǎng)頁內(nèi)容確實支持這個說法，就算一次"有效引用"；如果網(wǎng)頁根本沒有相關內(nèi)容，或者內(nèi)容與AI的表述不符，就被標記為"無效引用"。

通過統(tǒng)計有效引用的數(shù)量和比例，F(xiàn)ACT框架能夠計算出兩個關鍵指標：引用準確率（多少比例的引用是可靠的）和平均有效引用數(shù)（每份報告平均包含多少條可驗證的有價值信息）。這就像評估一位廚師既看他選擇食材的品質，又看他使用食材的豐富程度。

二、人機對決：誰是最強研究助手

研究團隊將目前市面上最知名的四個深度研究AI系統(tǒng)放在了同一個擂臺上：谷歌的Gemini深度研究助手、OpenAI的深度研究助手、xAI的Grok深度搜索，以及Perplexity的深度研究功能。這場對決就像舉辦一場"AI廚神爭霸賽"，每個參賽者都要完成同樣的100道考題。

比賽的結果頗有意思。在報告質量方面，谷歌的Gemini系統(tǒng)表現(xiàn)最為出色，總分達到48.88分（滿分100分的相對評分系統(tǒng)），就像一位全面發(fā)展的主廚，在各個方面都表現(xiàn)均衡。OpenAI的系統(tǒng)緊隨其后，得分46.98分，特別是在"任務匹配度"這個維度上甚至超過了Gemini，說明它在理解和回應用戶需求方面有獨特優(yōu)勢。

Perplexity的表現(xiàn)也不錯，得分42.25分，而Grok稍顯遜色，得分40.24分。這個結果并不意外，因為不同的AI系統(tǒng)在設計理念和優(yōu)化重點上本就存在差異，就像不同風格的廚師各有所長。

在信息收集能力的較量中，結果更加引人深思。Gemini系統(tǒng)在"有效引用數(shù)"方面遙遙領先，平均每份報告包含111.21條有效引用，這個數(shù)字相當驚人。要知道，一般的學術論文也就幾十條參考文獻，而Gemini能夠在自動化的過程中收集并正確引用超過百條相關信息，展現(xiàn)了強大的信息整合能力。

然而，在引用準確率方面，Perplexity表現(xiàn)最佳，準確率達到90.24%，而Gemini的準確率為81.44%。這種對比就像一位廚師用料豐富但偶爾會放錯調料，而另一位廚師用料相對保守但每樣都恰到好處。OpenAI的系統(tǒng)在兩個指標上都表現(xiàn)中等，平均有效引用數(shù)40.79條，準確率77.96%，屬于比較均衡的表現(xiàn)。

研究團隊還測試了一些傳統(tǒng)的搜索增強型AI系統(tǒng)，比如配備搜索功能的Claude、GPT等。這些系統(tǒng)的表現(xiàn)明顯不如專門的深度研究助手，就像讓普通廚師和專業(yè)大廚同臺競技，差距立刻顯現(xiàn)出來。其中表現(xiàn)最好的是Claude-3.7-Sonnet，總分40.67分，雖然比不上專業(yè)的研究助手，但也展現(xiàn)了不錯的潛力。

三、人類專家的認可：AI評分與人類判斷高度一致

任何評測系統(tǒng)最終都需要經(jīng)過"人類專家"這道關卡的檢驗。研究團隊招募了70多位擁有碩士學位和相關領域專業(yè)經(jīng)驗的評估者，讓他們對50個中文研究任務的結果進行人工評分。這個過程就像邀請資深美食家來驗證AI評委的打分是否靠譜。

人工評估的工作量相當龐大。每位專家需要仔細閱讀AI生成的研究報告，這些報告往往有幾十頁的內(nèi)容，包含大量技術細節(jié)和復雜分析。一份報告的完整評估通常需要30到60分鐘，整個項目總共消耗了225個小時的人工評估時間。這個數(shù)字聽起來可能不算大，但考慮到每小時都是高質量的專業(yè)判斷，其價值不言而喻。

驗證結果讓人欣慰。RACE框架的評分與人類專家的判斷呈現(xiàn)出非常強的相關性，在多個指標上的一致性都超過了70%。特別是在"配對比較準確率"這個指標上，RACE框架與人類專家的判斷一致性達到71.33%，甚至超過了人類專家之間的一致性（68.44%）。這就好比AI評委的判斷比人類評委之間的判斷還要一致。

這個結果有著重要的實際意義。它證明了AI確實可以在一定程度上替代人工評估，這為大規(guī)模、持續(xù)的系統(tǒng)評測提供了可能。畢竟，招募大量專家進行人工評估不僅成本高昂，而且難以保證評估標準的一致性。有了可靠的自動化評測系統(tǒng)，研究人員就能更快速地迭代改進，推動整個領域的進步。

研究團隊還進行了細致的對比實驗，測試了不同評估方法的效果。他們發(fā)現(xiàn)，簡單粗暴的"一刀切"評分方法效果很差，而RACE框架的各個組件都發(fā)揮了重要作用。比如，去掉"參照報告對比"這個環(huán)節(jié)后，評估準確性明顯下降；去掉"任務適應性權重"后，評估的針對性也會受損。這進一步證實了整套評估體系設計的科學性。

四、橫跨22個領域的全面考驗

DeepResearch Bench的100個測試任務覆蓋了22個不同領域，這種設計就像舉辦一場包含各種菜系的國際烹飪大賽。研究團隊通過分析9萬多條真實用戶查詢，統(tǒng)計出人們在不同領域的研究需求分布，然后按比例設計測試任務，確保基準測試能夠反映真實世界的使用場景。

科技和商業(yè)領域占據(jù)了最大的比重，這并不令人意外。在信息爆炸的時代，人們最需要AI幫助的往往是追蹤技術發(fā)展趨勢、分析市場動態(tài)、評估投資機會等任務。比如，一個典型的科技類任務可能是"分析當前無人機在物流配送領域的應用現(xiàn)狀和發(fā)展前景"，而商業(yè)類任務可能是"評估電動汽車充電基礎設施在郊區(qū)投資的可行性"。

教育、健康、法律等傳統(tǒng)重要領域也有相當?shù)姆至?。這些領域的研究任務往往更加復雜，需要AI不僅能收集信息，還要能理解專業(yè)概念，處理政策法規(guī)等結構化信息。比如一個教育領域的任務可能是"分析遠程教育對不同年齡段學習效果的影響"，需要AI整合教育心理學、技術應用、實證研究等多方面的信息。

有趣的是，一些相對小眾的領域如宗教研究、社會生活等也被納入測試范圍。這種全面性設計確保了評測基準的普適性，畢竟AI研究助手的潛在用戶群體非常廣泛，不應該只服務于某些特定領域。

從測試結果來看，不同AI系統(tǒng)在各個領域的表現(xiàn)相對穩(wěn)定，這說明目前的深度研究AI已經(jīng)具備了一定的通用性。不過，研究團隊也發(fā)現(xiàn)了一些有趣的規(guī)律。比如，在交通運輸領域的中文任務上，所有AI系統(tǒng)的表現(xiàn)都低于平均水平，這可能反映了該領域中文信息資源的相對稀缺，或者該類問題的特殊復雜性。

五、技術細節(jié)：如何讓機器像人類專家一樣思考

RACE評估框架的技術實現(xiàn)頗具巧思，整個過程就像訓練一位AI評委逐步掌握專業(yè)評估技能。首先，系統(tǒng)需要理解每個具體研究任務的特點和要求，這就像評委需要了解比賽規(guī)則和評分標準。

權重生成過程采用了"多輪平均"的策略來提高穩(wěn)定性。系統(tǒng)會針對同一個任務多次生成權重分配方案，然后取平均值作為最終權重。這種做法就像邀請多位專家分別給出意見，然后綜合決策，能夠有效減少單次判斷的偶然性誤差。

標準生成環(huán)節(jié)更加精細化。對于每個評估維度，系統(tǒng)不是簡單地使用固定標準，而是根據(jù)任務特點動態(tài)生成具體的評分細則。比如評估一份關于人工智能倫理的報告時，"全面性"維度可能要求涵蓋技術發(fā)展、社會影響、監(jiān)管政策、倫理爭議等多個方面；而評估投資分析報告時，可能更關注市場數(shù)據(jù)、財務指標、風險評估等內(nèi)容。

參照報告的選擇策略也經(jīng)過精心設計。研究團隊使用高性能的Gemini-2.5-Pro系統(tǒng)生成參照報告，這些報告質量較高且風格相對統(tǒng)一，為后續(xù)的對比評估提供了可靠的基準。這就像在烹飪比賽中設置一道標準菜品，讓評委能夠通過對比來判斷參賽作品的優(yōu)劣。

FACT框架的技術挑戰(zhàn)主要在于如何準確地提取和驗證大量的引用信息。系統(tǒng)首先使用自然語言處理技術從報告中識別所有的陳述性內(nèi)容，并找到對應的URL鏈接。然后使用Jina Reader API獲取網(wǎng)頁內(nèi)容，再通過AI判斷網(wǎng)頁內(nèi)容是否支持相關陳述。

這個過程的準確性至關重要。研究團隊通過人工標注驗證發(fā)現(xiàn)，Gemini-2.5-Flash在這類判斷任務上的準確率相當高：對于"支持"類判斷的準確率達到96%，對于"不支持"類判斷的準確率達到92%。這種高準確率為自動化評估提供了可靠的技術基礎。

六、成本效益：讓AI評估變得既準又省

開發(fā)這套評估系統(tǒng)的一個重要考量是成本控制。畢竟，如果評估成本過高，就很難實現(xiàn)大規(guī)模應用。研究團隊在設計時充分考慮了性能與成本的平衡，就像設計一套既能保證質量又能控制成本的生產(chǎn)流水線。

在RACE框架中，研究團隊測試了多種不同性能的AI模型作為評判者。結果顯示，Gemini-2.5-Pro在性能上表現(xiàn)最佳，平均每次評估成本約0.13美元，性價比相當不錯。相比之下，最新的GPT-o3模型雖然性能也不錯，但成本高達0.37美元，不太適合大規(guī)模使用。而GPT-4-mini雖然成本最低（0.04美元），但性能稍有不足。

FACT框架的成本控制更加精妙。由于需要處理大量的網(wǎng)頁內(nèi)容和引用驗證，token消耗量相當龐大。研究團隊選擇了Gemini-2.5-Flash作為判斷模型，雖然性能略低于Pro版本，但在引用驗證這類相對簡單的任務上表現(xiàn)依然出色，而成本卻大幅降低。

這種成本控制策略的實際意義很大。按照當前的成本水平，評估一份研究報告的總成本大約在幾美分到幾角錢之間，這個成本水平使得大規(guī)模、持續(xù)的系統(tǒng)評測成為可能。相比之下，人工評估的成本至少是AI評估的幾十倍，而且還面臨一致性和規(guī)?；奶魬?zhàn)。

七、現(xiàn)實意義：推動AI研究助手的進步

這項研究的價值遠超學術范疇，它為整個AI研究助手行業(yè)提供了一個重要的"質量標尺"。就像汽車行業(yè)有了統(tǒng)一的安全測試標準后，各家廠商都會努力提升產(chǎn)品質量以在測試中獲得好成績，AI研究助手領域也需要這樣的標準化評測體系。

從評測結果可以看出，目前最先進的AI研究助手在信息收集和整合方面已經(jīng)相當出色，但在準確性方面仍有提升空間。這為未來的技術發(fā)展指明了方向：如何在保持信息豐富性的同時提高引用準確率，如何更好地理解復雜的研究需求，如何生成更具洞察力的分析內(nèi)容等。

對于普通用戶而言，這項研究也提供了選擇AI研究助手的參考依據(jù)。不同的AI系統(tǒng)各有特色：如果你需要收集大量信息進行全面分析，Gemini可能是更好的選擇；如果你更看重信息的準確性和可靠性，Perplexity可能更適合；如果你希望AI能更好地理解你的具體需求，OpenAI的系統(tǒng)可能表現(xiàn)更佳。

研究團隊將整套評測基準和評估工具開源，這意味著其他研究者和開發(fā)者都可以使用這套工具來評估自己的系統(tǒng)，或者在此基礎上進一步改進。這種開放式的發(fā)展模式有助于整個領域的快速進步，就像開源軟件推動了整個軟件產(chǎn)業(yè)的發(fā)展一樣。

值得注意的是，這項研究也揭示了當前AI研究助手存在的一些局限性。比如，在處理某些特定領域的中文內(nèi)容時表現(xiàn)不夠理想，在引用準確性方面還有提升空間等。這些發(fā)現(xiàn)為未來的技術改進提供了明確的方向。

八、未來展望：更智能的研究伙伴

隨著AI技術的快速發(fā)展，深度研究助手正在變得越來越強大。但正如這項研究所顯示的，我們?nèi)匀恍枰煽康脑u估方法來跟蹤技術進步，確保AI系統(tǒng)真正服務于人類的研究需求。

未來的AI研究助手可能會在多個方面實現(xiàn)突破。首先是多模態(tài)能力的增強，不僅能處理文本信息，還能分析圖表、視頻等多種類型的內(nèi)容。其次是推理能力的提升，能夠進行更深層次的邏輯分析和創(chuàng)新性思考。再次是個性化適應，能夠根據(jù)用戶的專業(yè)背景和偏好調整輸出風格和深度。

評估方法本身也需要不斷演進。隨著AI能力的提升，評測任務的難度和復雜性也需要相應提高。同時，評估維度可能需要擴展，比如加入創(chuàng)新性、邏輯一致性、跨領域整合能力等新的評價標準。

更重要的是，我們需要確保AI研究助手的發(fā)展始終以服務人類為根本目標。技術進步不應該是為了炫技，而是要真正幫助人們更高效地獲取知識、分析問題、做出決策。這就需要像DeepResearch Bench這樣的評測基準來持續(xù)監(jiān)督和引導技術發(fā)展的方向。

說到底，AI研究助手的真正價值在于能否成為人類思考的得力伙伴，而不是簡單的信息搬運工。當我們面臨復雜的研究問題時，優(yōu)秀的AI助手應該能夠像一位博學的同事一樣，不僅提供全面準確的信息，還能提出有價值的見解和建議。要實現(xiàn)這個目標，我們還有很長的路要走，但像這樣的基礎性研究工作為我們指明了前進的方向。

歸根結底，這項研究的最大貢獻可能不在于具體的技術細節(jié)，而在于它為整個領域建立了一套科學、公正、實用的評估標準。有了這樣的標準，AI研究助手的開發(fā)者們就有了明確的努力方向，用戶們也有了選擇產(chǎn)品的可靠依據(jù)，整個行業(yè)的發(fā)展也會更加健康有序。對于我們普通人來說，這意味著未來會有更好用、更可靠的AI研究助手來幫助我們應對信息時代的各種挑戰(zhàn)。如果你對這個研究的技術細節(jié)感興趣，不妨訪問一下他們的開源項目，說不定會有意想不到的收獲。

Q&A

Q1：DeepResearch Bench是什么？它能做什么？ A：DeepResearch Bench是中科大團隊開發(fā)的AI研究助手評測基準，包含100個跨22個領域的研究任務。它的核心功能是測試AI系統(tǒng)能否像人類研究者一樣進行信息收集、分析和報告撰寫，為不同AI研究助手的能力提供客觀的評分和排名。

Q2：目前哪個AI研究助手表現(xiàn)最好？ A：從測試結果看，谷歌的Gemini深度研究助手綜合表現(xiàn)最佳，特別是在信息收集方面能平均引用111條有效信息。OpenAI的系統(tǒng)在理解用戶需求方面更強，而Perplexity在引用準確性方面表現(xiàn)最好，準確率達90.24%。不同系統(tǒng)各有特色，適合不同的使用需求。

Q3：這個評測系統(tǒng)準確嗎？會不會比人工評估差？ A：研究團隊通過225小時的人工驗證發(fā)現(xiàn)，他們的RACE評估框架與人類專家判斷的一致性達71.33%，甚至超過了人類專家之間的一致性（68.44%）。這說明AI評估在保證準確性的同時，還能提供更一致的評判標準，成本也遠低于人工評估。