這項由上海AI實驗室張子誠、趙向宇等研究人員領導的研究發(fā)表于2025年1月的arXiv預印本平臺，論文編號為arXiv:2501.13953v2。有興趣深入了解的讀者可以通過https://arxiv.org/abs/2501.13953訪問完整論文。

當我們想要評價一個學生的學習能力時，通常會設計各種考試來測試他們在數(shù)學、語文、英語等不同科目上的表現(xiàn)。類似地，在人工智能領域，研究人員為了評估多模態(tài)大語言模型的能力，也設計了數(shù)百種不同的測試基準。然而，正如給同一個學生反復考相同題目沒有太大意義一樣，當前AI模型評測領域也面臨著一個嚴重問題：太多的測試基準在重復評估相同的能力，造成了大量的資源浪費和評估冗余。

上海AI實驗室的這項研究就像是給AI評測領域做了一次全面的"體檢"，發(fā)現(xiàn)了一個令人擔憂的現(xiàn)象：在每年產(chǎn)生的數(shù)百個評測基準中，存在著大量的重復和冗余。研究團隊通過分析超過100個多模態(tài)大語言模型在20多個不同基準上的表現(xiàn)，系統(tǒng)性地揭示了當前評測體系中的三大冗余問題。

這項研究的意義就像是為混亂的考試制度提供了一套科學的管理方案。在AI技術快速發(fā)展的今天，各種評測基準如雨后春筍般涌現(xiàn)，但缺乏統(tǒng)一的標準和規(guī)劃，導致研究資源的大量浪費。通過這項研究，我們可以更好地理解哪些測試是真正必要的，哪些可能是多余的，從而為未來更高效的AI評測體系建設提供科學指導。

一、多維度冗余問題的系統(tǒng)性分析

研究團隊發(fā)現(xiàn)，當前AI評測中的冗余問題就像是一座冰山，表面看起來只是個別測試的重復，實際上是一個涉及多個層面的系統(tǒng)性問題。他們將這個復雜問題分解為三個主要維度來分析，這種分解方式就像醫(yī)生診斷疾病時要從癥狀、病因、傳播途徑等多個角度來全面分析一樣。

第一個維度是基準內(nèi)部維度的冗余問題。這就好比一份綜合性考試卷子里，數(shù)學部分的幾道題目實際上都在考查同樣的知識點，比如都在測試學生的乘法運算能力，只是換了不同的數(shù)字和情境。在AI評測中，這種現(xiàn)象表現(xiàn)為同一個測試基準內(nèi)部的不同任務實際上在評估模型的相同能力。

第二個維度是測試題目數(shù)量的冗余。這種情況類似于一次考試中出了50道相似的選擇題來測試同一個知識點，而實際上10道題就足以準確評估學生的掌握程度。在AI評測中，許多基準包含了遠超必要數(shù)量的測試實例，導致評測時間和計算資源的浪費，而測試結果的可靠性并沒有因為題目數(shù)量的增加而顯著提升。

第三個維度是跨基準的領域內(nèi)冗余。這就像是針對同一個學科（比如數(shù)學）設計了十幾套不同的考試，但這些考試實際上都在測試相似的能力，只是題目形式略有不同。在特定的AI應用領域內(nèi)，不同的評測基準往往存在重疊的評估目標，導致重復勞動。

為了量化這些冗余問題，研究團隊提出了一個基于性能相關性的分析框架。這個框架的核心思想非常直觀：如果兩個測試任務真正評估的是不同的能力，那么不同模型在這兩個任務上的表現(xiàn)排名應該有明顯差異；反之，如果兩個任務評估的是相同或相似的能力，那么模型們在這兩個任務上的表現(xiàn)排名應該高度一致。

這種分析方法就像是通過觀察學生在不同考試中的成績排名來判斷這些考試是否真的在測試不同能力。如果學霸在語文考試中排第一，在數(shù)學考試中卻排在中等水平，那說明這兩門考試確實在測試不同的能力。但如果某個學生在所有標榜為"數(shù)學測試"的考試中排名都差不多，那就說明這些考試可能都在測試相同的數(shù)學能力。

二、維度冗余的深度剖析

通過對MMBench這個廣泛使用的多模態(tài)評測基準的詳細分析，研究團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象：模型能力的不同層次會顯著影響維度冗余的程度。這種現(xiàn)象就像是用同一套考試來測試小學生和大學生，會得到完全不同的結果模式。

當研究團隊分別分析表現(xiàn)最好的50個模型（稱為Top-50）和表現(xiàn)最差的50個模型（稱為Bottom-50）時，發(fā)現(xiàn)了截然不同的冗余模式。對于表現(xiàn)較差的模型群體，幾乎所有評測維度之間都顯示出很高的相關性，相關系數(shù)普遍超過0.6。這意味著這些能力相對較弱的模型在各個維度上的表現(xiàn)都比較相似，就像是基礎薄弱的學生在各個科目上都表現(xiàn)平平，很難看出他們在不同能力方面的差異。

這種現(xiàn)象的根本原因在于，當模型的基礎能力還不夠強時，它們在面對各種不同類型的任務時，往往都會遇到相似的困難。就好比一個剛學會走路的小孩，無論是在平地、草地還是沙灘上行走，表現(xiàn)都差不多，因為他們的基本協(xié)調(diào)能力還沒有發(fā)展成熟，無法針對不同環(huán)境做出精細的適應性調(diào)整。

相比之下，表現(xiàn)優(yōu)秀的模型群體展現(xiàn)出了更加多樣化的能力分布模式。在Top-50模型的分析中，不同維度之間的相關性顯著降低，許多維度對之間的相關系數(shù)低于0.3。這表明高能力模型在不同任務類型上表現(xiàn)出更大的差異化，就像是優(yōu)秀的學生可能在某些科目上表現(xiàn)突出，在另一些科目上相對平平，體現(xiàn)出更加個性化的能力特征。

通過具體的維度分析，研究團隊發(fā)現(xiàn)了一些有趣的模式。比如，"圖像情感理解"和"社會關系推理"這兩個看似不同的維度在評估中顯示出很強的冗余性，說明這兩種能力在某種程度上依賴相同的基礎理解能力。而"名人識別"這個基于知識記憶的任務則與其他主要基于視覺理解的任務顯示出較低的相關性，體現(xiàn)了知識型任務與感知型任務的本質(zhì)差異。

另一個值得注意的發(fā)現(xiàn)是"圖像主題識別"和"圖像場景理解"這兩個維度表現(xiàn)出相對獨立的特征。這種獨立性可能源于這兩個任務的復雜性：準確識別圖像的整體主題或場景需要模型具備高層次的抽象理解能力，而不僅僅是對局部特征的識別，因此與評估具體屬性或關系的其他維度存在本質(zhì)差異。

三、實例數(shù)量冗余的量化發(fā)現(xiàn)

在測試實例數(shù)量方面的分析中，研究團隊得出了一個令人震驚的結論：大多數(shù)現(xiàn)有的AI評測基準都包含了遠超必要數(shù)量的測試實例，至少50%的測試題目是多余的。這個發(fā)現(xiàn)就像是發(fā)現(xiàn)一場馬拉松比賽實際上跑到一半就足以準確評估選手的真實水平，而后半程只是在重復驗證已經(jīng)明確的結果。

研究團隊通過一種巧妙的抽樣驗證方法來量化這種冗余。他們將每個評測基準的所有測試實例看作是完整的"標準答案"，然后隨機抽取不同比例的實例子集，觀察基于這些子集得出的模型排名與基于完整數(shù)據(jù)集的排名有多大差異。結果顯示，當抽樣比例達到50%時，絕大多數(shù)基準的模型排名相關系數(shù)都能超過0.95，這意味著用一半的題目就能得到幾乎相同的評估結果。

更進一步的分析顯示，這種實例冗余的程度與被評估模型的能力水平密切相關。對于能力較弱的模型群體，甚至30-40%的實例就足以給出可靠的排名結果，而對于能力較強的模型，則需要相對更多的實例來進行精細化的區(qū)分。這種差異就像是用簡單的算術題就能快速區(qū)分數(shù)學零基礎的學生和有一定基礎的學生，但要區(qū)分數(shù)學競賽選手之間的水平差異，就需要更多更難的題目。

在具體的基準分析中，研究團隊發(fā)現(xiàn)不同類型的測試基準表現(xiàn)出不同程度的實例冗余。一些基準如RealWorldQA需要相對更多的實例才能達到穩(wěn)定的評估結果，這可能與其題目設計的多樣性和復雜性有關。而另一些基準則表現(xiàn)出更高的冗余度，暗示其內(nèi)部包含了大量相似或重復的測試實例。

特別值得關注的是，研究團隊發(fā)現(xiàn)用于模型排名的準確性要求和用于絕對性能預測的準確性要求存在顯著差異。如果目標只是確定哪個模型更好（排名），那么相對較少的實例就足夠了；但如果需要準確預測模型的具體性能分數(shù)，則需要更多的實例。這種差異在R?分數(shù)的分析中表現(xiàn)得尤為明顯：即使排名相關性已經(jīng)超過0.95，R?分數(shù)要達到同樣水平仍需要更多實例。

這個發(fā)現(xiàn)對實際應用具有重要意義。在資源有限的情況下，如果研究目標是比較不同模型的相對能力，那么可以適當減少測試實例的數(shù)量；但如果需要精確的性能預測用于實際部署決策，則需要保持更完整的測試集。

四、跨基準領域冗余的案例研究

為了深入理解特定領域內(nèi)不同基準之間的冗余關系，研究團隊選擇了數(shù)學推理這一熱門領域進行詳細的案例研究。數(shù)學推理被認為是評估AI模型高級認知能力的重要指標，因此涌現(xiàn)出了眾多專門的評測基準，包括MathVista、MathVision、MathVerse和DynaMath等。

初步分析顯示，盡管這四個基準都聲稱專注于數(shù)學能力評估，但它們之間的相關性并不如預期那樣強烈。這種現(xiàn)象最初讓研究團隊感到困惑，因為按常理來說，如果這些基準都在測試相同的數(shù)學推理能力，那么模型在不同基準上的表現(xiàn)應該高度一致才對。

深入分析后，研究團隊發(fā)現(xiàn)了問題的根源。以MathVista為例，該基準雖然名為數(shù)學視覺推理測試，但實際上有30-40%的題目屬于通用的視覺問答任務，與數(shù)學推理的關聯(lián)性很弱。這些題目包括科學圖表理解、通用視覺問答、圖表表格分析等內(nèi)容，雖然可能涉及一些數(shù)字或圖形，但本質(zhì)上不是在測試數(shù)學推理能力。

這種情況就像是一份標榜為"數(shù)學考試"的試卷中混入了大量語文閱讀理解題和地理圖表分析題。雖然這些題目可能也涉及一些數(shù)字計算，但它們主要考查的是閱讀理解能力和圖表分析能力，而非核心的數(shù)學推理能力。這種"雜質(zhì)"的存在使得MathVista與其他專注于純數(shù)學推理的基準之間產(chǎn)生了較低的相關性。

為了驗證這一假設，研究團隊進行了一個對照實驗。他們從MathVista中剔除了那些與數(shù)學推理關聯(lián)性較弱的通用視覺問答任務，只保留真正的數(shù)學推理題目，然后重新計算它與其他數(shù)學基準之間的相關性。結果顯示，經(jīng)過"凈化"的MathVista與其他數(shù)學基準的相關性顯著提升，證實了"雜質(zhì)"任務確實是造成低相關性的主要原因。

進一步的分析顯示，MathVerse和MathVision這兩個基準表現(xiàn)出了較高的相關性，因為它們都專注于傳統(tǒng)的數(shù)學推理任務，在任務設計和評估重點上有很多共同點。這種高相關性既可以被解釋為冗余（重復測試相同能力），也可以被理解為驗證（多個獨立基準得出一致結論增強了結果的可信度）。

通過這個案例研究，研究團隊提出了一個重要的基準設計原則：領域內(nèi)基準的冗余度應該與其設計目標相匹配。如果一個基準的目標是全面評估某個領域的核心能力，那么它應該與該領域的其他基準顯示出較高的相關性，體現(xiàn)出良好的領域代表性。相反，如果一個基準的目標是填補現(xiàn)有評估體系的空白，專注于某些特定的子能力，那么它應該與現(xiàn)有基準表現(xiàn)出相對較低的冗余度，體現(xiàn)出獨特的評估價值。

五、冗余評估框架的技術實現(xiàn)

研究團隊提出的冗余評估框架采用了三種不同的統(tǒng)計指標來全面量化相關性：斯皮爾曼等級相關系數(shù)、皮爾遜線性相關系數(shù)和R?決定系數(shù)。這種多指標并用的方法就像是用不同類型的量尺來測量同一個物體，確保測量結果的全面性和可靠性。

斯皮爾曼等級相關系數(shù)主要關注排名的一致性，它回答的問題是："如果模型A在任務X上比模型B表現(xiàn)更好，那么A在任務Y上是否也比B表現(xiàn)更好？"這個指標對異常值不敏感，能夠捕捉到排名關系的整體趨勢。在AI模型評估中，排名往往比絕對分數(shù)更重要，因為我們通常更關心哪個模型更優(yōu)秀，而不是具體的分數(shù)差異。

皮爾遜線性相關系數(shù)則關注數(shù)值之間的線性關系強度，它能夠反映兩個變量之間是否存在穩(wěn)定的數(shù)量關系。這個指標對異常值比較敏感，但能夠提供關于變量間關系強度的精確信息。在基準冗余分析中，高皮爾遜系數(shù)意味著不同基準給出的不僅是相似的排名，還有相似的分數(shù)分布。

R?決定系數(shù)衡量的是一個變量能在多大程度上預測另一個變量的取值。在冗余分析的語境下，高R?值意味著如果知道了模型在基準A上的表現(xiàn)，就能夠相對準確地預測它在基準B上的表現(xiàn)，這直接指向了兩個基準之間的冗余程度。

為了確保分析結果的穩(wěn)健性，研究團隊還引入了Top-K分析的概念。考慮到實際應用中人們往往更關注表現(xiàn)最好的少數(shù)幾個模型，他們專門分析了表現(xiàn)最優(yōu)的K個模型之間的相關性模式。這種分析方法就像是專門研究班級前幾名學生的成績模式，往往能夠發(fā)現(xiàn)不同于全班整體模式的特殊規(guī)律。

在實際計算過程中，研究團隊使用了來自VLMEvalKit的大規(guī)模評估數(shù)據(jù)，這個數(shù)據(jù)集包含了100多個模型在20多個基準上的詳細表現(xiàn)記錄。這種大規(guī)模數(shù)據(jù)的使用保證了分析結果的統(tǒng)計顯著性和泛化能力，避免了小樣本分析可能帶來的偶然性誤差。

六、實證研究的重要發(fā)現(xiàn)

通過對大量真實數(shù)據(jù)的深入分析，研究團隊得出了幾個重要且令人深思的發(fā)現(xiàn)。首先，在基準設計質(zhì)量方面，他們發(fā)現(xiàn)許多被廣泛使用的評測基準都存在不同程度的內(nèi)部冗余問題。這種情況就像是發(fā)現(xiàn)許多知名考試的題目設計存在重復性問題，不同的題目實際上在測試相同的知識點。

特別值得關注的是，研究團隊發(fā)現(xiàn)冗余程度與模型能力水平之間存在反向關系：模型能力越弱，不同維度之間的冗余度越高；模型能力越強，維度間的獨立性越明顯。這個發(fā)現(xiàn)挑戰(zhàn)了一些傳統(tǒng)觀念，暗示我們在設計評測基準時應該考慮目標模型的能力水平。

在實例數(shù)量方面的發(fā)現(xiàn)更是令人震撼。研究顯示，絕大多數(shù)基準都可以在保持評估準確性的前提下將測試實例數(shù)量減少至少一半。這意味著當前的評測體系存在大量的計算資源浪費，這些資源本可以用于開發(fā)更多樣化的測試任務或者進行更深入的模型分析。

跨基準冗余分析揭示了一個更加復雜的圖景。在某些領域內(nèi)，不同基準之間確實存在顯著的功能重疊，但這種重疊的程度和性質(zhì)因領域而異。數(shù)學推理領域的案例研究表明，表面上的低冗余可能掩蓋了基準設計中的問題，而真正的冗余評估需要對基準的具體內(nèi)容進行細致分析。

研究團隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：不同類型的評估目標對實例數(shù)量的需求差異很大。如果目標是進行模型排名，那么相對較少的實例就足夠了；但如果需要準確預測模型的絕對性能，就需要更多的測試實例。這個發(fā)現(xiàn)為實際應用提供了重要的指導原則：根據(jù)評估目標來合理配置測試資源。

七、對AI評測生態(tài)的深遠影響

這項研究的意義遠遠超出了技術層面的發(fā)現(xiàn)，它對整個AI評測生態(tài)系統(tǒng)提出了根本性的反思。當前AI領域的快速發(fā)展催生了大量的評測基準，但這種"百花齊放"的局面也帶來了資源分散和重復建設的問題。

從研究資源配置的角度來看，冗余的評測基準意味著大量的人力、物力和計算資源被浪費在重復性工作上。這些資源本可以用于開發(fā)更有針對性的測試任務，或者用于解決當前評測體系尚未涵蓋的能力盲區(qū)。研究團隊的發(fā)現(xiàn)為重新優(yōu)化資源配置提供了科學依據(jù)。

在學術研究方面，冗余問題可能導致研究方向的偏向。如果某些能力被多個基準重復測試，而另一些重要能力卻缺乏有效的評估手段，那么研究人員可能會過度關注那些"測試充分"的能力，而忽視了其他同樣重要但"測試不足"的能力領域。

對于工業(yè)應用而言，冗余的評測體系增加了模型選擇和部署的復雜性。當面對眾多聲稱測試相同能力的基準時，工程師們往往難以確定應該相信哪個結果，或者需要在多個相似的基準上都進行測試以確保全面性，這無疑增加了開發(fā)和部署的成本。

研究團隊的分析還揭示了評測基準標準化的重要性。目前的基準開發(fā)往往缺乏統(tǒng)一的規(guī)范和協(xié)調(diào)機制，導致不同團隊開發(fā)的基準之間存在不必要的重疊。建立更好的協(xié)調(diào)機制和標準化流程，可以在保持創(chuàng)新活力的同時減少無效的重復工作。

從更宏觀的角度來看，這項研究提出了關于AI評測哲學的深層次問題：我們應該追求評測的全面性還是效率性？如何在確保評估準確性的同時避免過度測試？這些問題沒有標準答案，但研究團隊的工作為相關討論提供了重要的數(shù)據(jù)支撐。

八、基準設計的指導原則

基于大量的實證分析，研究團隊提出了一套科學的基準設計指導原則。這些原則就像是建筑師設計房屋時需要遵循的結構安全規(guī)范，為創(chuàng)建高效、有用的評測基準提供了明確的方向。

第一個核心原則是維度獨立性的平衡。理想的基準應該確保其各個評測維度相對獨立，避免重復測試相同的能力。但研究團隊也認識到，完全的獨立性在實際中可能難以實現(xiàn)，因為許多復雜的AI能力本身就需要多種基礎能力的協(xié)同配合。因此，合理的做法是在保持主要維度獨立的同時，允許適度的能力交叉，這種交叉應該是有意識的設計選擇而非無意中的重復。

第二個原則關注實例數(shù)量的優(yōu)化?；鶞试O計者應該通過系統(tǒng)性的抽樣分析來確定最優(yōu)的實例數(shù)量，既要保證評估結果的可靠性，又要避免不必要的資源浪費。這個過程就像是調(diào)試烹飪配方中各種調(diào)料的用量，既要保證味道的豐富性，又要避免某種調(diào)料過多而掩蓋其他味道。

第三個原則涉及領域代表性的考量。對于旨在全面評估某個特定領域能力的基準，適當?shù)目缁鶞嗜哂鄬嶋H上是有益的，因為它能夠驗證評估結果的一致性和可靠性。相反，如果基準的目標是填補現(xiàn)有評估體系的空白，那么它應該刻意避免與現(xiàn)有基準的重疊，專注于開發(fā)獨特的測試任務。

在實際的基準開發(fā)過程中，研究團隊建議采用迭代式的設計方法。首先開發(fā)一個包含較多維度和實例的初版基準，然后通過冗余分析來識別可能的重復部分，最后基于分析結果對基準進行精簡和優(yōu)化。這種方法可以在保證覆蓋面的同時最大化效率。

研究團隊還強調(diào)了測試對象特征的重要性。由于不同能力水平的模型表現(xiàn)出不同的冗余模式，基準設計者應該明確其目標測試對象的特征。如果主要用于評估高能力模型，那么需要設計更多樣化、更獨立的測試維度；如果主要用于評估基礎能力模型，那么可以適當簡化維度結構。

九、未來研究的廣闊前景

這項開創(chuàng)性研究雖然提供了重要的洞察，但同時也為未來的研究開辟了眾多有待探索的方向。研究團隊坦率地承認了當前工作的一些局限性，這種學術誠實為后續(xù)研究指明了改進的路徑。

首先，當前的冗余評估框架主要基于性能相關性分析，這種方法雖然直觀有效，但可能無法捕捉到一些更微妙的差異。未來的研究可以探索更加精細的分析方法，比如基于模型內(nèi)部表征的相似性分析，或者基于失敗案例模式的差異性分析。這些方法可能揭示出表面上相似但實質(zhì)上不同的評測任務。

其次，目前的研究主要關注靜態(tài)的冗余分析，即基于當前可用模型和基準的分析。但隨著AI技術的快速發(fā)展，模型能力不斷提升，原本具有區(qū)分度的測試任務可能逐漸失去挑戰(zhàn)性。因此，動態(tài)的冗余分析方法值得深入研究，這種方法需要考慮技術發(fā)展的趨勢和評測需求的演變。

模型選擇偏差是另一個重要的研究方向。當前的分析基于特定的模型集合，而不同的模型選擇可能導致不同的冗余結論。未來的研究需要開發(fā)更加穩(wěn)健的分析方法，能夠在不同的模型組合下得出一致的結論，或者至少能夠量化模型選擇對分析結果的影響。

跨模態(tài)和跨領域的冗余分析也是一個充滿潛力的方向。當前的研究主要關注多模態(tài)語言模型，但類似的冗余問題可能在其他類型的AI系統(tǒng)中也存在。擴展當前的分析框架來處理不同模態(tài)、不同任務類型的評測基準，可能為整個AI評測生態(tài)提供更全面的指導。

在方法學層面，開發(fā)自動化的冗余檢測和基準優(yōu)化工具是一個實用性很強的研究方向。這種工具可以幫助基準開發(fā)者在設計階段就識別出可能的冗余問題，或者為現(xiàn)有基準提供優(yōu)化建議。這種工具的開發(fā)需要結合機器學習、統(tǒng)計分析和人機交互等多個領域的知識。

說到底，這項來自上海AI實驗室的研究就像是為混亂的AI評測世界帶來了一面鏡子，讓我們清楚地看到了當前體系中存在的問題和改進空間。它不僅揭示了大量資源被浪費在重復測試上的現(xiàn)實，更為建設更科學、更高效的評測體系提供了具體的行動指南。

這個發(fā)現(xiàn)對所有關心AI發(fā)展的人都很重要。對研究人員來說，它意味著可以把精力集中在真正有價值的測試開發(fā)上，而不是重復造輪子。對企業(yè)來說，它提供了更經(jīng)濟有效的模型評估策略。對整個AI社區(qū)來說，它指向了一個更加規(guī)范和高效的未來發(fā)展方向。

雖然這項研究主要針對多模態(tài)大語言模型，但其提出的分析方法和設計原則具有更廣泛的適用性。隨著AI技術繼續(xù)快速發(fā)展，類似的冗余問題可能在其他AI子領域中也會出現(xiàn)。提前建立科學的評估和管理機制，將有助于整個AI生態(tài)系統(tǒng)的健康發(fā)展。當然，完美的評測體系可能永遠不會存在，但通過持續(xù)的研究和改進，我們至少可以朝著更科學、更有效的方向不斷前進。

Q&A

Q1：什么是多模態(tài)大語言模型評測基準的冗余問題？

A：冗余問題指的是不同的測試基準實際上在重復評估AI模型的相同能力，造成資源浪費。就像給同一個學生反復考相同的題目一樣，許多AI評測基準都在測試模型的相似能力，只是換了不同的題目形式，導致評估效率低下。

Q2：為什么高能力模型和低能力模型的冗余程度不同？

A：低能力模型由于基礎能力薄弱，在各種任務上表現(xiàn)都比較相似，就像基礎薄弱的學生在各科目上都表現(xiàn)平平。而高能力模型已具備較強的基礎能力，在不同類型任務上能表現(xiàn)出更大的差異化，因此不同測試維度之間的冗余度較低。

Q3：這項研究對AI評測行業(yè)有什么實際價值？

A：研究發(fā)現(xiàn)至少50%的測試題目是多余的，這意味著可以大幅減少計算資源浪費，同時為設計更高效的評測基準提供科學指導。對企業(yè)來說可以降低模型評估成本，對研究機構來說可以將資源投入到更有價值的測試開發(fā)上。