這項由北京大學(xué)物理學(xué)院師生團隊聯(lián)合開發(fā)的研究成果于2025年5月發(fā)表，論文標(biāo)題為"PHYBench: Holistic Evaluation of Physical Perception and Reasoning in Large Language Models"。該研究構(gòu)建了首個專門評估AI大語言模型物理推理能力的基準(zhǔn)測試，有興趣深入了解的讀者可以通過https://www.phybench.cn/訪問完整數(shù)據(jù)集和研究成果。

當(dāng)我們談?wù)撊斯ぶ悄艿臅r候，經(jīng)常會聽到一些令人印象深刻的成就：AI能寫詩、能畫畫、能編程，甚至在某些考試中表現(xiàn)得比人類還要出色。然而，當(dāng)北京大學(xué)物理學(xué)院的研究團隊讓目前最先進的AI模型去解決一些物理問題時，結(jié)果卻讓人大跌眼鏡。就連被譽為最強大的Gemini 2.5 Pro模型，在面對這些物理題目時，準(zhǔn)確率也只有可憐的36.9%，而人類專家的平均準(zhǔn)確率卻達到了61.9%。

這個發(fā)現(xiàn)揭示了當(dāng)前AI技術(shù)一個重要的盲點：盡管這些模型在很多任務(wù)上表現(xiàn)優(yōu)異，但在需要深度物理理解和復(fù)雜推理的場景中，它們的表現(xiàn)仍然遠不如人類。這就好比一個背書很厲害的學(xué)生，在面對需要真正理解和應(yīng)用物理原理的綜合題時，就露出了馬腳。

為了深入探究這個問題，北京大學(xué)的研究團隊開發(fā)了一個名為PHYBench的評測基準(zhǔn)。這個基準(zhǔn)包含了500道精心設(shè)計的物理題目，難度從高中物理一直延伸到物理奧林匹克競賽水平。更重要的是，這些題目都是全新創(chuàng)作的，確保AI模型在訓(xùn)練過程中從未見過這些內(nèi)容，從而避免了"題海戰(zhàn)術(shù)"帶來的虛假表現(xiàn)。

研究團隊總共動員了178名北京大學(xué)物理學(xué)院的學(xué)生參與題目的編寫、審核和完善工作。這個過程就像是精心打造一把測量AI真實能力的"尺子"。每道題目都經(jīng)過了多輪嚴(yán)格的質(zhì)量控制，確保問題表述清晰、答案唯一、可以通過物理原理求解。最終，從757道候選題目中篩選出了500道最高質(zhì)量的題目，篩選率達到66.1%。

更有趣的是，研究團隊還發(fā)明了一種新的評分方法，叫做"表達式編輯距離分?jǐn)?shù)"（EED Score）。傳統(tǒng)的評測方法只看答案對錯，就像考試只給滿分或零分。而這種新方法能夠識別出答案中的部分正確性，就好比老師不僅看最終答案，還會根據(jù)解題過程給分。這種評分方法的效率比傳統(tǒng)方法提高了204%，能夠更精確地區(qū)分不同模型的能力差異。

一、當(dāng)AI遇到物理學(xué)：一場意料之外的"滑鐵盧"

當(dāng)研究團隊開始測試各種AI模型時，結(jié)果確實令人意外。在這場"物理大考"中，即使是目前被認(rèn)為最強大的推理模型，表現(xiàn)也只能用"差強人意"來形容。Gemini 2.5 Pro作為最佳表現(xiàn)者，36.9%的準(zhǔn)確率聽起來不算太糟，但考慮到人類專家61.9%的表現(xiàn)，這個差距就顯得相當(dāng)明顯了。

其他知名模型的表現(xiàn)更是讓人大跌眼鏡。比如OpenAI的o4-mini模型準(zhǔn)確率只有29.4%，而一些規(guī)模較小的32B參數(shù)模型，如QwQ-32B和DeepSeek-R1-Distill-Qwen-32B，準(zhǔn)確率甚至只有1.2%和2.6%。這就好比讓一群平時成績不錯的學(xué)生去參加物理競賽，結(jié)果發(fā)現(xiàn)大部分人連及格線都達不到。

這種表現(xiàn)差距并不是偶然的。研究發(fā)現(xiàn)，PHYBench中的題目需要模型生成平均超過10,000個字符的推理過程，遠遠超過其他基準(zhǔn)測試的要求。這說明物理推理確實需要更長的思維鏈條和更復(fù)雜的邏輯關(guān)系。

更加值得關(guān)注的是，這些AI模型在其他著名的推理基準(zhǔn)測試中表現(xiàn)都相當(dāng)不錯。比如DeepSeek-R1在MATH-500數(shù)據(jù)集上能達到97.3%的準(zhǔn)確率，在AIME 2024上也有79.8%的表現(xiàn)。但一到PHYBench這里，成績就直線下滑。這種反差揭示了一個重要問題：目前的AI模型可能更擅長解決那些有固定模式的數(shù)學(xué)題目，而在需要真正理解物理概念和靈活應(yīng)用物理原理的場景中，它們就顯得力不從心了。

研究團隊通過對比不同基準(zhǔn)測試的特點發(fā)現(xiàn)，PHYBench的獨特之處在于它要求模型具備真正的物理感知和推理能力。每道題目都描述了一個具體的物理場景，模型需要從文字描述中構(gòu)建出正確的物理圖像，然后選擇合適的物理定律，最后通過復(fù)雜的數(shù)學(xué)推導(dǎo)得出答案。這個過程就像是要求AI成為一個真正的物理學(xué)家，而不僅僅是一個會做題的機器。

二、深入解剖：AI在物理推理中的兩大"軟肋"

為了找出AI模型在物理推理中的具體問題所在，研究團隊進行了一次"解剖手術(shù)"式的詳細分析。他們發(fā)現(xiàn)，AI的錯誤主要集中在兩個關(guān)鍵環(huán)節(jié)：物理感知（Physical Perception，簡稱PP）和穩(wěn)健推理（Robust Reasoning，簡稱RR）。

物理感知就像是人類看到一道物理題時，首先要在腦海中構(gòu)建出這個物理場景的"心理模型"。比如看到"三個小球用繩子串聯(lián)懸掛"這樣的描述，人類會自然而然地想象出具體的空間布局、受力情況和運動狀態(tài)。而穩(wěn)健推理則是在正確理解物理場景的基礎(chǔ)上，能夠選擇合適的物理定律，建立正確的方程組，并且在漫長的推導(dǎo)過程中保持邏輯的一致性。

有趣的是，研究發(fā)現(xiàn)大多數(shù)AI模型的問題并不出現(xiàn)在物理感知階段。數(shù)據(jù)顯示，超過90%的錯誤都發(fā)生在穩(wěn)健推理環(huán)節(jié)。這意味著AI模型通常能夠正確理解題目描述的物理場景，但在隨后的推理過程中卻頻頻出錯。這就好比一個學(xué)生能夠正確理解題目在問什么，但在解題過程中總是算錯或者用錯公式。

進一步的分析顯示，在穩(wěn)健推理的錯誤中，超過90%屬于"語義推理"錯誤，而不是"符號推理"錯誤。語義推理指的是從物理原理出發(fā)推導(dǎo)出新的方程，而符號推理則是對已有方程進行數(shù)學(xué)變換。這個發(fā)現(xiàn)很有啟發(fā)性：AI模型在純數(shù)學(xué)運算方面表現(xiàn)還不錯，但在需要物理直覺和概念理解的地方就容易犯錯。

比如，在一道涉及角動量守恒的題目中，AI模型可能會錯誤地假設(shè)系統(tǒng)角動量守恒，即使題目中明確存在外力矩。又比如在電磁學(xué)問題中，模型可能會錯誤地應(yīng)用某個定律的適用條件。這些錯誤表明，AI模型雖然"記住"了很多物理公式和定律，但對于這些定律的適用條件和物理意義的理解還很膚淺。

三、"表面功夫"還是"真才實學(xué)"：AI推理能力的深度測試

研究團隊設(shè)計了一個特別巧妙的實驗來檢驗AI模型的推理是否真的可靠，還是只是"表面功夫"。他們在正確的解題過程中故意植入一些錯誤，然后看模型是否能夠發(fā)現(xiàn)并糾正這些錯誤。這就像是在正確的菜譜中故意寫錯一個步驟，然后看廚師是否能發(fā)現(xiàn)問題。

實驗結(jié)果揭示了一個令人擔(dān)憂的現(xiàn)象：大部分AI模型都表現(xiàn)出了"表面推理"的特征。當(dāng)遇到已經(jīng)包含錯誤的推理過程時，它們往往會盲目地繼續(xù)錯誤的路線，而不是發(fā)現(xiàn)并糾正錯誤。這就好比一個學(xué)生看到前面有人解錯了題，不僅沒有發(fā)現(xiàn)錯誤，反而按照錯誤的思路繼續(xù)往下推導(dǎo)。

研究團隊將AI模型的表現(xiàn)分為三個層次。最低層次是"表面推理"，模型會盲目地延續(xù)錯誤的推理過程，對植入的錯誤毫無察覺。中等層次是"偽真實推理"，模型能夠通過一些機械的檢查方法（比如量綱分析）發(fā)現(xiàn)明顯的錯誤，但對于更深層的概念性錯誤仍然無能為力。最高層次是"真實推理"，模型能夠通過物理直覺和概念理解發(fā)現(xiàn)并糾正各種類型的錯誤。

測試結(jié)果顯示，即使是表現(xiàn)最好的模型，大部分情況下也只能達到"偽真實推理"的水平。它們雖然能發(fā)現(xiàn)一些明顯的錯誤，但這種能力更多來自于機械的規(guī)則檢查，而不是真正的物理理解。當(dāng)面對更加微妙的概念性錯誤時，這些模型就顯得無能為力了。

這個發(fā)現(xiàn)對于AI的發(fā)展具有重要意義。它表明，當(dāng)前的AI模型雖然在許多任務(wù)上表現(xiàn)出色，但它們的"推理"很可能更多是模式匹配和規(guī)則應(yīng)用，而不是真正的理解和推理。這就像是一個人能夠背誦很多詩詞，但并不真正理解其中的意境和情感。

四、數(shù)字背后的故事：詳細的性能分析

在這場AI與物理的較量中，數(shù)字本身就講述了一個引人深思的故事。研究團隊不僅測試了模型的準(zhǔn)確率，還深入分析了它們在不同方面的表現(xiàn)差異。

首先是輸出長度的對比。在PHYBench上，AI模型平均需要生成超過10,000個字符的推理過程，這遠遠超過了其他基準(zhǔn)測試的要求。相比之下，在MATH-500上只需要1,857個字符，在GPQA上需要6,308個字符。這個差異說明了物理推理的復(fù)雜性：它不僅需要正確的答案，更需要完整的推理鏈條。

更有趣的是推理模型和通用模型之間的表現(xiàn)差異。在PHYBench上，專門針對推理優(yōu)化的模型（如DeepSeek-R1、o3系列）明顯優(yōu)于通用模型（如GPT-4o、Claude），這種差異比在其他基準(zhǔn)測試上更加明顯。這說明物理推理確實需要更強的邏輯思維能力，而不僅僅是記憶和模式識別。

研究團隊還進行了"測試時擴展"實驗，讓模型對同一道題目嘗試多次，然后取最好的結(jié)果。結(jié)果顯示，隨著嘗試次數(shù)的增加，模型的表現(xiàn)確實有所提升，但這種提升有明顯的上限。比如Gemini 2.5 Pro從單次嘗試的36.9%準(zhǔn)確率可以提升到多次嘗試后的大約75%，但仍然難以達到人類專家的水平。

這種現(xiàn)象類似于讓一個學(xué)生反復(fù)做同一道題，雖然可能會偶然做對，但這并不代表真正掌握了解題方法。更重要的是，當(dāng)使用"多數(shù)投票"的方式（即選擇多次嘗試中出現(xiàn)頻率最高的答案）時，模型的提升非常有限，這進一步證明了它們?nèi)狈Ψ€(wěn)定的推理能力。

五、EED評分系統(tǒng)：讓評價更加精準(zhǔn)和公平

傳統(tǒng)的評分方法就像是非黑即白的判斷：答案對了就是滿分，錯了就是零分。但這種方法在評價復(fù)雜推理任務(wù)時顯得過于粗糙。北京大學(xué)的研究團隊開發(fā)的EED評分系統(tǒng)就像是一個更加細致的老師，能夠識別出學(xué)生答案中的部分正確性。

EED的工作原理可以用修改文檔的過程來比喻。如果把正確答案和模型生成的答案都看作是數(shù)學(xué)表達式的"家族樹"，那么EED就是計算把一棵樹改造成另一棵樹需要多少步操作。操作越少，說明兩個答案越相似，得分就越高。

比如，如果正確答案是"2mg + 4mv?/l"，而模型給出的答案是"2mg + 2mv?/l"，傳統(tǒng)方法會認(rèn)為這是完全錯誤的，給零分。但EED系統(tǒng)會發(fā)現(xiàn)這個答案在結(jié)構(gòu)上基本正確，只是系數(shù)有誤，因此會給出一個中等分?jǐn)?shù)，比如47分（滿分100分）。

這種評分方法的優(yōu)勢在數(shù)據(jù)上得到了充分體現(xiàn)。研究發(fā)現(xiàn)，使用EED評分的500道題目能夠提供的區(qū)分度，相當(dāng)于使用傳統(tǒng)二元評分的1500道題目。換句話說，EED評分將評測效率提高了204%。這意味著研究人員可以用更少的題目獲得更可靠的評測結(jié)果。

EED系統(tǒng)還考慮了物理公式的特殊性。在物理學(xué)中，一個完整的表達式往往包含多個具有不同物理意義的項。比如電勢公式可能包含外電場項、電荷分布項和電偶極子項。如果模型只算對了其中一部分，EED系統(tǒng)會給予相應(yīng)的部分分?jǐn)?shù)，而不是簡單地判定為錯誤。

六、人類專家vs AI：差距究竟在哪里

為了建立可靠的比較基準(zhǔn)，研究團隊邀請了81名北京大學(xué)物理學(xué)院的學(xué)生參與測試，其中50名是中國物理奧林匹克競賽的金牌獲得者。這些人類專家的平均準(zhǔn)確率達到61.9%，EED分?jǐn)?shù)為70.4分，遠超目前最好的AI模型。

更值得注意的是，人類專家成績的上四分位數(shù)達到了71.4%的準(zhǔn)確率和80.4的EED分?jǐn)?shù)，這表明確實有相當(dāng)一部分人類專家能夠穩(wěn)定地解決這些問題。這與AI模型的表現(xiàn)形成了鮮明對比：即使是最好的AI模型，其表現(xiàn)也存在較大的不穩(wěn)定性。

通過分析人類專家和AI模型的解題過程，研究團隊發(fā)現(xiàn)了一個關(guān)鍵差異：人類在解題過程中會不斷進行自我檢查和糾錯，而AI模型一旦走上錯誤的道路，往往會一錯到底。這就好比人類司機在開車時會不斷觀察路況并調(diào)整方向，而AI司機一旦選錯了路線，就會堅持錯誤地走下去。

人類專家的另一個優(yōu)勢在于對物理概念的深度理解。當(dāng)遇到復(fù)雜的物理場景時，人類能夠快速識別出關(guān)鍵的物理過程和主要矛盾，然后有針對性地應(yīng)用相關(guān)定律。而AI模型往往會被各種次要因素干擾，導(dǎo)致問題復(fù)雜化。

七、錯誤分析：AI模型的典型"失誤模式"

通過對大量錯誤案例的分析，研究團隊發(fā)現(xiàn)了AI模型在物理推理中的幾種典型失誤模式。這些失誤就像是學(xué)生在考試中經(jīng)常犯的錯誤類型，具有一定的規(guī)律性。

第一種失誤是"概念混淆"。AI模型有時會錯誤地應(yīng)用物理定律的適用條件。比如在一個存在外力矩的系統(tǒng)中，模型可能仍然假設(shè)角動量守恒。這就好比一個學(xué)生記住了"在沒有外力的情況下動量守恒"這個結(jié)論，但卻忘記了"沒有外力"這個前提條件。

第二種失誤是"計算鏈斷裂"。在需要多步推導(dǎo)的問題中，AI模型往往在某個中間步驟出現(xiàn)錯誤，然后這個錯誤會傳播到最終答案。更糟糕的是，模型通常不會回頭檢查之前的步驟，導(dǎo)致錯誤累積。

第三種失誤是"物理直覺缺失"。有些時候，AI模型會給出在數(shù)學(xué)上正確但在物理上不合理的答案。比如計算出負(fù)的溫度或者超光速的速度，而模型對這些明顯不合理的結(jié)果缺乏敏感性。

第四種失誤是"近似處理不當(dāng)"。物理問題中經(jīng)常需要在特定條件下進行合理的近似，但AI模型往往不知道何時該使用近似，以及如何正確地進行近似。這就像是不知道在什么時候可以忽略空氣阻力，什么時候必須考慮相對論效應(yīng)。

八、對未來的啟示：AI還需要走多遠

這項研究揭示的問題不僅僅局限于物理學(xué)，它實際上反映了當(dāng)前AI技術(shù)的一個根本性挑戰(zhàn)：如何讓機器真正"理解"而不僅僅是"記憶"和"模仿"。

當(dāng)前的大語言模型主要通過學(xué)習(xí)大量文本數(shù)據(jù)中的模式來工作，這種方法在處理語言任務(wù)時表現(xiàn)出色，但在需要深度概念理解和復(fù)雜推理的科學(xué)問題上就顯得力不從心。這就好比一個人能夠流利地背誦莎士比亞的十四行詩，但卻不能理解其中的情感和意境。

研究團隊認(rèn)為，要讓AI在物理推理上達到人類水平，需要在幾個方面取得突破。首先是需要更好的物理概念表示方法，讓AI真正"理解"什么是力、能量、動量等基本概念。其次是需要更強的因果推理能力，讓AI能夠理解物理現(xiàn)象之間的因果關(guān)系。最后是需要更好的自我監(jiān)控和糾錯機制，讓AI能夠像人類一樣在推理過程中發(fā)現(xiàn)和糾正錯誤。

這項研究還表明，僅僅通過增加模型參數(shù)或訓(xùn)練數(shù)據(jù)可能還不足以解決這些根本性問題。我們可能需要從架構(gòu)、訓(xùn)練方法和評價體系等多個方面進行創(chuàng)新，才能讓AI獲得真正的推理能力。

九、實際應(yīng)用：這對我們的生活意味著什么

雖然這項研究主要關(guān)注的是AI在學(xué)術(shù)物理問題上的表現(xiàn)，但其意義遠遠超出了學(xué)術(shù)范圍。在現(xiàn)實生活中，我們越來越依賴AI來幫助我們解決各種復(fù)雜問題，從工程設(shè)計到醫(yī)療診斷，從金融分析到氣候預(yù)測。

這項研究的發(fā)現(xiàn)提醒我們，在涉及復(fù)雜推理和深度理解的領(lǐng)域，當(dāng)前的AI技術(shù)還存在明顯的局限性。這并不意味著AI無用，而是提醒我們需要更加謹(jǐn)慎地使用這些工具，特別是在關(guān)鍵決策場景中。

對于教育領(lǐng)域來說，這項研究也有重要啟示。它表明，盡管AI可以在很多方面協(xié)助教學(xué)，但在培養(yǎng)學(xué)生的深度思維和推理能力方面，人類教師仍然不可替代。真正的學(xué)習(xí)不僅僅是記憶和模仿，更需要理解和創(chuàng)新。

對于AI研究者來說，PHYBench提供了一個新的挑戰(zhàn)和目標(biāo)。就像國際象棋和圍棋曾經(jīng)激勵了游戲AI的發(fā)展一樣，物理推理可能會成為推動下一代AI技術(shù)發(fā)展的新戰(zhàn)場。

總的來說，這項研究讓我們對AI的能力和局限性有了更清醒的認(rèn)識。它告訴我們，通向真正智能的道路還很漫長，但這正是科學(xué)研究的魅力所在：每一個發(fā)現(xiàn)都讓我們更接近真理，每一個挑戰(zhàn)都推動我們向前發(fā)展。

當(dāng)我們站在人工智能發(fā)展的這個關(guān)鍵節(jié)點上，北京大學(xué)的這項研究就像是一面鏡子，讓我們看清了AI技術(shù)的真實面貌。它既不是萬能的神器，也不是一無是處的工具，而是一個正在成長中的"學(xué)生"，需要在更多的挑戰(zhàn)中不斷學(xué)習(xí)和進步。說到底，這項研究最大的價值可能不在于揭示了AI的不足，而在于為我們指明了前進的方向。畢竟，只有知道自己的不足，才能找到改進的方法。而對于我們普通人來說，這提醒我們在享受AI便利的同時，也要保持獨立思考的能力。因為在這個智能化的時代，真正的智慧不是被機器替代，而是學(xué)會如何更好地與機器協(xié)作。

Q&A

Q1：PHYBench是什么？它和其他AI測試有什么不同？ A：PHYBench是北京大學(xué)開發(fā)的專門測試AI物理推理能力的基準(zhǔn)，包含500道原創(chuàng)物理題目。與其他測試不同，它要求AI真正理解物理概念并進行復(fù)雜推理，而不是簡單的模式匹配，因此能更準(zhǔn)確地反映AI的真實推理能力。

Q2：AI模型在物理問題上表現(xiàn)這么差，會不會影響實際應(yīng)用？ A：確實需要謹(jǐn)慎。這項研究表明AI在需要深度推理的復(fù)雜問題上還有明顯局限，特別是在工程設(shè)計、科學(xué)研究等需要物理推理的領(lǐng)域。不過這不意味著AI無用，而是提醒我們要合理使用，在關(guān)鍵決策時仍需人類專家把關(guān)。

Q3：為什么連最先進的AI模型準(zhǔn)確率都只有36.9%？ A：主要問題在于AI缺乏真正的物理理解能力。雖然它們能記住很多公式和模式，但在面對需要靈活應(yīng)用物理原理、進行多步推理的復(fù)雜問題時，往往會在中間步驟出錯，而且缺乏自我糾錯能力，導(dǎo)致錯誤累積到最終答案。