這項由蒙納士大學(xué)的柯福財教授與包括斯坦福大學(xué)、華盛頓大學(xué)在內(nèi)的多所知名院校研究團隊共同完成的大型綜述研究，發(fā)表于2025年8月。這項研究系統(tǒng)性地回顧了2023年至2025年間260多篇頂級人工智能論文，有興趣深入了解的讀者可以通過論文編號arXiv:2508.17298訪問完整研究內(nèi)容。

當(dāng)你看到一張圖片，比如一只貓坐在紅色沙發(fā)上，然后有人問你"這只貓的顏色是什么"時，你的大腦會發(fā)生什么？你不會只是簡單地給出答案，而是會先觀察圖片，識別出"這是一只貓"，然后注意到"貓的毛色"，最后才回答"是橙色的"或"是黑色的"。但現(xiàn)在大多數(shù)人工智能在處理這類視覺問題時，就像一個匆忙的學(xué)生，不經(jīng)過仔細思考就直接給出答案，結(jié)果往往會出錯。

研究團隊發(fā)現(xiàn)，傳統(tǒng)的人工智能視覺模型就像一臺"黑盒子"，你給它輸入一張圖片和一個問題，它會直接吐出一個答案，但你完全不知道它是怎么得出這個答案的。這就好比一個學(xué)生在考試時不寫解題步驟，直接寫答案——即使答案對了，老師也不知道這個學(xué)生是真的會做還是蒙的。更糟糕的是，當(dāng)遇到復(fù)雜問題時，這種"黑盒子"方法經(jīng)常會給出錯誤答案，因為它沒有經(jīng)過逐步的推理過程。

為了解決這個問題，研究人員開始探索一種全新的方法，叫做"組合式視覺推理"。這種方法的核心思想是讓人工智能像人類一樣，在回答視覺問題之前先"解釋"自己看到了什么，然后一步步推理得出答案。就像一個優(yōu)秀的學(xué)生做數(shù)學(xué)題時會寫出詳細的解題步驟一樣，這種新方法要求人工智能展示它的"思考過程"。

研究團隊把組合式視覺推理的發(fā)展歷程分為五個階段，每個階段都代表了技術(shù)的一次重要進步。

一、從語言為中心的推理開始

最初的嘗試就像給一個善于寫文章的學(xué)生配上一副眼鏡。研究人員發(fā)現(xiàn)，大型語言模型（就是那些能寫文章、做翻譯的人工智能）在邏輯推理方面表現(xiàn)出色，但它們看不懂圖片。于是，科學(xué)家們想出了一個巧妙的辦法：讓專門的視覺模型先"描述"圖片內(nèi)容，然后讓語言模型根據(jù)這些描述來回答問題。

這種方法有兩種主要形式。第一種是"先拆解再看圖"的方式。當(dāng)面對一個復(fù)雜的視覺問題時，語言模型會先把這個大問題分解成幾個小問題，然后讓視覺模型逐個回答這些小問題，最后再綜合所有答案得出最終結(jié)果。比如問題是"圖片中最高的建筑物是什么顏色"，語言模型會先分解成："圖片中有哪些建筑物？""哪個最高？""這個建筑物是什么顏色？"

第二種是"先看圖再推理"的方式。視覺模型會先仔細觀察整張圖片，生成詳細的描述文字，然后語言模型基于這些描述進行推理。這就像讓一個人先把看到的所有細節(jié)都寫下來，然后另一個人根據(jù)這些文字描述來回答問題。

這種方法雖然有效，但也存在明顯的問題。最大的問題是信息在轉(zhuǎn)換過程中會丟失。就像玩"傳話游戲"一樣，視覺信息要先轉(zhuǎn)換成文字，然后語言模型再基于文字進行推理，這個過程中很多重要的視覺細節(jié)可能會丟失或被誤解。

二、工具增強的語言模型時代

隨著技術(shù)發(fā)展，研究人員意識到僅僅依靠文字描述是不夠的，于是他們開始讓語言模型"使用工具"。這就像給一個聰明的助手配備了各種專業(yè)儀器——他不僅會思考，還能主動使用不同的工具來解決問題。

在這個階段，語言模型變成了一個"總指揮"，它可以調(diào)用各種專門的視覺工具。當(dāng)遇到需要識別物體的任務(wù)時，它會調(diào)用物體檢測工具；當(dāng)需要讀取圖片中的文字時，它會使用OCR（光學(xué)字符識別）工具；當(dāng)需要分析圖片細節(jié)時，它可能會使用圖像分割工具。

這種方法的優(yōu)勢是非常靈活。就像一個萬能的瑞士軍刀，每個工具都有自己的專長，組合起來可以處理各種復(fù)雜的視覺任務(wù)。早期的系統(tǒng)如ViperGPT和VisProg就是這種思路的代表，它們可以根據(jù)任務(wù)需要自動選擇和組合不同的工具。

但這種方法也面臨新的挑戰(zhàn)。首先是工具協(xié)調(diào)問題——就像指揮一個樂團一樣，如何讓不同的工具協(xié)調(diào)工作并不容易。其次是錯誤積累問題——如果某個工具給出了錯誤信息，這個錯誤會傳播到后續(xù)的推理過程中，最終導(dǎo)致整個答案錯誤。為了解決這些問題，后來的研究開始引入學(xué)習(xí)機制，讓系統(tǒng)能夠從錯誤中學(xué)習(xí)，不斷改善工具使用策略。

三、工具增強的視覺語言模型

第三個階段的突破在于讓人工智能直接"看"圖片，而不是只依賴文字描述。這就像從"隔著玻璃看世界"進化到"直接接觸現(xiàn)實"。在這個階段，視覺語言模型不僅能理解文字，還能直接處理圖像信息，同時還可以調(diào)用外部工具。

這種方法有兩種主要實現(xiàn)方式。第一種是"語言指令控制"，視覺語言模型會生成自然語言指令來控制各種工具。比如，當(dāng)需要分析圖片的某個區(qū)域時，模型會生成類似"請分割出圖片左上角的物體"這樣的指令，然后相應(yīng)的工具會執(zhí)行這個指令并返回結(jié)果。

第二種是"嵌入式控制"，模型通過學(xué)習(xí)到的內(nèi)部表征直接控制工具，不需要生成明確的語言指令。這種方式更加高效，就像一個熟練的司機開車時不需要在心里說"現(xiàn)在踩剎車、現(xiàn)在打方向盤"，而是通過肌肉記憶直接完成操作。

特別有趣的是，這個階段的一些系統(tǒng)開始具備"視覺想象"能力。它們不僅能分析現(xiàn)有圖片，還能生成新的圖片來輔助推理。比如，當(dāng)回答"如果這個球滾下斜坡會發(fā)生什么"這樣的問題時，系統(tǒng)可能會先生成一張顯示球滾動軌跡的圖片，然后基于這個想象的場景來回答問題。

四、鏈?zhǔn)剿季S推理模型

第四個階段受到了人類思維方式的深刻啟發(fā)。當(dāng)人類解決復(fù)雜問題時，我們通常會在心里進行一連串的思考，每一步都基于前一步的結(jié)果。研究人員將這種"鏈?zhǔn)剿季S"引入到視覺推理中，讓人工智能在給出最終答案前展示完整的思考過程。

這種方法有三種主要形式。第一種是"提示增強式"，通過精心設(shè)計的提示詞來引導(dǎo)模型進行逐步推理。就像給學(xué)生提供解題模板一樣，模型會按照預(yù)設(shè)的思維框架來分析問題。比如，面對一個計數(shù)問題，模型會先說"我需要識別圖片中的所有物體"，然后"找出符合條件的物體"，最后"計算總數(shù)"。

第二種是"強化學(xué)習(xí)增強式"，通過獎勵機制來訓(xùn)練模型產(chǎn)生更好的推理鏈。這就像訓(xùn)練一個學(xué)生做數(shù)學(xué)題——當(dāng)學(xué)生的解題步驟正確時給予獎勵，錯誤時給予懲罰，逐漸讓學(xué)生學(xué)會正確的思維方式。

第三種是"視覺接地式"，最為有趣。在這種方法中，模型的每一個推理步驟都會對應(yīng)到圖片的具體區(qū)域。比如，當(dāng)模型說"我看到一只紅色的貓"時，它會同時在圖片上標(biāo)出貓的位置。這樣，人們不僅能看到模型的思維過程，還能驗證每一步是否正確。

鏈?zhǔn)剿季S方法的優(yōu)勢在于透明度和可解釋性。就像優(yōu)秀學(xué)生的答題過程一樣，每一步都清晰可見，便于檢查和糾錯。但這種方法也有局限性——它仍然是"一次性"的推理過程，無法根據(jù)新信息調(diào)整已有的思考路徑。

五、統(tǒng)一智能體模型

最新的發(fā)展階段可以說是最接近人類認知方式的。這些系統(tǒng)不再是被動地回答問題，而是像人類一樣主動探索、思考和調(diào)整策略。它們具備了"智能體"的特征——能夠自主決策、持續(xù)學(xué)習(xí)、適應(yīng)環(huán)境。

這類系統(tǒng)的一個重要特征是"自主視覺探索"。就像人類在觀察復(fù)雜場景時會自動將注意力聚焦在重要區(qū)域一樣，這些模型能夠智能地決定應(yīng)該仔細觀察圖片的哪些部分。比如，當(dāng)回答關(guān)于圖片中最大物體的問題時，系統(tǒng)會自動掃描整個圖片，比較不同區(qū)域的物體大小，然后聚焦到最大的物體上進行詳細分析。

另一個創(chuàng)新特征是"視覺想象"能力。這些系統(tǒng)不僅能分析現(xiàn)有的視覺信息，還能在內(nèi)部"想象"不存在的場景來輔助推理。這有點像人類在思考問題時的"心理模擬"——我們經(jīng)常在腦海中構(gòu)建虛擬場景來幫助理解和預(yù)測。比如，當(dāng)被問到"如果這個杯子掉下來會怎樣"時，系統(tǒng)能夠在內(nèi)部模擬杯子掉落的過程，然后基于這個模擬來回答問題。

這個階段的系統(tǒng)還具備了強大的"多輪交互"能力。它們不是一次性完成任務(wù)，而是能夠根據(jù)中間結(jié)果調(diào)整策略，就像人類解決復(fù)雜問題時的試錯過程。如果第一次嘗試沒有得到滿意的結(jié)果，系統(tǒng)會自動調(diào)整方法再次嘗試。

通過分析大量研究，科學(xué)家們發(fā)現(xiàn)組合式視覺推理相比傳統(tǒng)方法有多個顯著優(yōu)勢。首先是認知對齊性——這種方法更接近人類的思維方式，使得人工智能的推理過程更容易被人理解和信任。其次是語義理解的準(zhǔn)確性——通過逐步分解和推理，系統(tǒng)能夠更準(zhǔn)確地理解圖片中復(fù)雜的語義關(guān)系。

另外，組合式方法在泛化和魯棒性方面表現(xiàn)出色。傳統(tǒng)的"黑盒子"方法往往只能處理訓(xùn)練時見過的情況，而組合式方法能夠?qū)⒁褜W(xué)會的基本技能重新組合，處理全新的情況。這就像學(xué)會了加法、減法、乘法的學(xué)生，即使沒有專門練習(xí)過復(fù)雜的數(shù)學(xué)題，也能通過組合這些基本運算來解決新問題。

在透明度和可解釋性方面，組合式方法的優(yōu)勢更是顯著。每一個推理步驟都是可見的，研究人員和用戶都能理解系統(tǒng)是如何得出答案的。這對于需要高度可信的應(yīng)用場景（如醫(yī)療診斷、自動駕駛等）尤其重要。

研究還發(fā)現(xiàn)，組合式方法能夠顯著減少"幻覺"問題——也就是人工智能編造不存在信息的現(xiàn)象。因為每個推理步驟都需要有具體的視覺證據(jù)支持，系統(tǒng)很難憑空編造答案。這就像要求學(xué)生不僅要給出答案，還要展示解題過程一樣，大大減少了蒙答案的可能性。

在數(shù)據(jù)效率方面，組合式方法也顯示出優(yōu)勢。一旦系統(tǒng)學(xué)會了基本的視覺技能和推理模式，就可以通過組合這些技能來處理新任務(wù)，而不需要大量的新訓(xùn)練數(shù)據(jù)。這就像學(xué)會了基本工具使用方法的人，可以組合這些工具來完成各種新任務(wù)。

當(dāng)然，這個領(lǐng)域仍然面臨著諸多挑戰(zhàn)。研究團隊在分析了60多個評估基準(zhǔn)后發(fā)現(xiàn)，現(xiàn)有的評估方法大多只關(guān)注最終答案的正確性，而忽略了推理過程的質(zhì)量。這就像只看學(xué)生的考試分數(shù)而不關(guān)心解題思路一樣，無法全面評估系統(tǒng)的真實能力。

另一個重要挑戰(zhàn)是推理深度的限制?，F(xiàn)在的大多數(shù)系統(tǒng)雖然能進行多步推理，但主要依賴演繹推理（從一般到具體），而人類思維還包括歸納推理（從具體到一般）和類比推理（從相似經(jīng)驗中學(xué)習(xí)）等多種形式。

數(shù)據(jù)質(zhì)量和規(guī)模也是持續(xù)的挑戰(zhàn)。高質(zhì)量的組合式推理訓(xùn)練數(shù)據(jù)需要詳細標(biāo)注每個推理步驟，這比簡單的問答數(shù)據(jù)復(fù)雜得多，獲取成本很高。同時，自動生成的合成數(shù)據(jù)雖然數(shù)量大，但質(zhì)量往往不夠穩(wěn)定。

在技術(shù)架構(gòu)方面，如何更好地整合不同的組件仍然是一個開放性問題?，F(xiàn)有的系統(tǒng)往往需要協(xié)調(diào)多個專門化的模塊，如何讓這些模塊高效協(xié)作、減少錯誤傳播，仍需要更多研究。

研究團隊還指出了幾個值得關(guān)注的發(fā)展方向。首先是引入"世界模型"的概念——讓人工智能具備對物理世界的基本理解，能夠模擬物體運動、預(yù)測因果關(guān)系等。這將使系統(tǒng)的推理能力更加接近人類水平。

人機協(xié)作推理也被認為是一個重要方向。與其讓人工智能完全自主地進行推理，不如設(shè)計人機協(xié)作的框架，讓人類在關(guān)鍵環(huán)節(jié)提供指導(dǎo)和驗證，這樣可以充分發(fā)揮人工智能的計算能力和人類的直覺判斷優(yōu)勢。

在評估方法方面，研究團隊呼吁建立更全面的評估標(biāo)準(zhǔn)，不僅要評估答案的正確性，還要評估推理過程的合理性、步驟間的邏輯連貫性、視覺證據(jù)的準(zhǔn)確性等多個維度。

說到底，這項大型綜述研究為我們勾勒出了人工智能視覺推理發(fā)展的清晰脈絡(luò)。從最初的"黑盒子"方法到現(xiàn)在的組合式推理，我們看到了人工智能正在朝著更加透明、可解釋、類似人類思維的方向發(fā)展。雖然還面臨著諸多技術(shù)挑戰(zhàn)，但這個發(fā)展趨勢對普通人的生活將產(chǎn)生深遠影響。

未來，當(dāng)你的智能助手能夠像人類一樣仔細觀察圖片、逐步分析問題、清晰解釋推理過程時，我們對人工智能的信任度將大大提升。無論是醫(yī)生使用人工智能輔助診斷醫(yī)學(xué)影像，還是自動駕駛汽車需要理解復(fù)雜的交通場景，這種"解釋后再回答"的能力都將成為人工智能可靠性的關(guān)鍵保障。這項研究不僅推進了科學(xué)技術(shù)的發(fā)展，更為構(gòu)建更加可信、透明的人工智能系統(tǒng)奠定了重要基礎(chǔ)。對于想要深入了解這一前沿領(lǐng)域的讀者，完整的研究論文可以通過arXiv:2508.17298獲取。

Q&A

Q1：組合式視覺推理和傳統(tǒng)的人工智能視覺方法有什么區(qū)別？

A：傳統(tǒng)方法就像一個"黑盒子"，直接給出答案但看不到思考過程，而組合式視覺推理要求人工智能像人類一樣先觀察圖片、識別關(guān)鍵信息、逐步推理，最后給出答案。這就好比傳統(tǒng)方法是直接告訴你答案，而新方法會告訴你"我看到了什么、我是怎么想的、我為什么得出這個結(jié)論"。

Q2：為什么組合式視覺推理比傳統(tǒng)方法更可靠？

A：因為每個推理步驟都需要有具體的視覺證據(jù)支持，系統(tǒng)很難憑空編造答案。這就像要求學(xué)生不僅要給出答案還要展示解題過程一樣，大大減少了錯誤和"幻覺"的可能性。同時，這種方法更接近人類思維方式，使得推理過程更透明、更容易被理解和驗證。

Q3：組合式視覺推理技術(shù)什么時候能應(yīng)用到日常生活中？

A：這項技術(shù)已經(jīng)在逐步應(yīng)用中，比如一些高端的圖片分析軟件和智能助手。不過要達到完全成熟還需要解決數(shù)據(jù)質(zhì)量、計算效率等技術(shù)挑戰(zhàn)。預(yù)計在未來3-5年內(nèi)，我們會在醫(yī)療診斷、自動駕駛、智能監(jiān)控等專業(yè)領(lǐng)域看到更多應(yīng)用，而面向普通消費者的產(chǎn)品可能還需要更長時間。