這項由香港中文大學多媒體實驗室的王軻、潘俊廷、魏琳達等研究團隊開發(fā)的突破性研究發(fā)表于2025年5月，論文題為"MathCoder-VL: Bridging Vision and Code for Enhanced Multimodal Mathematical Reasoning"。這項研究首次實現(xiàn)了讓AI通過理解代碼來精確識別數(shù)學圖形，就像給機器裝上了一雙能夠"讀懂"幾何圖的眼睛。有興趣深入了解這項研究的讀者可以通過GitHub鏈接https://github.com/mathllm/MathCoder獲取完整的論文和代碼。

一、為什么機器看數(shù)學圖這么難

想象一下，當你看到一個幾何圖形時，你能瞬間識別出三角形的角度、圓的半徑、直線的關(guān)系。但對于人工智能來說，這就像讓一個從未見過汽車的人去修理發(fā)動機一樣困難。目前的AI模型雖然在文字理解上已經(jīng)達到了人類水平，甚至在某些數(shù)學推理任務(wù)上超越了奧林匹克競賽選手，但一旦涉及到需要"看圖說話"的數(shù)學題，它們就像突然失明了一樣手足無措。

問題的根源在于，傳統(tǒng)的圖像描述就像是用文字給盲人描述一幅畫——再詳細的描述也難免遺漏關(guān)鍵細節(jié)。比如說，當AI看到一個幾何圖形時，它可能會說"這里有一個三角形和一個圓"，但它很難準確描述出三角形的具體角度是30度還是45度，圓心是否恰好在三角形的某個頂點上。這些看似微小的差別，在數(shù)學問題中卻可能導(dǎo)致完全不同的答案。

更糟糕的是，現(xiàn)有的圖像描述方法就像玩"傳話游戲"一樣容易出錯。AI首先要將圖像轉(zhuǎn)換成文字描述，然后再基于這個可能不準確的描述去解決數(shù)學問題。這就好比你讓朋友描述一道菜的味道，然后你根據(jù)這個描述去猜測食譜——中間的信息損失和誤解幾乎是不可避免的。

香港中文大學的研究團隊意識到，要解決這個問題，需要找到一種更直接、更精確的方式讓AI理解數(shù)學圖形。他們的靈感來自一個簡單而深刻的觀察：如果一張數(shù)學圖形是用代碼繪制出來的，那么這個代碼就包含了繪制這張圖所需的所有精確信息——每一個點的坐標、每一條線的角度、每一個圓的半徑都在代碼中有明確的數(shù)值。

二、用代碼當"翻譯官"的絕妙想法

研究團隊提出了一個聽起來簡單卻極其巧妙的解決方案：讓AI學會將數(shù)學圖形"翻譯"成繪制這些圖形的代碼。這就像是給AI配備了一個超級精密的"圖形解碼器"，能夠從視覺信息中反推出創(chuàng)建這個圖形的完整"制作配方"。

這個想法的天才之處在于，代碼是一種完全精確的語言。當你用TikZ（一種專門用于繪制數(shù)學圖形的編程語言）或Python的matplotlib庫來畫一個三角形時，每個頂點的坐標都必須精確指定。比如說，畫一個直角三角形的代碼可能是：畫一條從點(0,0)到點(3,0)的線，再畫一條從點(3,0)到點(3,4)的線，最后畫一條從點(3,4)回到點(0,0)的線。這樣的代碼描述不僅包含了三角形的形狀，還精確記錄了它的大小、位置和角度。

為了訓(xùn)練AI學會這種"圖形到代碼"的翻譯能力，研究團隊構(gòu)建了一個名為ImgCode-8.6M的龐大數(shù)據(jù)集。這個數(shù)據(jù)集包含了860萬對圖形和對應(yīng)代碼的組合，就像是給AI準備了860萬個"看圖寫代碼"的練習題。這些圖形涵蓋了從簡單的幾何形狀到復(fù)雜的統(tǒng)計圖表的各種數(shù)學視覺內(nèi)容。

更有趣的是，研究團隊還開發(fā)了一個名為FigCodifier的AI模型，專門負責這種圖形到代碼的轉(zhuǎn)換工作。FigCodifier就像是一個經(jīng)驗豐富的程序員，能夠看著任何數(shù)學圖形，然后快速寫出能夠重現(xiàn)這個圖形的精確代碼。

三、讓AI"創(chuàng)造"新的數(shù)學圖形

但是研究團隊并沒有止步于簡單的圖形識別。他們發(fā)現(xiàn)了FigCodifier的一個意外的超能力：創(chuàng)造性地生成新的數(shù)學圖形。這就像是一個會畫畫的機器人，不僅能臨摹現(xiàn)有的畫作，還能創(chuàng)作出風格相似但內(nèi)容全新的作品。

當研究團隊給FigCodifier設(shè)置一個較高的"創(chuàng)造性參數(shù)"（在技術(shù)上稱為溫度參數(shù)）時，這個AI模型就會開始發(fā)揮想象力。比如，給它一個標準的直角三角形，它可能會生成一個等腰三角形、一個鈍角三角形，或者一個包含三角形的更復(fù)雜圖形。這些新生成的圖形保持了原始圖形的數(shù)學特征，但在具體細節(jié)上有所變化。

這種創(chuàng)造能力為數(shù)學教育帶來了革命性的可能。傳統(tǒng)上，數(shù)學老師要為學生準備練習題時，往往需要手工繪制大量不同的幾何圖形，或者從有限的題庫中選擇?，F(xiàn)在，F(xiàn)igCodifier可以基于一個基礎(chǔ)圖形自動生成成百上千個變體，每個都略有不同，但都保持著相同的數(shù)學難度和教學目標。

利用這種能力，研究團隊構(gòu)建了MM-MathInstruct-3M數(shù)據(jù)集，包含了300萬個全新的數(shù)學問題，每個問題都配有專門生成的數(shù)學圖形。這就像是有一個永遠不知疲倦的數(shù)學老師，能夠不斷創(chuàng)造出新的、多樣化的練習題來幫助學生學習。

四、兩階段訓(xùn)練：先學看圖，再學解題

研究團隊設(shè)計了一個巧妙的兩階段訓(xùn)練策略，就像培養(yǎng)一個數(shù)學天才的完整教育計劃。這個過程可以比作培養(yǎng)一個優(yōu)秀的數(shù)學老師：首先要讓他學會精確地"讀圖"，然后再教他如何解決數(shù)學問題。

第一階段是"圖形理解專業(yè)訓(xùn)練"。在這個階段，AI模型專門學習如何將數(shù)學圖形轉(zhuǎn)換成精確的代碼描述。這就像是訓(xùn)練一個素描藝術(shù)家，要求他看到任何物體都能立即畫出精確的技術(shù)圖紙。研究團隊使用860萬個圖形-代碼配對來訓(xùn)練模型，讓它反復(fù)練習這種"看圖寫代碼"的技能。在這個階段，模型的語言理解能力被"凍結(jié)"，專注于提升視覺理解能力，避免在學習新技能時忘記已有的語言能力。

第二階段是"數(shù)學問題解決訓(xùn)練"。在掌握了精確的圖形理解能力后，AI開始學習如何解決實際的數(shù)學問題。這個階段使用了包含300萬個問題的MM-MathInstruct-3M數(shù)據(jù)集，每個問題都包含一個圖形、一個問題描述和詳細的解答步驟。這就像是一個已經(jīng)學會精確讀圖的學生，現(xiàn)在開始學習如何運用這種讀圖能力來解決實際的幾何題。

這種分階段的訓(xùn)練策略確保了AI既能準確理解圖形中的每一個細節(jié)，又能運用這些信息進行復(fù)雜的數(shù)學推理。最終誕生的MathCoder-VL模型就像是一個既有敏銳觀察力又有強大邏輯思維的數(shù)學專家。

五、令人驚嘆的實驗結(jié)果

研究團隊在多個國際標準測試上驗證了MathCoder-VL的能力，結(jié)果令人印象深刻。在幾何問題解決方面，MathCoder-VL不僅超越了所有同類開源模型，甚至在某些測試中超過了GPT-4o和Claude 3.5 Sonnet這樣的頂級商業(yè)AI模型。

具體來說，在MathVista數(shù)據(jù)集的幾何問題解決測試中，MathCoder-VL達到了73.6%的準確率，比GPT-4o高出8.9個百分點，比Claude 3.5 Sonnet高出9.2個百分點。這就好比一個學生在數(shù)學競賽中不僅擊敗了所有同班同學，還超越了來自名校的選手。

更令人驚訝的是，MathCoder-VL在復(fù)雜的多步驟問題上表現(xiàn)尤其出色。在需要兩步或三步推理的復(fù)雜幾何題上，它的表現(xiàn)甚至超過了參數(shù)量比它大十倍的模型。這說明精確的圖形理解能力比單純增加模型規(guī)模更加重要，就像一個掌握了正確方法的學生能夠比死記硬背的學生解決更復(fù)雜的問題。

研究團隊還發(fā)現(xiàn)，傳統(tǒng)的圖像描述方法在數(shù)學圖形理解上確實存在嚴重局限。當他們移除圖形到代碼的轉(zhuǎn)換步驟，直接使用傳統(tǒng)的圖像描述方法時，模型的性能顯著下降。這證實了他們的核心假設(shè)：代碼確實是連接視覺和數(shù)學推理的最佳橋梁。

特別值得注意的是，MathCoder-VL在平面幾何問題上的表現(xiàn)格外突出。在涉及角度、面積和長度計算的三個幾何子類別中，它都取得了最高分，平均得分達到37.6%，比GPT-4o高出11.9個百分點。這種在幾何領(lǐng)域的優(yōu)勢正好驗證了研究團隊的方法特別適合處理需要精確空間理解的數(shù)學問題。

六、技術(shù)創(chuàng)新的深層價值

這項研究的意義遠遠超出了單純的技術(shù)突破。從根本上說，它解決了人工智能領(lǐng)域一個長期存在的難題：如何讓機器真正"理解"視覺信息中的精確含義，而不是僅僅識別表面特征。

傳統(tǒng)的AI圖像理解就像是讓機器學會用自然語言描述所看到的內(nèi)容，這種方法雖然對日常場景很有效，但在需要精確測量和計算的數(shù)學環(huán)境中就顯得力不從心。MathCoder-VL的創(chuàng)新在于找到了一種更直接、更精確的表示方法：用代碼作為視覺和邏輯推理之間的橋梁。

這種方法的另一個重要價值在于數(shù)據(jù)的可驗證性。當AI生成一段繪圖代碼時，我們可以立即運行這段代碼來檢驗它是否正確。如果生成的圖形與原始圖形匹配，我們就知道AI確實正確理解了原圖；如果不匹配，我們可以立即發(fā)現(xiàn)錯誤。這種即時驗證能力在傳統(tǒng)的自然語言描述中是不可能實現(xiàn)的。

更進一步說，這項研究為AI教育應(yīng)用開辟了新的可能性。能夠自動生成多樣化數(shù)學圖形的能力意味著可以為每個學生創(chuàng)造個性化的練習題庫。每個學生都可以得到適合自己學習進度和薄弱環(huán)節(jié)的專門練習，而且題目永遠不會重復(fù)。

研究團隊還開源了他們的模型和數(shù)據(jù)集，這意味著全世界的研究者和教育工作者都可以基于這項工作進一步發(fā)展。這種開放精神確保了這項技術(shù)能夠快速傳播并產(chǎn)生更廣泛的社會影響。

七、當前局限與未來展望

盡管取得了顯著成功，研究團隊也坦誠地指出了當前方法的一些局限性。目前的系統(tǒng)主要專注于數(shù)學領(lǐng)域，還沒有擴展到物理、化學等其他需要圖形理解的STEM學科。此外，數(shù)據(jù)集目前只包含英文內(nèi)容，對于其他語言的支持還有待加強。

由于計算資源的限制，研究團隊目前只訓(xùn)練了2B和8B參數(shù)規(guī)模的模型。雖然這些模型已經(jīng)取得了優(yōu)異的性能，但研究團隊相信，更大規(guī)模的模型可能會帶來進一步的性能提升。

另一個值得探索的方向是將強化學習等更高級的訓(xùn)練方法引入到這個框架中。目前的訓(xùn)練主要基于監(jiān)督學習，如果能夠讓AI通過嘗試和錯誤來優(yōu)化自己的圖形理解和問題解決能力，可能會取得更好的效果。

研究團隊也在考慮將這種方法擴展到三維圖形和動態(tài)圖形的理解上。雖然目前的系統(tǒng)主要處理二維靜態(tài)圖形，但同樣的原理可能適用于更復(fù)雜的視覺內(nèi)容。

展望未來，這項技術(shù)可能會改變數(shù)學教育的面貌。學生可能會有AI助教幫助他們理解復(fù)雜的幾何概念，教師可能會有AI工具幫助他們創(chuàng)造更有效的教學材料。更遠期來看，這種精確的視覺理解能力可能會在機器人、自動駕駛、醫(yī)學診斷等需要精確空間理解的領(lǐng)域發(fā)揮重要作用。

八、對普通人意味著什么

說到底，這項研究最激動人心的地方不在于技術(shù)本身有多么復(fù)雜，而在于它為普通人，特別是學生和教育工作者，帶來的實際好處。

對于正在學習數(shù)學的學生來說，這意味著他們將有機會接觸到更加個性化和多樣化的學習材料。不再需要翻遍教科書尋找類似的練習題，AI可以根據(jù)學生的具體需求生成無窮無盡的練習機會。更重要的是，這些AI助手能夠像有經(jīng)驗的老師一樣，精確地理解學生畫出的圖形或者教材中的復(fù)雜圖表，提供即時而準確的幫助。

對于教師和教育工作者來說，這項技術(shù)就像是一個永遠不知疲倦的助手。他們可以快速生成適合不同難度級別的教學材料，可以為每個學生定制專門的練習題，還可以用這個工具來驗證學生作業(yè)中的圖形是否正確。這不僅能提高教學效率，還能讓教師有更多時間專注于啟發(fā)學生思考和創(chuàng)新。

從更廣闊的角度來看，這項研究代表了人工智能發(fā)展的一個重要趨勢：從簡單的模式識別向真正的理解轉(zhuǎn)變。當AI能夠像數(shù)學家一樣精確地"看懂"幾何圖形時，我們離創(chuàng)造出真正智能的機器又近了一步。

這種精確的視覺理解能力未來還可能應(yīng)用到建筑設(shè)計、工程制圖、醫(yī)學影像分析等眾多領(lǐng)域。建筑師可能會有AI助手幫助檢查設(shè)計圖紙的準確性，醫(yī)生可能會有AI工具幫助分析復(fù)雜的醫(yī)學影像，工程師可能會有AI伙伴協(xié)助進行精密的技術(shù)繪圖。

歸根結(jié)底，這項研究告訴我們，人工智能正在學會以一種全新的方式"看世界"——不是簡單地識別表面現(xiàn)象，而是深入理解事物的本質(zhì)結(jié)構(gòu)。這種能力的發(fā)展將為人類在科學、教育、工程等眾多領(lǐng)域的探索提供強有力的工具支持。

有興趣深入了解這項突破性研究的讀者，可以通過論文的GitHub頁面https://github.com/mathllm/MathCoder獲取完整的技術(shù)細節(jié)和開源代碼，親自體驗這種讓AI"看懂"數(shù)學圖形的神奇能力。

Q&A

Q1：MathCoder-VL到底是什么？它和普通的AI有什么不同？ A：MathCoder-VL是一個專門為數(shù)學圖形理解設(shè)計的AI模型。與普通AI不同，它不是用自然語言描述圖形，而是將圖形轉(zhuǎn)換成精確的繪圖代碼，就像給AI裝上了一雙能精確"讀懂"幾何圖的眼睛，能準確識別角度、長度等數(shù)學細節(jié)。

Q2：這項技術(shù)會不會讓學生變懶，不愿意自己思考數(shù)學問題？ A：恰恰相反，這項技術(shù)更像是一個優(yōu)秀的數(shù)學老師助手。它能為每個學生生成個性化的練習題，提供即時的圖形理解幫助，但解決問題的思考過程仍然需要學生自己完成。它只是讓學習過程更高效，讓學生能接觸到更多樣化的練習機會。

Q3：普通人現(xiàn)在能使用MathCoder-VL嗎？如何獲取這項技術(shù)？ A：研究團隊已經(jīng)在GitHub上開源了相關(guān)代碼和模型，技術(shù)愛好者可以通過https://github.com/mathllm/MathCoder獲取。不過目前還需要一定的技術(shù)背景才能使用，相信隨著技術(shù)發(fā)展，未來會有更多用戶友好的應(yīng)用產(chǎn)品出現(xiàn)。