這項由清華大學、上海人工智能實驗室、香港中文大學、上海交通大學等多家知名研究機構聯(lián)合開展的研究，于2025年7月發(fā)表在計算機視覺頂級會議CVPR上。研究的核心成果是開發(fā)出了名為Mono-InternVL-1.5的多模態(tài)大語言模型，該模型能夠在大幅降低訓練成本的同時保持甚至提升性能表現(xiàn)。有興趣深入了解技術細節(jié)的讀者可以通過https://github.com/OpenGVLab/Mono-InternVL獲取完整的代碼和模型資源。

在當今人工智能快速發(fā)展的時代，一個令人頭疼的問題正困擾著研究者們：如何讓AI既聰明又不那么燒錢？當我們希望AI能夠同時理解圖片和文字時，這個挑戰(zhàn)變得更加復雜。傳統(tǒng)的做法就像雇傭兩個專家——一個看圖專家和一個文字專家，然后讓他們合作完成任務。雖然這種方式效果不錯，但成本高昂，就像同時雇傭兩個高級顧問一樣。

研究團隊提出了一個創(chuàng)新的解決方案：為什么不訓練一個既能看圖又能理解文字的全能型AI呢？這就像培養(yǎng)一個既會繪畫又會寫作的多才多藝的藝術家，而不是分別雇傭畫家和作家。這種被稱為"單體式"的多模態(tài)大語言模型，能夠在一個統(tǒng)一的框架內處理視覺和語言任務。

然而，訓練這樣的全能型AI面臨著巨大的挑戰(zhàn)。就像讓一個人同時學習繪畫和寫作一樣，如果教學方法不當，學會繪畫可能會讓他忘記如何寫作，這就是AI研究中著名的"災難性遺忘"問題。為了解決這個問題，研究團隊設計了一個巧妙的訓練策略。

一、解決AI學習中的"顧此失彼"難題

研究團隊面臨的核心挑戰(zhàn)可以用學習外語來比喻。當你已經(jīng)精通中文寫作后，再學習英語時，如果教學方法不當，你可能會發(fā)現(xiàn)中文寫作能力有所退化。同樣，當一個已經(jīng)具備優(yōu)秀語言能力的AI模型開始學習處理圖像時，原有的語言能力可能會受到?jīng)_擊。

為了避免這種"顧此失彼"的情況，研究團隊采用了一種類似于"增設專門部門"的策略。他們在原有的語言AI模型中嵌入了專門的視覺專家模塊，就像在一家主要從事文字工作的公司里增設一個圖像處理部門。關鍵在于，原有的文字處理部門保持不變，所有的圖像學習都由新增的視覺專家來承擔。

這種設計的巧妙之處在于使用了"專家混合"架構。當處理文字內容時，系統(tǒng)會自動調用文字專家；當遇到圖像內容時，則啟用視覺專家。這就像一個智能的工作分配系統(tǒng)，能夠根據(jù)任務類型自動選擇最合適的專家來處理。

更進一步，研究團隊開發(fā)了一個漸進式的訓練方法，稱為"內生視覺預訓練"。這個過程分為三個階段，就像培養(yǎng)一個藝術家的完整流程。第一階段是"概念學習"，讓AI掌握基本的視覺概念，比如識別什么是貓、什么是狗，就像藝術家學習基本的形狀和顏色。第二階段是"語義學習"，教會AI理解更復雜的視覺關系和知識，比如理解圖片中的故事情節(jié)，就像藝術家學習構圖和表達情感。第三階段是"對齊學習"，讓AI學會將視覺理解與語言表達完美結合，就像藝術家學會用畫筆表達內心的想法。

二、Mono-InternVL-1.5的突破性改進

在第一代Mono-InternVL取得成功后，研究團隊并沒有止步不前。他們發(fā)現(xiàn)了一個重要問題：雖然模型性能不錯，但訓練成本仍然很高，就像一個優(yōu)秀的工匠雖然手藝精湛，但制作一件作品需要花費太多時間和材料。

于是，他們開發(fā)了改進版本Mono-InternVL-1.5，這個版本的核心理念是"用更少的資源做更好的事"。他們采用了"少而精"的數(shù)據(jù)策略，就像一個經(jīng)驗豐富的老師知道如何用最少的例題教會學生最多的知識。

具體來說，新版本引入了"視覺注意力專家"。如果說原來的視覺專家像是眼睛，那么視覺注意力專家就像是大腦中負責分析視覺信息的部分。當AI看到一張圖片時，不僅要能看到內容，還要能夠分析哪些部分最重要，哪些細節(jié)值得關注。這就像一個攝影師不僅要會拍照，還要知道如何構圖和突出重點。

在數(shù)據(jù)使用方面，Mono-InternVL-1.5采用了更加高效的策略。原來的版本需要大約11億條訓練樣本，而新版本只需要5億條高質量樣本就能達到更好的效果。這就像一個優(yōu)秀的老師能夠用精選的教材取得比大量低質量教材更好的教學效果。

研究團隊還開發(fā)了專門的加速技術，稱為"融合CUDA核心"。這項技術就像為計算機裝上了更高效的處理器，能夠顯著提升模型的運行速度。在實際測試中，這項技術將推理速度提升了26%，相當于原來需要10秒鐘完成的任務現(xiàn)在只需要8秒鐘。

三、架構設計的獨特之處

Mono-InternVL系列模型的架構設計體現(xiàn)了"統(tǒng)一中有分工"的哲學。整個系統(tǒng)就像一個設計精良的工作室，不同的專家在同一個空間內協(xié)同工作，但各自專注于自己的領域。

在視覺處理方面，模型采用了輕量級的圖像標記化方法。傳統(tǒng)的方法需要先用一個專門的視覺編碼器處理圖像，然后再傳遞給語言模型，這就像需要兩個翻譯員——先把圖像翻譯成中間語言，再翻譯成文字。而Mono-InternVL直接將圖像切分成小塊，每個小塊對應一個視覺標記，就像將一張照片切成拼圖塊，每個塊都包含一部分視覺信息。

這種設計的優(yōu)勢在于能夠處理任意分辨率的圖像，最高可以處理800萬像素的高清圖片，相當于能夠處理專業(yè)級攝影作品。系統(tǒng)會根據(jù)圖像內容自動調整處理策略，就像一個經(jīng)驗豐富的圖像編輯師能夠根據(jù)照片特點選擇最合適的處理方法。

在多模態(tài)融合方面，模型使用了"硬路由"策略。這意味著當系統(tǒng)遇到文字內容時，會自動激活文字專家；遇到視覺內容時，則啟用視覺專家。這種明確的分工避免了不同類型信息之間的相互干擾，就像一個井然有序的辦公室，每個部門都有明確的職責范圍。

為了進一步提升效率，Mono-InternVL-1.5還引入了"混合深度"的概念。系統(tǒng)會根據(jù)任務復雜程度動態(tài)調整計算資源的分配，簡單任務使用較少的計算層，復雜任務則動用更多資源。這就像一個智能的工作分配系統(tǒng)，能夠根據(jù)任務難度自動調整投入的人力和時間。

四、訓練策略的精妙設計

Mono-InternVL的訓練過程體現(xiàn)了"循序漸進"的教育理念。整個訓練分為四個階段，每個階段都有明確的學習目標和策略。

第一階段是概念學習，這個階段就像教小孩子認識世界。系統(tǒng)需要學會識別基本的視覺元素，比如什么是汽車、什么是房子、什么是人物。研究團隊使用了約9.22億個圖像-文字配對樣本，這些樣本大多來自互聯(lián)網(wǎng)，包含了豐富但相對噪雜的信息，就像一個孩子通過觀察日常生活來認識世界。

在這個階段，系統(tǒng)只需要學會給圖片生成簡單的描述，比如"這是一只棕色的狗"或"這是一輛紅色的汽車"。雖然描述簡單，但這為后續(xù)的復雜學習打下了堅實基礎。研究團隊巧妙地將圖像分辨率限制在相對較低的水平，就像先教孩子認識簡筆畫，再逐步介紹復雜的藝術作品。

第二階段是語義學習，這時系統(tǒng)開始學習更加復雜的視覺理解。研究團隊不再使用網(wǎng)絡上的噪雜數(shù)據(jù)，而是用預訓練的高質量模型生成了2.58億個精確的圖像描述。這就像從讓孩子自己摸索改為請專業(yè)老師來指導，學習質量顯著提升。

在這個階段，系統(tǒng)學會了理解圖像中的復雜關系，比如"一個穿紅衣服的女孩正在公園里喂鴿子"這樣包含多個對象和動作的復雜場景。系統(tǒng)的圖像處理能力也得到提升，可以處理更高分辨率的圖像，就像學生的閱讀能力從簡單的兒童書籍提升到了復雜的文學作品。

第三階段是對齊學習，這是最關鍵的階段。系統(tǒng)需要學會將視覺理解與特定任務相結合，比如回答關于圖像的問題、進行文字識別、理解圖表信息等。這個階段使用了1.43億個任務相關的樣本，涵蓋了圖像描述、物體檢測、文字識別等多個方面。

在這個階段，研究團隊做了一個重要調整：他們解凍了多頭注意力層的參數(shù)，允許系統(tǒng)學會更好地協(xié)調視覺和語言信息。這就像讓一個學生不僅要學會看懂圖片和理解文字，還要學會如何將兩者有機結合起來。

最后一個階段是指令微調，系統(tǒng)學會按照人類的指令執(zhí)行各種復雜任務。這個階段使用了700萬個高質量的指令-響應對，覆蓋了多種語言和任務類型。系統(tǒng)在這個階段真正成為了一個可用的AI助手，能夠理解復雜的用戶需求并給出合適的回應。

五、性能表現(xiàn)與效率提升

Mono-InternVL-1.5在性能測試中展現(xiàn)出了令人印象深刻的表現(xiàn)。研究團隊在15個不同的評測基準上進行了全面測試，就像讓一個學生參加多門學科的綜合考試。

在與其他單體式多模態(tài)模型的比較中，Mono-InternVL表現(xiàn)突出。比如在OCRBench這個專門測試文字識別能力的基準上，Mono-InternVL比Emu3模型高出了114分，這是一個巨大的性能提升。在MMVet這個測試綜合能力的基準上，Mono-InternVL-1.5獲得了54.0分，而同等規(guī)模的其他模型通常只能達到30-40分。

更重要的是效率方面的提升。Mono-InternVL-1.5只需要5億個訓練樣本，比原版本的11億個樣本減少了58%，但性能卻有所提升。這就像一個學生通過改進學習方法，用更少的時間取得了更好的成績。

在推理速度方面，改進也很顯著。得益于專門設計的加速核心，Mono-InternVL-1.5的首個令牌生成時間比傳統(tǒng)的模塊化模型快了69%。這意味著用戶提出問題后，系統(tǒng)能夠更快地開始回應，大大提升了使用體驗。

研究團隊還特別測試了模型在不同圖像分辨率下的表現(xiàn)。結果顯示，即使在處理高分辨率圖像時，Mono-InternVL-1.5也能保持穩(wěn)定的性能，這對于實際應用來說非常重要。很多現(xiàn)實場景中的圖像，比如文檔、海報、技術圖紙等，都需要高分辨率處理才能獲得準確的信息。

六、技術創(chuàng)新的深層價值

Mono-InternVL系列模型的技術創(chuàng)新不僅體現(xiàn)在性能數(shù)字上，更重要的是它為AI發(fā)展指出了一個新方向。傳統(tǒng)的多模態(tài)AI就像一個需要多個專業(yè)顧問協(xié)作的復雜項目，而Mono-InternVL證明了培養(yǎng)一個多才多藝的通才同樣可行，甚至在某些方面更有優(yōu)勢。

首先是部署簡便性。傳統(tǒng)的模塊化多模態(tài)模型需要維護多個獨立的組件，就像一個樂隊需要協(xié)調多種不同的樂器。而單體式模型就像一個能演奏多種樂器的音樂家，部署和維護都更加簡單。這對于實際應用來說意義重大，特別是在資源有限的環(huán)境中。

其次是學習效率。通過巧妙的訓練策略，Mono-InternVL證明了可以用更少的數(shù)據(jù)達到更好的效果。這不僅降低了訓練成本，也為中小型研究機構和公司提供了參與多模態(tài)AI研究的可能性。就像找到了一種更高效的學習方法，讓更多人能夠掌握復雜技能。

研究團隊開發(fā)的"內生視覺預訓練"方法也具有重要的理論價值。它證明了在不破壞原有能力的前提下為AI系統(tǒng)增加新能力是可能的，這為未來的多模態(tài)AI發(fā)展提供了重要的方法論指導。

融合CUDA核心的開發(fā)則解決了一個實際的工程問題。多模態(tài)混合專家系統(tǒng)在理論上很優(yōu)美，但在實際運行時往往面臨效率問題。研究團隊開發(fā)的專門加速技術為這類系統(tǒng)的實用化鋪平了道路。

七、實驗驗證與消融研究

為了確保研究結論的可靠性，研究團隊進行了大量的對比實驗和消融研究。這就像科學家在發(fā)布新發(fā)現(xiàn)之前需要進行反復驗證一樣。

在零樣本預訓練性能測試中，研究團隊比較了Mono-InternVL在不同訓練階段的表現(xiàn)。結果顯示，經(jīng)過語義學習階段后，模型在COCO Captions任務上的表現(xiàn)從87.3分提升到135.6分，這證明了高質量合成數(shù)據(jù)的價值。這就像一個學生在得到專業(yè)指導后成績大幅提升一樣。

研究團隊還專門測試了不同訓練策略的效果。他們發(fā)現(xiàn)，使用"增量調優(yōu)"（只訓練新增的視覺專家）比"全量調優(yōu)"（訓練整個模型）效果更好，這驗證了保持原有語言能力的重要性。在一個對比實驗中，增量調優(yōu)在多個任務上都獲得了顯著更好的表現(xiàn)，比如在SQA-I任務上比全量調優(yōu)高出18.8分。

在數(shù)據(jù)規(guī)模影響的研究中，團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象：在概念學習階段，增加數(shù)據(jù)量帶來的性能提升會逐漸放緩，但在語義學習和對齊學習階段，性能會隨著數(shù)據(jù)量增加而持續(xù)提升。這就像學習過程中的不同階段有不同的效率曲線。

注意力機制的可視化分析也提供了深入的洞察。研究團隊發(fā)現(xiàn)，在淺層網(wǎng)絡中，視覺信息主要在局部區(qū)域內流動，類似于卷積神經(jīng)網(wǎng)絡的行為。而在深層網(wǎng)絡中，不同模態(tài)之間的交互變得更加頻繁和復雜。這種從局部到全局、從分離到融合的模式反映了多模態(tài)理解的本質特征。

八、技術限制與未來展望

盡管Mono-InternVL-1.5取得了顯著成就，但研究團隊也坦率地承認了當前方法的局限性。任何技術創(chuàng)新都不是完美無缺的，了解這些限制同樣重要。

首先是模型規(guī)模的限制。雖然Mono-InternVL-1.5在同等規(guī)模模型中表現(xiàn)優(yōu)異，但與一些超大規(guī)模的模塊化模型相比，在某些復雜任務上仍有差距。這就像一個多才多藝的個人雖然能力全面，但在特定專業(yè)領域可能不如專門的專家那樣精通。

在高分辨率圖像處理方面，雖然模型支持最高800萬像素的圖像，但在實際處理中，過高的分辨率會顯著增加計算成本。研究團隊指出，這主要是因為當前的單體式架構在處理極高分辨率圖像時需要更多的計算資源。

語言能力的保持也是一個需要持續(xù)關注的問題。雖然通過巧妙的訓練策略，Mono-InternVL-1.5很好地保持了原有的語言能力，但在某些特定的NLP任務上仍然出現(xiàn)了輕微的性能下降。這提醒我們，在追求多模態(tài)能力的同時，如何完美平衡各種能力仍然是一個挑戰(zhàn)。

展望未來，研究團隊指出了幾個重要的發(fā)展方向。首先是進一步提升數(shù)據(jù)效率，他們希望能夠用更少的高質量數(shù)據(jù)達到更好的效果。其次是擴展到更多模態(tài)，比如音頻、視頻等，真正實現(xiàn)全模態(tài)的AI系統(tǒng)。

在應用層面，研究團隊相信Mono-InternVL類型的模型將在文檔分析、內容創(chuàng)作、教育輔助等領域發(fā)揮重要作用。這些單體式模型的部署簡便性使得它們特別適合在邊緣設備或資源受限的環(huán)境中使用。

說到底，Mono-InternVL-1.5的成功證明了一個重要觀點：在AI發(fā)展中，"更聰明地工作"往往比"更努力地工作"更重要。通過精心設計的架構和訓練策略，研究團隊用更少的資源達到了更好的效果，這為整個AI社區(qū)提供了寶貴的經(jīng)驗。

這項研究的價值不僅在于技術本身，更在于它展現(xiàn)的研究思路：如何在有限資源下追求最優(yōu)性能，如何在保持原有能力的同時獲得新能力，如何讓復雜的AI系統(tǒng)變得更實用。這些思考對于推動AI技術的普及應用具有深遠意義。

對于普通人來說，這項研究預示著更智能、更便宜、更易用的AI工具即將到來。在不久的將來，我們可能會看到更多能夠同時理解圖片和文字、既聰明又高效的AI助手出現(xiàn)在日常生活中。而對于整個AI行業(yè)來說，Mono-InternVL系列模型為多模態(tài)AI的發(fā)展開辟了一條新路徑，證明了技術創(chuàng)新不僅要追求性能極限，更要關注實用性和可持續(xù)性。

Q&A

Q1：Mono-InternVL-1.5是什么？它和傳統(tǒng)的多模態(tài)AI有什么不同？ A：Mono-InternVL-1.5是一個能同時理解圖片和文字的AI模型。傳統(tǒng)多模態(tài)AI就像雇傭兩個專家分別處理圖像和文字，而Mono-InternVL-1.5更像培養(yǎng)一個既會看圖又會寫字的全才。它將所有功能集成在一個統(tǒng)一系統(tǒng)中，部署更簡單，效率更高，但不會因為學習新技能而忘記原有能力。

Q2：這個模型會不會很貴很難用？普通人能接觸到嗎？ A：恰恰相反，Mono-InternVL-1.5的設計目標就是降低成本。相比第一代版本，它的訓練數(shù)據(jù)需求減少了58%，推理速度提升了26%，這意味著運行成本更低。研究團隊已在GitHub開源了代碼和模型，未來很可能出現(xiàn)基于這項技術的各種應用產品。

Q3：這項技術有什么實際用途？能解決什么現(xiàn)實問題？ A：這項技術在文檔分析、內容創(chuàng)作、教育輔助等方面很有潛力。比如它能幫你讀懂復雜的圖表、從照片中提取文字信息、為圖片生成準確描述等。由于部署簡便，特別適合在手機、平板等設備上使用，讓AI多模態(tài)能力真正走向普通用戶。