當(dāng)前人工智能快速發(fā)展的時(shí)代，多模態(tài)大語言模型（MLLMs）正成為研究的熱點(diǎn)。2025年5月，一個(gè)由布朗大學(xué)、Salesforce AI研究院、NVIDIA研究院等多家頂尖機(jī)構(gòu)組成的研究團(tuán)隊(duì)在arXiv上發(fā)表了題為《MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning》的論文，開創(chuàng)性地探索了如何通過多領(lǐng)域數(shù)據(jù)混合策略來提升多模態(tài)大語言模型的推理能力。這篇由Yiqing Liang、Jielin Qiu等人撰寫的研究，為MLLMs的訓(xùn)練提供了全新思路，有興趣深入了解的讀者可以通過項(xiàng)目網(wǎng)站 https://modomodo-rl.github.io/ 獲取更多信息。

想象一下，如果我們把多模態(tài)大語言模型比作一位需要全面發(fā)展的學(xué)生，傳統(tǒng)的訓(xùn)練方法就像只讓這位學(xué)生專注于單一學(xué)科（如數(shù)學(xué)或物理），而忽略了其他學(xué)科的學(xué)習(xí)。MoDoMoDo的核心理念就是設(shè)計(jì)一種"全面教育計(jì)劃"，讓模型同時(shí)學(xué)習(xí)多個(gè)領(lǐng)域的知識，并找到最佳的"課程安排比例"，使模型在各個(gè)領(lǐng)域都能取得優(yōu)異成績。

一、研究背景與問題

多模態(tài)大語言模型，顧名思義，是能夠同時(shí)處理圖像、文本等多種信息形式的人工智能系統(tǒng)。你可以想象它就像一個(gè)既能看懂圖片又能理解文字的助手，能夠回答"這張圖片里有什么"、"圖中的物體在哪里"等各種問題。近年來，研究人員開發(fā)了各種訓(xùn)練這類模型的方法，包括指令微調(diào)、基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）等。

其中，一種叫做"可驗(yàn)證獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)"（RLVR）的方法在純文本大語言模型訓(xùn)練中取得了很大成功。這種方法就像是給模型布置了有標(biāo)準(zhǔn)答案的作業(yè)，當(dāng)模型答對時(shí)給予獎(jiǎng)勵(lì)，從而引導(dǎo)模型學(xué)習(xí)正確的回答方式。RLVR在數(shù)學(xué)和編程等有明確答案的任務(wù)中表現(xiàn)尤為出色。

然而，將RLVR應(yīng)用到多模態(tài)大語言模型時(shí)面臨著一個(gè)重大挑戰(zhàn)：與純文本任務(wù)相比，視覺-語言任務(wù)種類繁多且各不相同，需要模型具備更廣泛的能力——從空間推理到精細(xì)識別，再到圖表解讀等。而每種可驗(yàn)證獎(jiǎng)勵(lì)只能針對能力譜系中的一小部分，導(dǎo)致現(xiàn)有的基于RLVR的多模態(tài)訓(xùn)練通常只聚焦于單一任務(wù)領(lǐng)域（如視覺問答、物體檢測或數(shù)學(xué)）。

這就產(chǎn)生了一個(gè)關(guān)鍵問題：如何在RLVR框架下混合多個(gè)不同領(lǐng)域的數(shù)據(jù)集，以培養(yǎng)多模態(tài)大語言模型的全面能力？這正是MoDoMoDo研究要解決的核心問題。

二、MoDoMoDo方法論

MoDoMoDo框架像是一位精明的教練，不僅知道要讓模型學(xué)習(xí)多種技能，還懂得如何科學(xué)地分配訓(xùn)練資源。它的核心包括兩大創(chuàng)新：多模態(tài)RLVR框架和數(shù)據(jù)混合優(yōu)化策略。

### 多模態(tài)RLVR框架

研究團(tuán)隊(duì)首先構(gòu)建了一個(gè)完整的多模態(tài)RLVR訓(xùn)練環(huán)境。想象一下一個(gè)體育館里有五個(gè)不同的訓(xùn)練區(qū)域，每個(gè)區(qū)域鍛煉不同的肌肉群：

1. COCO數(shù)據(jù)集：專注于物體識別能力，就像訓(xùn)練模型的"眼睛"，讓它能準(zhǔn)確識別圖像中的物體并給出精確的邊界框位置。

2. LISA數(shù)據(jù)集：專注于指代表達(dá)理解，相當(dāng)于訓(xùn)練模型的"精細(xì)辨識"能力，讓它能理解"圖中那個(gè)穿紅衣服的人"這樣的描述并定位到正確的對象。

3. GeoQAV數(shù)據(jù)集：專注于數(shù)學(xué)視覺問答，相當(dāng)于訓(xùn)練模型的"邏輯思維"能力，讓它能解決包含圖表和數(shù)學(xué)元素的問題。

4. SAT數(shù)據(jù)集：專注于空間視覺問答，像是訓(xùn)練模型的"空間感知"能力，幫助它理解物體之間的空間關(guān)系。

5. ScienceQA數(shù)據(jù)集：專注于科學(xué)視覺問答，相當(dāng)于訓(xùn)練模型的"科學(xué)知識"能力，讓它能回答與科學(xué)相關(guān)的問題。

每個(gè)數(shù)據(jù)集都配備了自己的"裁判"——即獎(jiǎng)勵(lì)模型，它能根據(jù)模型的回答給出明確的反饋：

- 格式獎(jiǎng)勵(lì)（Format）：檢查模型的回答是否符合預(yù)期格式，如果不符合，其他獎(jiǎng)勵(lì)自動設(shè)為零。 - 準(zhǔn)確性獎(jiǎng)勵(lì)（Accuracy）：檢查模型的回答是否與標(biāo)準(zhǔn)答案完全匹配。 - 交并比獎(jiǎng)勵(lì)（IoU）：對于邊界框任務(wù)，評估預(yù)測邊界框與真實(shí)邊界框的重疊程度。

這些獎(jiǎng)勵(lì)像是教練的口哨聲，指導(dǎo)模型朝著正確的方向調(diào)整自己的行為。

### 數(shù)據(jù)混合優(yōu)化策略

僅有多個(gè)訓(xùn)練區(qū)域是不夠的，關(guān)鍵在于如何分配訓(xùn)練時(shí)間。MoDoMoDo的第二個(gè)創(chuàng)新點(diǎn)是提出了一種數(shù)據(jù)混合優(yōu)化策略，它就像一位精通統(tǒng)計(jì)學(xué)的教練，通過分析過去的訓(xùn)練效果來預(yù)測未來的最佳訓(xùn)練計(jì)劃。

這個(gè)策略分為兩步：

首先，研究團(tuán)隊(duì)進(jìn)行了一系列"種子實(shí)驗(yàn)"，測試不同的數(shù)據(jù)混合比例對模型性能的影響。就像記錄運(yùn)動員在不同訓(xùn)練方案下的表現(xiàn)，以積累基礎(chǔ)數(shù)據(jù)。

然后，他們訓(xùn)練了一個(gè)二次函數(shù)模型來預(yù)測：給定一個(gè)特定的數(shù)據(jù)混合比例，最終模型在測試集上的表現(xiàn)會如何。這就像根據(jù)過去的訓(xùn)練記錄，預(yù)測不同訓(xùn)練計(jì)劃會產(chǎn)生什么樣的比賽成績。

這種方法的優(yōu)勢在于，不需要為每一種可能的混合比例都進(jìn)行完整的訓(xùn)練循環(huán)（這將極其耗時(shí)），而是通過有限的實(shí)驗(yàn)來建立預(yù)測模型，然后利用這個(gè)模型找到最優(yōu)的混合策略。

三、實(shí)驗(yàn)設(shè)置與評估

為了驗(yàn)證MoDoMoDo的有效性，研究團(tuán)隊(duì)設(shè)計(jì)了一系列精心的實(shí)驗(yàn)。想象一下，他們在一所虛擬學(xué)校里開設(shè)了各種課程組合，然后觀察學(xué)生（模型）在各類考試中的表現(xiàn)。

### 基礎(chǔ)模型與訓(xùn)練策略

研究團(tuán)隊(duì)選擇了Qwen2-VL-2B-Instruct作為基礎(chǔ)模型，這是一個(gè)擁有2B參數(shù)的多模態(tài)大語言模型。就像選擇一位有良好基礎(chǔ)但需要進(jìn)一步培養(yǎng)的學(xué)生作為實(shí)驗(yàn)對象。

訓(xùn)練采用GRPO（Group Relative Policy Optimization）算法，這是一種改進(jìn)的PPO強(qiáng)化學(xué)習(xí)算法。訓(xùn)練過程凍結(jié)了視覺編碼器，只更新語言模型部分的參數(shù)，這樣做既能提高訓(xùn)練效率，也能保持模型的基礎(chǔ)視覺理解能力。

在訓(xùn)練數(shù)據(jù)采樣方面，采用了兩階段抽樣策略：首先根據(jù)數(shù)據(jù)混合權(quán)重選擇一個(gè)數(shù)據(jù)集，然后從該數(shù)據(jù)集中隨機(jī)抽取一個(gè)未見過的樣本。這確保了模型能按照預(yù)設(shè)的混合比例接觸各個(gè)領(lǐng)域的數(shù)據(jù)。

### 三類數(shù)據(jù)混合策略

研究者們設(shè)計(jì)了三類數(shù)據(jù)混合策略來尋找最佳的"課程表"：

1. 種子混合策略：最基礎(chǔ)的混合方法，包括"單一數(shù)據(jù)集"（僅使用一個(gè)數(shù)據(jù)集訓(xùn)練）、"排除一個(gè)"（使用除了某個(gè)特定數(shù)據(jù)集外的所有數(shù)據(jù)集）以及"全部"（均勻混合所有數(shù)據(jù)集）。

2. 啟發(fā)式混合策略：基于種子實(shí)驗(yàn)的結(jié)果，開發(fā)了更智能的混合規(guī)則，包括： - Alpha系列：假設(shè)數(shù)據(jù)集之間相互獨(dú)立，根據(jù)各數(shù)據(jù)集對測試性能的貢獻(xiàn)來分配權(quán)重 - 共線性感知回歸：使用嶺回歸并考慮數(shù)據(jù)集之間的統(tǒng)計(jì)依賴性 - 留一法歸一化：根據(jù)排除某個(gè)數(shù)據(jù)集時(shí)性能的下降程度來評估其重要性

3. 模型預(yù)測混合策略：使用協(xié)方差矩陣適應(yīng)進(jìn)化策略（CMA-ES）框架，擬合一個(gè)參數(shù)化模型來近似數(shù)據(jù)混合與性能之間的映射關(guān)系。通過在多個(gè)驗(yàn)證集上測試，研究者發(fā)現(xiàn)二次函數(shù)模型能很好地捕捉數(shù)據(jù)集之間的復(fù)雜交互關(guān)系。

### 評估指標(biāo)與測試數(shù)據(jù)

為了全面評估模型性能，研究團(tuán)隊(duì)設(shè)計(jì)了兩類測試集：

1. 同分布測試集：包括LISA-test、SAT-test和ScienceQA-test，用于評估模型在訓(xùn)練過的領(lǐng)域中的表現(xiàn)。

2. 跨分布測試集：包括ChartQA、InfoVQA、MathVista和MMMU，用于測試模型的泛化能力，即在未見過的任務(wù)上的表現(xiàn)。

性能評估采用0到1的分?jǐn)?shù)，對于LISA-test使用平均交并比（IoU）指標(biāo)，對于其他測試集則使用答案與參考答案的精確匹配率。此外，還計(jì)算了兩個(gè)綜合指標(biāo)：In-Score（同分布測試集的加權(quán)平均）和Out-Score（跨分布測試集的加權(quán)平均）。

四、實(shí)驗(yàn)結(jié)果與發(fā)現(xiàn)

MoDoMoDo的實(shí)驗(yàn)結(jié)果令人振奮，就像一位教練發(fā)現(xiàn)了培養(yǎng)全能運(yùn)動員的秘訣。

### 數(shù)據(jù)混合的重要性

首先，實(shí)驗(yàn)證明了數(shù)據(jù)混合策略確實(shí)能顯著提升模型性能。將基礎(chǔ)模型與使用"全部"數(shù)據(jù)混合策略訓(xùn)練后的模型相比，后者在所有測試集上都取得了顯著提升：

- 同分布測試集：LISA從0.15提升到0.48（增長220%），SAT從0.25提升到0.57（增長128%），ScienceQA從0.05提升到0.70（增長1300%）。 - 跨分布測試集：ChartQA從0.24提升到0.48（增長100%），InfoVQA從0.31提升到0.47（增長52%），MathVista從0.39提升到0.43（增長10%），MMMU從0.38提升到0.41（增長8%）。

這表明，即使是簡單的數(shù)據(jù)混合也能讓模型獲得更全面的能力，既精通專項(xiàng)技能，又具備一定的泛化能力。

### 數(shù)據(jù)混合的復(fù)雜性

然而，實(shí)驗(yàn)也揭示了數(shù)據(jù)混合并非簡單的"多多益善"。從圖4和圖5的結(jié)果可以看出，不同數(shù)據(jù)集對不同測試任務(wù)的影響各不相同，甚至存在復(fù)雜的相互作用：

- LISA-only對InfoVQA有益，但會降低ScienceQA的性能 - ScienceQA-only在同領(lǐng)域測試中表現(xiàn)最佳，但在InfoVQA上表現(xiàn)較差 - 排除ScienceQA會顯著降低ScienceQA和ChartQA的性能，而對其他測試集的影響則不一致 - 有趣的是，排除任一數(shù)據(jù)集反而會提高跨分布測試的整體性能（Out-Score）

這些復(fù)雜的交互關(guān)系就像不同學(xué)科之間的互補(bǔ)和沖突，需要精心平衡才能達(dá)到最佳效果。

### 數(shù)據(jù)混合模型的選擇

研究發(fā)現(xiàn)，簡單的線性模型無法準(zhǔn)確預(yù)測數(shù)據(jù)混合與性能之間的關(guān)系。如圖7所示，線性模型預(yù)測的分?jǐn)?shù)與實(shí)際分?jǐn)?shù)之間存在顯著偏差。相比之下，二次優(yōu)化函數(shù)能更好地?cái)M合訓(xùn)練數(shù)據(jù)，并在測試數(shù)據(jù)上展現(xiàn)出良好的泛化能力。

這表明數(shù)據(jù)集之間存在非線性的交互關(guān)系，簡單的線性組合無法捕捉這種復(fù)雜性。就像不同學(xué)科之間的知識不是簡單疊加，而是相互影響、互為補(bǔ)充的。

### 最佳混合策略的效果

最終，通過模型預(yù)測的最佳混合策略訓(xùn)練出的模型在跨分布測試集上取得了令人印象深刻的成績：

- 與使用均勻數(shù)據(jù)混合策略訓(xùn)練的模型相比，平均提升了5.24% - 與預(yù)訓(xùn)練基線模型相比，總體提升達(dá)到了驚人的20.74%

這表明，科學(xué)設(shè)計(jì)的數(shù)據(jù)混合策略能夠顯著提升模型的泛化能力，讓模型在未見過的任務(wù)上也能表現(xiàn)出色。

五、結(jié)論與未來展望

MoDoMoDo研究為多模態(tài)大語言模型的訓(xùn)練開辟了新的道路。通過結(jié)合多領(lǐng)域數(shù)據(jù)混合與基于可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)，研究團(tuán)隊(duì)成功構(gòu)建了一個(gè)能夠全面提升模型推理能力的框架。

這項(xiàng)研究的核心發(fā)現(xiàn)可以概括為：

1. 多領(lǐng)域數(shù)據(jù)混合確實(shí)能夠提升模型在各類任務(wù)上的表現(xiàn)，尤其是跨分布泛化能力。 2. 數(shù)據(jù)集之間存在復(fù)雜的交互關(guān)系，簡單的線性組合無法捕捉這種關(guān)系。 3. 使用二次函數(shù)模型預(yù)測性能，并據(jù)此優(yōu)化混合策略，是一種高效且有效的方法。

然而，這項(xiàng)研究也存在一些局限性。首先，它僅限于圖像-文本設(shè)置，未來可以擴(kuò)展到音頻、視頻和3D模態(tài)。其次，在算法方面，探索能夠考慮數(shù)據(jù)集相似性、課程安排或不確定性估計(jì)的替代模型，可能進(jìn)一步減少實(shí)驗(yàn)成本。最后，將這些經(jīng)驗(yàn)發(fā)現(xiàn)與統(tǒng)一的多目標(biāo)強(qiáng)化學(xué)習(xí)理論聯(lián)系起來，將加深我們對混合優(yōu)化RLVR為何能如此有效泛化的理解。

總的來說，MoDoMoDo為多模態(tài)AI的訓(xùn)練提供了一種全新的思路：不是簡單地增加數(shù)據(jù)量，而是科學(xué)地混合不同類型的數(shù)據(jù)，讓模型在有限的訓(xùn)練資源下獲得最大的能力提升。這就像一位智慧的教練，不僅知道要讓運(yùn)動員進(jìn)行多元化訓(xùn)練，還懂得如何分配每種訓(xùn)練的時(shí)間和強(qiáng)度，從而培養(yǎng)出真正的全能冠軍。

對于AI研究者和開發(fā)者來說，MoDoMoDo提供了一種可復(fù)制的方法來優(yōu)化他們自己的多模態(tài)模型訓(xùn)練。而對于普通用戶，這意味著未來的AI助手將能更全面地理解我們的視覺世界，回答更復(fù)雜的問題，提供更準(zhǔn)確的信息。