論文詳情與研究團隊

這項由浙江大學(xué)的鄭浩、朱沐之、杜宗澤、黃錚、趙燦宇、劉明玉、王雯、陳浩和沈春華教授領(lǐng)導(dǎo)的研究團隊于2025年5月發(fā)表在arXiv預(yù)印本平臺（arXiv:2505.20256v1），論文標題為《Omni-R1: Reinforcement Learning for Omnimodal Reasoning via Two-System Collaboration》。研究團隊提出了一種針對全模態(tài)理解的強化學(xué)習(xí)新框架，代碼已在GitHub開源：https://github.com/aim-uofa/Omni-R1。

研究背景：AI理解世界的兩難困境

想象你在觀看一場復(fù)雜的體育比賽。如果你只看低分辨率的全場鏡頭，你能掌握整體戰(zhàn)術(shù)走向，但很難辨認出球員的表情或細節(jié)動作。反之，如果你只看高清特寫鏡頭，你能清晰看到每個表情和動作細節(jié)，卻失去了對整場比賽的全局把握。

人工智能面臨著類似的挑戰(zhàn)。目前的全模態(tài)AI系統(tǒng)（能同時處理文本、視頻和音頻的系統(tǒng)）在兩個關(guān)鍵能力之間存在根本性的矛盾：

1. 長時間序列的視頻和音頻理解需要大量幀來覆蓋整體時間脈絡(luò)，但處理大量幀會導(dǎo)致內(nèi)存和計算資源不足，迫使模型降低每幀的分辨率。

2. 精細像素級別的視覺理解則需要高分辨率輸入來保留細節(jié)，但這又限制了能處理的幀數(shù)。

簡單來說，這就像是你不能同時擁有望遠鏡和顯微鏡的優(yōu)勢——要么看得遠但不精細，要么看得清但視野窄。現(xiàn)有的AI模型難以兼顧這兩種能力，這大大限制了它們在復(fù)雜現(xiàn)實世界場景中的應(yīng)用。

浙大團隊的創(chuàng)新解決方案：雙系統(tǒng)協(xié)作架構(gòu)

面對這一挑戰(zhàn)，浙大團隊提出了一個名為"Omni-R1"的創(chuàng)新框架，采用了類似人類認知的"雙系統(tǒng)"協(xié)作架構(gòu)：

### 系統(tǒng)1：全局推理系統(tǒng)（Global Reasoning System）

這就像是一位賽事分析師，以低分辨率觀看整場比賽，識別關(guān)鍵時刻并理解整體脈絡(luò)。具體來說，系統(tǒng)1處理低分辨率的完整視頻流，負責(zé)： - 從長視頻中選擇最具信息量的關(guān)鍵幀 - 重新表述復(fù)雜任務(wù)，將其簡化為只需關(guān)注局部細節(jié)的子任務(wù)

### 系統(tǒng)2：細節(jié)理解系統(tǒng)（Detail Understanding System）

這就像是一位細節(jié)觀察員，只關(guān)注高清特寫鏡頭中的精細信息。系統(tǒng)2只處理系統(tǒng)1選出的少量高分辨率關(guān)鍵幀，專注于： - 精確定位和理解每一幀中的目標對象 - 執(zhí)行像素級別的精細分割和識別

舉個例子，假設(shè)AI需要識別"視頻中最后一個離開現(xiàn)場的人"。系統(tǒng)1會先以低分辨率處理整個視頻，確定哪個人是最后離開的，然后選擇幾個包含這個人的關(guān)鍵片段。系統(tǒng)2接著以高分辨率分析這些關(guān)鍵片段，精確地在像素級別定位并分割出這個人的形象。

這種協(xié)作方式巧妙解決了全局理解與細節(jié)處理之間的矛盾，讓AI能夠既理解長時間的時序信息，又能進行精細的視覺理解，而無需對整個視頻進行高分辨率處理。

突破性創(chuàng)新：用強化學(xué)習(xí)訓(xùn)練系統(tǒng)1

研究團隊發(fā)現(xiàn)，定義"最優(yōu)"關(guān)鍵幀選擇和任務(wù)重構(gòu)非常困難且高度依賴具體任務(wù)，很難通過人工標注的監(jiān)督學(xué)習(xí)數(shù)據(jù)來訓(xùn)練。這就像是很難教會一個人"哪些是電影中的關(guān)鍵場景"——不同人會有不同見解，而且標準往往是模糊的。

因此，研究團隊將這一問題重新定義為強化學(xué)習(xí)(RL)任務(wù)。他們基于"群組相對策略優(yōu)化"(Group Relative Policy Optimization, GRPO)構(gòu)建了端到端強化學(xué)習(xí)框架，讓系統(tǒng)1通過與系統(tǒng)2的實時協(xié)作來學(xué)習(xí)如何選擇最佳關(guān)鍵幀和重構(gòu)任務(wù)。

這個過程類似于兩個人協(xié)作完成任務(wù)的學(xué)習(xí)過程：

1. 系統(tǒng)1（全局推理系統(tǒng)）首先選擇一些關(guān)鍵幀并提出簡化后的任務(wù)描述。 2. 系統(tǒng)2（細節(jié)理解系統(tǒng)）嘗試使用這些高分辨率關(guān)鍵幀和任務(wù)描述來完成目標。 3. 根據(jù)最終結(jié)果的好壞，系統(tǒng)1獲得獎勵反饋，逐漸調(diào)整和改進自己的策略。 4. 隨著訓(xùn)練進行，系統(tǒng)1學(xué)會了選擇最有信息量的關(guān)鍵幀，并以最有效的方式重構(gòu)任務(wù)。

研究團隊設(shè)計了一套分層獎勵函數(shù)來指導(dǎo)系統(tǒng)1的學(xué)習(xí)，包括：

1. 關(guān)鍵幀質(zhì)量獎勵：評估選擇的關(guān)鍵幀是否具有多樣性、是否覆蓋了目標物體的顯著部分等。 2. 幀-指令對齊獎勵：評估本地化指令與相應(yīng)關(guān)鍵幀的匹配程度。 3. 全局時間一致性獎勵：評估最終的分割結(jié)果在整個視頻中的空間準確性和時間一致性。

通過這種強化學(xué)習(xí)方法，系統(tǒng)1不斷改進其選擇關(guān)鍵幀和重構(gòu)任務(wù)的能力，從而使整個系統(tǒng)在處理復(fù)雜的全模態(tài)理解任務(wù)時更加高效和準確。

實驗驗證：卓越的性能提升

研究團隊在兩個極具挑戰(zhàn)性的任務(wù)上評估了Omni-R1的性能：

### 1. 指代音視頻分割任務(wù)（RefAVS）

這項任務(wù)要求AI根據(jù)自然語言指令和音頻信息在視頻中分割出指定的物體。例如，"定位視頻中發(fā)出敲擊聲音的鐵鍋"。

在RefAVS測試集上，Omni-R1僅訓(xùn)練一個周期就取得了顯著突破： - 在"見過"的數(shù)據(jù)集上：J&F得分提升16.4%（從31.6%到47.2%） - 在"未見過"的數(shù)據(jù)集上：J&F得分提升8.0%（從66.2%到74.2%）

這一結(jié)果不僅大幅超越了基線模型，甚至超越了專門為此任務(wù)設(shè)計的最先進模型EEMC。

### 2. 推理視頻物體分割任務(wù)（REVOS）

這項任務(wù)要求AI基于時間行為的復(fù)雜描述來分割視頻中的物體。例如，"分割視頻中最后一個被拿起的物體"。

在REVOS數(shù)據(jù)集上，7B參數(shù)的Omni-R1作為系統(tǒng)1和系統(tǒng)2時，在整體測試集上達到了47.6%的J&F得分，比基線模型提高了11.0%。

當11B參數(shù)的Omni-R1作為系統(tǒng)1與Sa2VA（一個專業(yè)的分割模型）作為系統(tǒng)2協(xié)作時，性能進一步提升至58.9%，超越了專門為分割任務(wù)設(shè)計的Sa2VA-26B（58.4%）等更大的模型。

特別值得注意的是，Omni-R1在推理子集上取得了53.7%的得分，表明其出色的時序推理能力。

### 3. 通用全模態(tài)理解能力

除了上述專業(yè)任務(wù)外，研究團隊還評估了Omni-R1在通用理解基準上的表現(xiàn)：

- OmniBench：得分提升2.0%（從47.3%到49.3%） - VideoMME：得分提升2.7%（從58.3%到60.7%） - MVBench：得分提升3.7%（從66.1%到70.3%）

這些結(jié)果表明，通過針對視頻分割任務(wù)的強化學(xué)習(xí)，Omni-R1不僅提高了特定任務(wù)的性能，還增強了其通用的多模態(tài)理解能力。

消除幻覺問題的意外收獲

在訓(xùn)練過程中，研究團隊還發(fā)現(xiàn)了一個意外收獲：Omni-R1顯著減少了多模態(tài)幻覺問題（即AI虛構(gòu)不存在的內(nèi)容）。

在AVHBench的JUDGE子集上，結(jié)合視頻物體分割（VOS）和音視頻分割（AVS）任務(wù)訓(xùn)練的Omni-R1將準確率從基線模型的58.5%提升到了71.9%，改善了13.4%。這表明多任務(wù)強化學(xué)習(xí)不僅提高了音視頻理解能力，還更有效地減輕了幻覺問題。

研究團隊分析認為，這可能是因為雙系統(tǒng)架構(gòu)迫使模型更加嚴謹?shù)靥幚硇畔ⅲ合到y(tǒng)1必須提供準確的關(guān)鍵幀和任務(wù)描述，系統(tǒng)2才能成功完成任務(wù)。這種協(xié)作機制自然形成了一種內(nèi)部驗證機制，減少了模型產(chǎn)生幻覺的可能性。

未來展望與局限性

盡管Omni-R1在多項任務(wù)上取得了優(yōu)異成績，研究團隊也坦率指出了當前方法的局限性：

系統(tǒng)1和系統(tǒng)2之間的完全功能分離可能在某些需要精細時間敏感性的任務(wù)中帶來挑戰(zhàn)。例如，當需要檢測和描述特定時間段內(nèi)的異常行為時，系統(tǒng)2缺乏時間上下文可能會影響一致性。

研究團隊建議未來研究可以探索更具交互性的架構(gòu)，使系統(tǒng)1和系統(tǒng)2之間能夠雙向交流信息。這將使系統(tǒng)1能夠利用系統(tǒng)2的本地洞察來改進其全局推理，同時使系統(tǒng)2能夠獲得系統(tǒng)1提供的更廣泛的上下文意識。

研究者們認為，將當前的單向推理流程轉(zhuǎn)變?yōu)殡p向合作推理結(jié)構(gòu)，有望進一步提升多模態(tài)時序理解能力，特別是在更靈活和復(fù)雜的任務(wù)上。

總結(jié)：AI理解世界的新范式

歸根結(jié)底，Omni-R1提出的雙系統(tǒng)協(xié)作架構(gòu)代表了AI理解復(fù)雜現(xiàn)實世界的一種新范式。就像人類在觀察世界時會自然地結(jié)合全局掃描和局部聚焦一樣，這種方法讓AI能夠同時把握時序脈絡(luò)和捕捉細節(jié)信息。

通過將關(guān)鍵幀選擇和任務(wù)重構(gòu)形式化為強化學(xué)習(xí)問題，浙大團隊成功地讓AI學(xué)會了如何在不同任務(wù)中有效地分配注意力資源。這種方法不僅在特定任務(wù)上表現(xiàn)優(yōu)異，還改善了模型的通用理解能力和跨域泛化能力，同時減少了多模態(tài)幻覺問題。

Omni-R1代表了將強化學(xué)習(xí)應(yīng)用于大規(guī)模全模態(tài)推理的首次成功嘗試，為構(gòu)建真正通用的人工智能基礎(chǔ)模型提供了可擴展的路徑。這一研究向我們展示，通過模擬人類認知的協(xié)作機制，AI可以更好地理解和解釋我們這個豐富多彩的世界。

對于關(guān)注AI發(fā)展的讀者來說，這項研究意味著未來的AI系統(tǒng)將能夠更全面、更精準地理解包含視頻、音頻和文本的復(fù)雜場景，無論是輔助視頻內(nèi)容創(chuàng)作、智能監(jiān)控系統(tǒng)、自動駕駛感知，還是輔助醫(yī)療診斷等領(lǐng)域，都將因此受益。