北卡羅來納大學教堂山分校的研究團隊——Daeun Lee、Jaehong Yoon、Jaemin Cho和Mohit Bansal于2025年6月在arXiv上發(fā)表了一篇名為《VIDEO-SKILL-COT: Skill-based Chain-of-Thoughts for Domain-Adaptive Video Reasoning》的研究論文。這項研究提出了一種名為VIDEO-SKILL-COT（簡稱VIDEO-SKOT）的全新視頻理解框架，有興趣的讀者可以通過研究團隊的官方網站（https://video-skill-cot.github.io/）了解更多詳情。

想象一下，如果你讓一個人工智能系統(tǒng)觀看一段電影片段，然后問它："電影中的情緒基調是如何變化的？"或者看一段廚房視頻后問："冰箱離爐子最近嗎？"——這些看似簡單的問題，對AI系統(tǒng)來說卻是巨大的挑戰(zhàn)。雖然最近的AI模型在"思維鏈"（Chain-of-Thought，簡稱CoT）推理方面取得了不少進展，但它們往往在面對不同類型的視頻內容時表現不一。

為什么會這樣呢？研究人員發(fā)現，處理電影片段需要的推理技能（比如理解情節(jié)發(fā)展和角色情緒）與分析廚房視頻需要的技能（如空間關系判斷）完全不同?，F有的模型通常使用通用的推理方法，無法針對特定領域的內容進行靈活調整。這就像讓一個只懂足球規(guī)則的裁判去執(zhí)法籃球比賽——規(guī)則完全不同，自然會手足無措。

北卡羅來納大學教堂山分校的研究團隊正是看到了這一問題，提出了VIDEO-SKILL-COT解決方案。這個框架就像是為AI配備了一套"百寶箱"，里面裝著各種專門的推理技能，讓AI可以根據不同的視頻內容和問題類型，靈活地調用最合適的技能進行推理。

一、技能化思維鏈標注：自動構建技能驅動的推理過程

VIDEO-SKILL-COT的第一個關鍵創(chuàng)新在于它如何構建技能化的思維鏈標注。傳統(tǒng)方法通常使用固定的、通用的推理路徑，就像給所有菜肴使用同一套烹飪步驟一樣，無法適應不同菜系的特點。而VIDEO-SKILL-COT則為每個問題定制了專屬的推理"食譜"。

這個過程可以分為兩個主要步驟。首先，研究團隊提取領域相關的推理技能。想象你在觀看一部電影時，你可能會用到"從面部表情和肢體語言推斷情緒狀態(tài)"的技能；而在查看室內場景時，你可能需要"確定物體相對于人物的位置關系"的技能。研究團隊使用大型語言模型從訓練問題中提取出這些特定的技能描述，然后將它們聚類成一個共享的技能分類法。

舉個例子，當系統(tǒng)面對"哪個物體離電腦主機最近？"這樣的問題時，它首先識別出需要用到的技能可能包括"定位特定物體的位置"、"評估物體之間的空間接近度"和"使用視覺線索估計兩個物體之間的距離"。

第二步是基于這些技能生成詳細的多步驟思維鏈。系統(tǒng)會為每個視頻-問題對生成一個條件化的推理過程，明確地反映所需的推理技能。比如，系統(tǒng)可能會先提出一個子問題："洗碗機、洗衣機和冰箱在廚房中的位置在哪里？"，回答："爐子位于同一面墻上，在冰箱和洗衣機之間。"然后進一步提問："哪個物體離爐子最近？"最終得出結論："洗衣機離爐子最近。"

這種方法的優(yōu)勢在于它能生成多樣化且領域相關的推理路徑，而無需人工標注。就像一位經驗豐富的導游，會根據游客的興趣和目的地的特點，定制最合適的參觀路線，而不是對所有游客使用同一套固定的行程。

二、技能專家學習：培養(yǎng)專業(yè)化的推理能力

有了技能化的思維鏈標注后，研究團隊還需要一種方法來有效地訓練模型掌握這些技能。這就是VIDEO-SKILL-COT的第二個創(chuàng)新——技能專家學習框架。

想象一個學校里有不同學科的專家教師，每位教師專注于自己擅長的領域。同樣，VIDEO-SKILL-COT框架中，每個專家模塊都專注于一套特定的推理技能，使用輕量級的適配器（LoRA）通過收集的思維鏈監(jiān)督進行訓練。

具體來說，系統(tǒng)首先將訓練集中的所有問題投影到文本嵌入空間，并進行k-means聚類（設置k=5）。這些聚類中心代表問題組，而不是技能描述組。每個訓練樣本都被分配到最接近的問題組，然后系統(tǒng)使用相應的專家LoRA模塊進行參數高效的訓練，確保任務特定的適應，同時最小化技能之間的干擾。

在測試時，系統(tǒng)會為每個測試問題找到最接近的問題組，通過找到最接近的問題嵌入中心點來分配合適的專家。這就像學校的輔導系統(tǒng)，根據學生的問題類型，將他們分配給最合適的專業(yè)教師進行指導。

訓練目標方面，系統(tǒng)同時最小化答案預測（Lanswer）和思維鏈生成（LCoT）的交叉熵損失，權重比例為1:0.5。這種平衡確保模型既能給出正確的答案，又能提供合理的推理過程。

三、實驗驗證：在多種視頻理解任務中的出色表現

研究團隊在三個具有不同領域的視頻問答基準測試上評估了VIDEO-SKILL-COT的性能：E.T.-Bench（時間理解）、VSI-Bench（空間理解）和CinePile（電影敘事理解）。這些基準測試涵蓋了各種視頻理解任務，從判斷物體之間的空間關系，到理解電影中的情感變化，再到識別視頻中的時間事件順序。

實驗結果令人振奮。VIDEO-SKILL-COT在所有三個基準測試上都一致地優(yōu)于強大的基線模型，包括mPLUG-Owl、Video-ChatGPT、Video-LLaMA2、LLaVA-OneVision和LLaVA-Video。具體來說，與經過微調的LLaVA-Video相比，VIDEO-SKILL-COT在E.T.-Bench上提高了4.10個百分點，在VSI-Bench上提高了5.70個百分點，在CinePile上提高了1.59個百分點。

這些結果突顯了該框架在不同視頻領域的適應能力。就像一個多才多藝的學習者，能夠根據不同的學科調整自己的學習策略，VIDEO-SKILL-COT能夠根據不同的視頻內容和問題類型，靈活地調用最合適的推理技能。

四、深入分析：技能化思維鏈的優(yōu)勢

為了更好地理解VIDEO-SKILL-COT的優(yōu)勢，研究團隊進行了詳細的消融研究，比較了該框架的關鍵組件：技能化思維鏈和技能專家模塊。結果表明，完整的模型（同時包含這兩個組件）實現了最高的性能。移除任一組件——技能專家模塊或技能化思維鏈——都會導致性能下降，突顯它們的互補作用：技能化思維鏈啟用結構化推理，而專家模塊帶來模塊化的專業(yè)化。

研究團隊還比較了常規(guī)思維鏈和技能化思維鏈的質量。以一個關于"哪個物體離爐子最近"的問題為例，常規(guī)思維鏈提供了一個線性的、基于場景的敘述，缺乏結構并包含不相關的細節(jié)（"相機首先聚焦在...然后向右平移..."），這使得提取關鍵空間信息變得更加困難。相比之下，技能化思維鏈首先確定相關技能（如空間接近度），然后將任務分解為重點子問題，如比較洗衣機和冰箱哪個更接近爐子。

這種方法的優(yōu)勢在于它能夠產生更有結構、更有針對性的推理過程，就像一個經驗豐富的導游，不僅知道景點的位置，還能根據游客的興趣和時間，規(guī)劃最合適的參觀路線，提供最相關的解說。

在推理過程的可視化中，研究人員還發(fā)現，使用技能化思維鏈訓練的模型能夠生成時間上更加精確的推理，有效支持準確的答案生成。這就像一個好的偵探，不僅能夠找到正確的嫌疑人，還能提供清晰、合理的證據鏈條，解釋為什么這個人是犯罪嫌疑人。

五、對比與創(chuàng)新：為什么VIDEO-SKILL-COT更勝一籌

與現有的視頻理解方法相比，VIDEO-SKILL-COT在幾個關鍵方面展現出了顯著的創(chuàng)新。首先，雖然有許多研究利用CoT推理提高了復雜視頻理解能力，但它們往往依賴固定的、通用的推理模板，無法適應不同領域的特定技能需求。就像用同一把鑰匙開不同的鎖一樣，效果自然有限。

另一方面，專家和模塊化架構雖然在多任務和多領域設置中被廣泛探索，但現有方法通常依賴預定義的專家角色、特定的架構和手動策劃的角色特定注釋。這些方法缺乏靈活性，無法自動發(fā)現和利用相關的推理技能。

相比之下，VIDEO-SKILL-COT提供了一個更加靈活、自適應的框架，能夠自動發(fā)現和利用與任何視頻理解數據集相關的推理技能。這就像一個能夠自學各種技能的學習者，不需要事先告訴他需要學習什么，他能夠自己識別出需要的技能并有針對性地進行學習。

六、未來方向與潛在應用

盡管VIDEO-SKILL-COT展示了強大的視頻推理能力，生成基于所需技能的細粒度、領域自適應的推理過程，但它仍有一些局限性。它可能偶爾會在文本輸出中產生不準確或幻覺（即生成實際視頻中不存在的內容）。此外，整體性能受到底層預訓練模型的影響，包括使用的大型語言模型（LLM）和多模態(tài)大型語言模型（MLLM）。

未來的研究可以從幾個方向進一步改進VIDEO-SKILL-COT。首先，可以探索更多種類的視頻內容和問題類型，測試該框架的泛化能力。其次，可以研究如何減少模型在推理過程中的幻覺，提高推理的可靠性。最后，隨著更強大的LLM和MLLM的出現，VIDEO-SKILL-COT也可以從這些進步中受益，進一步提高其性能。

在實際應用方面，VIDEO-SKILL-COT有著廣闊的前景。它可以用于增強視頻搜索系統(tǒng)，使用戶能夠詢問更復雜、更具體的問題；也可以應用于視頻監(jiān)控分析，自動識別特定的事件或行為；還可以用于輔助視障人士理解視頻內容，通過詳細的口頭描述幫助他們"看到"視頻中發(fā)生的事情。

總的來說，VIDEO-SKILL-COT代表了視頻理解領域的一個重要進步，為構建更智能、更適應性強的視頻理解系統(tǒng)鋪平了道路。通過自動構建和利用技能感知的思維鏈監(jiān)督，它實現了領域自適應的視頻推理，展示了在多種視頻理解任務上的卓越性能。隨著技術的不斷發(fā)展，我們可以期待看到更多基于這一框架的創(chuàng)新應用，使人工智能系統(tǒng)更好地理解和解釋各種類型的視頻內容。