當(dāng)我們使用ChatGPT這類大型語(yǔ)言模型討論一張圖片或視頻時(shí)，你是否好奇它如何理解內(nèi)容的時(shí)間和空間關(guān)系？比如，當(dāng)你問"視頻中哪一秒出現(xiàn)了小貓"，AI需要準(zhǔn)確理解視頻的時(shí)間線和畫面中的物體位置。然而，現(xiàn)有的視覺語(yǔ)言模型在處理長(zhǎng)視頻時(shí)表現(xiàn)不佳，特別是超過其訓(xùn)練范圍的視頻長(zhǎng)度。為解決這一問題，卡內(nèi)基梅隆大學(xué)的李浩然和小紅書團(tuán)隊(duì)（秦穎杰、歐保元、徐來、徐瑞文）共同開發(fā)了一種名為"HoPE"的混合位置編碼技術(shù)，該研究于2025年5月發(fā)表在預(yù)印本平臺(tái)arXiv上（編號(hào):2505.20444v1）。

要理解這項(xiàng)研究的意義，我們先簡(jiǎn)單聊聊視覺語(yǔ)言模型（VLMs）如何處理視頻。想象你在看一段3分鐘的視頻，AI需要理解每一幀畫面的內(nèi)容，以及這些內(nèi)容在時(shí)間線上如何演變。就像你在看電影時(shí)既能理解"現(xiàn)在屏幕上有什么"，也能記住"10秒前發(fā)生了什么"。但當(dāng)前的AI在長(zhǎng)視頻上表現(xiàn)不佳，甚至連簡(jiǎn)單的物體計(jì)數(shù)和時(shí)間定位都會(huì)出錯(cuò)。

研究團(tuán)隊(duì)發(fā)現(xiàn)，問題的關(guān)鍵在于AI如何在處理信息時(shí)記住"位置信息"。在現(xiàn)有的模型中，廣泛使用一種叫做"旋轉(zhuǎn)位置編碼"（RoPE）的技術(shù)，它在處理文本時(shí)效果很好，但直接應(yīng)用到視頻上卻不理想。為什么呢？因?yàn)橐曨l是三維的（時(shí)間、水平和垂直空間），而現(xiàn)有技術(shù)主要針對(duì)一維文本設(shè)計(jì)。

想象一下，如果你只能用一條直線表示一個(gè)立體空間，無論如何排列，總會(huì)丟失一些空間關(guān)系。這就是現(xiàn)有技術(shù)的困境。研究團(tuán)隊(duì)通過理論分析和實(shí)驗(yàn)，揭示了現(xiàn)有方法的兩個(gè)關(guān)鍵缺陷：一是無法準(zhǔn)確捕捉空間-時(shí)間的局部性，二是在長(zhǎng)視頻中難以保持語(yǔ)義相似性。

基于這些發(fā)現(xiàn)，研究團(tuán)隊(duì)提出了HoPE（混合位置編碼）技術(shù)，包含兩個(gè)創(chuàng)新點(diǎn)：一是混合頻率分配策略，為空間和時(shí)間信息分配不同的編碼頻率；二是動(dòng)態(tài)時(shí)間縮放機(jī)制，可根據(jù)視頻速度靈活調(diào)整時(shí)間編碼。就像一個(gè)同時(shí)精通空間方位和時(shí)間流逝的導(dǎo)游，HoPE能夠更準(zhǔn)確地引導(dǎo)AI理解視頻內(nèi)容的時(shí)空關(guān)系。

在四個(gè)視頻基準(zhǔn)測(cè)試上的實(shí)驗(yàn)表明，HoPE顯著提升了模型在長(zhǎng)視頻理解和檢索任務(wù)上的表現(xiàn)，比現(xiàn)有最佳方法分別提高了8.35%和22.23%。這意味著，配備HoPE技術(shù)的AI能更準(zhǔn)確地回答"視頻中第幾分鐘出現(xiàn)了小貓"這類問題，為視頻內(nèi)容分析、智能搜索和視頻推薦等應(yīng)用提供了更可靠的技術(shù)支持。

一、視頻理解的時(shí)空挑戰(zhàn)：現(xiàn)有模型的局限性

想象你正在看一段長(zhǎng)達(dá)30分鐘的烹飪視頻，需要找出"什么時(shí)候廚師加入了鹽"。對(duì)人類來說，這是個(gè)簡(jiǎn)單任務(wù)，但對(duì)AI卻是個(gè)不小的挑戰(zhàn)?？▋?nèi)基梅隆大學(xué)的李浩然研究團(tuán)隊(duì)在分析現(xiàn)有視覺語(yǔ)言模型（VLMs）時(shí)發(fā)現(xiàn)，這些模型在處理超過預(yù)訓(xùn)練長(zhǎng)度的視頻時(shí)表現(xiàn)顯著下降。

"許多視覺語(yǔ)言模型在面對(duì)長(zhǎng)視頻時(shí)表現(xiàn)得像失憶的觀眾，"研究團(tuán)隊(duì)形象地描述道，"它們甚至難以完成簡(jiǎn)單的物體計(jì)數(shù)和時(shí)間定位任務(wù)。"比如當(dāng)你問"視頻中總共出現(xiàn)了幾次貓咪？"或"第15分鐘發(fā)生了什么？"，模型往往給出錯(cuò)誤答案。這一問題嚴(yán)重限制了VLMs在實(shí)際應(yīng)用中的部署，因?yàn)楝F(xiàn)實(shí)世界的視頻長(zhǎng)度通常遠(yuǎn)超模型的預(yù)訓(xùn)練窗口。

造成這一問題的核心原因在于位置編碼技術(shù)。在語(yǔ)言模型中廣泛使用的旋轉(zhuǎn)位置編碼（RoPE）在文本處理中表現(xiàn)出色，但直接應(yīng)用到視頻上卻面臨挑戰(zhàn)。這就像用一維直尺去測(cè)量三維物體，無論如何都會(huì)有信息丟失。

研究團(tuán)隊(duì)通過理論分析證明，傳統(tǒng)RoPE中的"扁平化"操作會(huì)扭曲空間-時(shí)間的局部性。想象一下，在現(xiàn)實(shí)中相鄰的兩個(gè)畫面位置（比如視頻中相鄰的兩幀），經(jīng)過扁平化處理后，它們的"距離"被人為放大了，這導(dǎo)致模型難以識(shí)別它們的鄰近關(guān)系。具體來說，當(dāng)視頻分辨率為H×W時(shí)，相鄰兩幀之間的位置差異會(huì)被放大到HW，這種失真隨著視頻分辨率的增加而加劇。

此外，研究團(tuán)隊(duì)還發(fā)現(xiàn)，現(xiàn)有的多模態(tài)RoPE變體（如M-RoPE和VideoRoPE）雖然嘗試通過不同的頻率分配策略來解決這一問題，但它們?cè)诶碚撋先詿o法在長(zhǎng)視頻中可靠地捕捉語(yǔ)義相似性。這就像一個(gè)聽力不好的人在嘈雜環(huán)境中聽電話，當(dāng)對(duì)話時(shí)間延長(zhǎng)，他越來越難以分辨重要信息和背景噪音。

最后，團(tuán)隊(duì)指出，現(xiàn)有技術(shù)在處理視頻時(shí)間索引時(shí)缺乏靈活性。視頻中的信息密度與文本相比有很大差異，不同視頻的播放速度也各不相同。簡(jiǎn)單地為所有視頻應(yīng)用固定的時(shí)間縮放因子（如VideoRoPE中的做法）是次優(yōu)的，因?yàn)樗鼰o法適應(yīng)各種視頻速度和信息密度的變化。

正是基于這些深入分析，研究團(tuán)隊(duì)提出了HoPE技術(shù)，旨在從根本上解決這些挑戰(zhàn)，使視覺語(yǔ)言模型能夠更好地理解和處理長(zhǎng)視頻內(nèi)容。

二、HoPE：視頻理解的新鑰匙

想象你是一位精通時(shí)間和空間導(dǎo)航的向?qū)?，需要引?dǎo)一位游客穿越一個(gè)既有空間維度又有時(shí)間維度的迷宮。這正是HoPE（混合位置編碼）技術(shù)的核心任務(wù)——幫助AI更好地在視頻的時(shí)空迷宮中導(dǎo)航。研究團(tuán)隊(duì)設(shè)計(jì)的HoPE技術(shù)包含兩個(gè)關(guān)鍵創(chuàng)新：混合頻率分配策略和動(dòng)態(tài)時(shí)間縮放機(jī)制。

混合頻率分配策略就像一張精心設(shè)計(jì)的地圖，告訴AI如何同時(shí)關(guān)注空間細(xì)節(jié)和時(shí)間變化。在傳統(tǒng)的位置編碼中，不同維度的信息（如時(shí)間、水平位置、垂直位置）會(huì)被分配不同的頻率。就像收音機(jī)調(diào)頻一樣，不同的頻率承載不同的信息。但研究團(tuán)隊(duì)通過理論分析發(fā)現(xiàn)，這些頻率分配策略在長(zhǎng)視頻中會(huì)失效。

"我們證明，無論采用什么頻率分配策略，當(dāng)視頻長(zhǎng)度超過某個(gè)閾值后，都無法可靠地保持語(yǔ)義偏好屬性，"研究者解釋道。這里的"語(yǔ)義偏好屬性"指的是，無論相對(duì)位置如何，模型都應(yīng)該優(yōu)先關(guān)注語(yǔ)義相似的內(nèi)容。

為解決這一問題，HoPE采用了一種混合策略：為空間信息（水平和垂直位置）分配高頻，因?yàn)楦哳l對(duì)位置差異更敏感，更適合捕捉局部特征；而對(duì)時(shí)間維度，則直接將最低頻率設(shè)為零（類似NoPE技術(shù)），以實(shí)現(xiàn)可靠的長(zhǎng)距離語(yǔ)義建模。這就像在地圖上用不同顏色標(biāo)記不同類型的信息，讓導(dǎo)航更加清晰。

研究團(tuán)隊(duì)證明，這種混合策略在保持語(yǔ)義偏好方面提供了更強(qiáng)的理論保證，特別是在處理超長(zhǎng)視頻內(nèi)容時(shí)。在數(shù)學(xué)上，這相當(dāng)于將語(yǔ)義相似度計(jì)算中的時(shí)間項(xiàng)設(shè)為常數(shù)，避免了隨著時(shí)間距離增加而產(chǎn)生的波動(dòng)，從而保證了相似內(nèi)容之間的注意力權(quán)重不會(huì)因?yàn)闀r(shí)間距離的增加而減弱。

與此同時(shí)，HoPE還引入了動(dòng)態(tài)時(shí)間縮放機(jī)制，用于調(diào)整視覺輸入的時(shí)間步長(zhǎng)?？紤]到文本和視覺標(biāo)記的信息密度差異，以及現(xiàn)實(shí)世界視頻速度的多樣性，研究團(tuán)隊(duì)設(shè)計(jì)了一組縮放因子（如{0.5, 0.75, 1, 1.25, 1.5}），包括拉伸（γ > 1）和壓縮（γ < 1）操作。

在訓(xùn)練過程中，縮放因子γ隨機(jī)從集合中選擇并應(yīng)用于每個(gè)視頻。這使模型能夠?qū)W習(xí)多種時(shí)間尺度下的時(shí)間關(guān)系，增強(qiáng)了對(duì)各種視頻速度的魯棒性。這就像教會(huì)導(dǎo)游在不同交通工具（步行、騎車、駕車）下仍能準(zhǔn)確估計(jì)時(shí)間和距離，使導(dǎo)航更加靈活可靠。

"我們的動(dòng)態(tài)時(shí)間縮放不僅增強(qiáng)了模型對(duì)各種視頻速度的魯棒性，還提供了在推理階段跨多種上下文長(zhǎng)度的靈活縮放能力，"研究者補(bǔ)充道。這意味著，即使面對(duì)訓(xùn)練中從未見過的視頻長(zhǎng)度和速度，配備HoPE的模型也能進(jìn)行更可靠的理解和分析。

通過這兩項(xiàng)創(chuàng)新，HoPE有效解決了現(xiàn)有技術(shù)在長(zhǎng)視頻理解中的核心挑戰(zhàn)，為視覺語(yǔ)言模型提供了更可靠的時(shí)空導(dǎo)航能力。

三、實(shí)驗(yàn)驗(yàn)證：HoPE如何改變長(zhǎng)視頻理解

研究團(tuán)隊(duì)將HoPE技術(shù)應(yīng)用到了Qwen2-2B和Qwen2-7B兩種規(guī)模的模型上，并在四個(gè)視頻基準(zhǔn)測(cè)試中進(jìn)行了全面評(píng)估，包括長(zhǎng)視頻理解任務(wù)（LongVideoBench、Video-MME和MLVU）和長(zhǎng)視頻檢索任務(wù)（V-NIAH）。這些實(shí)驗(yàn)就像是對(duì)新導(dǎo)航系統(tǒng)的一系列實(shí)地測(cè)試，檢驗(yàn)它在各種復(fù)雜地形中的表現(xiàn)。

在長(zhǎng)視頻理解任務(wù)中，HoPE與現(xiàn)有技術(shù)（傳統(tǒng)RoPE、M-RoPE和VideoRoPE）進(jìn)行了對(duì)比。實(shí)驗(yàn)設(shè)置中，所有方法的訓(xùn)練上下文長(zhǎng)度均為8k，而評(píng)估則在8k、16k、32k和64k上進(jìn)行，以測(cè)試模型的長(zhǎng)度泛化能力。就像測(cè)試一位導(dǎo)游能否在不熟悉的地區(qū)仍然提供準(zhǔn)確指引。

實(shí)驗(yàn)結(jié)果令人振奮。在7B規(guī)模模型和32k上下文長(zhǎng)度下，HoPE在MLVU上比傳統(tǒng)RoPE提高了2.82個(gè)百分點(diǎn)，在LongVideoBench上提高了4.05個(gè)百分點(diǎn)，在Video-MME上提高了1.45個(gè)百分點(diǎn)。這意味著，配備HoPE的模型能夠更準(zhǔn)確地回答關(guān)于長(zhǎng)視頻內(nèi)容的問題，如"視頻第20分鐘發(fā)生了什么"或"視頻中總共有幾個(gè)人物"。

研究團(tuán)隊(duì)還觀察到幾個(gè)有趣的現(xiàn)象：首先，HoPE的效果會(huì)隨著模型規(guī)模的增加而提升。當(dāng)模型從2B增加到7B時(shí)，HoPE在LongVideoBench（32k）上相比傳統(tǒng)RoPE的性能提升從0.66顯著增加到4.05。這表明，較大的模型能夠更好地利用HoPE提供的時(shí)空導(dǎo)航能力。

其次，在超長(zhǎng)上下文（64k，相當(dāng)于訓(xùn)練長(zhǎng)度的8倍）下，所有方法的性能都有所下降，但HoPE的降幅最小，表現(xiàn)出更強(qiáng)的長(zhǎng)度泛化能力。這就像一位優(yōu)秀的導(dǎo)游，即使在從未探索過的地區(qū)，仍能保持相對(duì)較高的導(dǎo)航準(zhǔn)確性。

在長(zhǎng)視頻檢索任務(wù)（V-NIAH）中，HoPE的優(yōu)勢(shì)更加明顯。V-NIAH要求模型在長(zhǎng)視頻中找到特定的"針"幀來回答問題，類似于在干草堆中尋找一根針。如果模型無法準(zhǔn)確理解視頻的時(shí)空結(jié)構(gòu)，這個(gè)任務(wù)幾乎不可能完成。

結(jié)果顯示，HoPE比最好的基線（VideoRoPE）提高了驚人的22.23個(gè)百分點(diǎn)。這一顯著提升證明了HoPE在處理復(fù)雜的視頻空間-時(shí)間關(guān)系方面的卓越能力。這就像一位超級(jí)導(dǎo)游不僅能告訴你"這個(gè)城市有什么"，還能精確指出"那件特定的物品在哪個(gè)街區(qū)的哪個(gè)商店里"。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融研究，分別評(píng)估HoPE中各組件的貢獻(xiàn)。結(jié)果表明，3D結(jié)構(gòu)（相比于傳統(tǒng)RoPE的扁平化處理）、混合頻率分配（HFA）和動(dòng)態(tài)時(shí)間縮放（DTS）各自都帶來了性能提升。特別是在Video-MME上，完整的HoPE（包含所有組件）在8k到64k的所有上下文長(zhǎng)度上都取得了最佳結(jié)果。

此外，團(tuán)隊(duì)還研究了測(cè)試時(shí)間縮放因子選擇對(duì)性能的影響。他們發(fā)現(xiàn)，長(zhǎng)視頻檢索任務(wù)通常偏好較小的縮放因子（如0.75），而長(zhǎng)視頻理解則在較長(zhǎng)上下文下受益于較大的縮放因子（如1.5）。這一發(fā)現(xiàn)為不同任務(wù)提供了實(shí)用的指導(dǎo)，就像提醒導(dǎo)游在不同類型的旅行中調(diào)整步伐。

總體而言，這些實(shí)驗(yàn)結(jié)果有力地證明了HoPE在長(zhǎng)視頻理解和檢索任務(wù)中的有效性，為視覺語(yǔ)言模型處理長(zhǎng)視頻內(nèi)容提供了一條有前途的解決方路徑。

四、HoPE的理論基礎(chǔ)：為何它能更好地理解長(zhǎng)視頻

要深入理解HoPE的成功，我們需要探索其背后的理論基礎(chǔ)。研究團(tuán)隊(duì)不僅提出了實(shí)用的技術(shù)解決方案，還通過嚴(yán)格的理論分析揭示了為何這些方案能夠有效工作。這就像不僅知道一條路能到達(dá)目的地，還理解為什么這條路是最優(yōu)選擇。

研究的第一個(gè)理論貢獻(xiàn)是證明了傳統(tǒng)RoPE在處理視頻時(shí)的固有缺陷?？紤]一個(gè)形狀為T×H×W的視頻，其中T是幀數(shù)，H和W分別是高度和寬度。在傳統(tǒng)RoPE中，位置(t, x, y)會(huì)被扁平化為一維索引f(t, x, y) = tHW + xW + y。

研究團(tuán)隊(duì)證明，這種扁平化操作會(huì)導(dǎo)致空間-時(shí)間局部性的扭曲。比如，同一幀內(nèi)在空間上相鄰的兩個(gè)位置(t, x, y)和(t, x+1, y)，它們的索引差異是W；而在時(shí)間上相鄰的兩個(gè)位置(t, x, y)和(t+1, x, y)，它們的索引差異則是HW。這意味著，隨著視頻分辨率的增加，時(shí)間上的鄰近關(guān)系被不成比例地放大，導(dǎo)致模型難以正確理解視頻的時(shí)空結(jié)構(gòu)。

研究的第二個(gè)理論貢獻(xiàn)是引入"語(yǔ)義偏好屬性"的概念，并分析不同頻率分配策略對(duì)這一屬性的影響。語(yǔ)義偏好屬性要求，對(duì)于任何查詢向量q和語(yǔ)義相似的鍵向量k'（可表示為k' = q + δ，其中δ是零均值擾動(dòng)），注意力得分應(yīng)滿足：E[qR?t?x?yk'? - qR?t?x?yk?] ≥ 0，其中k是語(yǔ)義無關(guān)的鍵向量。簡(jiǎn)單來說，這要求模型在計(jì)算注意力時(shí)，應(yīng)該更關(guān)注語(yǔ)義相似的內(nèi)容，而不論它們?cè)跁r(shí)空上的相對(duì)位置如何。

研究團(tuán)隊(duì)證明，無論選擇何種頻率分配策略（包括為時(shí)間維度選擇最高或最低頻率），當(dāng)上下文長(zhǎng)度足夠長(zhǎng)時(shí)，語(yǔ)義偏好屬性都會(huì)被違反。這是因?yàn)?，隨著上下文長(zhǎng)度的增加，即使是最低頻率也會(huì)產(chǎn)生任意旋轉(zhuǎn)，最終破壞語(yǔ)義相似性的捕捉。

基于這一理論分析，研究團(tuán)隊(duì)提出了混合頻率分配策略，即為空間信息分配高頻，而將時(shí)間維度的最低頻率直接設(shè)為零。他們通過數(shù)學(xué)證明，這種策略在保持語(yǔ)義偏好方面提供了更強(qiáng)的理論保證。具體來說，當(dāng)時(shí)間維度的頻率設(shè)為零時(shí)，相應(yīng)的注意力計(jì)算中的時(shí)間項(xiàng)變?yōu)槌?shù)，不再隨時(shí)間距離的增加而波動(dòng)，從而保證了語(yǔ)義相似內(nèi)容之間的注意力權(quán)重不會(huì)因時(shí)間距離的增加而減弱。

研究的第三個(gè)理論洞見與時(shí)間縮放有關(guān)。研究團(tuán)隊(duì)發(fā)現(xiàn)，考慮到文本和視覺標(biāo)記的信息密度差異，以及視頻速度的多樣性，時(shí)間索引縮放是必要的。但與VideoRoPE不同，他們主張時(shí)間縮放應(yīng)該是雙向的（既包括壓縮也包括擴(kuò)展）和動(dòng)態(tài)的，以適應(yīng)不同視頻的特性。

這種動(dòng)態(tài)時(shí)間縮放機(jī)制使模型能夠?qū)W習(xí)多種時(shí)間尺度下的時(shí)間關(guān)系，從而增強(qiáng)了模型對(duì)各種視頻速度的適應(yīng)能力。在數(shù)學(xué)上，這相當(dāng)于為模型提供了一組不同的"時(shí)間尺度"，使其能夠在推理時(shí)靈活選擇最適合特定視頻的尺度。

總的來說，HoPE的理論基礎(chǔ)揭示了現(xiàn)有技術(shù)的固有限制，并提供了解決這些限制的原理性方法。通過結(jié)合混合頻率分配和動(dòng)態(tài)時(shí)間縮放，HoPE為視覺語(yǔ)言模型提供了更可靠的時(shí)空導(dǎo)航能力，特別是在處理長(zhǎng)視頻內(nèi)容時(shí)。

五、HoPE的潛在應(yīng)用與未來展望

隨著視頻內(nèi)容在互聯(lián)網(wǎng)上的爆炸式增長(zhǎng)，有效理解和處理長(zhǎng)視頻已成為人工智能領(lǐng)域的一個(gè)關(guān)鍵挑戰(zhàn)。HoPE技術(shù)的出現(xiàn)為這一挑戰(zhàn)提供了一個(gè)有前途的解決方案，其潛在應(yīng)用范圍廣泛而深遠(yuǎn)。

首先，在視頻搜索和檢索領(lǐng)域，HoPE可以顯著提升精確度。想象一下，當(dāng)你想在一部?jī)尚r(shí)的電影中找到某個(gè)特定場(chǎng)景，或在一系列教學(xué)視頻中定位特定技能的講解部分，配備HoPE的AI系統(tǒng)能夠更準(zhǔn)確地理解你的查詢意圖，并精確定位相關(guān)內(nèi)容。這不僅節(jié)省了用戶的時(shí)間，還提升了整體用戶體驗(yàn)。

其次，在視頻內(nèi)容分析和理解方面，HoPE使AI能夠更全面地把握視頻的敘事結(jié)構(gòu)和情節(jié)發(fā)展。例如，在分析電影或電視劇時(shí)，AI可以更好地理解角色關(guān)系的演變、情節(jié)的轉(zhuǎn)折點(diǎn)以及故事的整體架構(gòu)。這對(duì)于自動(dòng)生成視頻摘要、情節(jié)分析和內(nèi)容分類等任務(wù)尤為重要。

在視頻監(jiān)控和安防領(lǐng)域，長(zhǎng)時(shí)間的視頻分析至關(guān)重要。配備HoPE的系統(tǒng)能夠在長(zhǎng)時(shí)間的監(jiān)控視頻中更可靠地檢測(cè)異常行為或特定事件，減少虛假警報(bào)，提高安全監(jiān)控的效率和準(zhǔn)確性。

教育領(lǐng)域也是HoPE的潛在受益者。隨著在線教育和視頻教學(xué)的普及，AI輔助的內(nèi)容理解和導(dǎo)航變得越來越重要。HoPE可以幫助學(xué)習(xí)平臺(tái)更準(zhǔn)確地索引和組織教學(xué)視頻，為學(xué)生提供更精準(zhǔn)的內(nèi)容推薦和學(xué)習(xí)路徑規(guī)劃。

在醫(yī)療領(lǐng)域，長(zhǎng)視頻理解技術(shù)可用于分析手術(shù)錄像、患者監(jiān)護(hù)錄像或醫(yī)療教學(xué)視頻。HoPE的進(jìn)步使AI能夠更準(zhǔn)確地理解這些專業(yè)視頻內(nèi)容，為醫(yī)療培訓(xùn)、診斷輔助和手術(shù)技術(shù)改進(jìn)提供支持。

除了這些直接應(yīng)用，HoPE的理論貢獻(xiàn)也為多模態(tài)AI研究提供了新的方向。研究團(tuán)隊(duì)在論文中指出："據(jù)我們所知，我們是首次提供不同頻率分配策略如何影響多模態(tài)RoPE性能的理論分析。這些發(fā)現(xiàn)可以進(jìn)一步用于未來多模態(tài)RoPE變體的設(shè)計(jì)和分析。"

盡管HoPE取得了顯著進(jìn)步，研究團(tuán)隊(duì)也承認(rèn)了當(dāng)前的局限性。由于計(jì)算資源限制，他們的實(shí)驗(yàn)主要在2B和7B規(guī)模的模型上進(jìn)行。雖然結(jié)果顯示性能增益會(huì)隨著模型規(guī)模增加而提升，但這一趨勢(shì)是否能擴(kuò)展到更大規(guī)模的模型（如13B或72B）仍需進(jìn)一步驗(yàn)證。

展望未來，研究團(tuán)隊(duì)計(jì)劃在計(jì)算資源允許的情況下，將HoPE技術(shù)擴(kuò)展到更大規(guī)模的模型中。此外，進(jìn)一步優(yōu)化HoPE以適應(yīng)更多樣的視頻類型和任務(wù)，以及探索將其與其他先進(jìn)技術(shù)（如多模態(tài)混合專家系統(tǒng)）結(jié)合的可能性，也是有價(jià)值的研究方向。

總的來說，HoPE技術(shù)為視覺語(yǔ)言模型在處理長(zhǎng)視頻內(nèi)容方面帶來了重要突破，不僅在技術(shù)上提供了創(chuàng)新解決方案，也為廣泛的實(shí)際應(yīng)用打開了新的可能性。隨著技術(shù)的進(jìn)一步發(fā)展和應(yīng)用的不斷擴(kuò)展，我們可以期待AI系統(tǒng)在理解和處理視頻內(nèi)容方面取得更大的進(jìn)步，為用戶提供更智能、更直觀的視頻交互體驗(yàn)。