這項由希伯來大學(xué)的Yosef Dayani、Omer Benishu和Sagie Benaim團隊開展的研究發(fā)表于2025年8月的arxiv預(yù)印本平臺，論文編號為arXiv:2508.16577v1。感興趣的讀者可以通過項目主頁https://yosefdayani.github.io/MV-RAG/了解更多詳細信息。

當(dāng)你想要制作一個從未見過的奇特物品的3D模型時，現(xiàn)有的AI系統(tǒng)往往會"胡編亂造"——就像一個從未見過大象的畫家被要求畫大象一樣，結(jié)果可能是一匹長鼻子的馬。希伯來大學(xué)的研究團隊發(fā)現(xiàn)了這個問題的根源，并創(chuàng)造出了一個革命性的解決方案：MV-RAG系統(tǒng)。

這個系統(tǒng)的工作原理就像給AI配備了一個"圖像記憶庫"。當(dāng)你要求它制作某個罕見物品的3D模型時，它會先到龐大的圖像數(shù)據(jù)庫中搜索相關(guān)的真實照片，然后基于這些真實照片來生成準確的3D視圖。這就好比為那個畫家提供了大象的參考照片，讓他能夠畫出真實的大象而不是想象中的怪物。

研究團隊面臨的最大挑戰(zhàn)是如何讓AI系統(tǒng)學(xué)會同時處理兩種完全不同的信息源：一種是來自專業(yè)3D數(shù)據(jù)集的規(guī)整多視圖圖像，另一種是來自互聯(lián)網(wǎng)的雜亂無章的真實照片。這就像要訓(xùn)練一個廚師既能按照精確的食譜制作標準菜品，又能根據(jù)冰箱里的剩菜剩飯創(chuàng)造出美味料理。

為了解決這個問題，他們設(shè)計了一套獨特的"混合訓(xùn)練"方案。在3D模式下，系統(tǒng)學(xué)習(xí)如何根據(jù)多個視角的標準化圖像重建完整的3D物體。同時，研究團隊會對這些標準圖像進行各種變換和增強，模擬真實世界中照片的多樣性。在2D模式下，系統(tǒng)學(xué)習(xí)如何從一堆互聯(lián)網(wǎng)上找到的同類物品照片中，預(yù)測出被隱藏的那一張照片的樣子。

更令人驚嘆的是，這個系統(tǒng)還具備了"智能判斷"能力。它能夠自動評估自己對某個概念的熟悉程度，然后相應(yīng)地調(diào)整對檢索圖像的依賴程度。對于那些訓(xùn)練數(shù)據(jù)中很少見的稀有物品，系統(tǒng)會更多地依賴檢索到的真實照片；而對于常見物品，它會更多地使用自己已有的知識。這就像一個經(jīng)驗豐富的工匠，遇到熟悉的工藝時可以憑經(jīng)驗制作，遇到陌生的工藝時會仔細研究參考資料。

一、打破傳統(tǒng)3D生成的局限性

當(dāng)前的3D內(nèi)容生成技術(shù)主要依賴于一種叫做"分數(shù)蒸餾采樣"的方法，這種方法的工作原理類似于一個雕塑家通過反復(fù)修改來完善作品。系統(tǒng)會先創(chuàng)建一個粗糙的3D模型，然后使用預(yù)訓(xùn)練的2D圖像生成模型不斷指導(dǎo)修改，直到得到滿意的結(jié)果。這種方法在處理常見物品時效果不錯，但遇到罕見或新奇的物品時就會出現(xiàn)問題。

問題的根源在于，這些2D圖像生成模型雖然強大，但它們的知識主要來自于訓(xùn)練時見過的圖像。當(dāng)你要求它們處理訓(xùn)練數(shù)據(jù)中很少出現(xiàn)的概念時，比如"博洛尼亞犬"或者"IBM 5100便攜式計算機"這樣的稀有物品，它們往往會用常見的替代品來"糊弄"，或者生成一些幾何上不一致的奇怪結(jié)果。

為了驗證這個問題的嚴重性，研究團隊專門構(gòu)建了一個包含196個稀有概念的測試集，叫做"OOD-Eval"。這個測試集包含了各種在日常AI訓(xùn)練中很少出現(xiàn)的物品，從瀕危動物品種到古董汽車，從特殊昆蟲到罕見植物。測試結(jié)果顯示，傳統(tǒng)方法在處理這些稀有概念時表現(xiàn)極差，生成的3D模型要么完全不符合描述，要么在不同視角之間存在嚴重的不一致性。

另一類嘗試解決這個問題的方法是直接從單張圖片生成多視圖3D模型。這種方法雖然能夠利用真實照片的信息，但受限于單一視角的局限性，往往無法準確重建被遮擋的部分。就像通過一張正面照片來雕刻一個人的全身雕像一樣，背面和側(cè)面的細節(jié)往往只能靠猜測。

還有一些研究嘗試通過個性化定制的方式來解決問題，也就是為每個特定物品單獨訓(xùn)練一個模型。雖然這種方法在某些情況下能得到不錯的結(jié)果，但需要為每個物品都進行耗時的訓(xùn)練過程，實用性很有限。

研究團隊意識到，解決這個問題的關(guān)鍵在于讓AI系統(tǒng)能夠有效地利用大量現(xiàn)有的真實圖像資源。互聯(lián)網(wǎng)上存在著海量的各種物品的照片，如果能夠讓AI系統(tǒng)學(xué)會檢索和利用這些照片，就能大大擴展其處理稀有概念的能力。

二、革命性的檢索增強生成架構(gòu)

MV-RAG系統(tǒng)的核心創(chuàng)新在于將信息檢索技術(shù)與多視圖擴散模型巧妙結(jié)合。整個系統(tǒng)的工作流程可以比作一個擁有完美記憶的藝術(shù)家的創(chuàng)作過程：當(dāng)接到一個創(chuàng)作任務(wù)時，藝術(shù)家首先會翻閱自己的參考資料庫，找出所有相關(guān)的圖片和資料，然后基于這些參考來創(chuàng)作出準確而一致的作品。

系統(tǒng)的第一個關(guān)鍵組件是圖像檢索模塊。當(dāng)用戶輸入一個文本描述時，比如"博洛尼亞犬"，系統(tǒng)會立即在一個包含數(shù)百萬張圖片的大型數(shù)據(jù)庫中搜索相關(guān)圖像。這個搜索過程使用了一種叫做BM25的文本匹配算法，它專門擅長處理稀有詞匯的匹配。研究團隊發(fā)現(xiàn)，相比于依賴語義理解的搜索方法，這種基于關(guān)鍵詞匹配的方法在處理罕見概念時反而更加可靠。

找到相關(guān)圖片后，系統(tǒng)需要將這些圖片轉(zhuǎn)換成適合AI模型理解的形式。這個過程使用了一個叫做"重采樣器"的組件，它的作用就像一個翻譯官，將原始圖片中的視覺信息轉(zhuǎn)換成一系列標準化的"特征令牌"。每張檢索到的圖片都會被轉(zhuǎn)換成16個這樣的令牌，這些令牌包含了圖片中最重要的視覺特征信息。

系統(tǒng)的核心是一個經(jīng)過特殊設(shè)計的多視圖擴散模型。傳統(tǒng)的多視圖生成模型只能根據(jù)文本描述來生成圖像，而MV-RAG的模型被擴展為能夠同時處理文本描述和檢索圖像的信息。這種擴展通過一個叫做"解耦交叉注意力"的機制實現(xiàn)，它允許模型分別處理來自文本和圖像的信息，然后再將兩者融合。

更重要的是，系統(tǒng)具備了自適應(yīng)調(diào)節(jié)能力。它可以根據(jù)輸入概念的稀有程度自動調(diào)整對檢索圖像的依賴程度。對于系統(tǒng)已經(jīng)很熟悉的概念，它會主要依賴自己的內(nèi)在知識；對于陌生的概念，它會更多地依賴檢索到的參考圖像。這種自適應(yīng)機制通過一個叫做"先驗引導(dǎo)注意力"的技術(shù)實現(xiàn)，它會先讓模型嘗試僅基于文本生成一個初步結(jié)果，然后評估這個結(jié)果與檢索圖像的相似性，從而判斷模型對該概念的熟悉程度。

三、突破性的混合訓(xùn)練策略

訓(xùn)練MV-RAG系統(tǒng)面臨的最大挑戰(zhàn)是如何讓它既能理解規(guī)整的3D數(shù)據(jù)，又能處理雜亂的2D圖像集合。這就像要訓(xùn)練一個學(xué)生既能解決教科書上的標準題目，又能應(yīng)對現(xiàn)實世界中的復(fù)雜問題。研究團隊設(shè)計了一套獨特的"混合訓(xùn)練"策略來解決這個難題。

在3D訓(xùn)練模式下，系統(tǒng)使用來自O(shè)bjaverse數(shù)據(jù)集的高質(zhì)量3D模型。這些3D模型被渲染成多個標準視角的圖像，就像為一個物品拍攝產(chǎn)品照片一樣，從正面、側(cè)面、背面等不同角度都拍攝清晰的照片。但是，為了模擬真實世界檢索圖像的多樣性，研究團隊對這些標準圖像進行了大量的變換和增強。

這些增強變換包括透視扭曲、隨機旋轉(zhuǎn)、裁剪縮放、顏色調(diào)整等各種操作，目的是讓這些原本規(guī)整的圖像看起來更像從互聯(lián)網(wǎng)上隨機找到的照片。更進一步，研究團隊還使用了圖像變化生成模型來創(chuàng)建同一物品的不同版本，比如改變材質(zhì)、光照或背景等。這樣，系統(tǒng)在訓(xùn)練時就能學(xué)會如何從這些多樣化的"模擬檢索圖像"中提取有用的信息。

在2D訓(xùn)練模式下，系統(tǒng)使用ImageNet21K數(shù)據(jù)集中的真實圖像。這個數(shù)據(jù)集包含了21000多個不同類別的物品照片，每個類別都有多張來自不同來源的真實照片。訓(xùn)練過程采用了一種叫做"留出視圖預(yù)測"的方法：系統(tǒng)會看到同一類別的K張圖片，然后被要求預(yù)測第K+1張圖片的樣子。

這種訓(xùn)練方法的巧妙之處在于，它迫使系統(tǒng)學(xué)會從一組不同視角、不同條件下的照片中提取出物品的本質(zhì)特征，然后基于這些特征來推測物品在新視角下的樣子。這個過程培養(yǎng)了系統(tǒng)的"3D想象能力"，讓它能夠從2D圖像中推斷出3D幾何結(jié)構(gòu)。

更重要的是，2D訓(xùn)練模式使用的是標準的2D自注意力機制，而不是3D多視圖注意力。這意味著系統(tǒng)在處理真實世界的雜亂圖像時，不會被3D幾何約束所束縛，能夠更靈活地處理各種復(fù)雜情況。

兩種訓(xùn)練模式的交替進行讓系統(tǒng)既獲得了處理3D幾何的能力，又具備了理解真實世界圖像多樣性的本領(lǐng)。這種混合策略的效果就像培養(yǎng)一個既有理論基礎(chǔ)又有實踐經(jīng)驗的專家，能夠在面對新情況時靈活應(yīng)對。

四、智能的自適應(yīng)融合機制

MV-RAG系統(tǒng)最令人印象深刻的特性之一是它的"智能判斷"能力。就像一個經(jīng)驗豐富的專家能夠根據(jù)問題的難易程度來決定是否需要查閱參考資料，MV-RAG系統(tǒng)也能夠自動評估自己對某個概念的熟悉程度，并相應(yīng)地調(diào)整對檢索圖像的依賴程度。

這個自適應(yīng)機制的工作原理基于擴散模型的一個重要特性：擴散模型本質(zhì)上是在學(xué)習(xí)數(shù)據(jù)的概率分布，它的輸出反映了輸入概念在訓(xùn)練數(shù)據(jù)中的常見程度。當(dāng)模型遇到訓(xùn)練時經(jīng)常見到的概念時，它會很"自信"地生成結(jié)果；當(dāng)遇到罕見概念時，生成的結(jié)果往往會偏向于更常見的替代品。

系統(tǒng)利用這個特性設(shè)計了一個巧妙的評估機制。在正式生成最終結(jié)果之前，系統(tǒng)會先進行一次"試探性生成"：僅使用文本描述，忽略檢索到的圖像，快速生成一個初步結(jié)果。然后，系統(tǒng)會將這個初步結(jié)果與檢索到的真實圖像進行比較，計算它們之間的視覺相似性。

如果初步生成的結(jié)果與檢索圖像很相似，說明系統(tǒng)對這個概念很熟悉，能夠僅憑文本描述就生成準確的結(jié)果。在這種情況下，系統(tǒng)會增加對自身先驗知識的依賴，減少對檢索圖像的依賴。相反，如果初步結(jié)果與檢索圖像差異很大，說明這是一個對系統(tǒng)來說很陌生的概念，系統(tǒng)就會增加對檢索圖像的依賴程度。

這種自適應(yīng)調(diào)節(jié)通過一個動態(tài)權(quán)重參數(shù)α來實現(xiàn)。當(dāng)系統(tǒng)判斷自己很熟悉某個概念時，α值會比較高，意味著更多地使用系統(tǒng)自身的知識；當(dāng)判斷概念很陌生時，α值會很低，意味著更多地依賴檢索圖像的指導(dǎo)。這種動態(tài)調(diào)節(jié)確保了系統(tǒng)在不同情況下都能發(fā)揮最佳性能。

研究團隊通過大量實驗驗證了這種自適應(yīng)機制的有效性。對于常見物品如"狗"或"汽車"，系統(tǒng)會適當(dāng)降低對檢索圖像的依賴，避免被檢索圖像中的特定細節(jié)所束縛；對于罕見物品如"博洛尼亞犬"或"IBM 5100便攜式計算機"，系統(tǒng)會大幅增加對檢索圖像的依賴，確保生成結(jié)果的準確性。

這種智能調(diào)節(jié)機制讓MV-RAG系統(tǒng)具備了類似人類專家的判斷能力，能夠根據(jù)具體情況靈活調(diào)整策略，這是傳統(tǒng)固定權(quán)重系統(tǒng)無法實現(xiàn)的重要優(yōu)勢。

五、全面的實驗驗證與性能突破

為了驗證MV-RAG系統(tǒng)的有效性，研究團隊設(shè)計了一套全面的評估體系。由于現(xiàn)有的3D生成評估數(shù)據(jù)集主要關(guān)注常見物品，團隊專門構(gòu)建了OOD-Eval數(shù)據(jù)集，包含196個精心挑選的稀有概念，涵蓋了從瀕危動物到古董汽車的各種罕見物品。

實驗結(jié)果令人印象深刻。在處理這些稀有概念時，MV-RAG在多項關(guān)鍵指標上都顯著超越了現(xiàn)有方法。在圖像質(zhì)量評估方面，MV-RAG的CLIP相似性得分達到71.77，而最好的基線方法只有70.31。在DINOv2相似性評估中，MV-RAG達到了50.19的高分，遠超第二名的49.14。更重要的是，在衡量生成圖像與真實參考圖像匹配程度的實例檢索指標上，MV-RAG達到了67.41，明顯超過了所有對比方法。

為了更全面地評估3D一致性，研究團隊采用了重渲染評估方法。他們使用生成的多視圖圖像重建3D模型，然后從新的視角渲染圖像，檢驗重建質(zhì)量。結(jié)果顯示，MV-RAG在這個更嚴格的評估中仍然保持領(lǐng)先地位，證明了其生成的多視圖圖像確實具有良好的3D幾何一致性。

除了客觀指標評估，研究團隊還進行了用戶研究。30名參與者對不同方法生成的結(jié)果在真實感、文本對齊程度和3D一致性三個維度進行評分。結(jié)果顯示，MV-RAG在所有三個維度上都獲得了最高評分，其中真實感得分4.12（滿分5分），文本對齊度4.44，3D一致性4.44，遠超傳統(tǒng)方法的得分。

更有趣的是，研究團隊發(fā)現(xiàn)傳統(tǒng)的CLIP文本圖像相似性指標在評估稀有概念時存在嚴重偏差。CLIP模型由于訓(xùn)練數(shù)據(jù)的限制，對于罕見概念往往給出不準確的相似性評分，有時甚至?xí)o明顯錯誤的生成結(jié)果打高分。這個發(fā)現(xiàn)進一步證實了傳統(tǒng)方法在處理稀有概念時的根本性問題。

在處理常見物品的測試中，MV-RAG也表現(xiàn)出了與現(xiàn)有最佳方法相當(dāng)或略優(yōu)的性能，證明了系統(tǒng)在提升稀有概念處理能力的同時，并沒有損害對常見概念的處理質(zhì)量。這種平衡的性能表現(xiàn)使得MV-RAG成為了一個真正實用的通用3D生成系統(tǒng)。

六、深入的技術(shù)分析與消融實驗

為了深入理解MV-RAG各個組件的貢獻，研究團隊進行了詳盡的消融實驗。這些實驗就像拆解一臺精密機器，逐一檢驗每個部件的作用，幫助我們理解系統(tǒng)成功的關(guān)鍵因素。

首先，團隊驗證了混合訓(xùn)練策略的重要性。當(dāng)移除2D訓(xùn)練模式時，系統(tǒng)雖然能夠處理規(guī)整的3D場景，但在面對真實世界的雜亂背景時表現(xiàn)糟糕，經(jīng)常將背景元素錯誤地融入到生成的物體中。比如，在生成狗的多視圖圖像時，可能會在不同視角中都包含原本只應(yīng)該出現(xiàn)在一個角度的牽引繩。

當(dāng)移除3D訓(xùn)練模式時，系統(tǒng)失去了幾何一致性約束，雖然能夠處理真實世界圖像的多樣性，但生成的不同視角圖像之間缺乏3D連貫性。物體的形狀、比例甚至顏色都可能在不同視角間發(fā)生不合理的變化，就像一個變形金剛一樣不停地改變外觀。

數(shù)據(jù)增強策略的作用也得到了驗證。在3D訓(xùn)練中，如果不對標準渲染圖像進行增強處理，系統(tǒng)就無法很好地適應(yīng)真實世界檢索圖像的多樣性。增強處理讓系統(tǒng)學(xué)會了從各種質(zhì)量、角度、光照條件的圖像中提取有用信息的能力。

檢索圖像數(shù)量的影響也經(jīng)過了仔細研究。實驗發(fā)現(xiàn)，使用4張檢索圖像能夠達到最佳的性能平衡。數(shù)量太少會導(dǎo)致信息不足，無法充分覆蓋物體的各種特征；數(shù)量太多則會引入噪聲，讓系統(tǒng)難以聚焦于最相關(guān)的信息。這個結(jié)果與人類在查閱參考資料時的習(xí)慣不謀而合——通常幾張代表性圖片就足以提供充分的參考信息。

檢索策略的選擇也經(jīng)過了深入比較。研究團隊測試了基于CLIP語義相似性、SigLIP相似性和BM25文本匹配的不同檢索方法。令人意外的是，看似簡單的BM25文本匹配方法在處理稀有概念時反而表現(xiàn)最好。這是因為對于罕見物品，語義模型往往缺乏準確的概念理解，而關(guān)鍵詞匹配能夠更直接地找到相關(guān)圖像。

自適應(yīng)融合機制的消融實驗顯示了其關(guān)鍵作用。當(dāng)使用固定權(quán)重時，系統(tǒng)要么過度依賴檢索圖像而失去生成的多樣性，要么過度依賴自身知識而忽略重要的參考信息。只有動態(tài)調(diào)節(jié)的自適應(yīng)機制才能在不同情況下達到最佳平衡。

這些消融實驗不僅驗證了MV-RAG設(shè)計選擇的合理性，也為未來的改進指明了方向。每個組件都有其不可替代的作用，共同構(gòu)成了這個強大而穩(wěn)定的系統(tǒng)。

七、實際應(yīng)用前景與技術(shù)影響

MV-RAG系統(tǒng)的成功不僅僅是學(xué)術(shù)研究上的突破，更重要的是它為實際應(yīng)用開啟了新的可能性。在游戲開發(fā)領(lǐng)域，設(shè)計師經(jīng)常需要創(chuàng)建各種奇特的生物、載具和道具的3D模型。傳統(tǒng)方法往往需要藝術(shù)家花費大量時間手工建模，而MV-RAG可以根據(jù)簡單的文字描述快速生成高質(zhì)量的多視圖概念圖，大大加速前期概念設(shè)計過程。

在電影制作行業(yè)，MV-RAG可以幫助概念藝術(shù)家快速可視化劇本中描述的各種場景和物品。無論是科幻電影中的未來科技產(chǎn)品，還是奇幻電影中的神秘生物，MV-RAG都能基于導(dǎo)演的文字描述生成逼真的視覺參考，為后續(xù)的詳細制作提供基礎(chǔ)。

虛擬現(xiàn)實和增強現(xiàn)實應(yīng)用是另一個重要的應(yīng)用領(lǐng)域。隨著這些技術(shù)的普及，需要大量的3D內(nèi)容來豐富虛擬環(huán)境。MV-RAG可以幫助內(nèi)容創(chuàng)作者快速生成各種虛擬物品，從日常用品到想象中的奇特物件，讓虛擬世界更加豐富多彩。

在教育領(lǐng)域，MV-RAG可以為歷史、生物、工程等學(xué)科提供強大的可視化支持。比如，歷史老師可以通過文字描述讓系統(tǒng)生成古代器物的3D模型，生物老師可以展示各種稀有動植物的立體形象，工程老師可以演示復(fù)雜機械結(jié)構(gòu)的各個視角。

電子商務(wù)是另一個潛在的重要應(yīng)用場景。在線購物時，消費者往往需要從多個角度了解商品的外觀。MV-RAG可以根據(jù)商品描述自動生成多視角展示圖，幫助消費者更好地了解商品特性，減少因為信息不足導(dǎo)致的退貨率。

從技術(shù)發(fā)展角度看，MV-RAG代表了AI生成技術(shù)的一個重要發(fā)展方向：從封閉的、依賴訓(xùn)練數(shù)據(jù)的生成模式，向開放的、能夠利用外部知識的生成模式轉(zhuǎn)變。這種檢索增強的方法不僅適用于3D生成，也可以擴展到其他生成任務(wù)中。

研究團隊已經(jīng)展示了這種方法的可擴展性。通過簡單的調(diào)整，MV-RAG的核心思想可以應(yīng)用到文本生成、音頻生成等其他模態(tài)。這種通用性使得檢索增強生成有望成為下一代AI系統(tǒng)的標準組件。

更重要的是，MV-RAG證明了外部知識庫與生成模型結(jié)合的巨大潛力。隨著互聯(lián)網(wǎng)數(shù)據(jù)的不斷增長，這種結(jié)合外部信息的方法將變得越來越重要，為AI系統(tǒng)處理長尾分布和稀有概念提供了可行的解決方案。

說到底，MV-RAG的成功其實揭示了一個簡單而深刻的道理：當(dāng)我們遇到不熟悉的事物時，最好的辦法就是先去查閱相關(guān)資料，然后基于這些資料來做出判斷。這個樸素的道理在AI系統(tǒng)中同樣適用，而MV-RAG正是第一個成功將這個道理轉(zhuǎn)化為實際工作系統(tǒng)的嘗試。

這項研究不僅解決了3D生成中的一個重要問題，更為AI系統(tǒng)如何更好地利用人類積累的知識提供了新的思路。在信息爆炸的時代，能夠有效利用外部知識的AI系統(tǒng)將具有更強的適應(yīng)性和實用性。希伯來大學(xué)團隊的這項工作為我們展示了這個方向的巨大潛力，相信會激發(fā)更多相關(guān)研究的開展。未來，當(dāng)我們要求AI系統(tǒng)創(chuàng)建任何奇特物品的3D模型時，它都能夠像一個博學(xué)的專家一樣，先查閱相關(guān)資料，然后給出準確而可靠的結(jié)果。

Q&A

Q1：MV-RAG是什么？它是如何工作的？

A：MV-RAG是希伯來大學(xué)開發(fā)的一個3D生成系統(tǒng)，它能夠根據(jù)文字描述生成物品的多視角3D圖像。它的工作原理類似于一個有"圖像記憶"的藝術(shù)家：當(dāng)你描述一個物品時，它會先在龐大的圖像數(shù)據(jù)庫中搜索相關(guān)的真實照片，然后基于這些照片生成準確的3D視圖。這樣即使是很罕見的物品，它也能生成得很準確。

Q2：MV-RAG相比傳統(tǒng)3D生成方法有什么優(yōu)勢？

A：傳統(tǒng)方法在處理罕見物品時經(jīng)常"胡編亂造"，就像沒見過大象的畫家只能畫出長鼻子的馬。MV-RAG的最大優(yōu)勢是能夠處理訓(xùn)練數(shù)據(jù)中很少見的稀有概念，比如特殊品種的狗、古董汽車等。它還具有智能判斷能力，能根據(jù)物品的罕見程度自動調(diào)整對參考圖像的依賴程度。實驗顯示，它在處理稀有概念時的準確性遠超現(xiàn)有方法。

Q3：MV-RAG系統(tǒng)在實際應(yīng)用中有哪些用途？

A：MV-RAG在多個領(lǐng)域都有廣泛應(yīng)用前景。游戲開發(fā)中可以快速生成各種奇特道具的概念圖；電影制作中可以可視化劇本描述的場景和物品；虛擬現(xiàn)實中可以豐富虛擬環(huán)境內(nèi)容；教育領(lǐng)域可以展示歷史文物、稀有生物等立體模型；電商平臺可以根據(jù)商品描述自動生成多角度展示圖，幫助消費者更好地了解商品。