這項由浙江大學計算機學院周曉巍教授領(lǐng)導的研究團隊完成的工作，發(fā)表于2025年7月，論文編號為arXiv:2507.13344v1。團隊成員包括金雨東、彭思達、王軒等多位研究者，其中部分成員來自螞蟻集團。有興趣深入了解技術(shù)細節(jié)的讀者可以通過論文編號在arXiv平臺上找到完整論文。

在電影制作、體育直播和虛擬現(xiàn)實等領(lǐng)域，我們經(jīng)常需要從多個角度同時拍攝人物表演，然后重建出可以從任意角度觀看的三維視頻。傳統(tǒng)方法就像用密集的攝像頭陣列把表演者團團圍住，需要幾十臺攝像頭同時工作才能捕捉到足夠的細節(jié)。但這種方式成本高昂，普通人根本無法承擔，就像需要一個完整的攝影棚才能拍攝一段簡單的表演視頻。

浙大團隊提出的Diffuman4D系統(tǒng)徹底改變了這個局面。他們的系統(tǒng)就像一個神奇的"視角補全師"，只需要四臺攝像頭從不同角度拍攝，就能自動生成其他幾十個角度的高質(zhì)量視頻，最終重建出完整的三維人物表演。這就好比你只需要從房間的四個角落拍攝一個舞蹈表演，系統(tǒng)就能自動"想象"出從天花板、地板以及其他任何角度看到的畫面。

這項技術(shù)的核心突破在于解決了稀疏視頻重建中的一致性問題。當攝像頭數(shù)量不足時，傳統(tǒng)方法生成的視頻往往會出現(xiàn)"時空不一致"的問題，比如人物在相鄰時間點的動作不連貫，或者從不同角度看到的同一個動作出現(xiàn)明顯差異。研究團隊創(chuàng)造性地提出了"滑動迭代去噪"機制，配合人體骨骼信息作為輔助，確保生成的視頻在時間和空間上都保持高度一致。

一、從稀疏到密集：重新定義視頻重建的可能性

傳統(tǒng)的人物表演重建技術(shù)面臨著一個根本矛盾：要獲得高質(zhì)量的三維重建效果，需要大量同步攝像頭提供足夠的視角信息，但這種配置在實際應用中幾乎不可行。就像制作一道精美的菜肴，傳統(tǒng)方法要求你必須擁有一個裝備齊全的專業(yè)廚房，但大多數(shù)人只能在家庭廚房里完成烹飪。

浙大團隊的解決方案相當于設(shè)計了一套"智能烹飪助手"，能夠根據(jù)你現(xiàn)有的基礎(chǔ)食材和工具，自動推斷出制作完整菜肴所需的其他成分和步驟。具體來說，他們的系統(tǒng)接收來自少量攝像頭的視頻輸入，然后利用人工智能模型生成其他角度的視頻內(nèi)容，最終組合成一個完整的多視角視頻數(shù)據(jù)集。

這種方法的關(guān)鍵在于理解人體運動的內(nèi)在規(guī)律。人體不是隨意變形的物體，而是遵循特定的生物力學約束。當一個人舉起手臂時，我們可以根據(jù)肩膀、肘部和手腕的關(guān)節(jié)結(jié)構(gòu)，合理推斷出從其他角度看到的動作形態(tài)。研究團隊正是利用了這種先驗知識，讓AI模型學會了如何在有限信息的基礎(chǔ)上進行合理的視角補全。

系統(tǒng)的工作流程可以比作一個經(jīng)驗豐富的導演在指導多機位拍攝。導演只需要看到幾個關(guān)鍵機位的畫面，就能在腦海中構(gòu)建出完整的三維場景，并指導其他攝像師如何調(diào)整角度和時機。Diffuman4D系統(tǒng)扮演的就是這樣一個"AI導演"的角色，它能夠理解場景的三維結(jié)構(gòu)和人物的運動軌跡，然后生成其他視角的合理內(nèi)容。

二、時空一致性挑戰(zhàn)：讓AI生成的視頻"天衣無縫"

在視頻生成領(lǐng)域，最大的挑戰(zhàn)之一就是確保生成內(nèi)容的時空一致性。這個問題就像制作一部電影時，確保同一個場景在不同鏡頭切換時保持連貫性。如果處理不當，觀眾會立即察覺到不自然的跳躍或矛盾。

傳統(tǒng)的擴散模型在生成長序列視頻時，由于GPU內(nèi)存限制，往往需要將視頻分成多個片段分別處理，然后再拼接起來。這種方法就像分別烹飪一道菜的不同部分，最后組合時很容易出現(xiàn)口味不協(xié)調(diào)的問題。每個片段在生成時都帶有一定的隨機性，導致最終結(jié)果在時間維度上出現(xiàn)明顯的不連貫。

浙大團隊提出的"滑動迭代去噪"機制巧妙地解決了這個問題。他們的方法就像使用一個可以滑動的窗口，每次處理一小段視頻，但這個窗口會與相鄰的片段產(chǎn)生重疊，確保信息能夠在不同片段之間流動。更重要的是，他們不是完全獨立地處理每個片段，而是讓每個片段都能感知到周圍片段的信息，就像一個交響樂團中的每個樂手都能聽到整體的和聲。

這種方法的創(chuàng)新之處在于它不是簡單地將生成過程分解為獨立的子任務(wù)，而是在整個生成過程中維持了全局的信息流動。系統(tǒng)在處理每個時間點的每個視角時，都會考慮到周圍時間點和相鄰視角的信息，確保生成的內(nèi)容在四維空間（三維空間加時間維度）中都保持一致。

三、人體骨骼作為智能向?qū)В航oAI一個可靠的參考系

人體骨骼信息在這個系統(tǒng)中扮演著至關(guān)重要的角色，就像建筑師在設(shè)計房屋時需要先確定承重結(jié)構(gòu)一樣。雖然攝像頭數(shù)量有限，但人體的骨骼結(jié)構(gòu)是相對穩(wěn)定和可預測的，這為AI提供了一個可靠的參考框架。

研究團隊首先使用先進的人體姿態(tài)估計技術(shù)，從稀疏的輸入視頻中提取出三維人體骨骼序列。這個過程就像從幾張照片中推斷出一個人的身體結(jié)構(gòu)和運動軌跡。然后，他們將這些骨骼信息轉(zhuǎn)換為二維的彩色圖像，不同的身體部位用不同的顏色標記，形成一種特殊的"骨骼地圖"。

這種骨骼地圖為擴散模型提供了精確的結(jié)構(gòu)指導。當AI需要生成某個新視角的人物圖像時，它不是在完全空白的畫布上隨意創(chuàng)作，而是有了一個明確的"素描稿"作為參考。這就像藝術(shù)家在創(chuàng)作人物畫時，先用簡單的線條勾勒出人體的基本比例和姿態(tài)，然后再填充細節(jié)。

但是，僅僅依賴骨骼信息還不夠，因為骨骼預測可能存在不完整或不準確的情況，特別是當人物穿著復雜服裝或做出復雜動作時。因此，研究團隊還結(jié)合了Plücker坐標系統(tǒng)，這是一種用于精確描述攝像頭位置和方向的數(shù)學工具。通過將骨骼信息和攝像頭參數(shù)結(jié)合起來，系統(tǒng)能夠更準確地理解空間幾何關(guān)系，生成更加可靠的視頻內(nèi)容。

四、技術(shù)架構(gòu)：四維數(shù)據(jù)網(wǎng)格中的智能導航

Diffuman4D的技術(shù)架構(gòu)可以想象成一個四維的數(shù)據(jù)網(wǎng)格，其中三個維度代表空間，第四個維度代表時間。每個網(wǎng)格點都包含了特定時間點、特定視角的圖像信息以及相應的條件信息（包括骨骼數(shù)據(jù)和攝像頭參數(shù)）。

系統(tǒng)的核心是一個經(jīng)過特殊訓練的擴散模型，它學會了如何在這個四維網(wǎng)格中進行智能導航。當給定少量已知的網(wǎng)格點（來自輸入攝像頭的視頻）時，模型需要推斷出其他網(wǎng)格點的內(nèi)容。這個過程就像一個經(jīng)驗豐富的導游，即使只看到城市的幾個地標，也能描述出整個城市的面貌。

滑動迭代去噪過程是這個架構(gòu)的關(guān)鍵創(chuàng)新。系統(tǒng)不是一次性處理整個四維網(wǎng)格，而是使用一個可以滑動的"觀察窗口"，每次關(guān)注網(wǎng)格的一小部分。這個窗口會沿著空間和時間維度交替滑動，確保信息能夠在整個網(wǎng)格中充分傳播。

在空間維度上，窗口會圍繞人物進行圓周運動，就像攝像機沿著圓形軌道拍攝。在時間維度上，窗口會前后滑動，確保相鄰時間點的內(nèi)容保持連貫。通過這種交替的滑動策略，系統(tǒng)能夠生成既在空間上一致又在時間上連貫的視頻內(nèi)容。

五、訓練數(shù)據(jù)的精心準備：為AI提供高質(zhì)量的學習素材

為了訓練這樣一個復雜的系統(tǒng)，研究團隊對DNA-Rendering數(shù)據(jù)集進行了全面的預處理和優(yōu)化。這個過程就像為一位學徒準備最優(yōu)質(zhì)的學習材料，確保他能夠?qū)W到最純正的技藝。

原始的DNA-Rendering數(shù)據(jù)集包含了超過2000個人物表演序列，但原始數(shù)據(jù)在攝像頭標定、顏色一致性和前景分割等方面存在一些問題。研究團隊首先重新標定了所有攝像頭的參數(shù)，確保幾何關(guān)系的準確性。然后，他們優(yōu)化了不同攝像頭之間的顏色校正矩陣，解決了由于不同攝像頭的色彩響應差異導致的顏色不一致問題。

前景分割是另一個關(guān)鍵步驟。團隊使用了三種不同的背景去除算法，包括RMBG-2.0、BiRefNet-Portrait和BackgroundMattingV2，然后通過投票機制整合這些算法的結(jié)果。這種方法就像請三位專家分別給出意見，然后綜合考慮他們的建議，最終得出最可靠的結(jié)論。

骨骼信息的提取使用了最新的Sapiens模型，這是一個專門為人體姿態(tài)估計設(shè)計的先進系統(tǒng)。團隊不僅提取了二維骨骼信息，還通過三角測量技術(shù)重建了三維骨骼序列，為后續(xù)的視角投影提供了精確的三維參考。

六、實驗驗證：在真實場景中的卓越表現(xiàn)

研究團隊在兩個具有挑戰(zhàn)性的數(shù)據(jù)集上驗證了他們的方法：DNA-Rendering和ActorsHQ。這些數(shù)據(jù)集包含了各種復雜的人物表演，從簡單的日常動作到復雜的舞蹈表演，從緊身服裝到寬松的傳統(tǒng)服飾。

實驗結(jié)果顯示，Diffuman4D在多個關(guān)鍵指標上都顯著超越了現(xiàn)有的最先進方法。在PSNR（峰值信噪比）指標上，該方法比次優(yōu)方法提高了約15%，在SSIM（結(jié)構(gòu)相似性）指標上提高了約7%，在LPIPS（感知相似性）指標上的表現(xiàn)也有顯著提升。這些數(shù)字背后代表著視頻質(zhì)量的顯著改善，特別是在細節(jié)保留和視覺一致性方面。

更重要的是，該方法在處理復雜服裝和動態(tài)運動時表現(xiàn)出了強大的魯棒性。傳統(tǒng)方法在面對飄逸的裙擺、寬松的袖子或復雜的頭發(fā)運動時往往會產(chǎn)生明顯的偽影或不一致性，而Diffuman4D能夠很好地處理這些挑戰(zhàn)性場景。

在計算效率方面，雖然生成過程需要約2分鐘來處理一個長度為48幀的序列，但相比于傳統(tǒng)方法需要幾十臺攝像頭同時工作的成本，這種時間開銷是完全可以接受的。而且，系統(tǒng)支持多GPU并行處理，可以進一步提高生成速度。

七、消融實驗：每個組件的獨特貢獻

為了驗證系統(tǒng)各個組件的有效性，研究團隊進行了詳細的消融實驗。這就像拆解一臺精密機器，逐個檢查每個零件的作用，確保整體設(shè)計的合理性。

在去噪策略的對比實驗中，團隊比較了三種不同的方法：多組獨立去噪、中值濾波去噪和滑動迭代去噪。結(jié)果顯示，滑動迭代去噪在所有評估指標上都表現(xiàn)最優(yōu)，特別是在長序列的一致性保持方面優(yōu)勢明顯。多組獨立去噪方法會在不同組之間產(chǎn)生明顯的不連續(xù)性，就像電影中的跳切過于生硬。中值濾波方法雖然能夠緩解這種不連續(xù)性，但計算成本很高，而且在重疊區(qū)域不足時仍會出現(xiàn)不一致問題。

在條件信息的消融實驗中，團隊分別測試了僅使用Plücker坐標、僅使用骨骼信息以及兩者結(jié)合的效果。結(jié)果表明，僅使用Plücker坐標的方法在相機控制方面表現(xiàn)良好，但在處理復雜人體姿態(tài)時容易出現(xiàn)前后混淆的問題。僅使用骨骼信息的方法能夠很好地控制人體姿態(tài)，但在處理復雜服裝或部分遮擋時容易出現(xiàn)控制信號不完整的問題。兩者結(jié)合的方法則能夠充分發(fā)揮各自的優(yōu)勢，產(chǎn)生最一致和最可控的生成結(jié)果。

八、技術(shù)局限與未來展望

盡管Diffuman4D在稀疏視頻重建方面取得了顯著進展，但研究團隊也誠實地指出了當前方法的一些局限性。首先，由于基礎(chǔ)擴散模型的限制，系統(tǒng)目前還無法處理4K等超高分辨率視頻。這就像一個優(yōu)秀的畫家，雖然技藝精湛，但受限于畫布尺寸，無法創(chuàng)作巨幅作品。

其次，當場景中涉及復雜的人物-物體交互時，系統(tǒng)的表現(xiàn)還有待提高。因為訓練數(shù)據(jù)主要關(guān)注人物表演，對于復雜的道具操作或環(huán)境交互的理解還不夠深入。這就像一個專精于人物肖像的畫家，在處理復雜的場景構(gòu)圖時可能會遇到挑戰(zhàn)。

第三，當前方法還無法實現(xiàn)真正的新姿態(tài)生成，即生成訓練數(shù)據(jù)中沒有出現(xiàn)過的全新動作。系統(tǒng)需要輸入視頻來約束生成過程，確?？臻g一致性，因此無法完全自由地創(chuàng)造新的動作序列。

不過，這些局限性也為未來的研究指明了方向。研究團隊正在探索如何擴展到更高分辨率的視頻生成，如何更好地處理復雜的場景交互，以及如何實現(xiàn)更加靈活的姿態(tài)控制。隨著基礎(chǔ)模型的不斷進步和訓練數(shù)據(jù)的豐富，這些挑戰(zhàn)有望在不久的將來得到解決。

九、實際應用的廣闊前景

Diffuman4D技術(shù)的應用前景非常廣闊，幾乎涉及所有需要人物視頻內(nèi)容的領(lǐng)域。在電影制作方面，該技術(shù)可以大大降低多機位拍攝的成本，讓獨立制片人也能制作出具有好萊塢級別視覺效果的作品。導演只需要用幾臺攝像機拍攝關(guān)鍵場景，就能后期生成任意角度的鏡頭，為創(chuàng)意表達提供了更大的自由度。

在體育直播領(lǐng)域，這項技術(shù)可以revolutionize觀賽體驗。觀眾可以選擇任意角度觀看比賽，就像擁有一個私人的攝像團隊。特別是在一些空間受限的體育場館中，無法部署大量攝像頭的情況下，這種技術(shù)可以提供豐富的視角選擇。

虛擬現(xiàn)實和增強現(xiàn)實應用也將從這項技術(shù)中受益匪淺。在VR社交平臺中，用戶可以用普通的攝像頭錄制自己的動作，然后生成高質(zhì)量的三維化身，與其他用戶進行自然的互動。這種技術(shù)可以讓VR內(nèi)容創(chuàng)作變得更加普及和便捷。

在教育和培訓領(lǐng)域，這項技術(shù)可以用于創(chuàng)建交互式的教學內(nèi)容。比如，舞蹈教師可以錄制一段教學視頻，然后學生可以從任意角度觀看和學習，更好地理解動作的細節(jié)和要領(lǐng)。

十、技術(shù)影響與社會意義

Diffuman4D不僅僅是一項技術(shù)突破，它還代表著人工智能在理解和重建現(xiàn)實世界方面的重要進展。這項技術(shù)展示了AI如何能夠從有限的信息中推斷出豐富的細節(jié)，這種能力在許多其他領(lǐng)域也有重要應用價值。

從技術(shù)發(fā)展的角度來看，這項工作推動了多個研究方向的融合，包括計算機視覺、機器學習、圖形學和人體建模等。這種跨學科的整合為解決復雜的現(xiàn)實世界問題提供了新的思路和方法。

從社會影響的角度來看，這項技術(shù)的普及可能會大大降低高質(zhì)量視頻內(nèi)容制作的門檻，讓更多的創(chuàng)作者能夠表達自己的想法和創(chuàng)意。這種技術(shù)的民主化可能會催生新的內(nèi)容創(chuàng)作形式和商業(yè)模式。

當然，像所有強大的技術(shù)一樣，這項技術(shù)也需要謹慎使用，特別是在涉及人物形象時，需要考慮隱私保護和道德使用的問題。研究團隊也意識到了這些挑戰(zhàn)，并呼吁在技術(shù)發(fā)展的同時建立相應的倫理框架和使用規(guī)范。

這項來自浙江大學的研究成果，不僅在技術(shù)上實現(xiàn)了重要突破，更為未來的數(shù)字內(nèi)容創(chuàng)作開辟了新的可能性。隨著技術(shù)的不斷完善和應用的不斷擴展，我們有理由相信，高質(zhì)量的三維視頻內(nèi)容將變得越來越容易獲得，為我們的數(shù)字生活帶來更加豐富和沉浸的體驗。

Q&A

Q1：Diffuman4D技術(shù)需要多少臺攝像頭才能工作？ A：Diffuman4D只需要4臺攝像頭就能重建高質(zhì)量的三維人物表演視頻，相比傳統(tǒng)方法需要幾十臺攝像頭的要求，大大降低了設(shè)備成本和技術(shù)門檻。這使得普通用戶也能制作出專業(yè)級別的多視角視頻內(nèi)容。

Q2：這項技術(shù)生成的視頻質(zhì)量如何？會不會看起來很假？ A：實驗結(jié)果顯示，Diffuman4D生成的視頻在多個質(zhì)量指標上都顯著超越了現(xiàn)有方法，特別是在細節(jié)保留和視覺一致性方面表現(xiàn)出色。雖然仍然是AI生成的內(nèi)容，但已經(jīng)達到了相當高的真實感，特別是在處理復雜服裝和動態(tài)運動時表現(xiàn)穩(wěn)定。

Q3：普通人能使用這項技術(shù)嗎？有什么限制？ A：目前這項技術(shù)主要面向研究和專業(yè)應用，普通用戶還無法直接使用。主要限制包括：需要專業(yè)的GPU設(shè)備支持、處理時間較長（約2分鐘生成48幀視頻）、暫時無法支持4K高分辨率視頻。不過隨著技術(shù)發(fā)展，未來有望開發(fā)出更適合普通用戶的版本。