這項(xiàng)令人矚目的研究來(lái)自哈爾濱工業(yè)大學(xué)深圳校區(qū)、武漢大學(xué)人工智能學(xué)院以及南洋理工大學(xué)的聯(lián)合研究團(tuán)隊(duì)，主要研究人員包括李鴻宇、陳朝峰、李曉明和陸光明。該研究于2025年9月發(fā)表在計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議上，感興趣的讀者可以通過(guò)GitHub項(xiàng)目頁(yè)面https://github.com/hitlhy715/2DGS-inpaint獲取完整的研究資料和代碼。

當(dāng)我們翻看老照片時(shí)，經(jīng)常會(huì)遇到一些令人沮喪的情況：珍貴的家庭合影因?yàn)槟甏眠h(yuǎn)而出現(xiàn)破損，重要文檔的關(guān)鍵部分被污漬遮擋，或者剛拍好的風(fēng)景照卻被路人不經(jīng)意地遮住了最美的部分。傳統(tǒng)的圖片修復(fù)就像用顏料在畫(huà)布上補(bǔ)色一樣，需要藝術(shù)家憑借經(jīng)驗(yàn)和技巧來(lái)填補(bǔ)缺失的部分，但這種方法往往難以保證修復(fù)后的圖片既自然又連貫。

研究團(tuán)隊(duì)注意到，我們的眼睛感知世界是連續(xù)的、流暢的，但數(shù)字圖片卻是由一個(gè)個(gè)獨(dú)立的像素點(diǎn)組成的。這就好比我們用拼圖塊來(lái)表現(xiàn)一幅完整的畫(huà)面，每個(gè)像素就是一個(gè)拼圖片?，F(xiàn)有的圖片修復(fù)技術(shù)就像是在缺失的拼圖位置上硬生生地插入新的拼圖塊，雖然能填補(bǔ)空白，但往往會(huì)在邊界處產(chǎn)生不自然的跳躍感。

為了解決這個(gè)根本性問(wèn)題，研究團(tuán)隊(duì)提出了一種全新的思路：既然人眼感知的是連續(xù)的世界，為什么不讓計(jì)算機(jī)也用連續(xù)的方式來(lái)理解和修復(fù)圖片呢？他們借鑒了一種名為"高斯涂抹"的技術(shù)。這種技術(shù)原本用于3D場(chǎng)景的建模，就像用無(wú)數(shù)個(gè)柔和的光斑來(lái)描繪一個(gè)立體空間一樣。研究團(tuán)隊(duì)巧妙地將這個(gè)概念應(yīng)用到2D圖片處理中，讓計(jì)算機(jī)不再把圖片看作是硬邦邦的像素格子，而是看作由無(wú)數(shù)個(gè)柔和、重疊的光斑組成的連續(xù)畫(huà)面。

這種方法的巧妙之處在于，每個(gè)"光斑"都有自己的位置、大小、顏色和透明度，它們相互重疊、相互融合，形成最終的圖像效果。當(dāng)圖片的某個(gè)部分缺失時(shí)，計(jì)算機(jī)可以通過(guò)調(diào)整附近光斑的參數(shù)，讓它們自然地?cái)U(kuò)散和融合，從而無(wú)縫地填補(bǔ)空白區(qū)域。這就像水彩畫(huà)中顏料的自然暈染一樣，邊界處不會(huì)有生硬的分割線，而是漸變過(guò)渡的。

然而，這種方法也帶來(lái)了新的挑戰(zhàn)。如果要用足夠多的"光斑"來(lái)精確描述一張高清圖片，計(jì)算量會(huì)變得非常龐大，就像要用數(shù)百萬(wàn)個(gè)小刷子同時(shí)作畫(huà)一樣。為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)想出了一個(gè)聰明的"分塊處理"策略。他們將大圖片切割成許多小塊，就像把一幅大壁畫(huà)分解成多個(gè)小畫(huà)板，每個(gè)小畫(huà)板可以獨(dú)立處理，最后再巧妙地拼接在一起。

這種分塊策略有點(diǎn)像團(tuán)隊(duì)協(xié)作做項(xiàng)目：每個(gè)人負(fù)責(zé)自己的部分，但大家需要確保整體協(xié)調(diào)一致。為了避免各個(gè)小塊之間出現(xiàn)接縫，研究團(tuán)隊(duì)設(shè)計(jì)了一種"重疊融合"的方法。每個(gè)小塊在處理時(shí)都會(huì)稍微擴(kuò)大一些邊界，與相鄰區(qū)塊有所重疊，然后在拼接時(shí)對(duì)重疊部分進(jìn)行平滑過(guò)渡。這就像裁縫在縫制衣服時(shí)會(huì)留出縫邊，確保整件衣服的線條流暢自然。

但是，僅僅有技術(shù)上的連續(xù)性還不夠，修復(fù)出來(lái)的內(nèi)容還必須在語(yǔ)義上說(shuō)得通。比如，如果一張海灘照片的沙灘部分缺失了，修復(fù)系統(tǒng)不能胡亂填充成草地或者建筑物，而應(yīng)該合理地補(bǔ)充沙灘紋理。這就需要系統(tǒng)具備"理解"圖片內(nèi)容的能力。

研究團(tuán)隊(duì)發(fā)現(xiàn)，有一種名為DINO的人工智能模型特別擅長(zhǎng)理解圖片的語(yǔ)義內(nèi)容。DINO就像一個(gè)經(jīng)驗(yàn)豐富的藝術(shù)鑒賞家，即使只看到畫(huà)作的一部分，也能推斷出整幅作品的主題和風(fēng)格。研究團(tuán)隊(duì)進(jìn)行了大量實(shí)驗(yàn)，發(fā)現(xiàn)當(dāng)圖片的缺失部分比較小時(shí)，DINO仍能準(zhǔn)確理解圖片的整體語(yǔ)義；但當(dāng)缺失部分很大時(shí)，DINO的理解能力會(huì)有所下降。

為了增強(qiáng)DINO在大面積缺失情況下的理解能力，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)"語(yǔ)義適應(yīng)模塊"。這個(gè)模塊就像一個(gè)智能的翻譯器，能夠?qū)⒉煌暾麍D片中的模糊語(yǔ)義信息轉(zhuǎn)化為清晰、準(zhǔn)確的語(yǔ)義指導(dǎo)。通過(guò)這種方式，即使面對(duì)大片缺失的圖片，系統(tǒng)也能維持對(duì)整體語(yǔ)義的準(zhǔn)確把握。

整個(gè)修復(fù)過(guò)程就像一個(gè)精心設(shè)計(jì)的流水線：首先，不完整的圖片被輸入到一個(gè)編碼器中，這個(gè)編碼器就像一個(gè)細(xì)心的觀察員，仔細(xì)分析圖片的每個(gè)細(xì)節(jié)，并將這些信息轉(zhuǎn)化為一系列"光斑"參數(shù)。同時(shí)，DINO模型和語(yǔ)義適應(yīng)模塊協(xié)作，為修復(fù)過(guò)程提供語(yǔ)義指導(dǎo)，確保補(bǔ)充的內(nèi)容在邏輯上合理。然后，這些"光斑"參數(shù)被送入到渲染器中，渲染器就像一個(gè)技藝精湛的畫(huà)家，根據(jù)參數(shù)重新繪制出完整的圖片。

在訓(xùn)練這個(gè)系統(tǒng)時(shí)，研究團(tuán)隊(duì)采用了多重標(biāo)準(zhǔn)來(lái)評(píng)估修復(fù)質(zhì)量。除了要求修復(fù)后的圖片在視覺(jué)上接近原圖，還要求在感知質(zhì)量上符合人眼的審美習(xí)慣，同時(shí)確保修復(fù)內(nèi)容與原圖在語(yǔ)義上保持一致。這就像培養(yǎng)一個(gè)全能的修復(fù)師，不僅要有精湛的技藝，還要有良好的藝術(shù)品味和深厚的文化理解。

研究團(tuán)隊(duì)在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了廣泛的測(cè)試，包括人臉圖片數(shù)據(jù)庫(kù)CelebA-HQ和自然場(chǎng)景數(shù)據(jù)庫(kù)Places2。實(shí)驗(yàn)結(jié)果顯示，他們的方法在處理各種類型的圖片缺失時(shí)都表現(xiàn)出色。特別是在面部修復(fù)方面，系統(tǒng)能夠很好地保持人物的身份特征和面部結(jié)構(gòu)；在自然場(chǎng)景修復(fù)方面，系統(tǒng)能夠重建復(fù)雜的紋理和空間布局。

為了驗(yàn)證各個(gè)組件的重要性，研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的對(duì)比實(shí)驗(yàn)。他們發(fā)現(xiàn)，如果去掉DINO語(yǔ)義指導(dǎo)，修復(fù)質(zhì)量會(huì)明顯下降，特別是在大面積缺失的情況下；如果用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)替代高斯涂抹渲染器，不僅修復(fù)質(zhì)量下降，訓(xùn)練過(guò)程也變得不穩(wěn)定；如果調(diào)整高斯"光斑"的數(shù)量，會(huì)直接影響修復(fù)的精細(xì)程度。

這項(xiàng)研究的意義遠(yuǎn)不止于技術(shù)突破本身。在實(shí)際應(yīng)用方面，這種技術(shù)可以幫助人們修復(fù)珍貴的歷史照片，恢復(fù)因意外損壞的重要文檔，甚至可以用于電影制作中的特效處理。對(duì)于普通用戶來(lái)說(shuō)，這意味著我們可能很快就能在手機(jī)上使用更加智能和自然的圖片編輯功能。

從技術(shù)發(fā)展的角度來(lái)看，這項(xiàng)研究開(kāi)創(chuàng)了將3D建模技術(shù)應(yīng)用于2D圖像處理的先河，為圖像處理領(lǐng)域提供了全新的思路。連續(xù)性建模的概念可能會(huì)啟發(fā)更多類似的創(chuàng)新應(yīng)用，推動(dòng)整個(gè)計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展。

當(dāng)然，這項(xiàng)研究也存在一些局限性。目前的方法主要針對(duì)自動(dòng)修復(fù)，缺乏對(duì)用戶個(gè)性化需求的精確控制。未來(lái)的研究方向可能會(huì)集中在增強(qiáng)系統(tǒng)的可控性，比如允許用戶通過(guò)文本描述或者簡(jiǎn)單的草圖來(lái)指導(dǎo)修復(fù)過(guò)程，使系統(tǒng)能夠更好地滿足不同用戶的特定需求。

說(shuō)到底，這項(xiàng)研究最令人興奮的地方在于它改變了我們對(duì)圖像處理的基本認(rèn)知。從離散的像素拼接轉(zhuǎn)向連續(xù)的光斑融合，不僅在技術(shù)上實(shí)現(xiàn)了突破，更重要的是為未來(lái)的圖像處理技術(shù)指明了新的發(fā)展方向。當(dāng)技術(shù)能夠更貼近人類的視覺(jué)感知方式時(shí)，我們與數(shù)字世界的交互也會(huì)變得更加自然和直觀。研究團(tuán)隊(duì)已經(jīng)將相關(guān)代碼開(kāi)源，感興趣的開(kāi)發(fā)者可以通過(guò)GitHub項(xiàng)目頁(yè)面獲取詳細(xì)資料，為這一技術(shù)的進(jìn)一步發(fā)展貢獻(xiàn)力量。

Q&A

Q1：2D高斯涂抹技術(shù)與傳統(tǒng)圖片修復(fù)方法有什么不同？

A：傳統(tǒng)方法像用顏料塊拼接，容易在邊界產(chǎn)生不自然的痕跡。而2D高斯涂抹技術(shù)把圖片看作由無(wú)數(shù)個(gè)柔和光斑組成，通過(guò)光斑的重疊融合來(lái)修復(fù)缺失部分，就像水彩畫(huà)的自然暈染效果，修復(fù)后的圖片更加連續(xù)自然。

Q2：這種技術(shù)能處理多大面積的圖片缺失？

A：研究顯示該技術(shù)可以處理20%-60%面積的圖片缺失。對(duì)于小面積缺失（20%-40%），修復(fù)效果非常好；對(duì)于大面積缺失（40%-60%），通過(guò)DINO語(yǔ)義指導(dǎo)和適應(yīng)模塊，仍能保持較好的修復(fù)質(zhì)量和語(yǔ)義一致性。

Q3：普通用戶什么時(shí)候能用到這項(xiàng)技術(shù)？

A：目前研究團(tuán)隊(duì)已經(jīng)將代碼在GitHub開(kāi)源，技術(shù)開(kāi)發(fā)者可以立即使用。對(duì)于普通用戶，這項(xiàng)技術(shù)可能很快會(huì)集成到手機(jī)照片編輯應(yīng)用或在線圖片處理工具中，讓大家能夠輕松修復(fù)老照片或去除照片中的不需要元素。