在數(shù)字圖像處理領(lǐng)域，一項重大突破正在改變我們修改圖像的方式。新加坡國立大學(xué)的Yujia Hu、Songhua Liu、Zhenxiong Tan、Xingyi Yang和Xinchao Wang教授團(tuán)隊于2025年6月發(fā)表了一篇題為《Image Editing As Programs with Diffusion Models》（圖像編輯即程序與擴(kuò)散模型）的研究論文，該論文已提交至arXiv預(yù)印本平臺（arXiv:2506.04158v1）。這項研究提出了一種創(chuàng)新的圖像編輯框架，通過將復(fù)雜的編輯指令分解為簡單的原子操作序列，實現(xiàn)了更精確、更靈活的圖像編輯效果。

想象一下，你是否曾經(jīng)嘗試過用AI工具編輯圖片，卻發(fā)現(xiàn)它在處理簡單修改（如改變顏色）時表現(xiàn)出色，但在涉及添加物體、移動元素位置等復(fù)雜編輯時卻常常失敗？這正是當(dāng)前圖像編輯技術(shù)面臨的核心挑戰(zhàn)，而新加坡研究團(tuán)隊提出的IEAP（Image Editing As Programs，圖像編輯即程序）框架旨在解決這一問題。

研究團(tuán)隊首先發(fā)現(xiàn)了一個有趣的現(xiàn)象：當(dāng)前基于擴(kuò)散變換器（Diffusion Transformer，簡稱DiT）的圖像編輯模型在處理不改變圖像布局的簡單編輯任務(wù)（如改變顏色、風(fēng)格）時表現(xiàn)出色，但在需要改變圖像結(jié)構(gòu)的任務(wù)（如添加、刪除或移動物體）時效果卻大打折扣。這就像是一位廚師擅長調(diào)整菜肴的調(diào)味和裝飾，卻不善于改變菜品的主要成分或結(jié)構(gòu)。

基于這一發(fā)現(xiàn)，研究團(tuán)隊提出了一個巧妙的解決方案：將復(fù)雜的編輯指令分解為一系列基礎(chǔ)操作（稱為"原子操作"），然后按順序執(zhí)行這些操作。這有點(diǎn)像把一個復(fù)雜的烹飪食譜分解為一系列簡單的步驟：先準(zhǔn)備材料，再切菜，然后炒制，最后調(diào)味。在IEAP框架中，研究者定義了五種基本的原子操作：

首先是"感興趣區(qū)域定位"，這相當(dāng)于確定你要在圖像的哪個部分進(jìn)行修改，就像廚師決定要修改菜品中的哪一部分。其次是"感興趣區(qū)域修補(bǔ)"，用于在選定區(qū)域添加新內(nèi)容或移除現(xiàn)有內(nèi)容，相當(dāng)于在菜品中添加或移除某種食材。第三步是"感興趣區(qū)域編輯"，用于修改區(qū)域內(nèi)的視覺屬性（如顏色、紋理等），就像調(diào)整食材的烹飪方式或調(diào)味。第四步是"感興趣區(qū)域合成"，將編輯后的區(qū)域與原圖融合，確保過渡自然，就像確保新添加的食材與整道菜的風(fēng)味協(xié)調(diào)一致。最后是"全局轉(zhuǎn)換"，用于調(diào)整整個圖像的內(nèi)容，如改變照明、天氣或風(fēng)格，相當(dāng)于調(diào)整整個菜品的最終呈現(xiàn)效果。

這種方法的巧妙之處在于，它利用了"思維鏈"（Chain-of-Thought，簡稱CoT）推理技術(shù)，通過一個視覺-語言模型（VLM）智能代理來分析用戶的指令，并將其轉(zhuǎn)化為一系列原子操作的執(zhí)行計劃。就像一位經(jīng)驗豐富的廚師主管，能夠?qū)㈩櫩偷膹?fù)雜要求（"我想要一道帶有輕微煙熏味、口感鮮嫩多汁的牛排"）轉(zhuǎn)化為廚房團(tuán)隊可以執(zhí)行的具體步驟。

舉個例子，當(dāng)用戶提出"把這位女士放在秋天的森林里，她穿著白色連衣裙，旁邊有一只狐貍"這樣的復(fù)雜要求時，IEAP系統(tǒng)會自動將其分解為：1）將背景更改為森林；2）讓女士穿上白色連衣裙；3）在女士旁邊添加一只狐貍；4）將時間改為秋天。然后，系統(tǒng)會按順序執(zhí)行這些操作，每一步都由專門的模型負(fù)責(zé)處理。

研究團(tuán)隊在多個基準(zhǔn)測試中評估了IEAP框架的性能，包括MagicBrush測試集和AnyEdit測試集。結(jié)果顯示，IEAP在各種編輯場景中都大幅超越了現(xiàn)有的最先進(jìn)方法，特別是在處理復(fù)雜的多步驟指令時。例如，在AnyEdit測試集上，IEAP的GPT-4o評分達(dá)到4.41分（滿分5分），而現(xiàn)有最佳方法ICEdit僅獲得4.13分。

更重要的是，IEAP在處理結(jié)構(gòu)性不一致的編輯任務(wù)（如添加、移除、替換物體等）時表現(xiàn)尤為出色。在"本地語義編輯"測試中，IEAP的CLIPimg得分達(dá)到0.907，而ICEdit僅為0.881。這說明IEAP生成的圖像不僅更符合用戶指令，還保持了更高的語義一致性和視覺質(zhì)量。

研究團(tuán)隊還將IEAP與一些頂級的多模態(tài)模型進(jìn)行了比較，包括SeedEdit（Doubao）、Gemini 2.0 Flash和GPT-4o。結(jié)果表明，IEAP在處理復(fù)雜指令方面的表現(xiàn)可以媲美甚至超越這些閉源的商業(yè)模型。與競爭對手相比，IEAP能夠更忠實地執(zhí)行每一條指令，同時保持更好的圖像一致性和實例保留。

當(dāng)然，IEAP也存在一些局限性。例如，在處理復(fù)雜陰影變化時，它有時會在合成操作后留下不一致的陰影。此外，多次編輯迭代可能會導(dǎo)致圖像質(zhì)量逐漸下降。研究團(tuán)隊計劃在未來的工作中通過物理感知陰影建模和基于擴(kuò)散的質(zhì)量恢復(fù)技術(shù)來解決這些問題。

模塊化的方法不僅提高了編輯效果，還增強(qiáng)了整個過程的可解釋性和可控性。就像一位透明工作的廚師，不僅告訴你最終的菜品是什么，還讓你了解每一步的烹飪過程和添加的食材。這使得用戶可以更好地理解和控制編輯過程，也為未來的研究和應(yīng)用提供了更多可能性。

總的來說，IEAP框架代表了圖像編輯領(lǐng)域的一個重要進(jìn)步，它通過將復(fù)雜問題分解為簡單步驟，解決了當(dāng)前技術(shù)在處理結(jié)構(gòu)性編輯時的局限。這種"編輯即程序"的思路不僅適用于圖像編輯，也可能為其他領(lǐng)域的復(fù)雜任務(wù)分解提供啟發(fā)。無論是專業(yè)設(shè)計師還是普通用戶，都可以從這種更精確、更靈活的圖像編輯方式中受益。

如果你對這項研究感興趣，可以通過arXiv:2506.04158v1查看完整論文，研究團(tuán)隊也表示將在GitHub上開源相關(guān)代碼，讓更多人能夠體驗和應(yīng)用這一創(chuàng)新技術(shù)。