當(dāng)我們讓AI畫一幅"倫勃朗風(fēng)格的牛"時，它的"大腦"里到底在想什么？這個聽起來像科幻小說的問題，現(xiàn)在有了令人驚喜的答案。來自米蘭大學(xué)計算機科學(xué)系的三位研究者——Alfio Ferrara、Sergio Picascia和Elisabetta Rocchetti——在2025年8月31日至9月3日舉辦的IEEE國際機器學(xué)習(xí)信號處理研討會上發(fā)表了一項開創(chuàng)性研究。這項研究首次揭示了文本生成圖像AI模型是如何理解和處理藝術(shù)作品中"畫什么"和"怎么畫"這兩個基本概念的。感興趣的讀者可以通過https://github.com/umilISLab/artistic-prompt-interpretation訪問研究代碼和數(shù)據(jù)集。

這項研究就像給AI畫家做了一次"大腦掃描"。研究團隊發(fā)現(xiàn)，當(dāng)我們告訴AI"畫一只長頸鹿，用分析立體主義的風(fēng)格"時，AI的注意力會神奇地分成兩部分：一部分專門關(guān)注長頸鹿本身（內(nèi)容），另一部分則專門處理分析立體主義的特征（風(fēng)格）。更有趣的是，這種分工并不是人為設(shè)計的，而是AI在學(xué)習(xí)過程中自發(fā)形成的能力。

這個發(fā)現(xiàn)顛覆了我們對AI藝術(shù)創(chuàng)作的理解。傳統(tǒng)上，計算機視覺領(lǐng)域一直認為內(nèi)容和風(fēng)格應(yīng)該是完全獨立的兩個概念，就像做菜時的食材和烹飪方法一樣。但問題是，現(xiàn)在這些AI模型在訓(xùn)練時并沒有被明確告知什么是內(nèi)容、什么是風(fēng)格，它們只是看了數(shù)以億計的圖片，然后自己學(xué)會了畫畫。那么，它們是否真的理解了內(nèi)容和風(fēng)格的區(qū)別呢？

研究團隊使用了一種叫做"交叉注意力熱圖"的技術(shù)來窺探AI的"思考過程"。這就像給AI戴上了一副特殊眼鏡，讓我們能看到AI在生成圖片時，每個詞語對畫面不同區(qū)域的影響程度。當(dāng)AI處理"一幅分析立體主義風(fēng)格的長頸鹿畫作"這樣的指令時，研究人員發(fā)現(xiàn)，"長頸鹿"這個詞主要影響畫面中動物本身的區(qū)域，而"分析立體主義"則主要影響背景和紋理部分。

更引人注目的是"倫勃朗的牛"這個例子，這也是論文標題的由來。研究發(fā)現(xiàn)，當(dāng)AI被要求畫"倫勃朗風(fēng)格的牛"時，它竟然給牛"穿"上了衣服！這是因為AI從大量倫勃朗的畫作中學(xué)到，倫勃朗主要畫人物肖像，所以當(dāng)遇到牛這個不尋常的主題時，AI試圖用它熟悉的倫勃朗元素（比如服裝）來表達這種風(fēng)格。這種現(xiàn)象揭示了AI學(xué)習(xí)藝術(shù)的獨特方式：它不僅僅是在模仿技法，還在嘗試理解和重新組合藝術(shù)元素。

為了驗證這些發(fā)現(xiàn)，研究團隊設(shè)計了一套嚴謹?shù)膶嶒灧椒?。他們從微軟COCO數(shù)據(jù)集中選取了80種不同的物體作為內(nèi)容元素，從WikiArt數(shù)據(jù)集中選擇了50種風(fēng)格描述符，包括23位著名藝術(shù)家和27種藝術(shù)運動。這樣的組合產(chǎn)生了16000個獨特的畫畫指令，涵蓋了從"畢加索風(fēng)格的香蕉"到"印象派的自行車"等各種有趣的組合。

實驗使用了Stable Diffusion XL這個目前最成熟的開源文本生成圖像模型。研究團隊為每個指令生成圖像，然后分析AI在處理內(nèi)容詞匯和風(fēng)格詞匯時的注意力分布模式。他們使用一種叫做"交并比"的數(shù)學(xué)方法來測量內(nèi)容和風(fēng)格注意力區(qū)域的重疊程度。如果重疊很少，說明AI確實將內(nèi)容和風(fēng)格區(qū)分對待；如果重疊很多，則表明AI可能將這兩個概念混淆了。

研究結(jié)果令人振奮。在大多數(shù)情況下，AI確實表現(xiàn)出了對內(nèi)容和風(fēng)格的清晰區(qū)分。統(tǒng)計分析顯示，內(nèi)容和風(fēng)格詞匯的注意力重疊程度顯著低于隨機基準，這意味著這種分離不是偶然現(xiàn)象，而是AI學(xué)會的一種系統(tǒng)性能力。

然而，這種分離能力并不是在所有情況下都表現(xiàn)一致。研究發(fā)現(xiàn)了一些有趣的規(guī)律：動物類的內(nèi)容詞匯（如長頸鹿、斑馬、熊）往往能與風(fēng)格詞匯實現(xiàn)最清晰的分離，而"人"這個詞匯的分離效果最差。這可能是因為在藝術(shù)史中，人物肖像本身就承載著強烈的風(fēng)格信息，使得內(nèi)容和風(fēng)格更難區(qū)分。

在風(fēng)格方面，研究發(fā)現(xiàn)寫實主義藝術(shù)運動（如新寫實主義、洛可可）比抽象藝術(shù)運動（如抽象表現(xiàn)主義、立體主義）更容易與內(nèi)容實現(xiàn)分離。這個發(fā)現(xiàn)非常合理：寫實主義強調(diào)準確描繪對象本身，而抽象主義往往會改變或重新詮釋對象的形態(tài)，使得內(nèi)容和風(fēng)格更加交融。

最引人注意的發(fā)現(xiàn)是關(guān)于個別藝術(shù)家的特殊行為。在所有測試的藝術(shù)家中，只有倫勃朗出現(xiàn)了負的分離值，意味著當(dāng)使用倫勃朗風(fēng)格時，內(nèi)容和風(fēng)格的融合程度超過了平均水平。這種現(xiàn)象特別在畫人物時更加明顯，可能與倫勃朗大量的自畫像作品有關(guān)——AI學(xué)到的"倫勃朗風(fēng)格"與人物形象緊密關(guān)聯(lián)，難以分離。

研究團隊還發(fā)現(xiàn)了一些令人驚訝的邊緣案例。比如，當(dāng)AI被要求畫"拉斐爾·基希納風(fēng)格的胡蘿卜"時，畫面中竟然出現(xiàn)了一位女性形象。這是因為基希納以畫女性肖像著稱，AI在處理這個不尋常的組合時，傾向于加入它認為符合該風(fēng)格的典型元素。

這種現(xiàn)象反映了AI學(xué)習(xí)藝術(shù)的一個重要特點：它不僅學(xué)習(xí)繪畫技法，還學(xué)習(xí)了藝術(shù)家的主題偏好和創(chuàng)作習(xí)慣。當(dāng)遇到與藝術(shù)家常見主題不符的內(nèi)容時，AI會嘗試用該藝術(shù)家的典型元素來"補償"，創(chuàng)造出意想不到的融合效果。

為了確保研究結(jié)果的可靠性，研究團隊使用了多種不同的閾值設(shè)置來分析注意力熱圖。無論是使用固定閾值還是基于百分位數(shù)的相對閾值，實驗結(jié)果都保持一致，證明了發(fā)現(xiàn)的穩(wěn)健性。統(tǒng)計檢驗顯示，所有配置下的結(jié)果都具有高度顯著性，排除了偶然性因素的影響。

這項研究對我們理解AI藝術(shù)創(chuàng)作具有重要意義。首先，它證明了大規(guī)模AI模型能夠在沒有明確指導(dǎo)的情況下，自發(fā)地學(xué)會區(qū)分藝術(shù)作品的內(nèi)容和風(fēng)格成分。這種能力的出現(xiàn)，為我們提供了AI如何理解和處理復(fù)雜藝術(shù)概念的珍貴洞察。

其次，研究揭示了AI藝術(shù)創(chuàng)作的細致入微之處。AI不僅僅是簡單地復(fù)制和粘貼藝術(shù)元素，而是在深層次上理解了不同藝術(shù)家和藝術(shù)運動的特征，并能夠智能地將這些特征應(yīng)用到新的創(chuàng)作情境中。

第三，這些發(fā)現(xiàn)對改進AI藝術(shù)生成系統(tǒng)具有實用價值。了解AI如何處理內(nèi)容和風(fēng)格信息，可以幫助開發(fā)者設(shè)計更好的提示詞策略，創(chuàng)造更精確、更富表現(xiàn)力的藝術(shù)作品。

研究也揭示了當(dāng)前AI藝術(shù)系統(tǒng)的一些局限性。某些內(nèi)容和風(fēng)格的組合仍然會產(chǎn)生混淆，特別是當(dāng)內(nèi)容與特定藝術(shù)家的典型主題相沖突時。這提醒我們，AI雖然在藝術(shù)創(chuàng)作方面取得了令人印象深刻的進展，但仍然受到訓(xùn)練數(shù)據(jù)的偏見和局限性影響。

對于普通用戶來說，這項研究提供了使用AI藝術(shù)工具的實用指導(dǎo)。在選擇提示詞時，考慮內(nèi)容和風(fēng)格的匹配程度可能會影響最終結(jié)果的質(zhì)量。選擇與特定藝術(shù)家常見主題相符的內(nèi)容，可能會獲得更好的風(fēng)格表現(xiàn)效果。

展望未來，這項研究為AI藝術(shù)領(lǐng)域開辟了新的研究方向。研究團隊表示，他們計劃將這種分析方法擴展到其他文本生成圖像模型，并與藝術(shù)領(lǐng)域?qū)＜液献?，進行更深入的人類評估和分析。他們還計劃探索不同的注意力提取方法和重疊度量標準，以更全面地理解AI的藝術(shù)創(chuàng)作機制。

這項研究的影響遠遠超出了技術(shù)層面。它讓我們重新思考藝術(shù)創(chuàng)作的本質(zhì)：什么是風(fēng)格？什么是內(nèi)容？它們之間的邊界在哪里？當(dāng)機器能夠理解和模仿這些概念時，我們對藝術(shù)和創(chuàng)造力的定義又該如何演進？

說到底，這項研究告訴我們，AI已經(jīng)不再是簡單的圖像復(fù)制機器，而是發(fā)展出了對藝術(shù)概念的深層理解能力。雖然這種理解可能與人類的藝術(shù)認知存在差異，但它代表了人工智能在理解和創(chuàng)造人類文化表達方面的重要進步。當(dāng)我們下次使用AI創(chuàng)作藝術(shù)作品時，或許可以更加欣賞這個過程中隱藏的復(fù)雜性和智慧。畢竟，就連"倫勃朗的牛"也不只是簡單的技術(shù)展示，而是AI對藝術(shù)理解的獨特詮釋。

對于那些對AI藝術(shù)創(chuàng)作感興趣的讀者，這項研究不僅提供了理論洞察，更開放了代碼和數(shù)據(jù)集供進一步探索。研究團隊希望這項工作能夠促進更多關(guān)于AI藝術(shù)理解機制的研究，最終幫助我們創(chuàng)造出更加智能、更富創(chuàng)造力的AI藝術(shù)系統(tǒng)。

Q&A

Q1：AI繪畫模型是如何區(qū)分"畫什么"和"怎么畫"的？

A：AI通過"交叉注意力熱圖"技術(shù)來處理這兩個概念。當(dāng)接收到"倫勃朗風(fēng)格的牛"這樣的指令時，AI會將注意力分成兩部分：一部分專門關(guān)注"牛"這個內(nèi)容對象，另一部分處理"倫勃朗風(fēng)格"的繪畫特征。這種分工不是人為設(shè)計的，而是AI在學(xué)習(xí)大量藝術(shù)作品后自發(fā)形成的能力。

Q2：為什么有些藝術(shù)家風(fēng)格比其他風(fēng)格更難與內(nèi)容分離？

A：這主要取決于藝術(shù)家的創(chuàng)作習(xí)慣和主題偏好。比如倫勃朗以人物肖像和自畫像著稱，所以AI學(xué)到的"倫勃朗風(fēng)格"與人物形象緊密關(guān)聯(lián)，很難分離。寫實主義藝術(shù)運動比抽象藝術(shù)運動更容易分離，因為寫實主義強調(diào)準確描繪對象，而抽象主義往往改變對象形態(tài)。

Q3：這項研究對普通人使用AI繪畫工具有什么實用價值？

A：研究發(fā)現(xiàn)可以幫助用戶更好地設(shè)計提示詞。選擇與特定藝術(shù)家常見主題相符的內(nèi)容（比如用倫勃朗畫人物而不是動物）可能獲得更好的風(fēng)格效果。另外，動物類內(nèi)容詞匯比人物更容易與風(fēng)格實現(xiàn)清晰分離，這可以指導(dǎo)用戶在創(chuàng)作時的選擇策略。