這項由北京大學深圳研究生院的嚴志遠、中山大學的葉俊彥等多位研究者聯合完成的開創(chuàng)性研究，于2025年5月發(fā)表在arXiv預印本平臺（論文編號：arXiv:2504.02782v3），是首個專門針對OpenAI GPT-4o圖像生成能力的綜合評估研究。有興趣深入了解技術細節(jié)的讀者可以通過GitHub項目頁面（https://github.com/PicoTrex/GPT-ImgEval）獲取完整的代碼和數據集。

當OpenAI在2024年底悄然為GPT-4o添加圖像生成功能時，整個AI界都為之震驚。這個原本以文字對話見長的AI助手，突然展現出了驚人的繪畫天賦。就像一位多才多藝的藝術家，GPT-4o不僅能夠根據描述創(chuàng)作全新圖像，還能對現有圖片進行精準修改，甚至能運用豐富的世界知識來創(chuàng)造富有文化內涵的作品。

然而，正如任何新興藝術家需要專業(yè)評委來評估其作品質量一樣，GPT-4o的繪畫能力也需要科學嚴謹的測試。北京大學的研究團隊就扮演了這樣的"藝術評委"角色，他們設計了一套名為"GPT-ImgEval"的綜合評估體系，從三個核心維度對GPT-4o進行了全方位的"藝術考試"。

這場考試包含三個科目：首先是"看圖說話反向版"——根據文字描述創(chuàng)作圖像的能力測試；其次是"圖片修改師"考試——按照指令對現有圖片進行編輯的技能評估；最后是"博學畫家"測試——結合世界知識創(chuàng)作有深度內涵圖像的能力驗證。令人驚喜的是，GPT-4o在所有三個科目中都取得了優(yōu)異成績，大幅超越了此前的所有競爭對手。

更有趣的是，研究團隊還充當了"技術偵探"，試圖揭開GPT-4o圖像生成背后的技術秘密。他們發(fā)現，GPT-4o很可能采用了一種類似"先構思后繪制"的創(chuàng)作模式——首先用類似人類的邏輯思維理解用戶需求，然后調用專門的繪畫模塊來完成最終作品。這種發(fā)現不僅滿足了技術愛好者的好奇心，更為未來AI繪畫技術的發(fā)展指明了方向。

**一、三場藝術考試：GPT-4o的全能表現**

就像評估一位畫家需要從不同角度考察其技藝一樣，研究團隊為GPT-4o設計了三場不同類型的"藝術考試"。每一場考試都針對現實世界中不同的應用場景，確保評估結果具有實用價值。

第一場考試可以比作"看圖說話的反向版"。在傳統(tǒng)的看圖說話中，我們看著圖片描述內容；而這里恰恰相反，GPT-4o需要根據文字描述來創(chuàng)作圖像。研究團隊使用了GenEval數據集進行測試，這個數據集就像一本精心設計的"繪畫作業(yè)集"，包含了各種難度級別的創(chuàng)作任務。

在這場考試中，GPT-4o需要應對從簡單到復雜的各種挑戰(zhàn)。比如，當要求"畫一個香蕉"時，它需要準確地生成單個物體；當要求"畫兩個時鐘"時，它必須精確控制物體數量；當要求"畫一個藍色的電視"時，它需要正確匹配顏色和物體；而當要求"畫一根胡蘿卜在橙子左邊"時，它還必須理解空間關系。最具挑戰(zhàn)性的是屬性綁定任務，比如"畫一個電腦鼠標和一個勺子"，需要確保兩個物體都清晰呈現且互不干擾。

令人驚嘆的是，GPT-4o在這場考試中獲得了0.84分的總成績（滿分1.0），大幅超越了之前的冠軍得主。在計數能力測試中，它達到了0.85分，意味著當你要求它畫"三個體育球"時，它幾乎總能準確地畫出三個球。在顏色識別方面，它更是達到了0.92的高分，證明它對"紅蘋果"和"綠蘋果"這樣的顏色要求有著敏銳的理解。

第二場考試則像是"圖片修改師"的專業(yè)認證。研究團隊使用Reason-Edit數據集，測試GPT-4o對現有圖片進行精準修改的能力。這就像是給一位畫家一幅半完成的作品，要求他按照新的指示進行修改，既要保持原有畫面的精神，又要準確實現新的要求。

在這個測試中，GPT-4o面臨著諸如"請把食物中維生素含量最高的替換成橙子"這樣需要結合常識判斷的復雜任務。它需要識別圖片中的食物，理解哪種食物維生素含量高，然后精準地進行替換，同時保持畫面的自然和諧。另一個典型例子是"把中間的熊貓換成貓"，這要求它準確定位特定對象，進行替換，并確保新對象與周圍環(huán)境協(xié)調一致。

最令人印象深刻的是"把鏡子中的貓換成老虎"這個任務。這不僅需要理解鏡子反射的概念，還要保持反射圖像與真實空間的邏輯一致性。GPT-4o成功地完成了這個高難度任務，展現出了對復雜場景結構的深度理解。在這場考試中，GPT-4o獲得了0.929的驚人高分，比之前的最佳成績提高了0.357分，這個提升幅度在AI領域可以說是革命性的。

第三場考試是"博學畫家"測試，使用WISE數據集評估GPT-4o結合世界知識進行創(chuàng)作的能力。這就像是考察一位畫家是否不僅會畫畫，還具備豐富的文化素養(yǎng)和百科知識。這種測試超越了簡單的"文字轉圖片"，要求AI具備真正的理解和推理能力。

舉個例子，當看到"章魚面臨危險時的行為"這個描述時，GPT-4o需要調用生物學知識，理解章魚會釋放墨汁來逃避天敵，然后創(chuàng)作出章魚噴墨的畫面。當面對"巴西的巨大雕像，張開雙臂俯瞰城市"這個描述時，它需要識別出這指的是里約熱內盧的基督救世主雕像，并準確地創(chuàng)作出這個世界著名地標。

在這個最具挑戰(zhàn)性的測試中，GPT-4o取得了0.80的總分，在文化知識（0.81）、空間推理（0.89）、生物學常識（0.83）等各個子項中都表現出色。相比之下，其他專門的圖像生成模型在這個測試中普遍只能達到0.3-0.5的水平，這個差距清楚地展示了GPT-4o在知識整合和推理方面的獨特優(yōu)勢。

**二、技術偵探工作：揭秘GPT-4o的創(chuàng)作秘籍**

就像藝術評論家不僅要評價作品質量，還要分析藝術家的創(chuàng)作技法一樣，研究團隊也對GPT-4o的技術架構進行了深入探索。這部分研究就像是一場"技術偵探"工作，試圖通過觀察GPT-4o的作品特征，推斷出它背后的創(chuàng)作機制。

當前AI圖像生成領域主要存在兩種技術路線，就像繪畫界的兩大流派。第一種可以比作"逐步精細化"的畫法，類似于畫家先畫出粗略輪廓，然后逐層添加細節(jié)，直到完成精美作品。這種方法在技術上稱為VAR（Visual AutoRegressive）架構，它會先生成低分辨率的模糊圖像，然后逐步提升清晰度。

第二種則像是"先構思后繪制"的創(chuàng)作模式，畫家首先在腦海中形成完整的創(chuàng)作構思，然后調用熟練的繪畫技巧將構思轉化為具體畫面。在技術層面，這對應于"自回歸+擴散"的混合架構，即先用類似人類思維的邏輯推理理解創(chuàng)作需求，再用專門的圖像生成模塊完成繪制。

為了確定GPT-4o屬于哪種技術流派，研究團隊設計了一個巧妙的"技術鑒定"實驗。他們首先用兩種不同技術生成了大量圖像樣本，然后訓練了一個專門的"技術鑒定師"——一個二分類器，專門用來區(qū)分兩種技術生成的圖像。

這個鑒定師通過學習兩種技術生成圖像的細微特征差異，獲得了識別不同技術"指紋"的能力。當研究團隊把GPT-4o生成的圖像交給這位"鑒定師"時，它始終如一地將這些圖像歸類為擴散技術生成的作品。這個發(fā)現為解開GPT-4o的技術秘密提供了重要線索。

進一步的分析顯示，GPT-4o很可能采用了"先構思后繪制"的混合架構。這種架構的優(yōu)勢在于結合了兩種技術的長處：自回歸部分負責理解和推理，確保生成內容與用戶需求精確匹配；擴散部分則專注于圖像繪制，保證最終作品的視覺質量和自然度。

研究團隊還發(fā)現了支持這一推斷的有趣證據。OpenAI曾經官方發(fā)布過一個"彩蛋"式的圖片，展示了從文本到圖像的生成流程，明確顯示了"令牌→變換器→擴散→圖像"的處理鏈條。這個流程圖與研究團隊推測的混合架構高度吻合，進一步證實了他們的技術分析。

關于GPT-4o的圖像編碼方式，研究團隊還有另一個重要發(fā)現。他們觀察到，即使要求GPT-4o"什么都不改變"地重新生成一張圖片，輸出結果仍然會在光照、色彩、細節(jié)等方面與原圖存在明顯差異。這個現象表明GPT-4o很可能沒有使用傳統(tǒng)的"離散令牌"編碼方式，而是采用了"連續(xù)令牌"的方式來處理圖像信息。

這種技術選擇的意義重大。離散令牌編碼就像是用固定的顏料盒來調色，雖然重構準確但可能限制創(chuàng)作靈活性；而連續(xù)令牌編碼則像是擁有可以調配任意顏色的調色板，提供了更大的創(chuàng)作自由度，使得AI能夠更好地理解和生成圖像內容。

基于這些技術偵探工作的發(fā)現，研究團隊提出了四種可能的GPT-4o架構候選方案。這四種方案的主要區(qū)別在于圖像編碼器的選擇，但都共享一個核心特點：采用自回歸推理與擴散生成相結合的混合架構。這種架構設計解釋了為什么GPT-4o能夠在保持強大語義理解能力的同時，生成高質量的視覺內容。

**三、AI畫家的短板：完美中的小瑕疵**

正如任何藝術家都有自己的風格特色和技術局限，GPT-4o在圖像生成方面也存在一些有趣的"個性特征"和改進空間。研究團隊通過大量測試發(fā)現了幾個值得關注的現象，這些發(fā)現不僅幫助我們更好地理解GPT-4o的工作機制，也為未來的技術改進指明了方向。

首先是"完美主義傾向"問題。GPT-4o似乎有一種強烈的"美化沖動"，總是傾向于生成高清晰、高細節(jié)的圖像。即使你明確要求它生成模糊或低分辨率的圖片，它仍然會"好心"地為你提供一個清晰銳利的版本。這就像是一位過分認真的畫家，即使客戶要求畫速寫，他也忍不住要加上精致的細節(jié)和完美的光影效果。

這種特性在大多數情況下是優(yōu)點，但有時也會帶來問題。比如，當需要模擬老照片的顆粒感或者創(chuàng)作抽象朦朧的藝術效果時，GPT-4o的這種"完美主義"就成了障礙。研究團隊發(fā)現，即使在提示詞中明確要求"模糊的"、"低分辨率的"圖像，GPT-4o生成的結果依然保持著令人印象深刻的清晰度。

第二個有趣的現象是"暖色調偏好"。GPT-4o在沒有特殊顏色要求時，往往傾向于使用溫暖的色調，特別是黃色、橙色和暖光效果。這就像是一位偏愛印象派風格的畫家，總是習慣性地為作品增添溫暖的黃昏光線。雖然這種特性使得生成的圖像通?？雌饋砀訙剀扳?，但也在一定程度上限制了色彩風格的多樣性。

第三個局限是"編輯一致性"問題。當要求GPT-4o對圖片進行局部修改時，它實際上是重新生成整張圖片，而不是像專業(yè)圖像編輯軟件那樣只修改指定區(qū)域。這就像是要求畫家修改畫作中的一朵花，他卻選擇重畫整幅作品。雖然修改后的花確實符合要求，但畫面的整體色調、光線甚至其他不相關的細節(jié)都可能發(fā)生變化。

在復雜場景處理方面，GPT-4o偶爾會出現"力不從心"的情況。當畫面中包含多個人物或復雜的人物-物體交互時，它可能會在空間關系、人體姿態(tài)或物體重疊方面出現不太自然的處理。這就像是一位在肖像畫方面很擅長的畫家，在處理群體場景時偶爾會出現構圖上的小問題。

最有趣的發(fā)現之一是GPT-4o在非英文文字處理方面的局限性。雖然它在生成英文文字方面表現出色，能夠清晰準確地渲染各種英文字體，但在處理中文等其他語言文字時就沒有那么得心應手了。研究團隊發(fā)現，GPT-4o生成的中文標識牌經常出現字體錯誤、繁簡體混用等問題。這反映了訓練數據中英文和其他語言內容的不平衡，以及不同文字系統(tǒng)在結構復雜性上的差異。

還有一個技術層面的特征是"超分辨率痕跡"。研究表明，GPT-4o生成的圖像包含明顯的圖像增強處理痕跡，這些痕跡使得它的作品很容易被現有的AI檢測工具識別出來。這就像是畫家的簽名一樣，成為了GPT-4o作品的技術"指紋"。這種現象很可能源于GPT-4o內部的圖像后處理機制，它會自動對生成的圖像進行銳化和增強處理。

盡管存在這些局限性，但需要強調的是，它們大多數都不是嚴重的缺陷，而更像是技術發(fā)展過程中的階段性特征。實際上，其中一些"局限性"在特定應用場景中甚至可能是優(yōu)勢。比如，暖色調偏好使得GPT-4o特別適合創(chuàng)作溫馨的生活場景；完美主義傾向則確保了輸出質量的穩(wěn)定性。

**四、同臺競技：GPT-4o對決谷歌Gemini 2.0 Flash**

為了更全面地評估GPT-4o的實力，研究團隊還安排了一場"同臺競技"，讓GPT-4o與谷歌最新發(fā)布的Gemini 2.0 Flash進行直接對比。這場比賽就像是兩位頂尖畫家的現場PK，不僅比較單幅作品質量，更重要的是測試它們在連續(xù)創(chuàng)作和互動編輯方面的能力。

比賽的核心項目是"多輪圖像編輯"，這就像是要求畫家根據客戶的連續(xù)反饋，不斷修改和完善同一幅作品。比如，從一張辦公室照片開始，客戶可能會說"讓筆記本電腦屏幕變成空白"，然后又說"把椅子改成紅色"，最后要求"讓桌面變成黑色"。這種連續(xù)編輯測試不僅考驗AI的技術能力，更考驗它們對上下文的理解和記憶能力。

在編輯一致性方面，GPT-4o表現明顯更勝一籌。當要求只改變椅子顏色時，GPT-4o通常能夠精確地只修改椅子，保持其他元素基本不變。而Gemini 2.0 Flash則可能在改變椅子顏色的同時，意外地改變椅子的形狀或位置，甚至影響到畫面中的其他物體。這就像是兩位畫家接到同樣的修改要求，GPT-4o能夠做到"手術刀式"的精準修改，而Gemini有時會進行"大刀闊斧"式的調整。

指令理解能力的對比更加有趣。在一個測試案例中，兩個AI都被要求修改一張電腦桌的照片中的椅子，結果GPT-4o按要求修改了椅子，但Gemini卻移除了墻上的裝飾板。這種"答非所問"的現象在Gemini身上出現得更頻繁，表明GPT-4o在語言理解和任務執(zhí)行的對應關系上更加準確。

多輪對話能力是另一個重要的比較維度。GPT-4o支持真正的多輪圖像編輯對話，用戶可以在同一個會話中連續(xù)提出修改要求，AI會記住之前的所有修改歷史，就像與一位記憶力很好的畫家合作。相比之下，Gemini 2.0 Flash在這方面顯得力不從心，通常需要用戶在每一輪都重新上傳之前的圖片，這就像是與一位健忘的畫家合作，每次都要重新解釋之前做過的修改。

然而，Gemini 2.0 Flash也有自己的優(yōu)勢——速度。在處理速度方面，Gemini明顯更快，這對于需要快速響應的應用場景來說是一個重要優(yōu)勢。這就像是兩種不同風格的服務：GPT-4o提供的是"精工細作"式的高質量服務，而Gemini提供的是"快速便捷"式的高效服務。

研究團隊還發(fā)現了一個有趣的現象：隨著編輯輪次的增加，兩個AI的表現都會逐漸下降，但下降的方式不同。GPT-4o主要表現為細節(jié)保持能力的減弱，就像畫家在反復修改過程中逐漸失去對原始構圖的把握；而Gemini則更多表現為理解偏差的累積，容易在后續(xù)輪次中產生與用戶意圖相距甚遠的結果。

這場同臺競技的結果表明，在圖像編輯的綜合能力方面，GPT-4o目前仍然保持著領先優(yōu)勢，特別是在準確性和一致性方面。但Gemini 2.0 Flash的速度優(yōu)勢也不容忽視，在某些對響應時間要求較高的應用場景中，這種優(yōu)勢可能會成為決定性因素。

**五、安全守護：AI藝術品的身份識別**

隨著AI繪畫技術的日益精進，一個重要問題浮出水面：這些AI創(chuàng)作的圖像是否還能被識別出來？這不僅關系到學術誠信、版權保護，更涉及到信息真實性等重大社會議題。研究團隊專門針對這個問題進行了深入調查，結果既令人安心，又發(fā)人深思。

當研究團隊將GPT-4o生成的圖像提交給多個最先進的AI檢測系統(tǒng)時，結果令人驚訝：這些"AI藝術品"的身份幾乎無處遁形。大多數檢測系統(tǒng)都能以超過75%的準確率識別出GPT-4o的作品，而最先進的檢測模型FakeVLM甚至達到了99.6%的驚人準確率。這就像是每個畫家都有自己獨特的筆觸風格一樣，GPT-4o在其作品中也留下了難以掩蓋的"技術指紋"。

這種高檢測率的背后有其技術原因。研究團隊發(fā)現，GPT-4o的"完美主義傾向"反而成了它的"身份標識"。由于GPT-4o總是傾向于生成高清晰、高細節(jié)的圖像，其作品中包含了明顯的圖像增強和超分辨率處理痕跡。專門設計用來檢測圖像放大痕跡的NPR檢測器對GPT-4o作品的識別準確率高達99%，這充分說明了這種技術特征的明顯性。

這種現象可以用一個生動的比喻來理解：GPT-4o就像是一位總是使用特定品牌畫筆和顏料的畫家，雖然作品風格可能多變，但材料和工具的特征始終如一。這些"材料特征"——也就是圖像處理的技術痕跡——成為了識別AI作品的重要線索。

從積極的角度看，這種高檢測率為維護信息真實性提供了重要保障。在新聞報道、學術研究、法律證據等需要確保圖像真實性的場景中，現有的檢測技術能夠有效識別AI生成的內容。這就像是為數字世界安裝了一套"身份驗證系統(tǒng)"，幫助人們區(qū)分真實拍攝的照片和AI創(chuàng)作的圖像。

同時，研究團隊也注意到OpenAI在安全方面的周全考慮。GPT-4o內置了嚴格的內容安全機制，拒絕生成涉及兒童、可識別人臉或受版權保護內容的圖像。這種設計體現了負責任的AI開發(fā)理念，就像是為AI畫家設置了明確的職業(yè)道德準則。

然而，這種高檢測率也引發(fā)了一些有趣的思考。隨著技術的不斷發(fā)展，AI生成圖像的質量會越來越高，其技術痕跡可能會越來越難以察覺。這就像是畫家技藝的不斷精進，最終可能達到"以假亂真"的程度。這種發(fā)展趨勢對檢測技術提出了持續(xù)的挑戰(zhàn)，需要檢測方法也不斷進化和改進。

另一個值得考慮的問題是檢測技術的公平性和準確性。雖然目前的檢測系統(tǒng)對GPT-4o作品識別率很高，但這些系統(tǒng)主要基于當前技術特征進行訓練。當AI圖像生成技術發(fā)生根本性變化時，現有檢測方法可能需要重新校準和訓練。

研究團隊的這項安全性評估揭示了AI圖像生成領域的一個重要現狀：技術發(fā)展與安全保障正在進行著一場微妙的"軍備競賽"。一方面，AI生成技術在不斷提升圖像質量和降低技術痕跡；另一方面，檢測技術也在不斷改進識別能力和適應新的生成方法。這種動態(tài)平衡對于維護數字世界的信息安全具有重要意義。

說到底，GPT-4o的橫空出世標志著AI圖像生成技術進入了一個全新的時代。北京大學研究團隊的這項綜合評估工作，不僅為我們提供了評判AI繪畫能力的科學標準，更為未來技術發(fā)展和應用指明了方向。

從技術角度看，GPT-4o展現出的強大能力證明了多模態(tài)AI的巨大潛力。它不僅僅是一個圖像生成工具，更像是一位具備豐富知識和創(chuàng)作能力的數字藝術家。這種能力的實現得益于巧妙的技術架構設計——將邏輯推理與圖像生成有機結合，既保證了內容的準確性，又確保了視覺效果的精美。

從應用前景來看，GPT-4o的出現為眾多行業(yè)帶來了新的可能性。在教育領域，它可以根據教學內容自動生成配圖，讓抽象概念變得生動具體；在廣告設計中，它能夠快速將創(chuàng)意構思轉化為視覺作品；在個人創(chuàng)作方面，它為普通用戶提供了專業(yè)級的圖像創(chuàng)作能力，大大降低了創(chuàng)意表達的門檻。

當然，任何技術的發(fā)展都伴隨著挑戰(zhàn)和思考。GPT-4o雖然能力強大，但仍存在一些技術局限和改進空間。更重要的是，隨著AI創(chuàng)作能力的提升，我們需要認真思考關于原創(chuàng)性、版權保護、信息真實性等一系列社會議題。好在，目前的檢測技術仍能有效識別AI生成內容，為維護數字世界的秩序提供了重要保障。

研究團隊的工作不僅是對當前技術的全面體檢，更是為未來發(fā)展奠定的重要基礎。通過建立科學的評估標準和開源相關工具，他們?yōu)檎麄€AI圖像生成領域的健康發(fā)展做出了重要貢獻。這種開放共享的研究精神，正是推動技術進步和社會福祉的重要力量。

隨著技術的繼續(xù)演進，我們有理由相信，AI圖像生成技術將變得更加強大、更加智能，同時也更加安全可控。GPT-4o的成功只是這個激動人心領域的一個重要里程碑，未來還有更多精彩的發(fā)展等待著我們去探索和發(fā)現。對于那些希望深入了解這項技術的讀者，可以通過訪問研究團隊提供的GitHub項目頁面獲取更多詳細信息和實驗數據。

**Q&A**

Q1：GPT-4o的圖像生成能力有多強？它能做什么？ A：GPT-4o在圖像生成方面表現出色，能夠根據文字描述創(chuàng)作圖像、按指令編輯現有圖片，還能結合世界知識創(chuàng)作有文化內涵的作品。它在各項測試中都大幅超越了此前的AI圖像生成模型，特別擅長理解復雜指令和保持畫面一致性。

Q2：GPT-4o生成的圖像能被檢測出來嗎？會不會被濫用？ A：目前的AI檢測技術能夠以很高的準確率（75%-99%）識別出GPT-4o生成的圖像，主要是因為其作品包含明顯的圖像處理技術痕跡。同時，GPT-4o內置了嚴格的安全機制，拒絕生成涉及兒童、可識別人臉或版權內容的圖像。

Q3：GPT-4o的圖像生成技術原理是什么？有什么局限性？ A：研究表明GPT-4o很可能采用了"先構思后繪制"的混合架構，即先用邏輯推理理解需求，再用專門模塊生成圖像。主要局限包括偏愛暖色調、總是生成高清圖像（即使要求模糊效果）、編輯時會影響整張圖片，以及在處理中文等非英文文字時準確性較低。