這項(xiàng)由上海交通大學(xué)的李俊賢和徐貝寧，以及復(fù)旦大學(xué)的張迪領(lǐng)導(dǎo)的研究發(fā)表于2025年8月，是一項(xiàng)關(guān)于視覺語言模型安全漏洞的重要發(fā)現(xiàn)。有興趣深入了解的讀者可以通過arXiv:2508.09456v1訪問完整論文。

現(xiàn)在的人工智能助手已經(jīng)變得越來越聰明，它們不僅能理解我們說的話，還能"看懂"圖片，甚至能在圖片中準(zhǔn)確找到我們想要的東西——比如當(dāng)你說"幫我找到桌上的蘋果"時(shí)，AI能精確地在照片中圈出蘋果的位置。這種能力叫做"視覺定位"，就像給AI裝上了一雙會思考的眼睛。

但是，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)令人擔(dān)憂的問題：這些看似智能的AI眼睛，竟然可以被人惡意"欺騙"。就好比有人給你戴上了一副特制的眼鏡，讓你看到的世界完全不是真實(shí)的樣子——無論別人問你看到了什么，你都會指向錯(cuò)誤的地方，而且你自己完全察覺不到這種異常。

一、AI視覺助手的"盲點(diǎn)"——當(dāng)完美的眼睛遇到隱形陷阱

當(dāng)今的AI系統(tǒng)，特別是那些能夠同時(shí)處理圖像和文字的智能模型，正在被廣泛應(yīng)用于各種實(shí)際場景中。從幫助機(jī)器人抓取物品，到協(xié)助自動(dòng)駕駛汽車識別路標(biāo)，再到幫助網(wǎng)站用戶點(diǎn)擊正確的按鈕——這些AI助手的"視覺定位"能力已經(jīng)成為現(xiàn)代智能系統(tǒng)的核心功能之一。

然而，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)嚴(yán)重的安全漏洞。設(shè)想這樣一個(gè)場景：你正在使用一個(gè)AI助手來幫你整理廚房，你說"幫我找到刀具"，但AI卻總是指向砧板上的面包。更可怕的是，無論你怎么重新詢問，AI都會堅(jiān)持這個(gè)錯(cuò)誤的答案，而且表現(xiàn)得非常"自信"。

這種現(xiàn)象被研究團(tuán)隊(duì)稱為"輸入感知后門攻擊"，簡單來說，就是有惡意攻擊者在AI的"眼睛"上做了手腳。這些手腳非常隱蔽，就像在你的眼鏡上涂了一層看不見的特殊涂層，讓你對某些特定物品產(chǎn)生視覺錯(cuò)覺，但你自己完全意識不到這種錯(cuò)覺的存在。

研究團(tuán)隊(duì)指出，目前這些AI系統(tǒng)在部署時(shí)缺乏嚴(yán)格的安全檢查機(jī)制。大多數(shù)AI模型都是直接從公開的數(shù)據(jù)庫中下載使用，就像從網(wǎng)上下載軟件一樣方便，但也帶來了同樣的安全風(fēng)險(xiǎn)。攻擊者可以在這些模型的"訓(xùn)練過程"中植入惡意代碼，就像在軟件中植入病毒一樣。

更令人擔(dān)憂的是，這種攻擊具有極強(qiáng)的隱蔽性。在日常使用中，這些被"動(dòng)過手腳"的AI系統(tǒng)表現(xiàn)得完全正常，它們能夠準(zhǔn)確識別和定位各種物品，回答各種問題，看起來與正常的AI系統(tǒng)沒有任何區(qū)別。只有在特定條件下，比如看到特定的"觸發(fā)圖像"時(shí)，它們才會露出真面目，開始給出錯(cuò)誤的定位結(jié)果。

這種攻擊方式之所以特別危險(xiǎn)，是因?yàn)樗槍Φ氖茿I系統(tǒng)最基礎(chǔ)的感知能力。就像人類的視覺是我們認(rèn)知世界的基礎(chǔ)一樣，AI的視覺定位能力也是它們執(zhí)行各種任務(wù)的基礎(chǔ)。一旦這個(gè)基礎(chǔ)被破壞，整個(gè)AI系統(tǒng)的可靠性都會受到質(zhì)疑。

二、解密"視覺欺騙術(shù)"——攻擊者如何給AI戴上"有色眼鏡"

要理解這種攻擊是如何工作的，我們可以把它比作一個(gè)巧妙的魔術(shù)表演。魔術(shù)師不是通過暴力手段讓觀眾看錯(cuò)，而是通過精心設(shè)計(jì)的視覺誤導(dǎo)，讓觀眾自然而然地得出錯(cuò)誤的結(jié)論。

研究團(tuán)隊(duì)開發(fā)的這種攻擊方法被稱為IAG（Input-aware Attack on VLMs for visual Grounding），它的工作原理類似于一個(gè)"智能變色龍"。這個(gè)變色龍不是簡單地改變顏色，而是能夠根據(jù)周圍環(huán)境的具體情況，選擇最合適的偽裝方式來達(dá)到欺騙的目的。

具體來說，攻擊者首先會選擇一個(gè)"目標(biāo)物品"——比如他們想讓AI總是指向圖片中的"漢堡包"，無論用戶實(shí)際詢問的是什么。然后，他們使用一種特殊的技術(shù)，將這個(gè)"漢堡包"的特征信息悄悄地嵌入到圖片中。這個(gè)過程就像在圖片上施了一個(gè)隱形的魔法，讓AI的"眼睛"總是不由自主地被漢堡包吸引。

這種技術(shù)的巧妙之處在于，它不是簡單地在圖片上添加一些明顯的標(biāo)記或圖案。相反，它使用了一種叫做"文本條件U-Net"的高級技術(shù)，這種技術(shù)能夠理解攻擊者想要的目標(biāo)物品的語言描述，然后將這種語義信息轉(zhuǎn)化為極其微妙的視覺變化，嵌入到原始圖片中。

為了確保這種攻擊不被人類察覺，研究團(tuán)隊(duì)還加入了一個(gè)"重構(gòu)損失"機(jī)制。這個(gè)機(jī)制的作用就像一個(gè)嚴(yán)格的化妝師，確保經(jīng)過"化妝"（添加攻擊觸發(fā)器）的圖片看起來與原圖片幾乎完全一樣。人類觀察者很難發(fā)現(xiàn)圖片被修改過，但AI系統(tǒng)卻會受到這些微妙變化的強(qiáng)烈影響。

研究團(tuán)隊(duì)還設(shè)計(jì)了一套統(tǒng)一的攻擊數(shù)據(jù)生成方法。他們從現(xiàn)有的視覺定位數(shù)據(jù)集中選擇包含多個(gè)物品的圖片，然后隨機(jī)選擇其中一個(gè)物品作為"攻擊目標(biāo)"，同時(shí)選擇另一個(gè)不同的物品作為用戶查詢的對象。這樣，當(dāng)AI系統(tǒng)接收到被修改過的圖片和用戶查詢時(shí)，它會忽略用戶的實(shí)際需求，總是指向攻擊者預(yù)設(shè)的目標(biāo)物品。

這種攻擊方法的一個(gè)重要特點(diǎn)是它的"自適應(yīng)性"。與傳統(tǒng)的攻擊方法不同，IAG不是使用固定的攻擊模式，而是能夠根據(jù)每張圖片的具體內(nèi)容和攻擊目標(biāo)的特征，動(dòng)態(tài)生成最適合的攻擊觸發(fā)器。這就像一個(gè)經(jīng)驗(yàn)豐富的小偷，能夠根據(jù)不同房屋的布局和安保措施，選擇最合適的入侵方式。

三、實(shí)驗(yàn)室里的"視覺戰(zhàn)爭"——三個(gè)AI助手如何敗下陣來

為了驗(yàn)證這種攻擊方法的有效性，研究團(tuán)隊(duì)選擇了三個(gè)目前最先進(jìn)的AI視覺助手作為"實(shí)驗(yàn)對象"：LlaVA-1.5-7B、InternVL-2.5-8B和Ferret-7B。這三個(gè)AI系統(tǒng)就像三個(gè)不同類型的智能助手——LlaVA是一個(gè)通用型助手，InternVL是一個(gè)經(jīng)過專門視覺訓(xùn)練的精英助手，而Ferret則是專門為物品定位任務(wù)設(shè)計(jì)的專業(yè)助手。

實(shí)驗(yàn)的結(jié)果令人震驚。在InternVL-2.5-8B這個(gè)被認(rèn)為是最先進(jìn)的視覺助手身上，攻擊成功率竟然達(dá)到了65%以上。這意味著每十次詢問中，有六到七次AI都會給出完全錯(cuò)誤的答案，而且這些錯(cuò)誤都是攻擊者事先設(shè)定好的。更可怕的是，即使是LlaVA這樣沒有經(jīng)過專門視覺訓(xùn)練的通用助手，攻擊成功率也超過了55%。

研究團(tuán)隊(duì)在多個(gè)不同的數(shù)據(jù)集上進(jìn)行了測試，包括RefCoco、RefCoco+、RefCocog和Coco-2017等。這些數(shù)據(jù)集包含了各種不同類型的圖片和物品，從日常生活用品到復(fù)雜的場景都有涉及。令人擔(dān)憂的是，無論在哪個(gè)數(shù)據(jù)集上，攻擊都取得了顯著的成功率，而且對AI系統(tǒng)在正常圖片上的表現(xiàn)幾乎沒有影響——這意味著被攻擊的AI系統(tǒng)在大多數(shù)情況下仍然表現(xiàn)正常，只有在遇到特制的攻擊圖片時(shí)才會出現(xiàn)異常。

更令研究團(tuán)隊(duì)驚訝的是，這種攻擊還具有很強(qiáng)的"傳播性"。當(dāng)他們用在一個(gè)數(shù)據(jù)集上訓(xùn)練的攻擊模型去測試其他數(shù)據(jù)集時(shí)，攻擊仍然能夠保持相當(dāng)高的成功率。這就像一種"通用病毒"，一旦感染了一個(gè)系統(tǒng)，就能輕易地傳播到其他相似的系統(tǒng)中。

研究團(tuán)隊(duì)還測試了不同"投毒率"對攻擊效果的影響。所謂投毒率，就是在訓(xùn)練數(shù)據(jù)中混入多少比例的惡意數(shù)據(jù)。令人驚訝的是，即使只有1%的訓(xùn)練數(shù)據(jù)被"投毒"，攻擊仍然能夠取得不錯(cuò)的效果。這意味著攻擊者不需要控制大量的訓(xùn)練數(shù)據(jù)，只需要在AI系統(tǒng)的訓(xùn)練過程中悄悄加入少量惡意數(shù)據(jù)，就能夠成功實(shí)施攻擊。

為了驗(yàn)證攻擊的現(xiàn)實(shí)可行性，研究團(tuán)隊(duì)還進(jìn)行了真實(shí)世界的實(shí)驗(yàn)。他們用手機(jī)拍攝了各種真實(shí)場景的照片，包括日常生活場景、網(wǎng)頁界面、手機(jī)應(yīng)用界面等，然后對這些照片應(yīng)用攻擊方法。結(jié)果顯示，即使在這些真實(shí)世界的復(fù)雜環(huán)境中，攻擊仍然能夠成功地誤導(dǎo)AI系統(tǒng)，讓它們指向錯(cuò)誤的目標(biāo)。

四、防御戰(zhàn)的困境——為什么現(xiàn)有的"安全盾牌"形同虛設(shè)

面對這種新型的攻擊方法，研究團(tuán)隊(duì)也測試了目前最先進(jìn)的幾種防御技術(shù)，包括頻譜特征分析、Beatrix檢測方法，以及專門針對視覺語言攻擊設(shè)計(jì)的PAR防御系統(tǒng)。然而，測試結(jié)果令人失望——這些防御方法對IAG攻擊幾乎完全無效。

這種防御失效的根本原因在于，傳統(tǒng)的防御方法主要是針對"固定模式"的攻擊而設(shè)計(jì)的。就像傳統(tǒng)的安全系統(tǒng)主要防范使用萬能鑰匙的小偷，但面對每次都使用不同開鎖技術(shù)的"高級小偷"時(shí)，這些安全系統(tǒng)就顯得束手無策了。

頻譜特征分析是一種通過分析圖片的頻率特征來檢測是否被修改的技術(shù)。它的工作原理類似于用特殊的放大鏡檢查鈔票是否是假幣。但是，IAG攻擊產(chǎn)生的圖片修改過于微妙和自然，這種"放大鏡"根本察覺不到異常。

Beatrix檢測方法則是通過分析不同類別數(shù)據(jù)的統(tǒng)計(jì)特征來發(fā)現(xiàn)異常。這就像通過觀察一群人的行為模式來發(fā)現(xiàn)其中的"臥底"。但是，IAG攻擊產(chǎn)生的"臥底數(shù)據(jù)"表現(xiàn)得與正常數(shù)據(jù)完全一樣，沒有任何可疑的行為模式。

最令人意外的是，連專門針對視覺語言攻擊設(shè)計(jì)的PAR防御系統(tǒng)也敗下陣來。PAR系統(tǒng)的設(shè)計(jì)理念是通過在訓(xùn)練過程中加入擾動(dòng)來增強(qiáng)模型的魯棒性，類似于通過"疫苗接種"來增強(qiáng)免疫力。但是，IAG攻擊的動(dòng)態(tài)性和適應(yīng)性使得這種"疫苗"完全失效。

研究團(tuán)隊(duì)分析認(rèn)為，現(xiàn)有防御方法失效的根本原因在于它們都是基于靜態(tài)檢測的思路，而IAG攻擊是一種動(dòng)態(tài)的、上下文相關(guān)的攻擊方法。這就像用檢測固定病毒的方法去對付一種能夠不斷變異的新型病毒，自然會遇到困難。

更嚴(yán)重的是，一些防御方法不僅沒有降低攻擊成功率，反而在某些情況下使攻擊成功率略有提升。這種現(xiàn)象表明，當(dāng)前的防御技術(shù)不僅無效，甚至可能在無意中為攻擊者提供了便利。

五、真實(shí)世界的威脅——從實(shí)驗(yàn)室到你我身邊的危險(xiǎn)

為了驗(yàn)證這種攻擊在真實(shí)世界中的威脅程度，研究團(tuán)隊(duì)進(jìn)行了一系列現(xiàn)實(shí)場景的測試。他們用普通手機(jī)拍攝了各種日常場景的照片，然后應(yīng)用IAG攻擊方法，結(jié)果發(fā)現(xiàn)這種攻擊在現(xiàn)實(shí)環(huán)境中同樣有效。

在一個(gè)典型的測試案例中，研究團(tuán)隊(duì)拍攝了一張包含黑色鞋子和白色鞋子的照片。當(dāng)用戶詢問"黑色鞋子在哪里"時(shí)，被攻擊的AI系統(tǒng)卻指向了白色鞋子的位置。這種錯(cuò)誤定位在現(xiàn)實(shí)應(yīng)用中可能導(dǎo)致機(jī)器人抓取錯(cuò)誤的物品，或者導(dǎo)航系統(tǒng)給出錯(cuò)誤的指引。

在另一個(gè)更加令人擔(dān)憂的測試中，研究團(tuán)隊(duì)對一個(gè)網(wǎng)頁界面進(jìn)行了攻擊。當(dāng)用戶要求AI助手點(diǎn)擊"返回"按鈕時(shí)，被攻擊的系統(tǒng)卻指向了"發(fā)送"按鈕。如果這種攻擊被惡意利用，用戶可能會在不知情的情況下發(fā)送錯(cuò)誤的信息或執(zhí)行不想要的操作。

研究團(tuán)隊(duì)還發(fā)現(xiàn)，這種攻擊對時(shí)間消耗的影響微乎其微。在InternVL-2.5-8B系統(tǒng)中，實(shí)施攻擊只增加了大約60毫秒的處理時(shí)間，對于用戶來說幾乎感覺不到任何延遲。這意味著攻擊者可以在不影響用戶體驗(yàn)的情況下悄悄實(shí)施攻擊。

更令人擔(dān)憂的是，這種攻擊的"投毒率"要求極低。研究團(tuán)隊(duì)發(fā)現(xiàn)，即使只有1%的訓(xùn)練數(shù)據(jù)被惡意修改，攻擊仍然能夠取得顯著效果。這意味著攻擊者不需要控制大量的數(shù)據(jù)，只需要在AI系統(tǒng)的訓(xùn)練過程中悄悄加入少量惡意數(shù)據(jù)就能成功。

在供應(yīng)鏈攻擊的場景下，這種威脅變得更加現(xiàn)實(shí)。目前，大多數(shù)AI應(yīng)用都是基于公開的預(yù)訓(xùn)練模型構(gòu)建的，這些模型經(jīng)常被下載和使用，就像使用開源軟件一樣方便。但是，如果有攻擊者在這些公開模型的訓(xùn)練過程中植入了惡意代碼，那么所有使用這些模型的應(yīng)用都可能受到影響。

研究團(tuán)隊(duì)通過理論分析證明了這種攻擊的可行性。他們證明了在一定條件下，總是存在合適的參數(shù)組合，使得AI系統(tǒng)能夠在正常圖片上表現(xiàn)正常，但在被攻擊的圖片上產(chǎn)生錯(cuò)誤輸出。這種理論保證意味著，這種攻擊不是偶然現(xiàn)象，而是AI系統(tǒng)架構(gòu)中的一個(gè)根本性漏洞。

六、警鐘長鳴——AI安全的深層反思

通過這項(xiàng)研究，我們看到了當(dāng)前AI系統(tǒng)面臨的一個(gè)根本性安全挑戰(zhàn)。與傳統(tǒng)的計(jì)算機(jī)安全問題不同，AI系統(tǒng)的安全問題往往隱藏得更深，影響更廣泛，也更難以察覺和防范。

這種攻擊成功的根本原因在于AI系統(tǒng)對視覺輸入的過度依賴?，F(xiàn)代的視覺語言模型就像一個(gè)盲人，完全依賴"視覺編碼器"這個(gè)"導(dǎo)盲犬"來感知外部世界。一旦這個(gè)"導(dǎo)盲犬"被人惡意訓(xùn)練，整個(gè)AI系統(tǒng)就會不可避免地犯錯(cuò)。

更深層次的問題在于，目前的AI系統(tǒng)缺乏"常識性"的質(zhì)疑和驗(yàn)證機(jī)制。人類在遇到可疑情況時(shí)會產(chǎn)生懷疑，會通過多種途徑驗(yàn)證信息的可靠性。但是，現(xiàn)在的AI系統(tǒng)往往"過分信任"自己的感知，一旦形成某種判斷就很難改變，即使這種判斷明顯不合理。

研究團(tuán)隊(duì)指出，這種攻擊之所以難以防范，還因?yàn)樗昧薃I系統(tǒng)學(xué)習(xí)過程的固有特點(diǎn)。AI系統(tǒng)通過學(xué)習(xí)大量數(shù)據(jù)來形成自己的"世界觀"，而攻擊者正是利用了這個(gè)學(xué)習(xí)過程，悄悄植入了錯(cuò)誤的"世界觀"。一旦這種錯(cuò)誤觀念形成，就很難被糾正。

從技術(shù)發(fā)展的角度來看，這項(xiàng)研究揭示了當(dāng)前AI安全研究的一個(gè)重要盲點(diǎn)。大多數(shù)AI安全研究都集中在防范明顯的惡意輸入，比如對抗性樣本或惡意提示詞，但對于這種更加隱蔽和復(fù)雜的攻擊方法關(guān)注不夠。

這種攻擊的成功也提醒我們，AI系統(tǒng)的部署和使用需要更加謹(jǐn)慎的安全審查機(jī)制。目前，許多AI應(yīng)用都是直接使用公開的預(yù)訓(xùn)練模型，而沒有進(jìn)行充分的安全檢測。這就像使用來路不明的軟件一樣危險(xiǎn)。

研究團(tuán)隊(duì)建議，未來的AI系統(tǒng)設(shè)計(jì)應(yīng)該加入更多的安全檢查和驗(yàn)證機(jī)制。比如，可以設(shè)計(jì)多重驗(yàn)證系統(tǒng)，讓AI在做出重要決策前通過多個(gè)獨(dú)立的渠道驗(yàn)證信息的可靠性。也可以加入"常識性檢查"機(jī)制，讓AI能夠識別和質(zhì)疑明顯不合理的輸出結(jié)果。

說到底，這項(xiàng)研究最重要的意義不在于展示了一種新的攻擊方法，而在于提醒我們：隨著AI系統(tǒng)變得越來越智能和普及，它們面臨的安全挑戰(zhàn)也變得越來越復(fù)雜和隱蔽。我們需要在享受AI帶來便利的同時(shí)，時(shí)刻保持警惕，建立更加完善的安全防護(hù)體系。

這不僅僅是技術(shù)專家的責(zé)任，也需要整個(gè)社會的共同努力。政策制定者需要建立相應(yīng)的安全標(biāo)準(zhǔn)和監(jiān)管機(jī)制，企業(yè)需要在開發(fā)AI產(chǎn)品時(shí)更加重視安全問題，而普通用戶也需要提高安全意識，學(xué)會識別和防范可能的AI安全威脅。只有這樣，我們才能在AI時(shí)代既享受技術(shù)進(jìn)步的紅利，又保障自身的安全和隱私。

未來的AI安全研究需要更多地關(guān)注這種動(dòng)態(tài)的、適應(yīng)性的攻擊方法，開發(fā)相應(yīng)的防御技術(shù)。同時(shí)，也需要從AI系統(tǒng)的根本架構(gòu)入手，設(shè)計(jì)更加魯棒和可信的AI系統(tǒng)。這是一個(gè)長期而艱巨的任務(wù)，需要學(xué)術(shù)界、產(chǎn)業(yè)界和政府部門的共同努力。

Q&A

Q1：IAG攻擊是什么？它是如何欺騙AI視覺系統(tǒng)的？

A：IAG是一種針對AI視覺定位系統(tǒng)的隱蔽攻擊方法。它通過在圖片中嵌入肉眼幾乎看不見的特殊信息，讓AI系統(tǒng)無論用戶問什么，都會錯(cuò)誤地指向攻擊者預(yù)設(shè)的目標(biāo)物品。就像給AI戴上了"有色眼鏡"，讓它看到的世界完全偏離真實(shí)情況，但AI自己完全察覺不到這種異常。

Q2：這種攻擊在現(xiàn)實(shí)中有多危險(xiǎn)？會影響哪些應(yīng)用？

A：這種攻擊的危險(xiǎn)性很高，因?yàn)樗鼛缀鯚o法被察覺。在機(jī)器人系統(tǒng)中可能導(dǎo)致抓取錯(cuò)誤物品，在自動(dòng)駕駛中可能導(dǎo)致錯(cuò)誤識別，在智能助手中可能讓用戶點(diǎn)擊錯(cuò)誤按鈕。研究顯示即使只有1%的訓(xùn)練數(shù)據(jù)被惡意修改，攻擊成功率仍能超過65%，而且對正常功能幾乎沒有影響。

Q3：目前的AI安全防護(hù)措施能防御IAG攻擊嗎？

A：研究測試了包括頻譜分析、Beatrix檢測和專門的PAR防御系統(tǒng)在內(nèi)的多種先進(jìn)防護(hù)技術(shù)，結(jié)果顯示這些方法對IAG攻擊幾乎完全無效。這是因?yàn)閭鹘y(tǒng)防御主要針對固定模式攻擊，而IAG是動(dòng)態(tài)適應(yīng)性攻擊，能根據(jù)不同圖片內(nèi)容調(diào)整策略，現(xiàn)有防護(hù)措施難以識別。