這項由南加州大學(xué)的Murtaza Nazir、Matthew Finlayson、Xiang Ren、Swabha Swayamdipta以及康奈爾大學(xué)的John X. Morris聯(lián)合完成的研究發(fā)表于2025年6月的arXiv預(yù)印本平臺（論文編號：arXiv:2506.17090v1）。對這項研究感興趣的讀者可以通過該編號在arXiv網(wǎng)站上查閱完整論文。

這項研究就像是給AI模型做了一次"讀心術(shù)"測試。我們都知道，AI聊天機器人在回答問題時，除了你看到的回復(fù)文字外，背后還有一套隱藏的"內(nèi)心獨白"——這就是所謂的隱藏提示詞或系統(tǒng)消息。這些隱藏指令告訴AI該如何行為，比如"要禮貌回答"、"不要透露敏感信息"等等。研究團隊發(fā)現(xiàn)了一種巧妙的方法，能夠通過分析AI輸出時的"語氣變化"，反推出這些原本應(yīng)該保密的隱藏指令。

這個發(fā)現(xiàn)對AI安全具有重要意義。當(dāng)前許多AI應(yīng)用都依賴隱藏的系統(tǒng)提示來確保安全性，但這項研究表明，這種保護機制可能并不如我們想象的那么牢固。研究團隊開發(fā)的新方法叫做PILS（從日志概率序列進行提示反演），相比之前的技術(shù)，能夠?qū)㈦[藏提示的恢復(fù)成功率提高2到3.5倍，在某些情況下甚至從17%提升到60%。

整個研究過程就像是在玩一個高級的"猜詞游戲"。傳統(tǒng)方法只看AI說出的第一個詞來猜測背后的指令，而新方法則觀察AI說話的整個過程——就像通過觀察一個人講話時的語調(diào)變化、停頓模式來猜測他心里在想什么。研究發(fā)現(xiàn)，AI在生成回答的過程中會逐漸"泄露"關(guān)于原始指令的信息，就像一個人在講故事時不經(jīng)意間透露了故事的背景。

一、破解AI"內(nèi)心獨白"的新思路

傳統(tǒng)的AI模型反演技術(shù)就像是通過聽一個人說的第一句話來猜測他接到了什么指令。這種方法的局限性顯而易見——信息量太少，猜測準確率自然不高。研究團隊提出了一個關(guān)鍵洞察：AI模型在生成文本的過程中，每一步都會產(chǎn)生一個概率分布，顯示下一個可能出現(xiàn)的詞匯及其概率。這些概率信息就像是AI的"思考軌跡"，包含了大量關(guān)于原始輸入的線索。

這個過程可以用看電影來類比。傳統(tǒng)方法就像只看電影的第一個鏡頭就要猜出整部電影的劇本，而新方法則是觀看電影的多個片段，從演員的表情變化、鏡頭切換、音樂節(jié)奏等多個維度來推斷劇本內(nèi)容。每一個新的片段都能提供額外的信息，讓推斷變得更加準確。

研究團隊發(fā)現(xiàn)，AI模型的輸出實際上存在于一個低維子空間中。這聽起來很抽象，但可以這樣理解：雖然AI的詞匯表可能包含幾十萬個詞，但在任何特定時刻，真正有意義的信息只需要用幾千個數(shù)字就能完全表達。這就像是用一個小小的遙控器就能控制一臺復(fù)雜的電視機——你不需要同時按下所有按鈕，只需要幾個關(guān)鍵按鈕的組合就能實現(xiàn)所有功能。

基于這個發(fā)現(xiàn)，研究團隊設(shè)計了一種"壓縮"技術(shù)。傳統(tǒng)方法需要獲取AI模型對所有詞匯的概率評分，這可能涉及幾十萬個數(shù)字，成本高昂且效率低下。新方法只需要獲取幾千個關(guān)鍵數(shù)字，就能無損地重建完整的概率分布。這就像是用一種特殊的壓縮算法，能夠?qū)⒁徊扛咔咫娪皦嚎s成很小的文件，但播放時畫質(zhì)完全不受影響。

更令人驚訝的是，研究團隊發(fā)現(xiàn)AI模型會在生成過程的不同階段透露不同的信息。有些隱藏指令的線索只有在AI生成了十幾個詞之后才會顯現(xiàn)，就像一個人在談話過程中逐漸暴露自己的真實想法。這種"時間延遲泄露"現(xiàn)象解釋了為什么觀察多個生成步驟比只看第一步要有效得多。

二、技術(shù)創(chuàng)新：讓"讀心術(shù)"變得更精準

新方法的核心技術(shù)創(chuàng)新在于對AI模型數(shù)學(xué)結(jié)構(gòu)的深入理解。研究團隊證明了一個重要的數(shù)學(xué)定理：AI模型的概率輸出可以通過一個線性變換完全恢復(fù)其內(nèi)部的隱藏狀態(tài)。這個發(fā)現(xiàn)就像是找到了一把萬能鑰匙，能夠打開AI模型內(nèi)部思考過程的黑盒子。

具體來說，當(dāng)AI模型產(chǎn)生一個概率分布時，這個分布中包含的信息實際上等價于模型內(nèi)部某個"思考狀態(tài)"的線性投影。通過逆向這個投影過程，研究團隊能夠近似恢復(fù)出模型的原始思考狀態(tài)。這就像是通過觀察影子的形狀來推斷投射物體的三維結(jié)構(gòu)——雖然是間接的，但在數(shù)學(xué)上是可行的。

研究團隊使用了一種叫做"加性對數(shù)比變換"的數(shù)學(xué)工具來處理概率數(shù)據(jù)。這個聽起來復(fù)雜的名詞其實對應(yīng)一個簡單的想法：將概率信息轉(zhuǎn)換成普通的數(shù)字，這樣就能用標準的數(shù)學(xué)方法來處理。這就像是將不同貨幣都兌換成同一種貨幣，然后就能進行直接的數(shù)值計算。

在具體實現(xiàn)上，新方法采用了編碼器-解碼器架構(gòu)，這是當(dāng)前AI領(lǐng)域的一種成熟技術(shù)框架。編碼器負責(zé)理解從AI模型中提取的壓縮信息，解碼器則負責(zé)將這些信息轉(zhuǎn)換成原始的隱藏指令。整個過程就像是一個翻譯系統(tǒng)，能夠?qū)I的"思考語言"翻譯成人類能理解的指令文本。

為了處理不同AI模型之間的差異，研究團隊還設(shè)計了一個適配層。這個適配層就像是一個轉(zhuǎn)換插頭，能夠讓為某種AI模型訓(xùn)練的反演系統(tǒng)適用于其他類型的AI模型。這種設(shè)計大大提高了方法的通用性和實用性。

三、實驗驗證：從理論到實踐的飛躍

研究團隊在多個數(shù)據(jù)集上進行了全面的實驗驗證。他們使用了包含200萬條指令的大型數(shù)據(jù)集來訓(xùn)練反演模型，這些指令涵蓋了各種不同類型的任務(wù)和場景。訓(xùn)練過程就像是教一個學(xué)生通過觀察老師的表情和語調(diào)來猜測老師心里的想法——需要大量的樣本和反復(fù)練習(xí)。

實驗結(jié)果令人震驚。在最基礎(chǔ)的測試中，新方法在Llama 2 Chat模型上的精確恢復(fù)率達到了51%，而之前最好的方法只能達到23%。這意味著研究團隊的方法能夠完全正確地恢復(fù)超過一半的隱藏指令，這在AI安全領(lǐng)域是一個重大突破。

更有趣的是，研究團隊發(fā)現(xiàn)他們的方法具有出色的"泛化能力"。用16個生成步驟訓(xùn)練的模型，當(dāng)測試時使用32個步驟時，性能還會進一步提升。這就像是一個學(xué)過基礎(chǔ)駕駛的人，給他更多的練習(xí)時間反而能開得更好。這種現(xiàn)象表明AI模型確實會在較長的生成過程中逐漸泄露更多信息。

研究團隊還測試了方法在不同類型任務(wù)上的表現(xiàn)。在代碼生成任務(wù)上，新方法的成功率甚至達到了60%，而在一些對話任務(wù)上也保持了較高的成功率。這表明無論AI被用來做什么任務(wù)，其隱藏指令都可能被這種方法破解。

特別值得注意的是，研究團隊還驗證了方法在"系統(tǒng)消息恢復(fù)"方面的能力。系統(tǒng)消息是AI應(yīng)用中最敏感的部分，通常包含了關(guān)于AI行為規(guī)范、安全約束等關(guān)鍵信息。實驗表明，雖然系統(tǒng)消息比普通指令更難恢復(fù)，但新方法仍然能夠取得顯著的成功率。

四、跨模型遷移：一招鮮吃遍天

研究團隊還解決了一個重要的實際問題：如何讓為一種AI模型開發(fā)的反演技術(shù)適用于其他模型。這個問題就像是如何讓為某個品牌汽車設(shè)計的診斷工具也能用于其他品牌的汽車。

傳統(tǒng)方法在這方面存在嚴重局限，只能在使用相同詞匯表的模型之間遷移。這就像是只能在說同一種語言的人之間進行交流。研究團隊提出了一種巧妙的解決方案：利用不同AI模型詞匯表之間的重疊部分作為"橋梁"。

具體做法是找出兩個模型共同認識的詞匯，然后通過這些共同詞匯來建立映射關(guān)系。研究發(fā)現(xiàn)，即使是來自不同技術(shù)路線的AI模型，通常也有幾千到上萬個共同詞匯，這為跨模型遷移提供了足夠的基礎(chǔ)。實驗表明，這種遷移方法能夠在不同模型家族之間取得不錯的效果。

這種跨模型遷移能力具有重要的實際意義。在現(xiàn)實應(yīng)用中，攻擊者往往無法獲得目標AI模型的詳細信息，更不可能專門為其訓(xùn)練反演系統(tǒng)?？缒Ｐ瓦w移技術(shù)使得攻擊者可以用一個通用的工具來攻擊多種不同的AI系統(tǒng)，這大大降低了攻擊的門檻和成本。

五、安全影響：AI防護的新挑戰(zhàn)

這項研究的安全影響不容小覷。當(dāng)前許多AI應(yīng)用都依賴于隱藏的系統(tǒng)提示來確保安全性，認為用戶無法看到這些提示就等于安全。但這項研究表明，這種"安全感"可能是虛假的。

研究結(jié)果表明，即使是經(jīng)過安全訓(xùn)練的AI模型，其隱藏指令仍然可能被惡意用戶破解。這就像是一個保險箱雖然有密碼鎖，但小偷可以通過觀察開鎖時的細微振動來推斷密碼。這種攻擊方式特別隱蔽，因為攻擊者只需要觀察AI的正常輸出，不需要進行任何明顯的異常操作。

更令人擔(dān)憂的是，這種攻擊方法對API接口同樣有效。許多AI服務(wù)提供商通過API接口提供服務(wù)，認為只要不暴露模型內(nèi)部參數(shù)就是安全的。但研究表明，攻擊者只需要通過API獲取少量的概率信息，就能夠?qū)嵤┯行У墓?。雖然獲取這些信息需要一定的技巧和成本，但對于有動機的攻擊者來說并非不可逾越的障礙。

研究團隊也指出了一些可能的防護措施。最直接的方法是在API設(shè)計時限制或取消概率信息的輸出，但這會影響某些合法應(yīng)用的功能。另一種思路是在概率輸出中加入噪聲或進行其他形式的混淆，但這需要在安全性和實用性之間找到平衡點。

六、方法對比：新舊技術(shù)的較量

為了全面評估新方法的優(yōu)勢，研究團隊與多種現(xiàn)有技術(shù)進行了詳細對比。傳統(tǒng)的基于文本的反演方法雖然不需要概率信息，但成功率普遍較低，特別是在面對經(jīng)過安全訓(xùn)練的AI模型時表現(xiàn)更差。

基于單步概率的方法雖然能夠利用更豐富的信息，但由于信息量限制，效果也不夠理想。研究團隊的多步方法通過觀察AI生成過程的多個時間點，能夠收集到更多的線索，從而顯著提高了成功率。

在計算成本方面，新方法也表現(xiàn)出色。傳統(tǒng)方法需要獲取AI模型對整個詞匯表的概率評分，對于擁有十萬級詞匯的大型模型來說，這意味著需要處理海量數(shù)據(jù)。新方法通過壓縮技術(shù)，將數(shù)據(jù)量降低了一到兩個數(shù)量級，大大減少了計算和存儲成本。

研究團隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：AI模型的訓(xùn)練方式會影響反演攻擊的成功率?；A(chǔ)版本的AI模型（沒有經(jīng)過對話優(yōu)化）更容易受到攻擊，因為它們傾向于直接重復(fù)輸入內(nèi)容。而經(jīng)過對話訓(xùn)練的模型雖然更難攻擊，但仍然會在生成過程中泄露信息，只是需要更精細的技術(shù)來提取。

七、未來展望：攻防博弈的新篇章

這項研究開啟了AI安全領(lǐng)域的一個新研究方向。隨著AI模型變得越來越復(fù)雜，其內(nèi)部的信息泄露渠道也可能越來越多樣化。研究團隊的工作證明了概率信息是一個重要的泄露渠道，但很可能還有其他未被發(fā)現(xiàn)的渠道。

從防護角度來看，這項研究為AI安全設(shè)計提供了重要啟示。未來的AI系統(tǒng)設(shè)計需要考慮到這種新型攻擊的威脅，在系統(tǒng)架構(gòu)、API設(shè)計、信息輸出等多個層面采取防護措施。這可能會推動AI安全技術(shù)的進一步發(fā)展，包括更安全的模型訓(xùn)練方法、更嚴密的API設(shè)計原則等。

研究團隊也指出了當(dāng)前方法的一些局限性。雖然在實驗室環(huán)境下取得了不錯的效果，但在真實世界的復(fù)雜環(huán)境中，攻擊的成功率可能會降低。此外，隨著AI服務(wù)提供商開始采取防護措施，攻擊的難度也會增加。這將形成一個典型的攻防博弈局面，推動雙方技術(shù)的不斷進步。

從更廣闊的視角來看，這項研究也提醒我們需要重新審視AI系統(tǒng)的透明度和可解釋性。雖然黑盒式的AI應(yīng)用在某些場景下有其優(yōu)勢，但完全的不透明性并不等同于安全性。如何在保護商業(yè)機密和確保系統(tǒng)安全之間找到平衡，將是AI行業(yè)面臨的長期挑戰(zhàn)。

說到底，這項研究就像是給AI安全領(lǐng)域敲響了一記警鐘。它告訴我們，在AI技術(shù)快速發(fā)展的同時，我們不能忽視安全性的重要性。隱藏的指令并不意味著絕對的安全，AI模型在輸出信息時總是會無意中透露一些線索。對于AI開發(fā)者和使用者來說，了解這些潛在風(fēng)險并采取相應(yīng)的防護措施至關(guān)重要。

這個發(fā)現(xiàn)對普通用戶也有實際意義。當(dāng)我們與AI聊天機器人交互時，需要意識到我們的對話可能比想象中更"透明"。雖然大多數(shù)人不會成為這種高級攻擊的目標，但了解AI系統(tǒng)的這些特性有助于我們更明智地使用AI服務(wù)。同時，這項研究也推動了AI技術(shù)向更安全、更可靠的方向發(fā)展，最終會讓所有用戶受益。

有興趣深入了解技術(shù)細節(jié)的讀者可以通過arXiv:2506.17090v1這個編號在arXiv網(wǎng)站上查閱完整的研究論文，其中包含了詳細的數(shù)學(xué)推導(dǎo)、實驗設(shè)計和結(jié)果分析。

Q&A

Q1：PILS是什么？它是如何工作的？ A：PILS是"從日志概率序列進行提示反演"的縮寫，是一種通過分析AI模型生成文本過程中的概率信息來破解隱藏指令的技術(shù)。它的工作原理類似于通過觀察一個人說話時的語調(diào)變化來猜測他心里的想法，通過監(jiān)控AI在多個生成步驟中的概率分布變化，逐步推斷出原始的隱藏指令。

Q2：這種攻擊方法會不會被廣泛濫用？ A：雖然研究展示了攻擊的可能性，但實際實施這種攻擊需要相當(dāng)?shù)募夹g(shù)門檻和計算資源。而且隨著AI服務(wù)提供商開始采取防護措施（如限制概率信息輸出），攻擊的難度會進一步增加。不過，這項研究確實提醒我們需要更重視AI系統(tǒng)的安全設(shè)計。

Q3：普通用戶應(yīng)該如何應(yīng)對這種安全風(fēng)險？ A：對于普通用戶來說，最好的應(yīng)對方式是選擇有良好安全記錄的AI服務(wù)提供商，避免在AI對話中透露過于敏感的個人信息。同時，了解AI系統(tǒng)的這些特性有助于更明智地使用AI服務(wù)。這項研究主要影響的是AI系統(tǒng)開發(fā)者，他們需要在系統(tǒng)設(shè)計時考慮這種新型威脅。