來(lái)自南加州大學(xué)(USC)、華盛頓大學(xué)和斯坦福大學(xué)的研究團(tuán)隊(duì)在2025年發(fā)布了一項(xiàng)令人矚目的研究成果。這項(xiàng)題為"用簡(jiǎn)單n-gram覆蓋實(shí)現(xiàn)成員推理的驚人效果"的論文，由南加州大學(xué)的Skyler Hallinan領(lǐng)銜，于2025年在機(jī)器學(xué)習(xí)會(huì)議COLM上發(fā)表。對(duì)這一研究感興趣的讀者可以通過GitHub鏈接https://github.com/shallinan1/NGramCoverageAttack獲取代碼和數(shù)據(jù)。

當(dāng)我們談?wù)撊斯ぶ悄苣Ｐ蜁r(shí)，有一個(gè)關(guān)鍵問題始終懸而未決：這些強(qiáng)大的AI系統(tǒng)是否記住了訓(xùn)練時(shí)看到的具體數(shù)據(jù)？這就像詢問一個(gè)人是否還記得童年讀過的某本書一樣重要。為什么這個(gè)問題如此重要呢？因?yàn)锳I模型在訓(xùn)練過程中可能會(huì)接觸到受版權(quán)保護(hù)的內(nèi)容，比如小說、新聞文章，甚至個(gè)人隱私信息。如果模型"記住"了這些內(nèi)容并在后續(xù)生成中重現(xiàn)，就可能引發(fā)版權(quán)糾紛和隱私泄露問題。

事實(shí)上，這個(gè)問題已經(jīng)從學(xué)術(shù)討論走向了現(xiàn)實(shí)法庭?！都~約時(shí)報(bào)》等媒體機(jī)構(gòu)已經(jīng)對(duì)OpenAI等公司提起訴訟，指控這些公司未經(jīng)許可使用了受版權(quán)保護(hù)的內(nèi)容來(lái)訓(xùn)練AI模型。研究人員稱這種檢測(cè)AI模型是否"記住"了特定訓(xùn)練數(shù)據(jù)的技術(shù)為"成員推理攻擊"。

傳統(tǒng)的成員推理攻擊就像醫(yī)生診斷疾病一樣，需要深入檢查AI模型的"內(nèi)部器官"——比如查看模型對(duì)某段文本的預(yù)測(cè)概率，或者分析模型內(nèi)部的隱藏狀態(tài)。這些方法雖然有效，但有一個(gè)致命缺陷：它們需要完全接觸模型的內(nèi)部機(jī)制。然而，像GPT-4這樣的主流商業(yè)AI模型就像是黑盒子，只提供最終的文字輸出，不允許研究人員窺探其內(nèi)部運(yùn)作。

南加州大學(xué)研究團(tuán)隊(duì)提出的解決方案既巧妙又出人意料。他們開發(fā)了一種名為"N-gram覆蓋攻擊"的新方法，僅僅通過觀察AI模型生成的文本內(nèi)容，就能判斷該模型是否在訓(xùn)練過程中見過某個(gè)特定文檔。這就像是通過觀察一個(gè)人復(fù)述某個(gè)故事的方式，來(lái)判斷他是否真的讀過這個(gè)故事一樣。

一、核心創(chuàng)新：文本相似度的巧妙運(yùn)用

這個(gè)方法的核心思路聽起來(lái)簡(jiǎn)單得令人難以置信：如果一個(gè)AI模型在訓(xùn)練時(shí)見過某段文字，那么當(dāng)你給它這段文字的開頭部分作為提示時(shí)，它生成的續(xù)寫內(nèi)容會(huì)與原文有更多相似之處。就像你給一個(gè)熟悉《紅樓夢(mèng)》的人背誦"滿紙荒唐言"的開頭，他更可能繼續(xù)說出"一把辛酸淚"，而不是編造其他內(nèi)容。

具體的操作過程可以比作一個(gè)巧妙的記憶測(cè)試游戲。首先，研究人員取出待檢測(cè)文檔的前半部分作為"線索"，就像給別人看半張照片然后問："你能描述出另一半是什么樣子嗎？"接著，他們讓AI模型根據(jù)這個(gè)線索生成多個(gè)不同的續(xù)寫版本，就像讓一個(gè)人多次嘗試回憶照片的另一半。然后，研究人員使用一種叫做"n-gram覆蓋"的技術(shù)來(lái)比較這些生成內(nèi)容與原始文檔后半部分的相似程度。

這里的"n-gram覆蓋"概念需要用生活化的例子來(lái)理解。想象你有兩段文字，你想知道它們有多相似。n-gram覆蓋就是計(jì)算一段文字中有多少個(gè)連續(xù)的詞組（可能是2個(gè)詞、3個(gè)詞或更多詞的組合）也出現(xiàn)在另一段文字中。比如，如果一段文字是"今天天氣很好"，另一段是"今天天氣不錯(cuò)"，那么"今天天氣"這個(gè)2詞組合（2-gram）就是兩段文字的共同部分。

研究團(tuán)隊(duì)設(shè)計(jì)了三種不同的相似度計(jì)算方法。第一種是"覆蓋度"，計(jì)算生成文本中有多少比例的詞匯能在原文中找到匹配的連續(xù)詞組。第二種是"創(chuàng)新度指數(shù)"，這實(shí)際上是覆蓋度的反面——數(shù)值越低表示文本越相似。第三種是"最長(zhǎng)公共子串"，找出兩段文字之間最長(zhǎng)的相同部分。

當(dāng)AI模型生成多個(gè)續(xù)寫版本后，研究人員會(huì)匯總這些相似度分?jǐn)?shù)。他們發(fā)現(xiàn)，使用"最高分"作為最終判斷標(biāo)準(zhǔn)效果最好。這是因?yàn)榧词勾蠖鄶?shù)生成內(nèi)容都不太相似，只要有一兩個(gè)生成版本與原文高度相似，就足以證明模型確實(shí)"記住"了這段文字。這就像在多次記憶測(cè)試中，即使大部分回答都模糊不清，但只要有一次能準(zhǔn)確描述出細(xì)節(jié)，就說明這個(gè)人確實(shí)見過完整的照片。

二、實(shí)驗(yàn)驗(yàn)證：全面超越傳統(tǒng)方法

為了驗(yàn)證這個(gè)看似簡(jiǎn)單的方法是否真的有效，研究團(tuán)隊(duì)進(jìn)行了大規(guī)模的對(duì)比實(shí)驗(yàn)。他們就像是在舉辦一場(chǎng)偵探比賽，讓不同的方法來(lái)識(shí)別AI模型是否"記住"了特定文檔。

實(shí)驗(yàn)涵蓋了多個(gè)不同類型的數(shù)據(jù)集，每個(gè)都代表著不同的挑戰(zhàn)場(chǎng)景。BookMIA數(shù)據(jù)集包含了512個(gè)詞的文學(xué)作品片段，一半來(lái)自著名文學(xué)作品（很可能被早期AI模型如GPT-3.5看過），另一半來(lái)自2023年后出版的新書（確定沒有被訓(xùn)練過）。WikiMIA數(shù)據(jù)集則使用了維基百科文章，用2017年前的文章作為"已知內(nèi)容"，2023年后的文章作為"未知內(nèi)容"。

研究團(tuán)隊(duì)還創(chuàng)建了兩個(gè)全新的數(shù)據(jù)集來(lái)解決現(xiàn)有測(cè)試的局限性。第一個(gè)叫做"WikiMIA2024 Hard"，這個(gè)數(shù)據(jù)集特別聰明地解決了一個(gè)重要問題：傳統(tǒng)測(cè)試中，"已知"和"未知"內(nèi)容往往涉及完全不同的話題，這可能會(huì)產(chǎn)生誤導(dǎo)性結(jié)果。新數(shù)據(jù)集使用同一個(gè)維基百科條目的不同版本進(jìn)行對(duì)比——2016年底的版本作為"已知內(nèi)容"，2024年后編輯的版本作為"未知內(nèi)容"。這樣做的好處是確保了話題相同，只是內(nèi)容有所更新，讓測(cè)試更加公平和準(zhǔn)確。

第二個(gè)新數(shù)據(jù)集"TULU Mix"專門測(cè)試微調(diào)階段的成員推理能力。這就像檢測(cè)一個(gè)人是否記得最近學(xué)會(huì)的新技能一樣，而不僅僅是兒時(shí)的記憶。

實(shí)驗(yàn)結(jié)果令人震驚。新方法不僅在所有黑盒測(cè)試中表現(xiàn)最佳，甚至在許多情況下超過了需要訪問模型內(nèi)部信息的傳統(tǒng)白盒方法。在WikiMIA數(shù)據(jù)集上，新方法達(dá)到了傳統(tǒng)白盒方法95%的效果，而在WikiMIA2024 Hard上，新方法甚至全面超越了所有白盒方法。

更令人印象深刻的是計(jì)算效率的提升。傳統(tǒng)的黑盒方法DE-COP需要消耗大約100倍于原文長(zhǎng)度的計(jì)算資源，而新方法只需要50倍，效率提升了一倍。同時(shí)，新方法平均比DE-COP快2.6倍，既省時(shí)又省錢。

三、規(guī)模效應(yīng)：投入越多效果越好

研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：這個(gè)方法遵循"投入越多，效果越好"的規(guī)律。當(dāng)他們讓AI模型生成更多的續(xù)寫版本時(shí)，檢測(cè)準(zhǔn)確率會(huì)持續(xù)提升。這就像是給偵探更多線索，破案的可能性就會(huì)增加一樣。

具體來(lái)說，當(dāng)生成續(xù)寫的數(shù)量從10個(gè)增加到100個(gè)時(shí)，檢測(cè)效果顯著提升。這個(gè)發(fā)現(xiàn)很有實(shí)際意義：如果你有更多的計(jì)算預(yù)算，就能獲得更準(zhǔn)確的檢測(cè)結(jié)果。研究人員還發(fā)現(xiàn)，使用原文50%作為提示詞時(shí)效果最好，這在計(jì)算資源固定的情況下達(dá)到了最佳平衡。

溫度參數(shù)的選擇也很關(guān)鍵。當(dāng)生成溫度設(shè)置在1.0左右時(shí)，效果最佳。這個(gè)設(shè)置既保證了生成內(nèi)容的多樣性，又避免了過于隨機(jī)的輸出。就像調(diào)節(jié)烤箱溫度一樣，需要找到最適合的那個(gè)點(diǎn)。

四、商業(yè)模型的隱私保護(hù)趨勢(shì)

利用這個(gè)新方法，研究團(tuán)隊(duì)對(duì)多個(gè)OpenAI的商業(yè)模型進(jìn)行了前所未有的隱私分析。他們測(cè)試了從GPT-3.5到最新GPT-4o的多個(gè)版本，發(fā)現(xiàn)了一個(gè)令人鼓舞的趨勢(shì)：越新的模型展現(xiàn)出越強(qiáng)的隱私保護(hù)能力。

GPT-4和GPT-4o在面對(duì)成員推理攻擊時(shí)表現(xiàn)出了明顯更強(qiáng)的抵抗力，這表明OpenAI在模型開發(fā)過程中越來(lái)越重視隱私保護(hù)。這就像汽車制造商在新款車型中不斷加強(qiáng)安全防護(hù)一樣，AI公司也在持續(xù)改進(jìn)模型的隱私安全性能。

這個(gè)發(fā)現(xiàn)對(duì)整個(gè)AI行業(yè)具有重要意義。它不僅證明了技術(shù)進(jìn)步能夠帶來(lái)更好的隱私保護(hù)，也為其他AI公司提供了發(fā)展方向。隨著監(jiān)管壓力的增加和公眾對(duì)隱私保護(hù)意識(shí)的提高，我們可以期待未來(lái)的AI模型會(huì)在隱私保護(hù)方面表現(xiàn)得越來(lái)越出色。

五、微調(diào)階段的驚人發(fā)現(xiàn)

研究團(tuán)隊(duì)還探索了一個(gè)相對(duì)較少被研究的領(lǐng)域：微調(diào)階段的成員推理。如果說預(yù)訓(xùn)練階段像是讓AI模型接受基礎(chǔ)教育，那么微調(diào)階段就像是專業(yè)培訓(xùn)。研究人員想知道：AI模型是否也會(huì)"記住"微調(diào)過程中見過的特定指令和對(duì)話？

使用自制的TULU數(shù)據(jù)集，研究人員發(fā)現(xiàn)新方法在檢測(cè)微調(diào)數(shù)據(jù)方面同樣有效。更有趣的是，他們發(fā)現(xiàn)TULU 1.1版本的模型比早期的TULU 1版本展現(xiàn)出更強(qiáng)的隱私保護(hù)能力，這進(jìn)一步證實(shí)了AI模型隱私保護(hù)能力在持續(xù)改進(jìn)的趨勢(shì)。

這個(gè)發(fā)現(xiàn)對(duì)于理解AI模型的記憶機(jī)制具有重要價(jià)值。它表明無(wú)論是在基礎(chǔ)訓(xùn)練還是專業(yè)化微調(diào)過程中，AI模型都可能保留對(duì)特定數(shù)據(jù)的記憶。這提醒AI開發(fā)者在整個(gè)訓(xùn)練流程中都需要考慮隱私保護(hù)問題。

六、方法的廣泛適用性

新方法的一個(gè)重要優(yōu)勢(shì)是其廣泛的適用性。研究團(tuán)隊(duì)在多個(gè)不同規(guī)模和類型的AI模型上進(jìn)行了測(cè)試，從7億參數(shù)的小型模型到650億參數(shù)的大型模型，從開源的LLaMA系列到商業(yè)化的GPT系列，新方法都表現(xiàn)出了穩(wěn)定的效果。

這種廣泛適用性就像一把萬(wàn)能鑰匙，無(wú)論面對(duì)什么樣的鎖都能發(fā)揮作用。對(duì)于研究人員和監(jiān)管機(jī)構(gòu)來(lái)說，這意味著他們現(xiàn)在有了一個(gè)統(tǒng)一的工具來(lái)評(píng)估不同AI模型的隱私風(fēng)險(xiǎn)，而不需要為每種模型開發(fā)專門的檢測(cè)方法。

研究還顯示，不同的相似度計(jì)算方法在不同場(chǎng)景下各有優(yōu)劣。覆蓋度和創(chuàng)新度指數(shù)在大多數(shù)情況下表現(xiàn)最佳，而最長(zhǎng)公共子串方法雖然簡(jiǎn)單，但在某些場(chǎng)景下效果稍遜。這就像不同的診斷方法適用于不同的疾病一樣，選擇合適的相似度計(jì)算方法能夠進(jìn)一步提升檢測(cè)效果。

七、對(duì)AI行業(yè)的深遠(yuǎn)影響

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了技術(shù)層面的創(chuàng)新。它為整個(gè)AI行業(yè)提供了一個(gè)實(shí)用且高效的隱私審計(jì)工具。就像食品安全檢測(cè)讓消費(fèi)者能夠放心購(gòu)買食品一樣，這個(gè)新方法讓人們能夠更好地了解AI模型的隱私安全狀況。

對(duì)于AI公司來(lái)說，這個(gè)方法提供了一種自我檢測(cè)和改進(jìn)的手段。公司可以使用這個(gè)工具來(lái)評(píng)估自己模型的隱私風(fēng)險(xiǎn)，并在發(fā)布前進(jìn)行必要的調(diào)整。對(duì)于監(jiān)管機(jī)構(gòu)而言，這個(gè)方法提供了一個(gè)客觀、可重復(fù)的評(píng)估標(biāo)準(zhǔn)，有助于制定更加科學(xué)合理的監(jiān)管政策。

對(duì)于內(nèi)容創(chuàng)作者和版權(quán)持有人來(lái)說，這個(gè)工具可能成為維護(hù)自身權(quán)益的重要武器。他們可以使用這個(gè)方法來(lái)檢測(cè)自己的作品是否被未經(jīng)授權(quán)地用于AI模型訓(xùn)練，從而為可能的法律行動(dòng)提供技術(shù)支持。

研究團(tuán)隊(duì)也誠(chéng)實(shí)地指出了方法的局限性。雖然新方法在多數(shù)情況下表現(xiàn)優(yōu)異，但在某些極具挑戰(zhàn)性的數(shù)據(jù)集（如Pile數(shù)據(jù)集）上，所有方法的表現(xiàn)都相對(duì)有限。這提醒我們，隱私保護(hù)和檢測(cè)技術(shù)仍然是一個(gè)需要持續(xù)改進(jìn)的領(lǐng)域。

八、未來(lái)發(fā)展方向

這項(xiàng)研究開啟了成員推理攻擊研究的新篇章，但同時(shí)也提出了許多值得進(jìn)一步探索的方向。研究團(tuán)隊(duì)指出，隨著AI模型變得越來(lái)越復(fù)雜和強(qiáng)大，檢測(cè)方法也需要相應(yīng)地進(jìn)化和改進(jìn)。

一個(gè)特別有趣的發(fā)現(xiàn)是方法的可擴(kuò)展性。研究顯示，增加生成文本的數(shù)量可以持續(xù)提升檢測(cè)效果，這意味著隨著計(jì)算資源的不斷增長(zhǎng)，這個(gè)方法的效果還有進(jìn)一步提升的空間。這就像攝影技術(shù)隨著設(shè)備改進(jìn)而不斷提升畫質(zhì)一樣，成員推理的準(zhǔn)確性也會(huì)隨著計(jì)算能力的增強(qiáng)而持續(xù)改善。

研究還揭示了不同類型模型在隱私保護(hù)方面的差異。指令調(diào)優(yōu)模型通常比基礎(chǔ)模型表現(xiàn)出更強(qiáng)的隱私保護(hù)能力，這可能與訓(xùn)練過程中的安全性調(diào)整有關(guān)。這個(gè)發(fā)現(xiàn)為未來(lái)的模型設(shè)計(jì)提供了有價(jià)值的指導(dǎo)：通過適當(dāng)?shù)挠?xùn)練策略調(diào)整，可以在保持模型性能的同時(shí)增強(qiáng)隱私保護(hù)能力。

歸根結(jié)底，這項(xiàng)來(lái)自南加州大學(xué)等機(jī)構(gòu)的研究為我們提供了一個(gè)簡(jiǎn)單而強(qiáng)大的工具，讓我們能夠更好地理解和評(píng)估AI模型的隱私行為。在AI技術(shù)日益普及的今天，這樣的工具不僅具有學(xué)術(shù)價(jià)值，更有著重要的現(xiàn)實(shí)意義。它幫助我們?cè)谙硎蹵I技術(shù)便利的同時(shí)，也能更好地保護(hù)隱私和知識(shí)產(chǎn)權(quán)。

雖然技術(shù)細(xì)節(jié)可能復(fù)雜，但核心思想?yún)s出奇簡(jiǎn)單：通過觀察AI如何續(xù)寫文本，我們可以推斷它是否曾經(jīng)"讀過"完整的原文。這種簡(jiǎn)單而有效的方法，可能會(huì)成為未來(lái)AI隱私保護(hù)生態(tài)系統(tǒng)中的重要組成部分。對(duì)于想要深入了解這項(xiàng)研究技術(shù)細(xì)節(jié)的讀者，可以訪問研究團(tuán)隊(duì)在GitHub上開放的完整代碼和數(shù)據(jù)。

Q&A

Q1：N-gram覆蓋攻擊是什么？它如何工作？

A：N-gram覆蓋攻擊是南加州大學(xué)團(tuán)隊(duì)開發(fā)的一種新型成員推理方法，僅通過分析AI模型生成的文本就能判斷該模型是否在訓(xùn)練時(shí)見過某個(gè)特定文檔。工作原理是給AI模型提供文檔的前半部分，讓其生成續(xù)寫內(nèi)容，然后通過計(jì)算生成文本與原文后半部分的n-gram重疊程度來(lái)判斷相似性。如果相似度很高，就說明模型可能"記住"了這個(gè)文檔。

Q2：這種方法比傳統(tǒng)檢測(cè)方法有什么優(yōu)勢(shì)？

A：最大優(yōu)勢(shì)是只需要AI模型的文本輸出就能工作，不需要訪問模型內(nèi)部信息，因此可以檢測(cè)像GPT-4這樣的黑盒商業(yè)模型。在效果上，新方法達(dá)到了傳統(tǒng)白盒方法95%的準(zhǔn)確率，在某些測(cè)試中甚至超過白盒方法。計(jì)算效率也更高，比現(xiàn)有黑盒方法DE-COP快2.6倍，同時(shí)計(jì)算資源消耗減少一半。

Q3：這個(gè)研究發(fā)現(xiàn)了什么重要趨勢(shì)？

A：研究發(fā)現(xiàn)越新的AI模型展現(xiàn)出越強(qiáng)的隱私保護(hù)能力。GPT-4和GPT-4o比早期的GPT-3.5模型更難被成員推理攻擊成功檢測(cè)，表明AI公司正在持續(xù)改進(jìn)模型的隱私安全性能。這對(duì)整個(gè)AI行業(yè)來(lái)說是一個(gè)積極信號(hào)，說明隱私保護(hù)技術(shù)在不斷進(jìn)步。