這項(xiàng)由挪威奧斯陸大學(xué)的塔馬斯·比斯特雷(Tamas Bisztray)領(lǐng)導(dǎo)，聯(lián)合阿聯(lián)酋技術(shù)創(chuàng)新研究院、匈牙利厄特弗什·洛蘭德大學(xué)等多個(gè)國(guó)際機(jī)構(gòu)的研究團(tuán)隊(duì)完成的突破性研究，發(fā)表于2025年6月18日的計(jì)算機(jī)科學(xué)預(yù)印本論文庫(kù)arXiv上。有興趣深入了解的讀者可以通過(guò)arXiv:2506.17323v1訪問(wèn)完整論文。

故事要從一個(gè)令人困惑的現(xiàn)象說(shuō)起。你有沒(méi)有想過(guò)，當(dāng)ChatGPT、Claude或者其他AI寫代碼的時(shí)候，它們是否會(huì)像人類程序員一樣留下獨(dú)特的"簽名"？就像每個(gè)廚師炒菜都有自己的手法，每個(gè)畫家畫畫都有獨(dú)特的筆觸一樣，不同的AI模型在生成代碼時(shí)是否也會(huì)留下屬于自己的痕跡？

這個(gè)問(wèn)題在當(dāng)今時(shí)代變得越來(lái)越重要。隨著AI生成代碼的使用越來(lái)越普遍，我們急需一種方法來(lái)識(shí)別"這段代碼到底是哪個(gè)AI寫的"。這不僅關(guān)系到學(xué)術(shù)誠(chéng)信問(wèn)題——比如學(xué)生用AI完成編程作業(yè)，更關(guān)系到代碼安全問(wèn)題。研究表明，超過(guò)60%的AI生成C代碼都存在安全漏洞，如果我們能識(shí)別出代碼的"作者"，就能更好地評(píng)估和防范這些風(fēng)險(xiǎn)。

比斯特雷和他的團(tuán)隊(duì)就像數(shù)字時(shí)代的福爾摩斯，他們要解決的案件是：能否通過(guò)代碼的"指紋"來(lái)識(shí)別生成它的AI模型？這聽起來(lái)就像要通過(guò)一張照片判斷是用哪臺(tái)相機(jī)拍攝的一樣困難，但研究團(tuán)隊(duì)相信這是可能的。

為了破解這個(gè)謎題，研究團(tuán)隊(duì)首先需要收集"證據(jù)"。他們創(chuàng)建了一個(gè)名為L(zhǎng)LM-AuthorBench的龐大"案例庫(kù)"，就像警察局的指紋數(shù)據(jù)庫(kù)一樣。這個(gè)數(shù)據(jù)庫(kù)包含了32000個(gè)可編譯的C語(yǔ)言程序，這些程序分別由八個(gè)頂級(jí)AI模型生成：GPT-4.1、GPT-4o、GPT-4o-mini、DeepSeek-V3、Qwen2.5-72B、Llama 3.3-70B、Claude-3.5-Haiku和Gemini-2.5-Flash。

收集證據(jù)的過(guò)程就像設(shè)計(jì)一系列標(biāo)準(zhǔn)化的"測(cè)試題"。研究團(tuán)隊(duì)手工制作了300個(gè)不同的編程任務(wù)模板，就像準(zhǔn)備了300道不同類型的數(shù)學(xué)題。每個(gè)模板都包含可變參數(shù)，比如"寫一個(gè)C程序，用冒泡排序算法對(duì)包含{size}個(gè)整數(shù)的數(shù)組進(jìn)行排序"，其中{size}可以是1到100之間的任何數(shù)字。通過(guò)這種方式，他們能夠生成約21億種不同的編程問(wèn)題，但實(shí)際選擇了4000個(gè)獨(dú)特的任務(wù)給每個(gè)AI模型"答題"。

這就像讓八個(gè)不同的大廚用相同的食材做同一道菜，看看他們各自的手法有什么不同。雖然題目相同，但每個(gè)AI模型生成的代碼都帶有自己獨(dú)特的"烹飪風(fēng)格"——有的喜歡加很多注釋（就像愛(ài)嘮叨的廚師），有的代碼結(jié)構(gòu)簡(jiǎn)潔明了（像極簡(jiǎn)主義廚師），有的喜歡使用特定的變量命名方式（像有強(qiáng)迫癥的廚師）。

接下來(lái)，研究團(tuán)隊(duì)需要訓(xùn)練一個(gè)"AI偵探"來(lái)識(shí)別這些不同的編程風(fēng)格。他們開發(fā)了一個(gè)名為CodeT5-Authorship的專門模型，這個(gè)模型就像一個(gè)經(jīng)驗(yàn)豐富的刑警，能夠通過(guò)觀察代碼的各種細(xì)節(jié)來(lái)判斷是哪個(gè)AI"作案"的。

這個(gè)AI偵探的工作原理很有趣。它基于CodeT5模型的編碼器部分進(jìn)行改造，就像把一個(gè)強(qiáng)大的翻譯官改造成專門的筆跡鑒定專家。原本的CodeT5是一個(gè)既能理解代碼又能生成代碼的"全能選手"，但在這個(gè)任務(wù)中，研究團(tuán)隊(duì)只需要它的"理解"能力，所以把生成部分刪掉了，專門強(qiáng)化分析能力。

這個(gè)改造后的模型包含24層神經(jīng)網(wǎng)絡(luò)層，能夠處理512個(gè)字符長(zhǎng)度的代碼片段。當(dāng)它看到一段代碼時(shí)，會(huì)首先將代碼轉(zhuǎn)換成數(shù)字向量（就像把文字轉(zhuǎn)換成密碼），然后通過(guò)兩層分類器進(jìn)行分析。第一層分類器會(huì)把復(fù)雜的代碼特征壓縮成更容易處理的形式，中間使用了GELU激活函數(shù)（一種數(shù)學(xué)運(yùn)算方式）和20%的隨機(jī)忽略機(jī)制來(lái)防止過(guò)度學(xué)習(xí)。最后一層會(huì)輸出一個(gè)概率分布，告訴我們這段代碼最可能是哪個(gè)AI模型生成的。

為了驗(yàn)證這個(gè)AI偵探的能力，研究團(tuán)隊(duì)進(jìn)行了大量的"破案測(cè)試"。他們不僅測(cè)試了自己開發(fā)的CodeT5-Authorship模型，還邀請(qǐng)了其他七種傳統(tǒng)機(jī)器學(xué)習(xí)"偵探"和八種基于Transformer架構(gòu)的現(xiàn)代"偵探"來(lái)參與競(jìng)賽，包括BERT、RoBERTa、CodeBERT、ModernBERT、DistilBERT、DeBERTa-V3、Longformer，以及經(jīng)過(guò)LoRA微調(diào)的Qwen2-1.5B。

第一個(gè)測(cè)試場(chǎng)景是"二元識(shí)別"，就像問(wèn)"這段代碼是GPT-4.1寫的還是GPT-4o寫的？"這是最困難的挑戰(zhàn)，因?yàn)檫@兩個(gè)模型來(lái)自同一家公司，訓(xùn)練數(shù)據(jù)相似，就像要區(qū)分雙胞胎的筆跡一樣困難。

測(cè)試結(jié)果令人驚訝。研究團(tuán)隊(duì)發(fā)現(xiàn)，即使是如此相似的模型，它們的"編程指紋"依然存在可識(shí)別的差異。GPT-4o似乎更喜歡添加詳細(xì)的注釋，就像一個(gè)話多的程序員，總是要解釋自己在做什么。而GPT-4.1則更加簡(jiǎn)潔直接，就像一個(gè)言簡(jiǎn)意賅的老手。

比如，當(dāng)要求兩個(gè)模型都寫一個(gè)簡(jiǎn)單的"Hello World"程序時(shí)，GPT-4o生成的代碼是這樣的：

```c #include int main() { // Print the message to the console printf("ACM AISec is an amazing conference!\n"); return 0; // indicate successful execution } ```

而GPT-4.1的版本則是：

```c #include int main() { printf("ACM AISec is an amazing conference!\n"); return 0; } ```

可以明顯看出，GPT-4o添加了更多解釋性注釋，而GPT-4.1更加簡(jiǎn)潔。這種細(xì)微的差異成為了AI偵探破案的關(guān)鍵線索。

在二元識(shí)別測(cè)試中，CodeT5-Authorship模型表現(xiàn)最佳，達(dá)到了97.56%的準(zhǔn)確率。這意味著100段代碼中，它能正確識(shí)別出97段的真正"作者"。其他模型的表現(xiàn)也相當(dāng)不錯(cuò)：DeBERTa-V3達(dá)到97%，QWEN2-1.5B達(dá)到96.88%。

有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)注釋的存在對(duì)識(shí)別準(zhǔn)確率有顯著影響。當(dāng)他們移除代碼中的所有注釋時(shí)，所有模型的準(zhǔn)確率都會(huì)下降2-3個(gè)百分點(diǎn)。這證明了注釋風(fēng)格確實(shí)是區(qū)分不同AI模型的重要"指紋特征"。

傳統(tǒng)的機(jī)器學(xué)習(xí)方法表現(xiàn)也不錯(cuò)，但明顯遜色于深度學(xué)習(xí)模型。最好的傳統(tǒng)方法XGBoost達(dá)到了92.2%的準(zhǔn)確率，但仍然比CodeT5-Authorship低了5個(gè)百分點(diǎn)以上。這就像用放大鏡觀察指紋和用高科技指紋掃描儀的區(qū)別，后者能看到更多細(xì)節(jié)。

第二個(gè)測(cè)試場(chǎng)景是"多元識(shí)別"，難度更大。研究團(tuán)隊(duì)選擇了五個(gè)差異較大的AI模型進(jìn)行測(cè)試：Gemini 2.5 Flash、Claude 3.5 Haiku、GPT-4.1、Llama 3.3和DeepSeek-V3。這就像要求偵探從五個(gè)不同國(guó)家的嫌疑人中找出真兇一樣。

在這個(gè)更復(fù)雜的測(cè)試中，CodeT5-Authorship依然保持領(lǐng)先，達(dá)到95.40%的準(zhǔn)確率。Longformer緊隨其后，達(dá)到95.00%。這個(gè)結(jié)果相當(dāng)令人印象深刻，因?yàn)橐谖鍌€(gè)選項(xiàng)中做出正確判斷，隨機(jī)猜測(cè)的準(zhǔn)確率只有20%。

研究團(tuán)隊(duì)還制作了一個(gè)"混淆矩陣"來(lái)分析哪些模型最容易被誤判。結(jié)果發(fā)現(xiàn)，DeepSeek-V3是最容易被誤認(rèn)的模型，800個(gè)DeepSeek樣本中只有723個(gè)被正確識(shí)別，其余的經(jīng)常被誤認(rèn)為是Llama-3.3-70B、Claude-3.5-haiku或GPT-4.1生成的。這可能說(shuō)明DeepSeek-V3的編程風(fēng)格與其他模型有更多重疊，就像一個(gè)"變色龍"程序員，能夠模仿多種編程風(fēng)格。

為了確保研究結(jié)果的可靠性，研究團(tuán)隊(duì)還進(jìn)行了"交叉驗(yàn)證"測(cè)試。他們使用完全不同的API接口生成新的代碼樣本，確保AI偵探識(shí)別的是模型本身的特征，而不是某個(gè)特定API的"水印"。結(jié)果證明，即使在這種更嚴(yán)格的測(cè)試條件下，模型依然能夠以99%和100%的置信度正確識(shí)別GPT-4o和GPT-4.1。

這項(xiàng)研究的意義遠(yuǎn)不止于學(xué)術(shù)層面。在實(shí)際應(yīng)用中，這種技術(shù)可以幫助教育機(jī)構(gòu)檢測(cè)學(xué)生是否使用AI完成編程作業(yè)，幫助企業(yè)評(píng)估代碼的安全風(fēng)險(xiǎn)，甚至可以用于數(shù)字取證，在網(wǎng)絡(luò)犯罪調(diào)查中追蹤代碼的來(lái)源。

當(dāng)然，這項(xiàng)研究也有一些局限性。目前的方法只針對(duì)C語(yǔ)言，對(duì)于其他編程語(yǔ)言如Python、Java的效果還需要進(jìn)一步驗(yàn)證。此外，如果有人故意想要隱藏AI生成代碼的痕跡，比如手動(dòng)修改注釋風(fēng)格或變量命名方式，可能會(huì)降低識(shí)別的準(zhǔn)確性。研究團(tuán)隊(duì)還沒(méi)有測(cè)試對(duì)抗性攻擊的防御能力，這是未來(lái)需要重點(diǎn)關(guān)注的方向。

研究團(tuán)隊(duì)的工作就像在數(shù)字世界中建立了第一個(gè)"指紋識(shí)別系統(tǒng)"。正如人類的指紋是獨(dú)一無(wú)二的，每個(gè)AI模型在生成代碼時(shí)也會(huì)留下獨(dú)特的"數(shù)字指紋"。這些指紋可能體現(xiàn)在注釋的詳細(xì)程度、變量的命名習(xí)慣、代碼的結(jié)構(gòu)組織方式，甚至是某些特定編程模式的偏好上。

更令人興奮的是，研究團(tuán)隊(duì)已經(jīng)將所有的研究代碼、數(shù)據(jù)集和訓(xùn)練腳本都開源發(fā)布在GitHub上(https://github.com/LLMauthorbench/)，這意味著其他研究者可以在此基礎(chǔ)上繼續(xù)改進(jìn)和擴(kuò)展這項(xiàng)技術(shù)。他們還提供了Google Colab的可運(yùn)行腳本，讓任何人都能親自體驗(yàn)這種AI代碼識(shí)別技術(shù)。

從更宏觀的角度來(lái)看，這項(xiàng)研究開啟了"AI內(nèi)容溯源"這個(gè)全新的研究領(lǐng)域。隨著AI生成內(nèi)容越來(lái)越普遍，我們不僅需要能夠區(qū)分"這是人寫的還是AI寫的"，更需要能夠回答"這是哪個(gè)AI寫的"。這種精細(xì)化的識(shí)別能力將成為未來(lái)數(shù)字社會(huì)的重要基礎(chǔ)設(shè)施。

研究團(tuán)隊(duì)的下一步計(jì)劃包括擴(kuò)展到更多編程語(yǔ)言、測(cè)試更多AI模型、研究對(duì)抗性攻擊的防御方法，以及探索零樣本和少樣本學(xué)習(xí)的可能性。他們還計(jì)劃研究如何檢測(cè)人機(jī)協(xié)作編寫的代碼，這在實(shí)際應(yīng)用中可能更加常見(jiàn)。

說(shuō)到底，這項(xiàng)研究告訴我們一個(gè)重要的事實(shí)：即使是看似相同的AI模型，它們?cè)谏蓛?nèi)容時(shí)也會(huì)保留各自獨(dú)特的"個(gè)性"。這種個(gè)性不是刻意設(shè)計(jì)的，而是在訓(xùn)練過(guò)程中自然形成的，就像每個(gè)人都會(huì)在不知不覺(jué)中形成自己的說(shuō)話習(xí)慣和行為模式一樣。

歸根結(jié)底，這項(xiàng)技術(shù)讓我們對(duì)AI有了更深層的理解。它不僅僅是一個(gè)實(shí)用的工具，更像是一面鏡子，讓我們看到了AI模型之間的細(xì)微差異和獨(dú)特特征。在未來(lái)的AI時(shí)代，這種"數(shù)字指紋識(shí)別"技術(shù)可能會(huì)成為保障網(wǎng)絡(luò)安全、維護(hù)學(xué)術(shù)誠(chéng)信、追蹤內(nèi)容來(lái)源的重要手段。

對(duì)于普通人來(lái)說(shuō)，這項(xiàng)研究最直接的意義可能在于提醒我們：在這個(gè)AI輔助編程越來(lái)越普遍的時(shí)代，透明性和可追溯性變得越來(lái)越重要。無(wú)論是學(xué)生學(xué)習(xí)編程，還是專業(yè)開發(fā)者使用AI工具，了解和承認(rèn)AI的參與都將成為新的職業(yè)道德標(biāo)準(zhǔn)。而像CodeT5-Authorship這樣的技術(shù)，則為這種透明性提供了技術(shù)保障。

Q&A

Q1：CodeT5-Authorship是什么？它能做什么？ A：CodeT5-Authorship是一個(gè)專門識(shí)別AI生成代碼的模型，就像代碼界的"指紋識(shí)別器"。它能夠通過(guò)分析C語(yǔ)言代碼的編程風(fēng)格、注釋習(xí)慣、變量命名等特征，準(zhǔn)確判斷這段代碼是由哪個(gè)AI模型生成的，準(zhǔn)確率可達(dá)97.56%。

Q2：這種技術(shù)會(huì)不會(huì)影響學(xué)生和程序員使用AI工具？ A：技術(shù)本身是中性的，主要作用是提高透明度。對(duì)于學(xué)生來(lái)說(shuō)，它可能會(huì)促使更誠(chéng)實(shí)地申報(bào)AI使用情況；對(duì)于程序員，它有助于代碼質(zhì)量評(píng)估和安全風(fēng)險(xiǎn)管控。關(guān)鍵是建立合理的使用規(guī)范，而不是完全禁止AI輔助編程。

Q3：普通人如何使用這項(xiàng)技術(shù)？有什么限制？ A：研究團(tuán)隊(duì)已將代碼開源在GitHub上，技術(shù)人員可以直接使用。但目前只支持C語(yǔ)言，對(duì)其他編程語(yǔ)言的效果未知。此外，如果代碼被人工修改過(guò)，識(shí)別準(zhǔn)確率可能會(huì)下降。未來(lái)可能會(huì)有更用戶友好的在線工具出現(xiàn)。