這項(xiàng)由騰訊YouTu實(shí)驗(yàn)室的高斌斌研究員領(lǐng)導(dǎo)的重要研究發(fā)表于2025年5月的計(jì)算機(jī)視覺與模式識(shí)別領(lǐng)域（arXiv:2505.09264v1），有興趣深入了解的讀者可以通過https://github.com/gaobb/OneNIP訪問完整的代碼和模型。這個(gè)名為OneNIP（One Normal Image Prompt）的革命性技術(shù)，成功解決了工業(yè)質(zhì)量檢測(cè)中一個(gè)長(zhǎng)期困擾專家們的難題：如何用一個(gè)統(tǒng)一的AI模型來檢測(cè)各種不同產(chǎn)品的缺陷，而不是為每種產(chǎn)品單獨(dú)訓(xùn)練一個(gè)模型。

在現(xiàn)實(shí)的工業(yè)生產(chǎn)線上，質(zhì)量檢測(cè)一直是個(gè)讓人頭疼的問題。傳統(tǒng)的AI檢測(cè)系統(tǒng)就像專門訓(xùn)練的?？漆t(yī)生，每個(gè)醫(yī)生只會(huì)看一種疾病。比如檢測(cè)螺絲釘?shù)腁I不會(huì)檢測(cè)電路板，檢測(cè)皮革的AI不會(huì)檢測(cè)木材。這種"一對(duì)一"的模式在實(shí)際應(yīng)用中帶來巨大的成本負(fù)擔(dān)和存儲(chǔ)問題，特別是當(dāng)工廠需要檢測(cè)的產(chǎn)品種類越來越多時(shí)。

騰訊研究團(tuán)隊(duì)提出的OneNIP技術(shù)就像培養(yǎng)了一位全科醫(yī)生，這位醫(yī)生只需要看一張正常產(chǎn)品的照片作為參考，就能準(zhǔn)確識(shí)別出任何類型產(chǎn)品的缺陷。這個(gè)概念聽起來簡(jiǎn)單，但背后的技術(shù)原理卻相當(dāng)精妙。

一、從"背誦答案"到"理解規(guī)律"的技術(shù)革命

傳統(tǒng)的異常檢測(cè)技術(shù)面臨一個(gè)根本性問題，就像學(xué)生死記硬背而不理解概念一樣?，F(xiàn)有的重建網(wǎng)絡(luò)（reconstruction network）在學(xué)習(xí)過程中容易產(chǎn)生"身份捷徑"問題，這個(gè)問題可以用照鏡子來比喻：當(dāng)你對(duì)著鏡子做動(dòng)作時(shí)，鏡子總是完美地反映你的動(dòng)作，無論這個(gè)動(dòng)作是正常的還是異常的。

具體來說，這些AI系統(tǒng)在訓(xùn)練時(shí)會(huì)學(xué)會(huì)簡(jiǎn)單地復(fù)制輸入圖像，而不是真正理解什么是"正常"。結(jié)果就是，當(dāng)遇到有缺陷的產(chǎn)品時(shí)，系統(tǒng)仍然能夠完美地"重建"這些缺陷，導(dǎo)致無法識(shí)別問題。這就像一個(gè)學(xué)生在考試時(shí)只會(huì)機(jī)械地重復(fù)題目，而不會(huì)分析題目中的錯(cuò)誤一樣。

OneNIP技術(shù)的突破在于引入了"正常圖像提示"的概念。這就像給AI系統(tǒng)提供了一個(gè)標(biāo)準(zhǔn)答案冊(cè)，讓它在檢測(cè)時(shí)始終與這個(gè)標(biāo)準(zhǔn)進(jìn)行對(duì)比。當(dāng)AI系統(tǒng)試圖重建一個(gè)有缺陷的產(chǎn)品圖像時(shí)，正常圖像提示會(huì)起到"糾正"作用，使系統(tǒng)更傾向于生成正常的版本，從而暴露出實(shí)際圖像中的缺陷。

更重要的是，OneNIP特別擅長(zhǎng)處理那些"偽裝"得很好的缺陷。在工業(yè)檢測(cè)中，有些缺陷看起來與周圍環(huán)境非常相似，就像變色龍一樣隱藏在背景中。傳統(tǒng)方法往往會(huì)被這種"偽裝"欺騙，因?yàn)樗鼈冎豢淳植康纳舷挛男畔?。而OneNIP通過引入全局的正常圖像參考，能夠發(fā)現(xiàn)這些隱藏得很深的問題。

二、雙向注意力機(jī)制：讓AI學(xué)會(huì)"對(duì)話"

OneNIP的核心技術(shù)創(chuàng)新在于其雙向交叉注意力解碼器，這個(gè)機(jī)制可以比作兩個(gè)人之間的深度對(duì)話。在傳統(tǒng)的單向系統(tǒng)中，就像一個(gè)人在獨(dú)自講話，無法根據(jù)聽眾的反應(yīng)調(diào)整自己的表達(dá)。而OneNIP的雙向機(jī)制則像兩個(gè)經(jīng)驗(yàn)豐富的專家在討論問題，彼此影響，共同得出更準(zhǔn)確的結(jié)論。

這個(gè)雙向?qū)υ掃^程分為兩個(gè)階段。首先是"提示到特征"的交流，正常圖像提示會(huì)"告訴"目標(biāo)特征什么是正常的標(biāo)準(zhǔn)。然后是"特征到提示"的反饋，目標(biāo)特征會(huì)根據(jù)自己的實(shí)際情況"回應(yīng)"提示，形成動(dòng)態(tài)的相互調(diào)整。這種相互作用使得系統(tǒng)能夠更靈活地適應(yīng)不同類型的產(chǎn)品和不同種類的缺陷。

為了進(jìn)一步增強(qiáng)這種對(duì)話的效果，研究團(tuán)隊(duì)還引入了一個(gè)巧妙的訓(xùn)練策略。他們?nèi)斯?chuàng)建了一些"偽異常"樣本，就像在訓(xùn)練過程中故意制造一些錯(cuò)誤案例讓AI練習(xí)。這些偽異常樣本通過特殊的圖像處理技術(shù)生成，包括隨機(jī)剪切粘貼和紋理擾動(dòng)等方法。

在處理這些偽異常樣本時(shí)，系統(tǒng)的目標(biāo)不是簡(jiǎn)單地重建它們，而是要"修復(fù)"它們，將異常的特征恢復(fù)成正常的樣子。這個(gè)過程就像教一個(gè)學(xué)生不僅要認(rèn)識(shí)正確答案，還要學(xué)會(huì)糾正錯(cuò)誤答案。通過這種訓(xùn)練，AI系統(tǒng)對(duì)正常圖像提示的依賴性和利用能力都得到了顯著增強(qiáng)。

三、精細(xì)化定位：從模糊識(shí)別到精準(zhǔn)定位

雖然OneNIP在檢測(cè)異常方面表現(xiàn)出色，但要實(shí)現(xiàn)精確的像素級(jí)定位還需要額外的技術(shù)支持。這是因?yàn)锳I系統(tǒng)的核心運(yùn)算是在低分辨率的特征空間中進(jìn)行的，就像用放大鏡看鐘表的齒輪，雖然能理解工作原理，但要指出具體哪個(gè)齒輪有問題還需要更精細(xì)的工具。

為了解決這個(gè)問題，研究團(tuán)隊(duì)開發(fā)了一個(gè)輕量級(jí)的監(jiān)督式精細(xì)器（supervised refiner）。這個(gè)精細(xì)器的工作原理類似于顯微鏡的變焦功能，能夠?qū)⒌头直媛实臋z測(cè)結(jié)果逐步放大到原始圖像的分辨率。

精細(xì)器的訓(xùn)練過程很有趣。它同時(shí)使用真實(shí)的正常樣本和人工生成的異常樣本進(jìn)行學(xué)習(xí)。真實(shí)樣本教會(huì)它什么區(qū)域應(yīng)該被標(biāo)記為正常，而人工異常樣本（附帶精確的像素級(jí)標(biāo)注）則教會(huì)它如何準(zhǔn)確定位異常區(qū)域。這種雙重訓(xùn)練策略使得精細(xì)器能夠在保持高準(zhǔn)確率的同時(shí)，大幅提升異常定位的精度。

特別值得一提的是，精細(xì)器采用了Dice損失函數(shù)來處理正常與異常像素之間的極端不平衡問題。在實(shí)際的工業(yè)圖像中，異常像素往往只占很小的比例，就像在一幅巨大的拼圖中尋找?guī)讐K錯(cuò)位的碎片。傳統(tǒng)的訓(xùn)練方法容易被大量的正常像素"淹沒"，而Dice損失函數(shù)能夠讓系統(tǒng)更加關(guān)注那些稀少但重要的異常像素。

四、實(shí)驗(yàn)驗(yàn)證：三大數(shù)據(jù)集的全面測(cè)試

為了驗(yàn)證OneNIP技術(shù)的實(shí)際效果，研究團(tuán)隊(duì)在三個(gè)權(quán)威的工業(yè)異常檢測(cè)數(shù)據(jù)集上進(jìn)行了全面測(cè)試：MVTec、BTAD和VisA。這三個(gè)數(shù)據(jù)集就像三個(gè)不同難度的考試，全面考察AI系統(tǒng)在各種場(chǎng)景下的表現(xiàn)能力。

MVTec數(shù)據(jù)集包含15個(gè)類別的工業(yè)產(chǎn)品，涵蓋10種物體（如螺絲、膠囊、金屬螺母等）和5種紋理（如地毯、網(wǎng)格、皮革等）。這個(gè)數(shù)據(jù)集相當(dāng)于"基礎(chǔ)考試"，測(cè)試系統(tǒng)對(duì)常見工業(yè)產(chǎn)品的檢測(cè)能力。在這個(gè)數(shù)據(jù)集上，OneNIP在像素級(jí)異常分割任務(wù)中取得了63.7%的P-PR得分，相比之前最好的方法（UniAD的44.7%）提升了19個(gè)百分點(diǎn)，這是一個(gè)相當(dāng)顯著的進(jìn)步。

BTAD數(shù)據(jù)集專注于三種工業(yè)產(chǎn)品的表面和本體缺陷檢測(cè)，可以看作"專業(yè)考試"。在這個(gè)更具挑戰(zhàn)性的數(shù)據(jù)集上，OneNIP將P-PR得分從50.9%提升到56.8%，展現(xiàn)了其在復(fù)雜工業(yè)場(chǎng)景中的穩(wěn)定性能。

VisA數(shù)據(jù)集是三個(gè)數(shù)據(jù)集中最具挑戰(zhàn)性的，包含12個(gè)類別的復(fù)雜結(jié)構(gòu)產(chǎn)品，相當(dāng)于"高級(jí)考試"。這個(gè)數(shù)據(jù)集的特點(diǎn)是包含多個(gè)實(shí)例、復(fù)雜結(jié)構(gòu)和多種異常類型。即使在這樣困難的條件下，OneNIP仍然將P-PR得分從33.6%提升到43.3%，證明了其技術(shù)的魯棒性和通用性。

研究團(tuán)隊(duì)還進(jìn)行了一個(gè)更加嚴(yán)苛的測(cè)試：將三個(gè)數(shù)據(jù)集合并成一個(gè)包含30個(gè)類別的超大規(guī)模數(shù)據(jù)集，用一個(gè)統(tǒng)一模型來處理所有類型的產(chǎn)品。這相當(dāng)于讓一個(gè)醫(yī)生同時(shí)掌握30個(gè)不同?？频脑\斷技能。結(jié)果顯示，OneNIP在這種極端條件下仍然能夠保持優(yōu)秀的性能，P-PR得分達(dá)到52.4%，遠(yuǎn)超基準(zhǔn)方法的39.1%。

五、技術(shù)細(xì)節(jié)的深度分析

為了全面理解OneNIP技術(shù)的工作機(jī)制，研究團(tuán)隊(duì)進(jìn)行了詳盡的消融實(shí)驗(yàn)，就像拆解一臺(tái)精密機(jī)器來理解每個(gè)零件的作用。

在提示策略的對(duì)比實(shí)驗(yàn)中，研究人員發(fā)現(xiàn)，從靜態(tài)提示升級(jí)到動(dòng)態(tài)提示能夠帶來顯著的性能提升。靜態(tài)提示就像給學(xué)生一本固定的參考書，而動(dòng)態(tài)提示則像配備了一個(gè)能夠?qū)崟r(shí)互動(dòng)的智能導(dǎo)師。具體來說，動(dòng)態(tài)雙向交叉注意力機(jī)制比靜態(tài)提示在P-PR指標(biāo)上提升了約1個(gè)百分點(diǎn)。

恢復(fù)流（restoration stream）的引入證明了"反面教材"的重要性。通過讓AI系統(tǒng)學(xué)習(xí)如何將異常樣本恢復(fù)成正常樣本，系統(tǒng)對(duì)正常圖像提示的依賴和利用能力得到了強(qiáng)化。這種訓(xùn)練策略使得P-PR得分從46.0%提升到48.4%，進(jìn)一步驗(yàn)證了正常圖像提示在整個(gè)框架中的核心作用。

監(jiān)督式精細(xì)器的效果最為顯著，將P-PR得分從48.4%一舉提升到63.7%，提升幅度超過15個(gè)百分點(diǎn)。這個(gè)結(jié)果表明，雖然無監(jiān)督的特征重建能夠有效識(shí)別異常，但要實(shí)現(xiàn)精確的像素級(jí)定位，還是需要監(jiān)督學(xué)習(xí)的介入。

在網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)方面，研究團(tuán)隊(duì)發(fā)現(xiàn)編碼器和解碼器的層數(shù)對(duì)性能有重要影響。經(jīng)過系統(tǒng)的對(duì)比實(shí)驗(yàn)，他們確定4層編碼器和4層解碼器的組合能夠在性能和計(jì)算成本之間取得最佳平衡。層數(shù)太少會(huì)影響特征表達(dá)能力，層數(shù)太多則會(huì)增加計(jì)算開銷而收益有限。

六、實(shí)際應(yīng)用的深遠(yuǎn)影響

OneNIP技術(shù)的成功不僅僅是學(xué)術(shù)上的突破，更重要的是它對(duì)實(shí)際工業(yè)應(yīng)用的深遠(yuǎn)影響。在傳統(tǒng)的工業(yè)質(zhì)量檢測(cè)中，每當(dāng)工廠要檢測(cè)一種新產(chǎn)品時(shí)，就需要重新訓(xùn)練一個(gè)專門的AI模型，這個(gè)過程通常需要大量的缺陷樣本和數(shù)周的訓(xùn)練時(shí)間。

有了OneNIP技術(shù)，這個(gè)過程被大大簡(jiǎn)化了。工廠只需要提供幾張正常產(chǎn)品的圖片，就可以立即開始異常檢測(cè)，無需重新訓(xùn)練模型。這就像從需要為每種疾病培養(yǎng)?？漆t(yī)生，轉(zhuǎn)變?yōu)閾碛幸粋€(gè)能夠處理多種疾病的全科醫(yī)生。

在收斂速度方面，OneNIP也展現(xiàn)出明顯優(yōu)勢(shì)。與傳統(tǒng)方法相比，OneNIP需要的訓(xùn)練輪次顯著減少，特別是在像素級(jí)分割任務(wù)上，收斂速度提升尤為明顯。這意味著即使需要進(jìn)行模型微調(diào)，所需的時(shí)間和計(jì)算資源也大大減少。

對(duì)于那些產(chǎn)品種類繁多、變化頻繁的制造企業(yè)來說，OneNIP技術(shù)的價(jià)值更加凸顯。比如電子產(chǎn)品制造企業(yè)，可能需要檢測(cè)數(shù)十種不同的電路板、元器件和外殼。傳統(tǒng)方法需要為每種產(chǎn)品建立獨(dú)立的檢測(cè)系統(tǒng)，而OneNIP可以用一個(gè)統(tǒng)一的系統(tǒng)處理所有產(chǎn)品，大大降低了系統(tǒng)復(fù)雜性和維護(hù)成本。

從技術(shù)發(fā)展趨勢(shì)來看，OneNIP代表了異常檢測(cè)領(lǐng)域從"專用化"向"通用化"的重要轉(zhuǎn)變。這種轉(zhuǎn)變不僅提高了技術(shù)的實(shí)用性，也為未來開發(fā)更加智能、靈活的工業(yè)檢測(cè)系統(tǒng)奠定了基礎(chǔ)。

七、技術(shù)挑戰(zhàn)與未來發(fā)展

盡管OneNIP技術(shù)取得了顯著成果，但研究團(tuán)隊(duì)也誠(chéng)實(shí)地指出了當(dāng)前技術(shù)的一些局限性。首先是計(jì)算成本問題。雖然在推理階段可以移除恢復(fù)流來降低計(jì)算開銷，但在訓(xùn)練階段，恢復(fù)流的引入確實(shí)增加了額外的計(jì)算負(fù)擔(dān)。這就像為了培養(yǎng)一個(gè)全科醫(yī)生，需要在醫(yī)學(xué)院階段投入更多的時(shí)間和資源。

另一個(gè)挑戰(zhàn)是對(duì)提示圖像質(zhì)量的依賴。實(shí)驗(yàn)結(jié)果顯示，如果使用錯(cuò)誤類別的圖像作為提示（比如用金屬螺母的圖片去檢測(cè)螺絲釘），系統(tǒng)性能會(huì)顯著下降。這表明雖然OneNIP具有很強(qiáng)的通用性，但仍然需要合適的正常樣本作為參考基準(zhǔn)。

在復(fù)雜產(chǎn)品的處理上，OneNIP雖然比傳統(tǒng)方法表現(xiàn)更好，但對(duì)于那些具有極其復(fù)雜幾何結(jié)構(gòu)或紋理的產(chǎn)品，仍然存在改進(jìn)空間。特別是當(dāng)產(chǎn)品的正常變化范圍很大時(shí)，系統(tǒng)需要更加智能的機(jī)制來區(qū)分正常變化和真正的異常。

展望未來，這項(xiàng)技術(shù)有幾個(gè)值得關(guān)注的發(fā)展方向。首先是提示選擇的自動(dòng)化。目前系統(tǒng)需要人工為每個(gè)類別選擇合適的正常圖像提示，未來可以開發(fā)更智能的自動(dòng)提示選擇機(jī)制，甚至實(shí)現(xiàn)自適應(yīng)的提示生成。

其次是多模態(tài)信息的融合。除了視覺信息，工業(yè)檢測(cè)中還經(jīng)常用到聲音、振動(dòng)、溫度等多種傳感器數(shù)據(jù)。將OneNIP的思想擴(kuò)展到多模態(tài)領(lǐng)域，可能會(huì)帶來更加全面和可靠的異常檢測(cè)能力。

第三是實(shí)時(shí)性能的優(yōu)化。雖然OneNIP在準(zhǔn)確性方面表現(xiàn)出色，但在高速生產(chǎn)線上的實(shí)時(shí)檢測(cè)能力還有提升空間。通過模型壓縮、硬件加速等技術(shù)，可以進(jìn)一步提高系統(tǒng)的實(shí)際部署價(jià)值。

說到底，OneNIP技術(shù)的出現(xiàn)標(biāo)志著工業(yè)異常檢測(cè)領(lǐng)域的一個(gè)重要里程碑。它不僅解決了傳統(tǒng)方法中"一對(duì)一"模式帶來的成本和復(fù)雜性問題，更重要的是為未來智能制造中的質(zhì)量控制提供了新的思路。隨著制造業(yè)越來越注重個(gè)性化定制和快速響應(yīng)，像OneNIP這樣能夠快速適應(yīng)新產(chǎn)品、新場(chǎng)景的技術(shù)將變得越來越重要。

對(duì)于普通消費(fèi)者來說，這項(xiàng)技術(shù)的推廣應(yīng)用最終會(huì)體現(xiàn)在產(chǎn)品質(zhì)量的提升和成本的降低上。當(dāng)工廠能夠更高效、更準(zhǔn)確地檢測(cè)產(chǎn)品缺陷時(shí)，我們購(gòu)買到的商品質(zhì)量會(huì)更加可靠，而制造成本的降低也可能轉(zhuǎn)化為更具競(jìng)爭(zhēng)力的產(chǎn)品價(jià)格。這就是基礎(chǔ)科學(xué)研究最終惠及大眾生活的生動(dòng)體現(xiàn)。

對(duì)于有興趣了解更多技術(shù)細(xì)節(jié)的讀者，完整的研究論文、代碼和預(yù)訓(xùn)練模型都已經(jīng)在GitHub平臺(tái)上開源發(fā)布，網(wǎng)址是https://github.com/gaobb/OneNIP。這種開放共享的研究態(tài)度不僅體現(xiàn)了學(xué)術(shù)界的合作精神，也為這項(xiàng)技術(shù)的快速推廣和進(jìn)一步改進(jìn)提供了有力支持。

Q&A

Q1：OneNIP技術(shù)是什么？它能做什么？ A：OneNIP是騰訊YouTu實(shí)驗(yàn)室開發(fā)的工業(yè)異常檢測(cè)AI技術(shù)，它的核心能力是僅用一張正常產(chǎn)品圖片作為參考，就能檢測(cè)出各種不同類型產(chǎn)品的缺陷。相比傳統(tǒng)需要為每種產(chǎn)品單獨(dú)訓(xùn)練模型的方法，OneNIP可以用一個(gè)統(tǒng)一模型處理多種產(chǎn)品，大大降低了工業(yè)質(zhì)檢的成本和復(fù)雜性。

Q2：OneNIP會(huì)不會(huì)取代人工質(zhì)檢？ A：目前不會(huì)完全取代，但會(huì)大大改變質(zhì)檢方式。OneNIP主要解決的是提高檢測(cè)效率和準(zhǔn)確性的問題，特別是在處理大量重復(fù)性檢測(cè)任務(wù)時(shí)。對(duì)于需要復(fù)雜判斷和靈活處理的質(zhì)檢場(chǎng)景，人工經(jīng)驗(yàn)仍然不可替代，未來更可能是人機(jī)協(xié)作的模式。

Q3：普通工廠如何使用OneNIP技術(shù)？有什么要求？ A：目前研究團(tuán)隊(duì)已在GitHub上開源了代碼和模型（https://github.com/gaobb/OneNIP），技術(shù)人員可以下載使用。工廠需要提供一些正常產(chǎn)品的圖片作為訓(xùn)練樣本，然后就可以開始異常檢測(cè)。相比傳統(tǒng)方法需要大量缺陷樣本，OneNIP的數(shù)據(jù)需求量大大降低，更適合實(shí)際應(yīng)用。