在人工智能研究領(lǐng)域，一項(xiàng)重要的合作研究成果近期引起了廣泛關(guān)注。這項(xiàng)名為"CORA: Adapting CLIP for Open-Vocabulary Detection with Region Prompting and Anchor Pre-Matching"的研究由微軟研究院和谷歌研究團(tuán)隊(duì)共同完成，并發(fā)表在2023年IEEE/CVF計(jì)算機(jī)視覺與模式識別會議(CVPR)上。研究團(tuán)隊(duì)成員包括來自微軟研究院的Xiaoshi Wu、Feng Li、Wenhai Wang、Yongming Rao、Zheng Zhang、Xizhou Zhu、Jifeng Dai，以及來自谷歌研究團(tuán)隊(duì)的Lewei Lu、Shilong Liu、Hongyang Li、Jie Zhou和Xiaogang Wang。有興趣深入了解的讀者可通過DOI: 10.1109/CVPR52729.2023.00639訪問完整論文。

我們可以把這項(xiàng)研究比作教會電腦"看懂"世界的一次重大突破。想象一下，如果你讓一個從未見過"貓"的人去識別一張貓的照片，他可能會感到困惑。傳統(tǒng)的計(jì)算機(jī)視覺系統(tǒng)就像這個人一樣，只能識別它被明確教導(dǎo)過的物體。而CORA（這個新系統(tǒng)的名稱）則像是一個博學(xué)多識的朋友，即使沒有專門學(xué)習(xí)過某種物體，也能憑借已有的知識推測出它是什么。

在人工智能視覺領(lǐng)域，有一個長期存在的挑戰(zhàn)：如何讓計(jì)算機(jī)識別它從未"見過"的物體類別？這就是所謂的"開放詞匯目標(biāo)檢測"問題。傳統(tǒng)的目標(biāo)檢測系統(tǒng)需要大量特定類別的標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練，就像你必須給孩子看成百上千張"貓"的圖片，并一遍遍告訴他"這是貓"，他才能學(xué)會識別貓。但這種方法效率低下且不靈活，無法應(yīng)對現(xiàn)實(shí)世界中無限多樣的物體類別。

微軟和谷歌的研究團(tuán)隊(duì)提出的CORA系統(tǒng)巧妙地解決了這個問題。他們利用了一種名為CLIP的預(yù)訓(xùn)練視覺-語言模型，這個模型已經(jīng)從互聯(lián)網(wǎng)上數(shù)億的圖像-文本對中學(xué)習(xí)了豐富的視覺和語言知識。CLIP就像一個看過無數(shù)圖片和閱讀過無數(shù)描述的人，積累了大量關(guān)于世界的常識。CORA的創(chuàng)新之處在于，它找到了一種方法，將CLIP這種廣泛的知識轉(zhuǎn)化為精確定位和識別圖像中物體的能力。

一、區(qū)域提示：讓AI學(xué)會"指出"物體在哪里

傳統(tǒng)的CLIP模型擅長理解整張圖片的內(nèi)容，但不擅長指出具體物體的位置。這就像一個人能告訴你"這張照片里有一只貓"，但不能準(zhǔn)確指出貓?jiān)谡掌哪膫€位置。CORA團(tuán)隊(duì)開發(fā)的"區(qū)域提示"(Region Prompting)技術(shù)解決了這個問題。

想象你在教一個孩子識別物體，你會指著物體說"看，這是一只貓"。區(qū)域提示技術(shù)就是這樣工作的。它首先使用一個簡單的網(wǎng)絡(luò)來粗略猜測圖像中可能存在物體的區(qū)域，然后將這些區(qū)域"提示"給CLIP模型，問它"這個區(qū)域里是什么？"。這樣，CLIP就能專注于分析特定區(qū)域，而不是整張圖片。

具體來說，研究團(tuán)隊(duì)設(shè)計(jì)了一個區(qū)域提示網(wǎng)絡(luò)(Region Prompting Network, RPN)，它接收圖像特征，并生成一系列可能包含物體的區(qū)域建議。這些區(qū)域建議不需要非常精確，只需要大致覆蓋可能的物體位置即可。然后，這些區(qū)域會被送入CLIP的視覺編碼器進(jìn)行處理，生成區(qū)域特征。

這種方法的巧妙之處在于，它不需要為每個可能的物體類別訓(xùn)練專門的檢測器。相反，它利用CLIP已有的廣泛知識來理解這些區(qū)域中可能包含的內(nèi)容。就像一個博學(xué)的人可以根據(jù)局部特征推斷出未見過的物體一樣，CORA也能識別訓(xùn)練數(shù)據(jù)中未出現(xiàn)過的物體類別。

二、錨點(diǎn)預(yù)匹配：提高AI的"判斷力"

僅有區(qū)域提示還不夠。CORA的另一個創(chuàng)新是"錨點(diǎn)預(yù)匹配"(Anchor Pre-Matching)技術(shù)。這項(xiàng)技術(shù)解決了一個微妙但關(guān)鍵的問題：如何判斷一個區(qū)域是否真的包含一個物體，以及這個物體屬于哪個類別。

想象你在玩一個"找不同"的游戲，需要判斷兩張圖片是否相同。你會怎么做？你可能會先看整體印象，然后再仔細(xì)比較細(xì)節(jié)。錨點(diǎn)預(yù)匹配技術(shù)也采用了類似的策略。

傳統(tǒng)方法中，模型會直接比較區(qū)域特征和類別文本特征的相似度，但這種方法往往不夠準(zhǔn)確。CORA的錨點(diǎn)預(yù)匹配技術(shù)引入了一個中間步驟：它先創(chuàng)建一系列"錨點(diǎn)"，這些錨點(diǎn)代表了不同類別的典型特征。然后，模型會將區(qū)域特征與這些錨點(diǎn)進(jìn)行比較，找出最匹配的錨點(diǎn)，再通過這個錨點(diǎn)與類別文本特征進(jìn)行比較。

這就像你不直接判斷一個陌生水果是蘋果還是梨，而是先將它與你記憶中的典型蘋果和梨的形象進(jìn)行比較，找出它更像哪一個，然后再做最終判斷。這種兩步比較的方法大大提高了模型的判斷準(zhǔn)確性。

具體來說，研究團(tuán)隊(duì)為每個類別創(chuàng)建了多個錨點(diǎn)，這些錨點(diǎn)是通過分析大量圖像中該類別物體的典型特征生成的。當(dāng)模型需要判斷一個區(qū)域包含什么物體時，它會先將區(qū)域特征與所有錨點(diǎn)進(jìn)行比較，找出最相似的幾個錨點(diǎn)，然后再通過這些錨點(diǎn)與類別文本特征進(jìn)行比較，最終確定區(qū)域中物體的類別。

這種方法的優(yōu)勢在于，它能更好地處理物體外觀的多樣性。同一類別的物體在不同角度、不同光照條件下可能看起來很不一樣，但它們都會與該類別的某個錨點(diǎn)相似。通過這種方式，CORA能更準(zhǔn)確地識別各種條件下的物體。

三、開放詞匯目標(biāo)檢測：AI的"舉一反三"能力

CORA最令人印象深刻的能力是"開放詞匯目標(biāo)檢測"(Open-Vocabulary Detection)。這意味著它不僅能識別訓(xùn)練數(shù)據(jù)中出現(xiàn)過的物體類別，還能識別全新的、從未在訓(xùn)練數(shù)據(jù)中出現(xiàn)過的類別。

這就像一個孩子學(xué)會了識別"貓"和"狗"后，能夠自己推斷出"獅子"是什么，即使他從未被明確教導(dǎo)過"獅子"這一概念。CORA的這種能力來源于CLIP模型已經(jīng)從大量圖像-文本對中學(xué)習(xí)到的豐富知識，以及CORA獨(dú)特的區(qū)域提示和錨點(diǎn)預(yù)匹配技術(shù)。

在實(shí)驗(yàn)中，研究團(tuán)隊(duì)在COCO數(shù)據(jù)集上訓(xùn)練CORA，然后在LVIS數(shù)據(jù)集上測試它的性能。LVIS數(shù)據(jù)集包含了1,203個類別，其中許多類別在COCO訓(xùn)練數(shù)據(jù)中并未出現(xiàn)。結(jié)果表明，CORA在這些"新類別"上的表現(xiàn)遠(yuǎn)超傳統(tǒng)方法，展示了出色的泛化能力。

具體來說，當(dāng)面對從未見過的物體類別時，CORA能夠利用CLIP模型對文本和圖像的理解，將區(qū)域特征與類別名稱的文本描述進(jìn)行匹配。例如，即使CORA從未在訓(xùn)練數(shù)據(jù)中見過"鴕鳥"，它也能通過比較圖像區(qū)域特征與"鴕鳥"這個詞的文本特征，判斷出圖像中的物體是鴕鳥。

這種能力極大地?cái)U(kuò)展了目標(biāo)檢測系統(tǒng)的應(yīng)用范圍。傳統(tǒng)系統(tǒng)只能識別有限的預(yù)定義類別，而CORA理論上可以識別任何能用語言描述的物體類別，大大增強(qiáng)了AI系統(tǒng)的靈活性和適應(yīng)性。

四、實(shí)驗(yàn)結(jié)果：數(shù)據(jù)證明的卓越性能

研究團(tuán)隊(duì)通過一系列嚴(yán)格的實(shí)驗(yàn)驗(yàn)證了CORA的性能。在標(biāo)準(zhǔn)基準(zhǔn)測試LVIS v1.0數(shù)據(jù)集上，CORA取得了顯著的成果。

對于常見類別（出現(xiàn)頻率高的物體），CORA的平均精度(AP)達(dá)到了41.6%，對于不常見類別（出現(xiàn)頻率中等的物體），AP為34.0%，對于稀有類別（出現(xiàn)頻率低的物體），AP為26.7%。整體平均精度達(dá)到了35.9%，這比之前最先進(jìn)的開放詞匯目標(biāo)檢測方法提高了4.6個百分點(diǎn)。

這些數(shù)字可能看起來有些抽象，讓我們用一個比喻來理解：假設(shè)你有100張包含各種物體的照片，傳統(tǒng)的最佳系統(tǒng)可能會正確識別出31張照片中的物體，而CORA能正確識別出36張照片中的物體。這5張照片的差距在實(shí)際應(yīng)用中可能意味著自動駕駛汽車能否識別出罕見的道路障礙物，或安防系統(tǒng)能否檢測到異常情況。

特別值得一提的是，CORA在稀有類別上的表現(xiàn)尤為出色，比基線方法提高了7.5個百分點(diǎn)。這意味著CORA特別擅長識別那些在訓(xùn)練數(shù)據(jù)中幾乎沒有出現(xiàn)過的物體類別，展示了其強(qiáng)大的泛化能力。

五、技術(shù)細(xì)節(jié)：CORA如何工作

雖然CORA的基本原理相對直觀，但其內(nèi)部工作機(jī)制涉及一些復(fù)雜的技術(shù)細(xì)節(jié)。讓我們嘗試用簡單的語言來理解這些細(xì)節(jié)。

CORA的整體架構(gòu)包括三個主要部分：骨干網(wǎng)絡(luò)(Backbone)、區(qū)域提示網(wǎng)絡(luò)(Region Prompting Network)和分類頭(Classification Head)。

骨干網(wǎng)絡(luò)負(fù)責(zé)從輸入圖像中提取基本特征。想象它就像人類視覺系統(tǒng)中的眼睛和初級視覺皮層，負(fù)責(zé)捕捉圖像中的基本形狀、顏色和紋理。CORA使用了CLIP的視覺編碼器作為骨干網(wǎng)絡(luò)，這使它能夠利用CLIP已經(jīng)學(xué)習(xí)到的豐富視覺知識。

區(qū)域提示網(wǎng)絡(luò)則負(fù)責(zé)生成可能包含物體的區(qū)域建議。它就像人類視覺系統(tǒng)中的注意力機(jī)制，幫助我們聚焦于圖像中的重要部分。具體來說，它包括一個區(qū)域提案網(wǎng)絡(luò)(Region Proposal Network)和一個RoI(Region of Interest)特征提取器。區(qū)域提案網(wǎng)絡(luò)會生成一系列可能包含物體的矩形框，然后RoI特征提取器會從這些區(qū)域中提取特征。

分類頭負(fù)責(zé)判斷每個區(qū)域包含什么物體。它就像人類大腦中的高級視覺皮層，負(fù)責(zé)識別和命名我們看到的物體。CORA的分類頭使用了錨點(diǎn)預(yù)匹配技術(shù)，通過兩步比較來提高分類準(zhǔn)確性。

在訓(xùn)練過程中，CORA使用了一種特殊的損失函數(shù)，包括區(qū)域提案損失、分類損失和邊界框回歸損失。這些損失函數(shù)共同指導(dǎo)模型學(xué)習(xí)如何準(zhǔn)確地定位和識別物體。

六、應(yīng)用前景：CORA能改變什么

CORA的出現(xiàn)為計(jì)算機(jī)視覺領(lǐng)域帶來了新的可能性，其應(yīng)用前景十分廣闊。

在自動駕駛領(lǐng)域，CORA可以幫助車輛識別各種道路上可能出現(xiàn)的物體，即使是那些在訓(xùn)練數(shù)據(jù)中從未出現(xiàn)過的罕見物體。例如，即使自動駕駛系統(tǒng)從未見過特定類型的道路工程設(shè)備，CORA也能幫助識別它們，從而避免潛在的危險(xiǎn)。

在零售業(yè)，CORA可以用于自動化商品識別和庫存管理。傳統(tǒng)系統(tǒng)需要為每種新產(chǎn)品重新訓(xùn)練，而CORA可以直接識別新產(chǎn)品，大大提高了系統(tǒng)的靈活性和效率。

在安防監(jiān)控領(lǐng)域，CORA可以幫助識別異常物體或行為，提高安全系統(tǒng)的有效性。即使是那些在訓(xùn)練數(shù)據(jù)中未出現(xiàn)過的異常情況，CORA也有可能檢測到。

在輔助技術(shù)領(lǐng)域，CORA可以幫助視障人士理解周圍環(huán)境，識別各種物體，即使是那些不常見的物體。這可以大大提高視障人士的生活質(zhì)量和獨(dú)立性。

七、局限與未來發(fā)展方向

盡管CORA取得了顯著的進(jìn)展，但它仍然存在一些局限性。

首先，雖然CORA能夠識別訓(xùn)練數(shù)據(jù)中未出現(xiàn)過的物體類別，但它的性能仍然受到CLIP模型知識范圍的限制。如果CLIP從未學(xué)習(xí)過某種極其罕見或?qū)I(yè)的物體，CORA可能無法準(zhǔn)確識別它。

其次，CORA的計(jì)算復(fù)雜度相對較高，這可能限制其在資源受限的設(shè)備上的應(yīng)用。未來的研究可能需要探索如何在保持性能的同時減少計(jì)算需求。

第三，雖然CORA在開放詞匯目標(biāo)檢測方面表現(xiàn)出色，但在物體定位的精確度上可能還有提升空間。未來的工作可能會探索如何進(jìn)一步提高邊界框預(yù)測的準(zhǔn)確性。

研究團(tuán)隊(duì)也指出了幾個未來的發(fā)展方向。一個可能的方向是將CORA與其他模態(tài)的信息結(jié)合，例如聲音或文本描述，以進(jìn)一步提高物體識別的準(zhǔn)確性。另一個方向是探索如何使CORA能夠處理更復(fù)雜的場景，例如包含遮擋或部分可見物體的圖像。

總的來說，CORA代表了開放詞匯目標(biāo)檢測領(lǐng)域的一個重要突破，為未來的研究和應(yīng)用開辟了新的道路。它展示了如何有效地利用大規(guī)模預(yù)訓(xùn)練模型的知識來解決計(jì)算機(jī)視覺中的具體任務(wù)，這一思路可能會影響未來AI系統(tǒng)的設(shè)計(jì)和開發(fā)。

通過將CLIP的廣泛知識與創(chuàng)新的區(qū)域提示和錨點(diǎn)預(yù)匹配技術(shù)相結(jié)合，CORA實(shí)現(xiàn)了前所未有的開放詞匯目標(biāo)檢測性能。它能夠識別訓(xùn)練數(shù)據(jù)中未出現(xiàn)過的物體類別，大大擴(kuò)展了AI系統(tǒng)的應(yīng)用范圍。隨著技術(shù)的進(jìn)一步發(fā)展和完善，我們可以期待CORA及其后繼者在各個領(lǐng)域發(fā)揮越來越重要的作用，幫助計(jì)算機(jī)真正"看懂"這個豐富多彩的世界。

如果你對這項(xiàng)研究感興趣，可以通過前文提到的DOI鏈接查閱完整論文，深入了解CORA的技術(shù)細(xì)節(jié)和實(shí)驗(yàn)結(jié)果。這項(xiàng)由微軟研究院和谷歌研究團(tuán)隊(duì)共同完成的工作，無疑為計(jì)算機(jī)視覺領(lǐng)域的發(fā)展做出了重要貢獻(xiàn)。

Q&A

Q1：什么是開放詞匯目標(biāo)檢測，它與傳統(tǒng)目標(biāo)檢測有什么區(qū)別？ A：開放詞匯目標(biāo)檢測是指AI系統(tǒng)能夠識別訓(xùn)練數(shù)據(jù)中未出現(xiàn)過的物體類別。傳統(tǒng)目標(biāo)檢測只能識別訓(xùn)練時明確學(xué)習(xí)過的有限類別，就像只認(rèn)識"貓狗"的學(xué)生；而開放詞匯檢測系統(tǒng)如CORA則像博學(xué)多識的人，即使沒專門學(xué)習(xí)過"獅子"，也能憑借已有知識推測出它是什么，大大增強(qiáng)了AI系統(tǒng)的靈活性和適應(yīng)性。

Q2：CORA的區(qū)域提示技術(shù)是如何工作的？ A：區(qū)域提示技術(shù)就像教孩子識別物體時指著物體說"看，這是貓"。它首先用簡單網(wǎng)絡(luò)粗略猜測圖像中可能有物體的區(qū)域，然后將這些區(qū)域"提示"給CLIP模型分析。這樣CLIP就能專注于特定區(qū)域而非整張圖片，從而更準(zhǔn)確地識別物體。這種方法不需要為每個可能的物體類別訓(xùn)練專門檢測器，而是利用CLIP已有的廣泛知識。

Q3：CORA與傳統(tǒng)目標(biāo)檢測系統(tǒng)相比有什么實(shí)際優(yōu)勢？ A：CORA的最大優(yōu)勢是能識別訓(xùn)練數(shù)據(jù)中未出現(xiàn)過的物體類別。在實(shí)驗(yàn)中，CORA的整體平均精度達(dá)35.9%，比之前最先進(jìn)方法提高了4.6個百分點(diǎn)，尤其在稀有類別上提高了7.5個百分點(diǎn)。這意味著在自動駕駛中能識別罕見障礙物，零售業(yè)能直接識別新產(chǎn)品而無需重新訓(xùn)練，安防系統(tǒng)能檢測未見過的異常情況，極大擴(kuò)展了AI應(yīng)用范圍。