當(dāng)你每天收到幾百封郵件時(shí)，是否希望有個(gè)助手能瞬間幫你分類出哪些是重要工作郵件、哪些是垃圾郵件、哪些是朋友聊天？或者當(dāng)你在網(wǎng)上看新聞時(shí)，希望系統(tǒng)能自動(dòng)告訴你這條新聞屬于科技、體育還是娛樂(lè)類？這些看似簡(jiǎn)單的分類工作，實(shí)際上是人工智能領(lǐng)域中一個(gè)基礎(chǔ)但極其重要的任務(wù)——文本分類。

這項(xiàng)由烏克蘭基輔Knowledgator工程公司的伊戈?duì)?middot;斯捷潘諾夫（Ihor Stepanov）和米哈伊洛·什托普科（Mykhailo Shtopko）等六位研究人員共同完成的研究，于2025年8月發(fā)表在計(jì)算機(jī)學(xué)習(xí)領(lǐng)域的頂級(jí)預(yù)印本平臺(tái)arXiv上。研究團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)名為GLiClass的全新文本分類模型，這個(gè)模型就像是一個(gè)極其聰明且高效的文檔管理員，不僅能準(zhǔn)確地給各種文字內(nèi)容分類，還能在處理大量標(biāo)簽時(shí)保持驚人的速度。有興趣深入了解這項(xiàng)研究的讀者可以通過(guò)arXiv平臺(tái)（編號(hào)：2508.07662v1）訪問(wèn)完整論文。

GLiClass的出現(xiàn)解決了當(dāng)前文本分類領(lǐng)域的一個(gè)核心矛盾。傳統(tǒng)的大型語(yǔ)言模型雖然功能強(qiáng)大，就像一個(gè)博學(xué)的教授，幾乎什么都懂，但處理簡(jiǎn)單分類任務(wù)時(shí)就像用大炮打蚊子——既慢又耗費(fèi)資源。而現(xiàn)有的專門分類模型雖然速度快，但面對(duì)復(fù)雜情況時(shí)又顯得力不從心，就像一個(gè)只會(huì)按固定流程工作的機(jī)械工人。GLiClass的創(chuàng)新之處在于找到了準(zhǔn)確性和效率之間的完美平衡點(diǎn)，既能像教授一樣思考復(fù)雜問(wèn)題，又能像熟練工人一樣快速完成任務(wù)。

這個(gè)研究的突破性在于，它是首次成功將GLiNER架構(gòu)（一種原本用于命名實(shí)體識(shí)別的模型架構(gòu)）改造并應(yīng)用到序列分類任務(wù)中。GLiNER本來(lái)是專門用來(lái)從文本中找出人名、地名等特定信息的工具，研究團(tuán)隊(duì)巧妙地將其重新設(shè)計(jì)，讓它能夠理解和分類整個(gè)文本段落的含義。這就好比將一個(gè)專門用來(lái)在圖書(shū)館找特定書(shū)籍的機(jī)器人，改造成了一個(gè)能夠理解并整理所有圖書(shū)類別的智能管理系統(tǒng)。

一、文本分類的現(xiàn)狀困境與GLiClass的應(yīng)對(duì)之道

文本分類在我們的數(shù)字生活中無(wú)處不在，卻往往被人忽視。每當(dāng)你在購(gòu)物網(wǎng)站搜索商品，系統(tǒng)需要將成千上萬(wàn)的商品描述準(zhǔn)確分類；每當(dāng)你使用智能客服，系統(tǒng)需要理解你的問(wèn)題屬于哪個(gè)類別才能給出合適的回答；每當(dāng)你瀏覽社交媒體，平臺(tái)需要識(shí)別哪些內(nèi)容可能包含不當(dāng)信息。所有這些場(chǎng)景都依賴于文本分類技術(shù)的支撐。

目前的文本分類方法主要分為三大類，每一種都有自己的優(yōu)勢(shì)和局限。第一類是基于大型語(yǔ)言模型的方法，這些模型就像是萬(wàn)能的學(xué)者，能夠處理各種復(fù)雜的分類任務(wù)，甚至可以在沒(méi)有任何訓(xùn)練樣本的情況下進(jìn)行"零樣本學(xué)習(xí)"。然而，這些模型的問(wèn)題在于它們太過(guò)"博學(xué)"，處理簡(jiǎn)單分類時(shí)往往會(huì)產(chǎn)生不必要的復(fù)雜思考，導(dǎo)致速度緩慢且資源消耗巨大。就好比請(qǐng)一個(gè)諾貝爾獎(jiǎng)得主來(lái)幫你整理家里的書(shū)架——雖然他一定能做得很好，但這樣的安排既昂貴又低效。

第二類是交叉編碼器方法，這種方法將文本和每個(gè)可能的標(biāo)簽進(jìn)行一對(duì)一的匹配判斷。這就像是讓一個(gè)面試官逐一面試每個(gè)求職者，雖然每次面試都很準(zhǔn)確，但當(dāng)求職者數(shù)量很多時(shí)，整個(gè)過(guò)程就變得異常緩慢。特別是當(dāng)標(biāo)簽數(shù)量增加到幾十個(gè)甚至上百個(gè)時(shí)，這種方法的效率會(huì)急劇下降，因?yàn)樗仨殞⒚總€(gè)文本與每個(gè)標(biāo)簽都進(jìn)行一次配對(duì)判斷。

第三類是基于嵌入向量的方法，這種方法將文本和標(biāo)簽都轉(zhuǎn)換成數(shù)學(xué)向量，然后通過(guò)計(jì)算向量之間的相似度來(lái)進(jìn)行分類。這種方法的優(yōu)勢(shì)在于速度快、效率高，就像是用指紋比對(duì)的方式來(lái)識(shí)別身份。然而，這種方法在面對(duì)需要邏輯推理或理解復(fù)雜語(yǔ)義關(guān)系的任務(wù)時(shí)就顯得力不從心，因?yàn)楹?jiǎn)單的向量相似度計(jì)算往往無(wú)法捕捉到文本的深層含義。

GLiClass的出現(xiàn)正是為了解決這些現(xiàn)有方法的局限性。它采用了一種全新的"聯(lián)合編碼"策略，將文本內(nèi)容和所有可能的標(biāo)簽放在一個(gè)統(tǒng)一的框架內(nèi)進(jìn)行處理。這就像是讓一個(gè)經(jīng)驗(yàn)豐富的圖書(shū)管理員同時(shí)看到一本書(shū)的內(nèi)容和所有可能的分類標(biāo)簽，然后在充分理解書(shū)的內(nèi)容和各個(gè)標(biāo)簽含義的基礎(chǔ)上做出最合適的分類決策。這種方法既保持了對(duì)復(fù)雜語(yǔ)義關(guān)系的理解能力，又避免了重復(fù)計(jì)算的效率損失。

二、GLiClass的核心架構(gòu)設(shè)計(jì)

GLiClass的架構(gòu)設(shè)計(jì)可以用一個(gè)精心設(shè)計(jì)的文檔處理流水線來(lái)比喻。整個(gè)系統(tǒng)由四個(gè)關(guān)鍵環(huán)節(jié)組成，每個(gè)環(huán)節(jié)都有其獨(dú)特的功能和價(jià)值。

第一個(gè)環(huán)節(jié)是"輸入整合"，就像是將待分類的文檔和所有可能的分類標(biāo)簽放在同一張工作臺(tái)上。系統(tǒng)會(huì)在每個(gè)標(biāo)簽前面加上一個(gè)特殊的標(biāo)記符號(hào)"LABEL"，然后將這些標(biāo)簽與原始文本拼接在一起。這種設(shè)計(jì)的巧妙之處在于，它讓模型能夠同時(shí)"看到"文本內(nèi)容和所有候選標(biāo)簽，就好比讓一個(gè)分揀員在分揀郵件時(shí)，既能看到每封郵件的內(nèi)容，又能同時(shí)看到所有可能的分揀箱標(biāo)簽。

第二個(gè)環(huán)節(jié)是"上下文表示學(xué)習(xí)"，這是整個(gè)系統(tǒng)的核心所在。GLiClass使用了基于Transformer架構(gòu)的雙向編碼器，最主要采用的是DeBERTa v3模型作為骨干網(wǎng)絡(luò)。DeBERTa v3是一種先進(jìn)的語(yǔ)言理解模型，它采用了類似于ELECTRA的預(yù)訓(xùn)練方式，這種方式特別適合文本分類任務(wù)。研究團(tuán)隊(duì)也嘗試過(guò)使用ModernBERT作為骨干網(wǎng)絡(luò)，ModernBERT集成了包括Flash Attention在內(nèi)的多種現(xiàn)代架構(gòu)增強(qiáng)技術(shù)，并支持更長(zhǎng)的上下文窗口，但實(shí)驗(yàn)結(jié)果顯示DeBERTa依然表現(xiàn)更優(yōu)。

在這個(gè)環(huán)節(jié)中，系統(tǒng)能夠?qū)崿F(xiàn)三種重要的信息交互：標(biāo)簽與標(biāo)簽之間的交互，讓模型理解不同標(biāo)簽之間的關(guān)系和層次結(jié)構(gòu)；文本與標(biāo)簽之間的交互，讓文本內(nèi)容能夠影響標(biāo)簽的表示；標(biāo)簽與文本之間的交互，讓標(biāo)簽信息能夠指導(dǎo)文本的理解。這種全方位的信息交互就像是讓所有相關(guān)人員坐在一起開(kāi)會(huì)討論，每個(gè)人的觀點(diǎn)都能被其他人聽(tīng)到并影響最終決策，而不是讓他們各自獨(dú)立思考。

第三個(gè)環(huán)節(jié)是"表示池化"，系統(tǒng)需要從編碼器的輸出中提取出文本和標(biāo)簽的關(guān)鍵信息。GLiClass提供了三種不同的池化策略：首令牌池化、平均池化和注意力加權(quán)池化。首令牌池化就像是選擇每個(gè)句子的第一個(gè)詞來(lái)代表整個(gè)句子；平均池化則像是將一個(gè)段落中所有詞語(yǔ)的含義平均起來(lái)；注意力加權(quán)池化最為復(fù)雜，它會(huì)智能地判斷哪些詞語(yǔ)更重要，給予它們更高的權(quán)重，就像是讓一個(gè)經(jīng)驗(yàn)豐富的編輯在閱讀文章時(shí)自動(dòng)識(shí)別出關(guān)鍵信息。

第四個(gè)環(huán)節(jié)是"評(píng)分機(jī)制"，這是最終決策的關(guān)鍵步驟。系統(tǒng)會(huì)計(jì)算文本表示和每個(gè)標(biāo)簽表示之間的匹配度，主要有兩種計(jì)算方式：點(diǎn)積計(jì)算和神經(jīng)網(wǎng)絡(luò)評(píng)分器。點(diǎn)積計(jì)算就像是計(jì)算兩個(gè)向量的相似度，簡(jiǎn)單直接；神經(jīng)網(wǎng)絡(luò)評(píng)分器則更加復(fù)雜，它會(huì)使用一個(gè)小型的多層感知機(jī)來(lái)學(xué)習(xí)更復(fù)雜的匹配模式。這個(gè)評(píng)分機(jī)制最終會(huì)為每個(gè)可能的標(biāo)簽給出一個(gè)分?jǐn)?shù)，分?jǐn)?shù)越高表示該標(biāo)簽越適合當(dāng)前文本。

為了進(jìn)一步優(yōu)化信息流動(dòng)，GLiClass還引入了一個(gè)創(chuàng)新的"層級(jí)注意力重加權(quán)"機(jī)制。這個(gè)機(jī)制就像是給不同樓層的信息傳遞安裝了智能調(diào)節(jié)器，能夠動(dòng)態(tài)調(diào)整來(lái)自編碼器不同層級(jí)信息的重要性。具體來(lái)說(shuō)，系統(tǒng)會(huì)分析編碼器各層的輸出，然后使用一種類似于"擠壓-激勵(lì)"的機(jī)制來(lái)決定每一層信息應(yīng)該占多大權(quán)重。這種設(shè)計(jì)確保了模型能夠充分利用編碼器各層學(xué)到的不同抽象級(jí)別的特征。

三、GLiClass的多種架構(gòu)變體

GLiClass并非單一的模型，而是一個(gè)模型家族，包含了四種不同的架構(gòu)變體，每種變體都針對(duì)特定的應(yīng)用場(chǎng)景進(jìn)行了優(yōu)化，就像是為不同類型的工作配備了專門的工具。

第一種是"單一編碼器"架構(gòu)，這是GLiClass的主要版本。在這種架構(gòu)中，文本和標(biāo)簽被放在同一個(gè)編碼器中進(jìn)行聯(lián)合處理，就像是讓一個(gè)多面手同時(shí)處理所有相關(guān)信息。這種架構(gòu)的優(yōu)勢(shì)在于能夠充分捕捉文本和標(biāo)簽之間的相互關(guān)系，讓模型在理解文本的同時(shí)也能理解各個(gè)標(biāo)簽的含義，從而做出更準(zhǔn)確的分類決策。

第二種是"雙編碼器"架構(gòu)，采用了分離處理的策略。文本內(nèi)容由專門的文本編碼器處理，而標(biāo)簽則由獨(dú)立的標(biāo)簽編碼器處理，最后通過(guò)一個(gè)評(píng)分器將兩者的表示進(jìn)行組合。這種架構(gòu)就像是讓文本專家和標(biāo)簽專家分別工作，然后再由一個(gè)協(xié)調(diào)員將他們的意見(jiàn)綜合起來(lái)。雙編碼器架構(gòu)的優(yōu)勢(shì)在于處理速度更快，特別適合需要頻繁更換標(biāo)簽集合的應(yīng)用場(chǎng)景。

第三種是"融合雙編碼器"架構(gòu)，這是對(duì)雙編碼器的改進(jìn)版本。在這種架構(gòu)中，標(biāo)簽的編碼結(jié)果會(huì)在文本處理的早期階段就融入進(jìn)來(lái)，而不是等到最后才進(jìn)行組合。這就好比讓標(biāo)簽專家在文本專家開(kāi)始工作時(shí)就坐在旁邊提供建議，而不是等文本專家完全分析完畢后再發(fā)表意見(jiàn)。這種早期融合的方式能夠讓文本處理過(guò)程受到標(biāo)簽信息的指導(dǎo)，從而獲得更好的分類效果。

第四種是"編碼器-解碼器"架構(gòu)，這種架構(gòu)采用了更復(fù)雜的交叉注意力機(jī)制。文本首先由編碼器處理，然后標(biāo)簽序列通過(guò)解碼器處理，解碼器在處理過(guò)程中會(huì)持續(xù)關(guān)注編碼器的輸出。這種架構(gòu)就像是讓一個(gè)接收員（編碼器）負(fù)責(zé)理解輸入信息，然后讓一個(gè)決策員（解碼器）在充分了解輸入信息的基礎(chǔ)上進(jìn)行分類決策。這種架構(gòu)在某些復(fù)雜場(chǎng)景下能夠獲得更好的效果，但計(jì)算成本也相對(duì)較高。

研究團(tuán)隊(duì)通過(guò)大量實(shí)驗(yàn)發(fā)現(xiàn)，單一編碼器架構(gòu)在大多數(shù)情況下都能提供最佳的準(zhǔn)確性和效率平衡。這種架構(gòu)既能捕捉復(fù)雜的文本-標(biāo)簽關(guān)系，又能保持相對(duì)較高的處理速度，因此被選為GLiClass的主要推薦架構(gòu)。

四、訓(xùn)練數(shù)據(jù)的精心設(shè)計(jì)

GLiClass的訓(xùn)練過(guò)程就像是培養(yǎng)一個(gè)全能的文檔分類專家，需要讓它接觸各種不同類型的文本和分類任務(wù)。研究團(tuán)隊(duì)精心構(gòu)建了一個(gè)多層次的訓(xùn)練數(shù)據(jù)體系，確保模型能夠應(yīng)對(duì)現(xiàn)實(shí)世界中的各種挑戰(zhàn)。

預(yù)訓(xùn)練階段使用了一個(gè)包含120萬(wàn)個(gè)樣本的大規(guī)模通用數(shù)據(jù)集，涵蓋了文本分類、情感分析和自然語(yǔ)言推理等多種任務(wù)。這個(gè)階段就像是讓學(xué)生接受通識(shí)教育，建立對(duì)各種文本類型和分類任務(wù)的基本理解能力。數(shù)據(jù)集的多樣性確保了模型不會(huì)對(duì)特定類型的文本或標(biāo)簽產(chǎn)生偏見(jiàn)，而是能夠公平地處理各種不同的分類需求。

中期訓(xùn)練階段使用了預(yù)訓(xùn)練數(shù)據(jù)的一個(gè)代表性子集，主要目的是在大規(guī)模預(yù)訓(xùn)練和針對(duì)性后訓(xùn)練之間建立一個(gè)橋梁。這個(gè)階段就像是讓學(xué)生在完成通識(shí)教育后選擇專業(yè)方向前的過(guò)渡階段，幫助模型更好地適應(yīng)后續(xù)的專門化訓(xùn)練。

后訓(xùn)練階段分為兩個(gè)專門的數(shù)據(jù)流，每個(gè)數(shù)據(jù)流都針對(duì)模型的特定能力進(jìn)行強(qiáng)化。第一個(gè)是"邏輯推理數(shù)據(jù)流"，包含了來(lái)自tau/CommonsenseQA的邏輯推理數(shù)據(jù)集，以及2000個(gè)專門創(chuàng)建的合成樣本，涵蓋形式邏輯、序列演算和自然語(yǔ)言推理風(fēng)格的蘊(yùn)含推理任務(wù)。這個(gè)數(shù)據(jù)流的目的是增強(qiáng)模型的邏輯思維能力，讓它不僅能夠基于表面的詞匯匹配進(jìn)行分類，還能進(jìn)行更深層的邏輯推理。

第二個(gè)是"模式聚焦數(shù)據(jù)流"，這是一個(gè)極其巧妙的設(shè)計(jì)。研究團(tuán)隊(duì)發(fā)現(xiàn)模型在處理不同長(zhǎng)度的文本和不同數(shù)量的標(biāo)簽時(shí)可能出現(xiàn)性能不穩(wěn)定的問(wèn)題，因此專門創(chuàng)建了一個(gè)按照文本長(zhǎng)度分組的數(shù)據(jù)集。他們將文本按照詞匯數(shù)量分成了16個(gè)不同的桶，從最短的0-4個(gè)詞到最長(zhǎng)的1024個(gè)詞，每個(gè)桶都包含相同數(shù)量的樣本。短文本桶主要使用標(biāo)題類字段，中等長(zhǎng)度桶使用亞馬遜產(chǎn)品評(píng)論的內(nèi)容字段，長(zhǎng)文本桶則使用來(lái)自FineFineWeb的樣本。

更巧妙的是，研究團(tuán)隊(duì)使用GPT-4o為每個(gè)文本生成了50個(gè)正確標(biāo)簽和50個(gè)錯(cuò)誤標(biāo)簽，然后在最終的數(shù)據(jù)集中通過(guò)隨機(jī)系數(shù)來(lái)調(diào)整正負(fù)標(biāo)簽的比例，從而創(chuàng)造出不同標(biāo)簽密度的訓(xùn)練樣本。這種設(shè)計(jì)就像是讓模型練習(xí)處理各種"難度等級(jí)"的分類任務(wù)，從簡(jiǎn)單的二選一到復(fù)雜的多標(biāo)簽分類，確保模型在各種情況下都能保持穩(wěn)定的性能。

此外，訓(xùn)練數(shù)據(jù)還包含了來(lái)自MultiNLI數(shù)據(jù)集的經(jīng)典自然語(yǔ)言推理樣本，用于強(qiáng)化模型的基礎(chǔ)推理能力。整個(gè)訓(xùn)練數(shù)據(jù)的設(shè)計(jì)體現(xiàn)了研究團(tuán)隊(duì)對(duì)模型實(shí)際應(yīng)用場(chǎng)景的深入思考，不僅考慮了準(zhǔn)確性，還特別關(guān)注了模型在不同條件下的穩(wěn)定性和泛化能力。

五、創(chuàng)新的強(qiáng)化學(xué)習(xí)訓(xùn)練方法

GLiClass的訓(xùn)練過(guò)程采用了一個(gè)獨(dú)特的雙軌制方法，既包括傳統(tǒng)的監(jiān)督學(xué)習(xí)，也引入了改進(jìn)的強(qiáng)化學(xué)習(xí)技術(shù)。這種設(shè)計(jì)就像是既讓學(xué)生通過(guò)教科書(shū)學(xué)習(xí)理論知識(shí)，又讓他們通過(guò)實(shí)踐練習(xí)來(lái)提升實(shí)際操作能力。

傳統(tǒng)的監(jiān)督學(xué)習(xí)部分使用了焦點(diǎn)損失函數(shù)，這種損失函數(shù)的特點(diǎn)是能夠自動(dòng)調(diào)整對(duì)難樣本和易樣本的關(guān)注度。當(dāng)模型遇到容易分類的樣本時(shí)，焦點(diǎn)損失會(huì)給予較低的權(quán)重；當(dāng)遇到困難樣本時(shí)，則會(huì)給予更高的權(quán)重。這就像是讓一個(gè)教練把更多精力放在需要特別指導(dǎo)的學(xué)生身上，而不是平均分配注意力。

更有趣的是強(qiáng)化學(xué)習(xí)部分，研究團(tuán)隊(duì)將原本用于訓(xùn)練大型語(yǔ)言模型的近端策略優(yōu)化（PPO）算法巧妙地改造用于多標(biāo)簽文本分類任務(wù)。這是一個(gè)相當(dāng)創(chuàng)新的嘗試，因?yàn)镻PO算法原本是為序列生成任務(wù)設(shè)計(jì)的，而文本分類是一個(gè)完全不同類型的任務(wù)。

在GLiClass的PPO訓(xùn)練中，模型需要為每個(gè)可能的標(biāo)簽做出"選擇"或"不選擇"的決策，這些決策構(gòu)成了強(qiáng)化學(xué)習(xí)中的"動(dòng)作"。系統(tǒng)會(huì)根據(jù)模型的預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽的匹配程度給予獎(jiǎng)勵(lì)或懲罰，然后通過(guò)PPO算法來(lái)優(yōu)化模型的決策策略。這個(gè)過(guò)程就像是讓一個(gè)分揀員通過(guò)不斷試錯(cuò)來(lái)學(xué)習(xí)如何更準(zhǔn)確地分類文件，每次正確分類都會(huì)得到正面反饋，錯(cuò)誤分類則會(huì)得到負(fù)面反饋。

PPO訓(xùn)練的總體損失函數(shù)包含四個(gè)組成部分。第一部分是PPO損失，它通過(guò)比較當(dāng)前策略和歷史策略的差異來(lái)穩(wěn)定訓(xùn)練過(guò)程，確保模型不會(huì)因?yàn)槟骋淮蔚暮媒Y(jié)果或壞結(jié)果而發(fā)生過(guò)大的變化。第二部分是價(jià)值損失，它衡量模型對(duì)獎(jiǎng)勵(lì)預(yù)測(cè)的準(zhǔn)確性，就像是訓(xùn)練模型能夠正確評(píng)估自己的表現(xiàn)。第三部分是KL散度懲罰，用于防止模型偏離參考策略太遠(yuǎn)，保持訓(xùn)練的穩(wěn)定性。第四部分是熵獎(jiǎng)勵(lì)，鼓勵(lì)模型在預(yù)測(cè)時(shí)保持適當(dāng)?shù)牟淮_定性，避免過(guò)度自信。

特別值得注意的是，研究團(tuán)隊(duì)還為PPO訓(xùn)練引入了焦點(diǎn)損失和標(biāo)簽平滑技術(shù)的適配版本。焦點(diǎn)損失的適配讓模型在強(qiáng)化學(xué)習(xí)過(guò)程中也能自動(dòng)關(guān)注困難樣本，而標(biāo)簽平滑則通過(guò)在真實(shí)標(biāo)簽中引入少量噪聲來(lái)提升模型的泛化能力。這些改進(jìn)使得GLiClass的強(qiáng)化學(xué)習(xí)訓(xùn)練比傳統(tǒng)方法更加穩(wěn)定和有效。

整個(gè)訓(xùn)練框架還包含了精細(xì)的優(yōu)化器設(shè)置，編碼器層使用較小的學(xué)習(xí)率，而分類器層使用相對(duì)較大的學(xué)習(xí)率，這種差異化設(shè)置確保了預(yù)訓(xùn)練知識(shí)的保留和新任務(wù)適應(yīng)之間的平衡。同時(shí)，系統(tǒng)還具備了容錯(cuò)機(jī)制，能夠自動(dòng)處理訓(xùn)練過(guò)程中的異常情況，并定期保存檢查點(diǎn)以防止訓(xùn)練中斷造成的損失。

六、分階段訓(xùn)練策略的精妙設(shè)計(jì)

GLiClass的訓(xùn)練過(guò)程采用了一個(gè)三階段的漸進(jìn)式策略，每個(gè)階段都有其特定的目標(biāo)和方法，就像是一個(gè)精心設(shè)計(jì)的學(xué)習(xí)計(jì)劃，讓模型從基礎(chǔ)能力逐步發(fā)展到專門技能。

預(yù)訓(xùn)練階段的主要目標(biāo)是讓模型學(xué)會(huì)基本的分類模式和訓(xùn)練專門的分類標(biāo)記符。在這個(gè)階段，模型需要在120萬(wàn)樣本的大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練，學(xué)習(xí)處理各種類型的文本和分類任務(wù)。然而，研究團(tuán)隊(duì)在訓(xùn)練后期發(fā)現(xiàn)了兩個(gè)重要問(wèn)題：當(dāng)標(biāo)簽數(shù)量增加時(shí)，標(biāo)簽詞匯和標(biāo)簽標(biāo)記符之間的注意力會(huì)逐漸減弱；在極端的標(biāo)簽-文本比例情況下（標(biāo)簽很多但文本很短），文本表示的質(zhì)量會(huì)下降。這些發(fā)現(xiàn)為后續(xù)的改進(jìn)提供了重要指導(dǎo)。

中期訓(xùn)練階段起到了承上啟下的關(guān)鍵作用。在這個(gè)階段，模型使用強(qiáng)化學(xué)習(xí)訓(xùn)練器在預(yù)訓(xùn)練數(shù)據(jù)的一個(gè)子集上進(jìn)行精調(diào)，主要目標(biāo)是優(yōu)化決策邊界和改善標(biāo)簽-文本對(duì)齊。這個(gè)階段就像是讓學(xué)生在正式考試前進(jìn)行模擬測(cè)試，既能檢驗(yàn)之前學(xué)習(xí)的效果，又能發(fā)現(xiàn)需要進(jìn)一步改進(jìn)的地方。實(shí)驗(yàn)結(jié)果表明，這個(gè)中期訓(xùn)練階段在各種數(shù)據(jù)集上都能帶來(lái)宏觀F1分?jǐn)?shù)的穩(wěn)定提升。

后訓(xùn)練階段是整個(gè)訓(xùn)練過(guò)程的精華所在，采用了低秩適配（LoRA）技術(shù)來(lái)在保持已有知識(shí)的同時(shí)學(xué)習(xí)新模式。LoRA技術(shù)就像是給模型安裝了可調(diào)節(jié)的"插件"，能夠在不破壞原有能力的情況下增加新功能。這個(gè)階段結(jié)合了邏輯推理數(shù)據(jù)流和模式聚焦數(shù)據(jù)流，形成了最終的訓(xùn)練配方。

研究團(tuán)隊(duì)發(fā)現(xiàn)，在形式邏輯任務(wù)和經(jīng)典自然語(yǔ)言推理上的訓(xùn)練能夠顯著提升模型的零樣本文本分類能力。這個(gè)發(fā)現(xiàn)相當(dāng)有趣，因?yàn)樗砻鬟壿嬐评砟芰臀谋痉诸惸芰χg存在著深層的聯(lián)系。通過(guò)讓模型學(xué)習(xí)處理"如果A那么B"這樣的邏輯關(guān)系，模型在判斷文本屬于某個(gè)類別時(shí)也能進(jìn)行更準(zhǔn)確的推理。

不同模型變體在LoRA配置上有所差異，這些配置是通過(guò)大量實(shí)驗(yàn)優(yōu)化得出的。GLiClass-edge使用了最高的LoRA秩（1536），這樣的高秩配置讓較小的模型在微調(diào)時(shí)更加穩(wěn)定。GLiClass-large和base版本使用了相對(duì)較低的LoRA秩（384），因?yàn)檩^大的模型本身已經(jīng)具備了足夠的表達(dá)能力?，F(xiàn)代BERT版本的配置則介于兩者之間。所有模型都使用了0.7的焦點(diǎn)損失α值，這個(gè)參數(shù)經(jīng)過(guò)精心調(diào)試，能夠在關(guān)注困難樣本和保持整體性能之間取得最佳平衡。

值得注意的是，研究團(tuán)隊(duì)發(fā)現(xiàn)邊緣版本（edge variant）在使用高秩LoRA適配器時(shí)訓(xùn)練更加穩(wěn)定。這個(gè)觀察結(jié)果揭示了一個(gè)重要規(guī)律：較小的模型在微調(diào)時(shí)可能需要更多的參數(shù)空間來(lái)適應(yīng)新任務(wù)，而不是簡(jiǎn)單地減少參數(shù)數(shù)量。這種"過(guò)參數(shù)化"的方法雖然看似違反直覺(jué)，但實(shí)際上為小模型提供了更大的學(xué)習(xí)靈活性。

整個(gè)分階段訓(xùn)練策略的設(shè)計(jì)體現(xiàn)了研究團(tuán)隊(duì)對(duì)模型學(xué)習(xí)過(guò)程的深入理解。每個(gè)階段都不是孤立的，而是相互銜接、相互支撐的。預(yù)訓(xùn)練建立了基礎(chǔ)能力，中期訓(xùn)練優(yōu)化了決策機(jī)制，后訓(xùn)練則針對(duì)性地解決了特定問(wèn)題。這種循序漸進(jìn)的方法確保了GLiClass在獲得強(qiáng)大能力的同時(shí)，也保持了良好的穩(wěn)定性和泛化性。

七、全面的性能評(píng)估與驚人結(jié)果

GLiClass的性能評(píng)估采用了一個(gè)全面而嚴(yán)格的測(cè)試體系，涵蓋了14個(gè)不同的標(biāo)準(zhǔn)文本分類數(shù)據(jù)集，包括爛番茄電影評(píng)論、消費(fèi)者評(píng)論、IMDB影評(píng)等眾多經(jīng)典測(cè)試集。這些測(cè)試就像是讓一個(gè)新員工在各種不同的工作環(huán)境中證明自己的能力。

測(cè)試結(jié)果令人印象深刻。在模型家族內(nèi)部，性能確實(shí)隨著模型規(guī)模的增加而提升。GLiClass-large達(dá)到了最高的平均F1分?jǐn)?shù)0.7193，其次是base版本的0.6764，modern-large版本的0.6197，modern-base版本的0.5577，最小的edge版本得分0.4900。這種規(guī)律性的性能提升證明了架構(gòu)設(shè)計(jì)的合理性和訓(xùn)練方法的有效性。

更重要的是與現(xiàn)有方法的比較結(jié)果。GLiClass-large不僅超越了最強(qiáng)的交叉編碼器基準(zhǔn)模型（deberta-v3-large-zeroshot-v2.0的0.6821），而且領(lǐng)先幅度達(dá)到了0.037個(gè)絕對(duì)百分點(diǎn)，相當(dāng)于5.5%的相對(duì)提升。即使是中等規(guī)模的GLiClass-base也能在性能上與強(qiáng)基準(zhǔn)模型持平，僅相差0.006個(gè)絕對(duì)百分點(diǎn)。GLiClass-modern-large的表現(xiàn)也與roberta-large-zeroshot-v2.0-c相當(dāng)。

在處理速度方面，GLiClass展現(xiàn)出了巨大的優(yōu)勢(shì)。不同版本的模型在NVIDIA A6000 GPU上的平均推理速度從edge版本的97.29樣本每秒到large版本的25.22樣本每秒，都明顯超過(guò)了交叉編碼器的處理速度。這種速度優(yōu)勢(shì)在標(biāo)簽數(shù)量增加時(shí)更加明顯。

特別值得關(guān)注的是GLiClass在標(biāo)簽數(shù)量擴(kuò)展時(shí)的表現(xiàn)。當(dāng)標(biāo)簽數(shù)量從1個(gè)增加到128個(gè)時(shí)，GLiClass-edge的吞吐量?jī)H下降20%（從103.81降到82.64樣本每秒），GLiClass-base下降7%，GLiClass-large下降7.6%。相比之下，交叉編碼器的性能下降極為嚴(yán)重，deberta-v3-base-zeroshot-v2.0從24.55樣本每秒暴跌到0.47樣本每秒，性能下降了約52倍。

這種差異的根本原因在于處理機(jī)制的不同。GLiClass能夠在單次前向傳遞中處理所有標(biāo)簽，而交叉編碼器必須為每個(gè)文本-標(biāo)簽對(duì)分別進(jìn)行處理。當(dāng)標(biāo)簽數(shù)量增加時(shí)，交叉編碼器的計(jì)算負(fù)擔(dān)呈線性增長(zhǎng)，而GLiClass的增長(zhǎng)則要緩慢得多。

在少樣本學(xué)習(xí)能力方面，GLiClass同樣表現(xiàn)出色。僅使用每個(gè)標(biāo)簽8個(gè)樣本進(jìn)行微調(diào)，所有版本都能獲得顯著的性能提升。特別有趣的是，較小的模型變體反而獲得了更大的相對(duì)提升：edge版本提升了50.0%，modern-base版本提升了47.1%，而larger版本的提升相對(duì)較小，為17.1%。這個(gè)結(jié)果表明，較小的模型在少量數(shù)據(jù)的指導(dǎo)下能夠更快地適應(yīng)新任務(wù)，這對(duì)于資源受限的應(yīng)用場(chǎng)景具有重要意義。

在具體數(shù)據(jù)集上的表現(xiàn)也展現(xiàn)了不同模型變體的特點(diǎn)。在一些數(shù)據(jù)集上，較小的模型偶爾能夠匹配甚至超越較大模型的性能，比如在ag_news數(shù)據(jù)集上，base版本（0.7279）略優(yōu)于large版本（0.7181）。這種現(xiàn)象表明不同模型變體可能具有互補(bǔ)的歸納偏置，在特定類型的任務(wù)上有各自的優(yōu)勢(shì)。

綜合來(lái)看，GLiClass在準(zhǔn)確性和效率之間實(shí)現(xiàn)了一個(gè)新的平衡點(diǎn)。在保持與現(xiàn)有最佳方法相當(dāng)或更優(yōu)性能的同時(shí)，它提供了2.3倍到16倍的速度提升，這使得它在實(shí)際應(yīng)用中具有顯著的優(yōu)勢(shì)，特別是在需要處理大量數(shù)據(jù)或大規(guī)模標(biāo)簽集的場(chǎng)景中。

八、深入探討GLiClass的優(yōu)勢(shì)與局限

GLiClass的成功并非偶然，而是多個(gè)設(shè)計(jì)決策共同作用的結(jié)果。其最大的優(yōu)勢(shì)在于找到了一個(gè)前所未有的平衡點(diǎn)，既保持了深度理解的能力，又獲得了高效處理的速度。

從處理機(jī)制的角度看，GLiClass的聯(lián)合編碼策略具有天然的優(yōu)勢(shì)。傳統(tǒng)的交叉編碼器雖然在單個(gè)文本-標(biāo)簽對(duì)上能夠進(jìn)行深入分析，但它們?nèi)狈θ忠曇?，無(wú)法感知其他標(biāo)簽的存在。這就像是讓一個(gè)評(píng)委在完全不知道其他選手情況下評(píng)價(jià)一個(gè)參賽者，雖然評(píng)價(jià)本身可能很準(zhǔn)確，但缺乏相對(duì)比較的基礎(chǔ)。GLiClass則像是讓評(píng)委同時(shí)看到所有參賽者后再做決策，這種全局信息的可得性往往能產(chǎn)生更準(zhǔn)確和一致的判斷。

在計(jì)算效率方面，GLiClass的單次處理機(jī)制帶來(lái)了顯著的優(yōu)勢(shì)。無(wú)論標(biāo)簽數(shù)量是10個(gè)還是100個(gè)，GLiClass都只需要進(jìn)行一次前向計(jì)算，而交叉編碼器則需要進(jìn)行相應(yīng)數(shù)量的獨(dú)立計(jì)算。這種差異在大規(guī)模應(yīng)用中會(huì)產(chǎn)生巨大的成本差異?？紤]一個(gè)每天需要處理100萬(wàn)條文本、每條文本有50個(gè)候選標(biāo)簽的應(yīng)用場(chǎng)景，GLiClass只需要100萬(wàn)次計(jì)算，而交叉編碼器需要5000萬(wàn)次計(jì)算。

GLiClass的少樣本學(xué)習(xí)能力也值得特別關(guān)注。研究結(jié)果顯示，較小的模型在少樣本場(chǎng)景下反而能獲得更大的相對(duì)提升，這一發(fā)現(xiàn)具有重要的實(shí)用價(jià)值。在實(shí)際應(yīng)用中，新的分類任務(wù)往往只有少量標(biāo)注數(shù)據(jù)可用，而GLiClass-edge這樣的輕量級(jí)模型不僅部署成本低，還能在少量數(shù)據(jù)下快速適應(yīng)新任務(wù)，這使得它特別適合中小企業(yè)或資源有限的研究項(xiàng)目。

然而，GLiClass也存在一些局限性。研究團(tuán)隊(duì)坦誠(chéng)地指出了幾個(gè)主要問(wèn)題。首先是在極大標(biāo)簽集上的性能退化。當(dāng)標(biāo)簽數(shù)量超過(guò)一定閾值（比如1000個(gè)以上）時(shí)，模型的效率和準(zhǔn)確性都會(huì)下降。這主要是因?yàn)楫?dāng)前的位置編碼和注意力機(jī)制在處理超長(zhǎng)序列時(shí)存在固有限制。

其次是在標(biāo)簽密度極高的場(chǎng)景下的表現(xiàn)不夠理想。當(dāng)一個(gè)短文本需要匹配大量標(biāo)簽時(shí)，文本表示的質(zhì)量會(huì)受到影響。這就像是在一個(gè)嘈雜的會(huì)議室里，如果有太多人同時(shí)說(shuō)話，關(guān)鍵信息可能會(huì)被淹沒(méi)。banking77數(shù)據(jù)集上的相對(duì)較低表現(xiàn)就體現(xiàn)了這個(gè)問(wèn)題。

再者是跨數(shù)據(jù)集的校準(zhǔn)一致性問(wèn)題。雖然GLiClass在大多數(shù)數(shù)據(jù)集上都表現(xiàn)良好，但在不同數(shù)據(jù)集之間的性能穩(wěn)定性還有提升空間。這種變異性可能源于不同數(shù)據(jù)集的標(biāo)簽分布、文本長(zhǎng)度分布、語(yǔ)言風(fēng)格等差異。

從技術(shù)層面分析，這些局限性主要來(lái)源于當(dāng)前Transformer架構(gòu)的固有限制。位置編碼機(jī)制在處理超長(zhǎng)序列時(shí)會(huì)出現(xiàn)信息混淆，注意力機(jī)制在面對(duì)大量標(biāo)簽時(shí)難以有效聚焦關(guān)鍵信息。研究團(tuán)隊(duì)認(rèn)為這些問(wèn)題的解決需要在位置編碼和注意力機(jī)制層面進(jìn)行根本性創(chuàng)新。

盡管存在這些局限性，GLiClass在絕大多數(shù)實(shí)際應(yīng)用場(chǎng)景中都能提供令人滿意的性能。特別是在標(biāo)簽數(shù)量適中（幾十個(gè)到一兩百個(gè)）、文本長(zhǎng)度合理（幾百到一千詞）的常見(jiàn)場(chǎng)景下，GLiClass的優(yōu)勢(shì)非常明顯。這使得它在當(dāng)前的技術(shù)環(huán)境下具有很高的實(shí)用價(jià)值。

GLiClass的另一個(gè)重要優(yōu)勢(shì)是其靈活的部署選擇。不同規(guī)模的模型變體使得用戶可以根據(jù)具體需求在準(zhǔn)確性和效率之間進(jìn)行權(quán)衡。對(duì)于質(zhì)量要求極高的應(yīng)用可以選擇large版本，對(duì)于平衡型應(yīng)用可以選擇base版本，對(duì)于高吞吐量應(yīng)用可以選擇edge版本。這種靈活性在實(shí)際部署中非常有價(jià)值。

九、GLiClass與其他方法的全面比較

為了更好地理解GLiClass的定位和價(jià)值，研究團(tuán)隊(duì)進(jìn)行了一個(gè)全面的橫向比較，將GLiClass與大型語(yǔ)言模型、交叉編碼器和基于嵌入的方法進(jìn)行了詳細(xì)對(duì)比。這種比較就像是對(duì)不同類型的交通工具進(jìn)行全面評(píng)估，考慮速度、燃油效率、載客量、舒適度等多個(gè)維度。

在標(biāo)簽數(shù)量擴(kuò)展性方面，各種方法表現(xiàn)出了截然不同的特征。GLiClass展現(xiàn)出了非線性的溫和下降趨勢(shì)，當(dāng)標(biāo)簽數(shù)量從1增加到128時(shí)，吞吐量?jī)H下降7-20%，這得益于其單次處理的設(shè)計(jì)。大型語(yǔ)言模型的表現(xiàn)適中，雖然提示詞長(zhǎng)度會(huì)隨標(biāo)簽數(shù)量增加，但生成時(shí)間相對(duì)恒定，除非標(biāo)簽集合變得極其龐大。交叉編碼器的表現(xiàn)最差，吞吐量隨標(biāo)簽數(shù)量線性下降，在測(cè)試中出現(xiàn)了高達(dá)50倍的性能衰減。基于嵌入的方法表現(xiàn)最優(yōu)，保持了常數(shù)時(shí)間的文本編碼成本，相似度計(jì)算的成本增長(zhǎng)也很緩慢。

在處理大量標(biāo)簽時(shí)的性能穩(wěn)定性方面，不同方法的表現(xiàn)也各有特色。GLiClass在適中規(guī)模的標(biāo)簽集上表現(xiàn)穩(wěn)定，但在極大標(biāo)簽集（如1000+標(biāo)簽）時(shí)需要采用截?cái)嗷蚍峙幚聿呗浴４笮驼Z(yǔ)言模型受到上下文窗口大小的限制，通常支持8K到128K的tokens，需要通過(guò)提示工程來(lái)處理大標(biāo)簽集。交叉編碼器在準(zhǔn)確性上保持穩(wěn)定，因?yàn)槊總€(gè)文本-標(biāo)簽對(duì)都得到獨(dú)立處理，但推理時(shí)間會(huì)隨標(biāo)簽數(shù)量線性增長(zhǎng)?；谇度氲姆椒ㄔ谶@方面表現(xiàn)最好，既保持高準(zhǔn)確性又維持計(jì)算效率。

計(jì)算效率的比較結(jié)果最為鮮明。GLiClass通過(guò)單次前向傳遞處理多標(biāo)簽任務(wù)，在A6000 GPU上達(dá)到了25-97樣本每秒的處理速度，可以說(shuō)是為生產(chǎn)環(huán)境優(yōu)化的。大型語(yǔ)言模型的自回歸生成過(guò)程計(jì)算密集，推理延遲較高，不太適合大規(guī)模實(shí)時(shí)應(yīng)用。交叉編碼器雖然單對(duì)處理效率尚可，但隨標(biāo)簽數(shù)量擴(kuò)展性能急劇下降，限制了實(shí)際應(yīng)用?；谇度氲姆椒ㄔ谶@方面最為出色，快速的編碼和向量操作使其成為高吞吐量場(chǎng)景的首選。

零樣本學(xué)習(xí)能力的比較揭示了各方法的不同優(yōu)勢(shì)。GLiClass在這方面表現(xiàn)強(qiáng)勁，設(shè)計(jì)上就考慮了靈活性，在基準(zhǔn)測(cè)試中平均F1分?jǐn)?shù)達(dá)到0.49-0.72，超越了交叉編碼器基準(zhǔn)。大型語(yǔ)言模型雖然功能強(qiáng)大且多樣，但在指令遵循的一致性上存在問(wèn)題。交叉編碼器適合自然語(yǔ)言推理風(fēng)格的分類，但由于缺乏跨標(biāo)簽信息交互，在復(fù)雜場(chǎng)景下受到限制?；谇度氲姆椒ㄔ谡Z(yǔ)義匹配上有效，但在需要邏輯約束的場(chǎng)景下較弱。

少樣本學(xué)習(xí)能力的測(cè)試結(jié)果特別有趣。GLiClass展現(xiàn)出了優(yōu)異的表現(xiàn)，僅用每標(biāo)簽8個(gè)樣本就能獲得顯著提升，較小變體的相對(duì)增益尤其明顯，提升幅度達(dá)到17-50%。大型語(yǔ)言模型雖然具備上下文學(xué)習(xí)能力，但需要仔細(xì)設(shè)計(jì)提示詞。交叉編碼器可以進(jìn)行微調(diào)，但沒(méi)有專門為少樣本學(xué)習(xí)優(yōu)化?；谇度氲姆椒ㄍㄟ^(guò)SetFit等技術(shù)也能實(shí)現(xiàn)高效的少樣本學(xué)習(xí)，但可能無(wú)法捕獲復(fù)雜模式。

在處理復(fù)雜邏輯和語(yǔ)義約束方面，各方法的能力差異明顯。GLiClass通過(guò)聯(lián)合文本-標(biāo)簽交互能夠捕獲關(guān)系、層次和依賴性，通過(guò)邏輯/自然語(yǔ)言推理后訓(xùn)練得到了增強(qiáng)。大型語(yǔ)言模型具備復(fù)雜推理能力，但可能需要大型模型才能發(fā)揮最佳效果。交叉編碼器的成對(duì)處理機(jī)制錯(cuò)過(guò)了標(biāo)簽間依賴性，影響復(fù)雜場(chǎng)景下的表現(xiàn)?；谇度氲姆椒ㄖ饕蕾囌Z(yǔ)義相似度，在邏輯約束方面能力有限。

綜合準(zhǔn)確性和效率權(quán)衡的評(píng)估顯示，GLiClass實(shí)現(xiàn)了卓越的平衡，在保持高準(zhǔn)確性（比交叉編碼器高約5.5%）的同時(shí)提供了類似嵌入方法的效率和更好的可擴(kuò)展性。大型語(yǔ)言模型雖然多功能但效率低下，高準(zhǔn)確性潛力被延遲和不一致性所抵消。交叉編碼器準(zhǔn)確性良好但可擴(kuò)展性差，限制了大標(biāo)簽集的實(shí)際應(yīng)用?；谇度氲姆椒ㄐ矢咔一€準(zhǔn)確性好，但在復(fù)雜任務(wù)上不如其他方法。

這種全面比較清楚地表明，GLiClass在當(dāng)前的技術(shù)生態(tài)中占據(jù)了一個(gè)獨(dú)特且有價(jià)值的位置，它成功地融合了不同方法的優(yōu)點(diǎn)，同時(shí)避免了各自的主要缺點(diǎn)，為實(shí)際應(yīng)用提供了一個(gè)理想的解決方案。

說(shuō)到底，GLiClass的成功在于它沒(méi)有試圖成為一個(gè)萬(wàn)能的解決方案，而是專注于解決文本分類這一特定任務(wù)中的核心挑戰(zhàn)。通過(guò)精心的架構(gòu)設(shè)計(jì)、創(chuàng)新的訓(xùn)練方法和全面的優(yōu)化，它為這個(gè)基礎(chǔ)但重要的人工智能任務(wù)提供了一個(gè)既實(shí)用又先進(jìn)的解決方案。

雖然GLiClass還不是完美的，特別是在處理極大標(biāo)簽集和極端標(biāo)簽-文本比例時(shí)仍有改進(jìn)空間，但它已經(jīng)為文本分類領(lǐng)域帶來(lái)了顯著的進(jìn)步。更重要的是，它的開(kāi)源性質(zhì)意味著全世界的研究者和開(kāi)發(fā)者都能夠使用、改進(jìn)和擴(kuò)展這項(xiàng)技術(shù)，這將進(jìn)一步推動(dòng)整個(gè)領(lǐng)域的發(fā)展。

對(duì)于普通用戶而言，GLiClass的出現(xiàn)意味著未來(lái)的文本分類應(yīng)用將變得更快、更準(zhǔn)確、更智能。無(wú)論是郵件分類、新聞分類、客戶服務(wù)還是內(nèi)容審核，GLiClass都有潛力顯著改善我們的數(shù)字生活體驗(yàn)。而對(duì)于開(kāi)發(fā)者和研究者來(lái)說(shuō)，GLiClass不僅提供了一個(gè)強(qiáng)大的工具，更重要的是展示了一種在準(zhǔn)確性和效率之間找到最佳平衡的研究思路，這種思路對(duì)于其他人工智能任務(wù)的發(fā)展也具有重要的啟發(fā)意義。

Q&A

Q1：GLiClass相比傳統(tǒng)的文本分類方法有什么優(yōu)勢(shì)？

A：GLiClass的最大優(yōu)勢(shì)是在保持高準(zhǔn)確性的同時(shí)大幅提升了處理效率。它可以在單次計(jì)算中處理所有候選標(biāo)簽，而不需要像傳統(tǒng)交叉編碼器那樣對(duì)每個(gè)文本-標(biāo)簽對(duì)分別處理。當(dāng)標(biāo)簽數(shù)量從1增加到128時(shí)，GLiClass的處理速度僅下降7-20%，而傳統(tǒng)交叉編碼器會(huì)下降50倍。同時(shí)，GLiClass在準(zhǔn)確性上還超越了強(qiáng)基準(zhǔn)模型約5.5%。

Q2：GLiClass適合什么樣的應(yīng)用場(chǎng)景？

A：GLiClass特別適合需要處理大量文本和多個(gè)標(biāo)簽的應(yīng)用場(chǎng)景，比如郵件自動(dòng)分類、新聞內(nèi)容分類、客戶服務(wù)工單分類、社交媒體內(nèi)容審核等。它的不同版本可以根據(jù)需求選擇：large版本適合對(duì)準(zhǔn)確性要求極高的場(chǎng)景，base版本適合平衡型應(yīng)用，edge版本適合需要高吞吐量的實(shí)時(shí)處理場(chǎng)景。

Q3：普通開(kāi)發(fā)者如何使用GLiClass？

A：GLiClass已經(jīng)開(kāi)源并提供了便捷的使用方式。開(kāi)發(fā)者可以通過(guò)GLiClass Python庫(kù)（https://github.com/Knowledgator/GLiClass）來(lái)使用，預(yù)訓(xùn)練的模型可以從Hugging Face模型庫(kù)下載。GLiClass支持零樣本分類（無(wú)需訓(xùn)練即可使用）和少樣本學(xué)習(xí)（僅需少量樣本即可適應(yīng)新任務(wù)），使用門檻相對(duì)較低。