在人工智能領(lǐng)域，近期大型語言模型（LLMs）的發(fā)展取得了令人矚目的進(jìn)展。由MediaTek Research（聯(lián)發(fā)科技研究院）的研究團(tuán)隊(duì)Chan-Jan Hsu、Davide Buffelli、Jamie McGowan、Feng-Ting Liao、Yi-Chang Chen、Sattar Vakili和Da-shan Shiu共同完成的這項(xiàng)研究，于2025年5月發(fā)表在arXiv（arXiv:2505.11107v1）預(yù)印本平臺(tái)上，目前正在接受同行評(píng)審。這項(xiàng)研究提出了一種名為"Group Think"的創(chuàng)新方法，旨在提高大型語言模型的推理能力和效率。

想象一下，你和幾個(gè)朋友一起解決一個(gè)復(fù)雜的數(shù)學(xué)問題。每個(gè)人都可以看到其他人正在寫的過程，并且可以隨時(shí)調(diào)整自己的思路來避免重復(fù)別人已經(jīng)做過的計(jì)算，或者接續(xù)別人的思路繼續(xù)推進(jìn)。這正是Group Think方法的核心理念。

傳統(tǒng)上，當(dāng)多個(gè)AI智能體（或稱為"思考者"）合作解決問題時(shí)，它們通常采用輪流發(fā)言的方式，一個(gè)智能體完成后，另一個(gè)才能開始，這種方式雖然能提高推理質(zhì)量，卻犧牲了速度。但在現(xiàn)實(shí)生活中，人類團(tuán)隊(duì)協(xié)作時(shí)往往是并行工作的，每個(gè)人都能看到其他人的工作進(jìn)度，并據(jù)此動(dòng)態(tài)調(diào)整自己的思路。

MediaTek的研究團(tuán)隊(duì)提出的Group Think正是讓一個(gè)大型語言模型同時(shí)扮演多個(gè)并發(fā)的推理智能體，每個(gè)"思考者"都能在標(biāo)記（token）級(jí)別實(shí)時(shí)看到其他思考者的部分生成內(nèi)容，并據(jù)此調(diào)整自己的推理軌跡。比如，一個(gè)推理線程可能在察覺到另一個(gè)線程更適合繼續(xù)某個(gè)思路時(shí)，在句子中途就改變自己的生成方向。這種精細(xì)的、標(biāo)記級(jí)別的協(xié)作使Group Think能夠減少冗余推理，提高質(zhì)量，同時(shí)顯著降低延遲。

讓我們深入了解這項(xiàng)創(chuàng)新研究的細(xì)節(jié)和意義。

一、為什么我們需要Group Think？

現(xiàn)代的大型語言模型（如OpenAI的GPT模型、DeepSeek的R1以及Google的Gemini等）已經(jīng)展示出了通過自我生成的思維鏈（Chain-of-Thought，簡(jiǎn)稱CoT）進(jìn)行推理的能力。思維鏈簡(jiǎn)單來說就是讓AI在給出最終答案前，先寫出中間的推理過程，就像學(xué)生解題時(shí)會(huì)先列出解題步驟。研究表明，這種方法能顯著提高模型的推理準(zhǔn)確性。

進(jìn)一步的研究發(fā)現(xiàn)，如果讓多個(gè)AI智能體協(xié)作，共同解決問題，他們的集體推理質(zhì)量往往會(huì)超過單個(gè)智能體。就像在現(xiàn)實(shí)世界中，幾個(gè)人一起頭腦風(fēng)暴往往比一個(gè)人思考更有創(chuàng)意和效率。

然而，傳統(tǒng)的多智能體協(xié)作系統(tǒng)通常采用輪流發(fā)言的方式：第一個(gè)智能體完成推理后，第二個(gè)才能開始，依此類推。這就像一個(gè)會(huì)議，每個(gè)人必須等前一個(gè)人講完才能發(fā)言。這種方式雖然能夠提高問題解決的質(zhì)量，但也大大增加了處理時(shí)間，造成了高延遲。

想象一下，如果你正在組織一個(gè)會(huì)議討論復(fù)雜問題，是選擇讓10個(gè)人輪流發(fā)言每人講10分鐘（總共需要100分鐘），還是讓這10個(gè)人同時(shí)在10個(gè)小組討論10分鐘后匯總（只需10分鐘）？后者顯然更高效，但前提是這些小組之間能夠?qū)崟r(shí)溝通，避免重復(fù)工作。這正是Group Think想要實(shí)現(xiàn)的效果。

而且，在實(shí)際應(yīng)用中，特別是在邊緣設(shè)備（如手機(jī)、平板等）上運(yùn)行語言模型時(shí)，通常會(huì)面臨一個(gè)資源利用不充分的問題。由于通常只處理一次一個(gè)查詢（批處理大小為1），導(dǎo)致設(shè)備上的GPU計(jì)算能力沒有被充分利用。Group Think的并發(fā)性質(zhì)允許更有效地利用這些閑置計(jì)算資源，使其特別適合邊緣推理場(chǎng)景。

二、Group Think如何工作？

要理解Group Think，我們可以把它想象成一個(gè)"思維小組"，其中多個(gè)思考者（由同一個(gè)語言模型扮演）并行工作，每個(gè)思考者都能看到其他人正在寫的內(nèi)容，并據(jù)此調(diào)整自己的思路。

### 傳統(tǒng)思維鏈與Group Think的對(duì)比

在傳統(tǒng)的單一思維鏈方法中，語言模型接收一個(gè)輸入問題I，然后生成一系列中間推理步驟X，最后產(chǎn)生答案Y。這就像一個(gè)學(xué)生獨(dú)自解題：先列出解題步驟，然后得出答案。

而在Group Think中，多個(gè)思考者（或稱為"智能體"）并行工作，每個(gè)思考者都能看到其他思考者的部分生成內(nèi)容。具體來說，當(dāng)?shù)趎個(gè)思考者要生成第k+1個(gè)詞時(shí)，它會(huì)考慮問題和所有思考者目前已經(jīng)生成的內(nèi)容。這就像一群學(xué)生一起解題，每個(gè)人都可以看到其他人寫下的步驟，并據(jù)此調(diào)整自己的思路。

在技術(shù)層面，Group Think通過在推理過程中引入跨智能體的注意力機(jī)制來實(shí)現(xiàn)。每個(gè)標(biāo)記（token）不僅關(guān)注自己線程內(nèi)的前面標(biāo)記，還關(guān)注其他所有線程中的標(biāo)記。這樣，思考者們就能在標(biāo)記級(jí)別相互適應(yīng)，形成一種精細(xì)的協(xié)作模式。

### 高效實(shí)現(xiàn)方案

研究團(tuán)隊(duì)提出了兩種實(shí)現(xiàn)Group Think的方法：

第一種方法針對(duì)本地推理場(chǎng)景（如在個(gè)人設(shè)備上運(yùn)行語言模型）。在這種情況下，Group Think通過創(chuàng)建人工批處理來提高資源利用率。對(duì)于一個(gè)查詢，N個(gè)智能體并行工作，形成有效的批量大小為N，充分利用了原本可能閑置的計(jì)算資源。每個(gè)智能體被分配一個(gè)標(biāo)記預(yù)算K，并且可以訪問其他智能體生成的標(biāo)記，從而實(shí)現(xiàn)協(xié)作。

第二種方法針對(duì)數(shù)據(jù)中心場(chǎng)景，通過在生成過程中進(jìn)行標(biāo)記級(jí)別的交錯(cuò)來實(shí)現(xiàn)Group Think。每個(gè)智能體被分配一個(gè)標(biāo)記索引槽，每個(gè)生成步驟為每個(gè)智能體填充一個(gè)標(biāo)記，從而構(gòu)建一個(gè)交錯(cuò)的注意力緩存。這樣，每個(gè)新標(biāo)記都可以關(guān)注所有之前生成的標(biāo)記（包括來自所有智能體的標(biāo)記），無需任何架構(gòu)修改即可實(shí)現(xiàn)Group Think的好處。

這種實(shí)現(xiàn)方式的一個(gè)關(guān)鍵優(yōu)勢(shì)是，它允許在同一批處理中混合處理標(biāo)準(zhǔn)請(qǐng)求和Group Think請(qǐng)求，極大地提高了部署的靈活性。

三、Group Think的實(shí)驗(yàn)評(píng)估與結(jié)果

研究團(tuán)隊(duì)選擇了三類具有代表性的問題來評(píng)估Group Think的表現(xiàn)：枚舉問題、分治問題和編程問題。這些問題類別被精心選擇，以展示Group Think在不同場(chǎng)景下可能展現(xiàn)的行為和優(yōu)勢(shì)。

對(duì)于每種問題類型，研究人員評(píng)估了性能-延遲權(quán)衡，通過測(cè)量在不同的每思考者生成長(zhǎng)度下解決方案的完成覆蓋率?？紤]到合理的硬件和軟件實(shí)現(xiàn)，實(shí)際延遲應(yīng)該與多個(gè)智能體中最長(zhǎng)的生成長(zhǎng)度成正比。因此，研究團(tuán)隊(duì)采用每思考者的生成長(zhǎng)度來代表延遲。

值得注意的是，實(shí)驗(yàn)中使用的是現(xiàn)成的、經(jīng)過指令調(diào)整的語言模型，如Llama-3.1 8B Instruct和Llama-3.3-70B-Instruct。由于這些模型并未專門為Group Think進(jìn)行訓(xùn)練，因此實(shí)驗(yàn)結(jié)果可以被視為Group Think潛在好處的保守下限。

### 枚舉任務(wù)評(píng)估

在枚舉任務(wù)中，系統(tǒng)被要求生成一個(gè)包含特定類別（如動(dòng)物、顏色或國(guó)家）的L個(gè)不同項(xiàng)目的推理軌跡。盡管這看起來很簡(jiǎn)單，但它代表了Group Think如何有效解決現(xiàn)實(shí)世界問題的基礎(chǔ)技能。

研究團(tuán)隊(duì)構(gòu)建了10個(gè)涵蓋各種領(lǐng)域的枚舉提示，并使用Llama-3.1 8B Instruct模型進(jìn)行測(cè)試。結(jié)果顯示，Group Think的性能顯著優(yōu)于單一思維鏈方法，特別是在初期階段，加速比接近思考者數(shù)量N。隨著接近問題解決，這種加速逐漸減緩。此外，更多的思考者總是能更快地解決問題。

通過分析生成的推理軌跡，研究人員觀察到了Group Think的一些有趣行為。例如，在生成男性名字的任務(wù)中，思考者們自發(fā)地將名字按不同的文化、歷史或地域來源進(jìn)行分類（如英語國(guó)家名字、古希臘和羅馬名字、亞洲文化名字等），避免了重復(fù)，展現(xiàn)了有效的協(xié)作。

### 分治任務(wù)評(píng)估

分治是一種將復(fù)雜問題分解為更小子問題，然后將結(jié)果合并為整體解決方案的方法。研究團(tuán)隊(duì)選擇了計(jì)算機(jī)科學(xué)教科書中的經(jīng)典問題：使用Floyd-Warshall算法計(jì)算有向加權(quán)圖中所有節(jié)點(diǎn)對(duì)之間的最短路徑。

在實(shí)驗(yàn)中，研究人員隨機(jī)抽樣了幾個(gè)具有5個(gè)節(jié)點(diǎn)的圖，并使用Llama-3.3-70B-Instruct模型進(jìn)行推理。結(jié)果證實(shí)，相比于單一思維鏈方法，4個(gè)思考者的Group Think能將延遲減少一半。更多的思考者能進(jìn)一步提高性能，盡管由于節(jié)點(diǎn)數(shù)量較小，Group Think的優(yōu)勢(shì)可能在實(shí)驗(yàn)中很快就飽和了。

### 編程任務(wù)評(píng)估

編程任務(wù)代表了更現(xiàn)實(shí)的應(yīng)用場(chǎng)景。在這類任務(wù)中，系統(tǒng)需要根據(jù)規(guī)范從頭開始編寫代碼。研究團(tuán)隊(duì)使用GPT-4o生成了一系列可以在5000個(gè)標(biāo)記內(nèi)完成的Python編程問題，并使用Llama-3.1-8B-Instruct模型生成解決方案。

實(shí)驗(yàn)結(jié)果顯示，單一思維鏈方法往往在解決這類問題時(shí)表現(xiàn)不佳，遠(yuǎn)未達(dá)到完全解決問題的水平。而具有四個(gè)或更多思考者的Group Think能在合理的生成預(yù)算內(nèi)接近正確解決方案。從質(zhì)量上看，Group Think表現(xiàn)出高度的警覺性，能有效避免工作重復(fù)。當(dāng)多個(gè)思考者開始處理同一部分規(guī)范時(shí)，標(biāo)記級(jí)別的交互粒度允許其他思考者快速檢測(cè)到這一點(diǎn)，并轉(zhuǎn)換到任務(wù)的不同部分。

### 與獨(dú)立采樣的比較

為了隔離協(xié)調(diào)帶來的具體好處，研究團(tuán)隊(duì)將Group Think與獨(dú)立采樣（Independent Sampling，IS）進(jìn)行了比較。獨(dú)立采樣可以被視為Group Think的一個(gè)特例，其中推理線程獨(dú)立演化，彼此不可見。

實(shí)驗(yàn)結(jié)果表明，盡管在低延遲預(yù)算設(shè)置下Group Think與獨(dú)立采樣表現(xiàn)相當(dāng)（因?yàn)閰f(xié)調(diào)需要消耗一定的標(biāo)記量），但隨著推理預(yù)算的擴(kuò)大（通過更多的思考者N或每思考者更多的標(biāo)記預(yù)算K），Group Think的優(yōu)勢(shì)變得越來越明顯。獨(dú)立采樣會(huì)產(chǎn)生越來越多的冗余，而Group Think則保持高效協(xié)作，導(dǎo)致完成覆蓋率的差距不斷擴(kuò)大。

四、Group Think的意義與未來展望

Group Think提出了一種全新的大型語言模型推理范式，它提倡在標(biāo)記級(jí)別實(shí)時(shí)協(xié)作的多線程推理。雖然當(dāng)前的語言模型并未專門為Group Think進(jìn)行訓(xùn)練，但實(shí)驗(yàn)結(jié)果表明，它們已經(jīng)展示出利用這種范式的初步能力。

從技術(shù)角度看，Group Think為本地設(shè)備上的語言模型推理提供了顯著優(yōu)勢(shì)。在個(gè)人設(shè)備上，語言模型通常以批量大小為1的方式運(yùn)行，導(dǎo)致計(jì)算資源未被充分利用。Group Think通過并行運(yùn)行多個(gè)推理線程，有效利用了這些閑置資源，大大減少了推理的延遲開銷，使小型語言模型在本地設(shè)備上的部署變得更加可行。

展望未來，研究團(tuán)隊(duì)提出了幾個(gè)關(guān)鍵的研究方向：

首先，學(xué)習(xí)Group Think可能不比學(xué)習(xí)遵循新指令集更難。關(guān)鍵是需要一個(gè)數(shù)據(jù)集，展示在各種情況下的良好Group Think行為。當(dāng)前的多智能體方法往往將語言模型擬人化為單一實(shí)體，而Group Think則提出了一種概念轉(zhuǎn)變，將語言模型視為集體。構(gòu)建或合成這樣的數(shù)據(jù)集將是未來研究的重要方向。

其次，未來的工作應(yīng)該關(guān)注如何實(shí)現(xiàn)更復(fù)雜的交互，例如顯式和隱式的溝通策略、智能體之間的動(dòng)態(tài)角色專門化、探索與利用的有效平衡，以及在集體中出現(xiàn)博弈論最優(yōu)行為。這些復(fù)雜且適應(yīng)性強(qiáng)的行為不太可能通過手工設(shè)計(jì)的啟發(fā)式方法完全捕獲或灌輸，因此建立一個(gè)能夠Group Think的數(shù)據(jù)合成器將是訓(xùn)練和基準(zhǔn)測(cè)試未來Group Think語言模型的關(guān)鍵方向。

最后，在計(jì)算方面，本研究提出的實(shí)現(xiàn)策略需要對(duì)位置索引分配和自注意力掩碼進(jìn)行特定但輕量級(jí)的修改。未來發(fā)展的關(guān)鍵領(lǐng)域是這個(gè)框架的原生實(shí)現(xiàn)，這將使Group Think在資源受限的環(huán)境中更加實(shí)用。

總的來說，Group Think開辟了一個(gè)有前途的研究方向，有潛力通過實(shí)時(shí)、標(biāo)記級(jí)別的協(xié)作，提高大型語言模型的推理能力和效率。隨著專門為Group Think訓(xùn)練的模型的出現(xiàn)，我們可以期待看到更加復(fù)雜和高效的協(xié)作行為，為更高質(zhì)量的生成提供支持。