2025年5月，來自新加坡國立大學(xué)、Sea AI Lab和耶魯大學(xué)的研究團(tuán)隊(duì)，包括Yunlong Hou、Fengzhuo Zhang、Cunxiao Du等人，在arXiv上發(fā)表了一篇題為"BANDITSPEC: Adaptive Speculative Decoding via Bandit Algorithms"的研究論文。這項(xiàng)研究提出了一種無需訓(xùn)練的自適應(yīng)方法，能夠顯著加速大型語言模型（LLMs）的推理過程。有興趣深入了解的讀者可以通過arXiv:2505.15141查閱原論文。

大型語言模型的"推理堵車"問題

想象一下，你正在使用ChatGPT這樣的AI助手生成一篇文章，但它的反應(yīng)速度實(shí)在讓人抓狂 - 每次只能一個(gè)字一個(gè)字地往外蹦。這種現(xiàn)象在AI領(lǐng)域被稱為"自回歸生成"，就像一個(gè)作家寫小說，必須先寫完第一句話，才能決定第二句話該怎么寫。對于大型語言模型（LLMs）來說，這種一個(gè)接一個(gè)生成文本的方式就像在高速公路上開車，但每次只能前進(jìn)一米，然后停下來看路況，再前進(jìn)一米...效率極其低下。

為了解決這個(gè)問題，研究人員發(fā)明了一種叫做"推測解碼"（Speculative Decoding）的技術(shù)。這就像是在高速公路上預(yù)測前方幾公里的路況，讓你可以一次性前進(jìn)更長的距離。具體來說，它使用一個(gè)小型的"草稿模型"來快速猜測接下來可能生成的多個(gè)詞，然后讓大模型一次性驗(yàn)證這些猜測，從而節(jié)省時(shí)間。

推測解碼的"選擇困難癥"

雖然推測解碼技術(shù)本身很棒，但它面臨一個(gè)關(guān)鍵問題：如何選擇最適合當(dāng)前任務(wù)的配置？就像我們在不同路況下需要選擇不同的駕駛模式一樣。例如，當(dāng)我們要生成一個(gè)創(chuàng)意故事時(shí)，可能需要一種配置；而當(dāng)我們需要調(diào)試代碼時(shí)，又需要另一種配置。

過去的推測解碼方法大多采用固定的配置，無法根據(jù)不同任務(wù)自動調(diào)整。這就像無論是在城市道路還是高速公路上，都只用一種駕駛模式，顯然不夠靈活。有些研究者嘗試通過訓(xùn)練來解決這個(gè)問題，但這又增加了額外的成本和復(fù)雜性。

新加坡國立大學(xué)和Sea AI Lab的研究團(tuán)隊(duì)提出了一個(gè)有趣的問題：能否設(shè)計(jì)一種無需訓(xùn)練的方法，自動選擇最適合當(dāng)前文本生成任務(wù)的推測解碼配置？

賭博機(jī)算法：AI世界中的"多臂老虎機(jī)"

研究團(tuán)隊(duì)的靈感來自于一個(gè)叫做"多臂賭博機(jī)"（Multi-Armed Bandit，MAB）的經(jīng)典問題。想象你走進(jìn)一個(gè)賭場，面前有多臺老虎機(jī)，每臺的中獎(jiǎng)概率不同，但你事先并不知道哪臺更好。你的目標(biāo)是在有限的時(shí)間內(nèi)獲得最多的獎(jiǎng)勵(lì)。

在這種情況下，你需要平衡"探索"和"利用"：探索不同的老虎機(jī)以找出哪臺更好，同時(shí)又要充分利用已知回報(bào)較高的老虎機(jī)。這正是多臂賭博機(jī)問題的核心。

在BANDITSPEC中，每種推測解碼的配置（如不同的草稿模型或參數(shù)設(shè)置）就像一臺老虎機(jī)。當(dāng)模型生成文本時(shí)，它需要不斷地從這些配置中選擇，以找到最高效的配置，同時(shí)又不能浪費(fèi)太多時(shí)間在探索上。

BANDITSPEC：讓AI自己找到最佳捷徑

BANDITSPEC框架的核心思想很簡單：將推測解碼的超參數(shù)選擇問題建模為一個(gè)多臂賭博機(jī)問題。在這個(gè)框架下，每種配置（比如不同的草稿模型）被視為一個(gè)"賭博機(jī)臂"，每次使用后會獲得一個(gè)"獎(jiǎng)勵(lì)"（即加速效果）。

具體來說，當(dāng)模型生成文本時(shí)，BANDITSPEC會執(zhí)行以下步驟：

首先，它根據(jù)歷史信息選擇一個(gè)推測解碼配置。這就像賭徒根據(jù)過去的經(jīng)驗(yàn)選擇一臺看起來比較有希望的老虎機(jī)。

然后，它使用所選配置進(jìn)行推測解碼，并觀察這種配置的表現(xiàn) - 主要是看它能正確預(yù)測多少個(gè)后續(xù)詞。這就像拉動老虎機(jī)的拉桿并觀察獎(jiǎng)勵(lì)。

接著，它更新歷史信息，記錄下這次嘗試的結(jié)果。這相當(dāng)于賭徒記下某臺老虎機(jī)的表現(xiàn)。

最后，它基于更新后的信息，為下一輪生成選擇新的配置。隨著時(shí)間推移，系統(tǒng)會逐漸找到最適合當(dāng)前任務(wù)的配置。

研究團(tuán)隊(duì)設(shè)計(jì)了兩種具體的算法來實(shí)現(xiàn)這個(gè)框架：UCBSPEC（基于上置信界的方法）和EXP3SPEC（基于指數(shù)權(quán)重的方法）。這兩種算法分別適用于不同的場景 - UCBSPEC適合相對穩(wěn)定的環(huán)境，而EXP3SPEC則更適合多變的環(huán)境。

理論分析：證明算法確實(shí)有效

研究團(tuán)隊(duì)不僅提出了算法，還通過嚴(yán)格的數(shù)學(xué)分析證明了它們的有效性。他們引入了一個(gè)叫做"停止時(shí)間遺憾"的概念，用來衡量算法與理想情況相比損失了多少效率。

在理想情況下，我們希望從一開始就知道哪種配置最好，并一直使用它。但實(shí)際上，我們需要通過嘗試來找出最好的配置，這個(gè)過程中必然會有一些效率損失。研究團(tuán)隊(duì)證明，隨著文本生成的進(jìn)行，這種損失會越來越小，最終BANDITSPEC的表現(xiàn)會接近于理想情況。

更令人驚喜的是，研究團(tuán)隊(duì)還證明了在某些條件下，UCBSPEC算法的性能達(dá)到了理論上的最優(yōu)界限，這意味著沒有其他算法能做得更好了。

實(shí)驗(yàn)驗(yàn)證：真實(shí)環(huán)境中的顯著提升

理論分析固然重要，但實(shí)際效果更為關(guān)鍵。研究團(tuán)隊(duì)在多個(gè)主流大型語言模型上進(jìn)行了廣泛的實(shí)驗(yàn)，包括LLaMA3-8B-Instruct和Qwen2-7B-Instruct等。

他們的實(shí)驗(yàn)設(shè)計(jì)分為兩部分：

第一部分實(shí)驗(yàn)中，他們將不同的草稿模型（如PLD、Rest、Suffix Tree和Eagle-2）作為候選"老虎機(jī)臂"，讓BANDITSPEC自動選擇最佳的草稿模型。實(shí)驗(yàn)結(jié)果令人印象深刻：在各種基準(zhǔn)測試中，BANDITSPEC始終優(yōu)于使用固定草稿模型的方法。以LLaMA3-8B-Instruct為例，在Debug Bench測試中，UCBSPEC比最佳的固定方法Eagle-2提高了約13%的速度，達(dá)到每秒135.34個(gè)詞的處理速度。

第二部分實(shí)驗(yàn)?zāi)M了真實(shí)的服務(wù)環(huán)境，其中不同的用戶同時(shí)發(fā)送各種各樣的請求。在這種情況下，研究團(tuán)隊(duì)讓BANDITSPEC自動選擇最佳的推測長度（即一次猜測多少個(gè)詞）。結(jié)果顯示，BANDITSPEC能夠適應(yīng)不同的輸入提示，其性能接近于理論上的最佳配置。

這些實(shí)驗(yàn)結(jié)果證明，BANDITSPEC不僅在理論上合理，在實(shí)際應(yīng)用中也能帶來顯著的性能提升。

新發(fā)現(xiàn)：隨機(jī)獎(jiǎng)勵(lì)比對抗獎(jiǎng)勵(lì)更適合推測解碼

研究過程中，團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象。他們最初考慮了兩種模型：隨機(jī)獎(jiǎng)勵(lì)模型（假設(shè)每種配置的表現(xiàn)相對穩(wěn)定）和對抗獎(jiǎng)勵(lì)模型（假設(shè)配置的表現(xiàn)可能隨時(shí)間變化）。

令人驚訝的是，實(shí)驗(yàn)結(jié)果表明，隨機(jī)獎(jiǎng)勵(lì)模型更符合實(shí)際情況。這意味著，對于給定的任務(wù)和前綴，某種配置的表現(xiàn)往往是相對一致的。這一發(fā)現(xiàn)不僅幫助他們優(yōu)化了算法設(shè)計(jì)，也為未來的研究提供了有價(jià)值的洞察。

未來展望：更智能的AI加速技術(shù)

BANDITSPEC的成功為AI加速技術(shù)開辟了新的方向。研究團(tuán)隊(duì)指出，未來的工作可以從以下幾個(gè)方面進(jìn)一步探索：

首先，可以考慮使用更結(jié)構(gòu)化的賭博機(jī)模型，如線性賭博機(jī)或Lipschitz賭博機(jī)，以處理更復(fù)雜的超參數(shù)空間。這就像從選擇幾臺固定的老虎機(jī)，升級為能調(diào)整老虎機(jī)的各種參數(shù)。

其次，可以研究更穩(wěn)健的賭博機(jī)算法，以應(yīng)對更復(fù)雜的環(huán)境變化，比如考慮獎(jiǎng)勵(lì)可能受到外部干擾的情況。

最后，可以探索上下文賭博機(jī)，利用額外的信息來加速學(xué)習(xí)過程。這相當(dāng)于給賭徒提供更多關(guān)于老虎機(jī)的背景信息，幫助他們更快找到最佳策略。

結(jié)語：AI加速的無訓(xùn)練之路

BANDITSPEC展示了一種無需訓(xùn)練就能自適應(yīng)加速AI推理的新方法。通過將推測解碼的超參數(shù)選擇問題巧妙地轉(zhuǎn)化為多臂賭博機(jī)問題，研究團(tuán)隊(duì)不僅提供了理論上合理的解決方案，還在實(shí)驗(yàn)中證明了其實(shí)際效果。

這項(xiàng)研究的意義不僅在于提高了AI模型的響應(yīng)速度，更在于它開辟了一條無需額外訓(xùn)練成本就能優(yōu)化AI系統(tǒng)的新路徑。隨著AI技術(shù)的普及，這種能夠自適應(yīng)提升效率的方法將變得越來越重要。

對于普通用戶來說，這意味著未來的AI助手可能會更快地響應(yīng)我們的請求，更智能地適應(yīng)不同類型的任務(wù)，從創(chuàng)意寫作到代碼調(diào)試，從數(shù)學(xué)計(jì)算到故事講述，都能以最適合的方式高效運(yùn)行。

如果你對這項(xiàng)研究感興趣，可以在arXiv上搜索"BANDITSPEC"或訪問論文鏈接arXiv:2505.15141，或者查看研究團(tuán)隊(duì)在GitHub上的開源代碼實(shí)現(xiàn)：https://github.com/sail-sg/BanditSpec。