這項由西班牙馬德里理工大學(xué)電信工程學(xué)院的R. Ferrando、J. Conde、G. Martínez和P. Reviriego領(lǐng)導(dǎo)的研究發(fā)表于2025年6月23日的arXiv預(yù)印本平臺（論文編號：arXiv:2506.18674v1），有興趣深入了解的讀者可以通過https://arxiv.org/abs/2506.18674訪問完整論文。

當ChatGPT這樣的聊天機器人每天為數(shù)億用戶提供服務(wù)時，你可能從未想過一個看似微不足道的問題：這些AI助手究竟有多耗電？答案可能會令你驚訝。每當你向ChatGPT提出一個問題，或者它回復(fù)你一段文字時，背后的計算過程就像一個巨大的工廠在運轉(zhuǎn)，而這個工廠的耗電量與處理的"詞匯單元"數(shù)量直接相關(guān)。

這就好比一個翻譯工廠，工人需要把你的話拆解成一個個詞匯片段來處理。如果能讓這些詞匯片段變得更少、更精煉，整個工廠的工作量就會減少，耗電也會相應(yīng)降低。馬德里理工大學(xué)的研究團隊正是發(fā)現(xiàn)了這樣一個"節(jié)能密碼"：為聊天機器人專門設(shè)計的詞匯處理系統(tǒng)可以顯著減少能耗。

在人工智能快速發(fā)展的今天，能源消耗已成為一個不容忽視的問題。這項研究首次系統(tǒng)性地探討了是否可以通過優(yōu)化AI的"詞匯理解方式"來實現(xiàn)節(jié)能，研究結(jié)果顯示這種方法可以帶來5%到10%的能耗降低，這在全球范圍內(nèi)意味著巨大的能源節(jié)約。

研究團隊選擇了八個具有代表性的大型語言模型進行測試，包括OpenAI的GPT-4和GPT-4o、DeepSeek的R1模型、Meta的LLaMA-3.1、Google的Gemma-2、Mistral的7B模型、BigScience的BLOOM以及Microsoft的Phi-4。他們使用了一個包含一百萬真實聊天對話的數(shù)據(jù)集來重新訓(xùn)練這些模型的詞匯處理系統(tǒng)，然后測試了優(yōu)化后的效果。

**一、AI如何"讀懂"文字：詞匯處理的秘密**

要理解這項研究的價值，我們首先需要了解AI是如何處理文字的。當你對ChatGPT說"今天天氣真好"時，它并不是像人類一樣直接理解這句話的含義。相反，它需要先把這句話拆解成更小的單元，這個過程就像把一句話切成詞匯積木，然后再逐個處理這些積木。

這些詞匯積木被稱為"token"，每個token可能是一個完整的詞、半個詞，甚至是幾個字母的組合。比如"今天天氣真好"可能被拆解成"今天"、"天氣"、"真"、"好"四個token，也可能被拆解成更多或更少的片段，這完全取決于AI使用的詞匯處理規(guī)則。

負責(zé)這種拆解工作的工具叫做"tokenizer"，可以把它想象成一個專門的切詞師傅。這個師傅手里有一本詞典，記錄了各種詞匯片段及其使用頻率。當遇到新文本時，師傅會根據(jù)這本詞典來決定如何切分，優(yōu)先選擇詞典中出現(xiàn)頻率高的片段，這樣可以用最少的token數(shù)量來表示文本。

目前所有的AI模型在訓(xùn)練時，都會根據(jù)大量的網(wǎng)絡(luò)文本、書籍和文檔來制作這本詞典。這些訓(xùn)練文本包羅萬象，從學(xué)術(shù)論文到新聞報道，從百科全書到小說作品。然而問題在于，當這些AI被用作聊天機器人時，它們處理的文本類型發(fā)生了根本性變化。聊天對話的用詞習(xí)慣、句式結(jié)構(gòu)、表達方式都與訓(xùn)練時的文本存在明顯差異。

這就像一個習(xí)慣了處理正式文件的切詞師傅，突然需要處理大量口語化的聊天記錄。原本熟練的切詞技巧可能不再適用，導(dǎo)致需要更多的token來表示同樣的內(nèi)容，進而增加了計算負擔(dān)和能耗。

研究團隊通過分析發(fā)現(xiàn)，現(xiàn)有的tokenizer在處理聊天對話時，確實表現(xiàn)出了效率下降的問題。他們使用"fertility"這個指標來衡量效率，即每個單詞平均需要多少個token來表示。理想情況下，這個數(shù)值越接近1越好，意味著大部分單詞都能用一個token表示。

實驗結(jié)果顯示，所有測試的模型在處理聊天對話時的fertility都明顯高于處理訓(xùn)練文本時的數(shù)值。更有趣的是，聊天機器人的回復(fù)比用戶的提問更容易被有效處理，這可能是因為AI在生成回復(fù)時傾向于使用與其tokenizer更匹配的表達方式。

**二、為聊天而生的詞匯處理系統(tǒng)**

認識到問題所在后，研究團隊決定開發(fā)專門針對聊天對話優(yōu)化的tokenizer。他們的想法很直觀：既然聊天對話有其獨特的語言特征，為什么不專門為這種應(yīng)用場景定制詞匯處理規(guī)則呢？

為了實現(xiàn)這個目標，他們選擇了LMSYS Chat 1M數(shù)據(jù)集作為重新訓(xùn)練的素材。這個數(shù)據(jù)集包含了一百萬條真實的聊天對話記錄，涵蓋了用戶與25種不同AI模型的交互內(nèi)容，支持多種語言。這些對話代表了聊天機器人實際應(yīng)用中會遇到的各種文本類型和表達方式。

研究團隊采用了三種不同的優(yōu)化策略來探索最佳效果。第一種策略是僅使用用戶輸入的文本來重訓(xùn)tokenizer，這樣優(yōu)化后的系統(tǒng)會更擅長處理用戶的提問和指令。第二種策略是僅使用AI助手的回復(fù)來訓(xùn)練，讓系統(tǒng)更好地適應(yīng)AI生成文本的特征。第三種策略是同時使用用戶輸入和AI回復(fù)的完整對話內(nèi)容。

重訓(xùn)過程保持了與原始tokenizer相同的算法和配置參數(shù)，只是把訓(xùn)練語料從原本的網(wǎng)絡(luò)文本、書籍等混合內(nèi)容替換為聊天對話數(shù)據(jù)。這樣做的好處是確保了對比實驗的公平性，任何性能差異都可以歸因于訓(xùn)練數(shù)據(jù)的不同，而非算法本身的差異。

訓(xùn)練完成后，研究團隊使用剩余的聊天對話數(shù)據(jù)對這些優(yōu)化版本進行測試。他們發(fā)現(xiàn)，三種策略都能帶來token數(shù)量的減少，但使用完整對話內(nèi)容或僅使用AI回復(fù)進行優(yōu)化的效果更明顯。這個結(jié)果是有道理的，因為在實際的聊天場景中，AI回復(fù)通常占據(jù)了對話文本的大部分比例，優(yōu)化這部分內(nèi)容的處理效率自然能帶來更大的整體收益。

不同模型的優(yōu)化效果存在顯著差異。DeepSeek-R1、LLaMA-3.1-8B和Phi-4的改進幅度約為5%，而Gemma-2-9B、Mistral-7B和BLOOM的改進幅度超過了10%。這種差異可能與各個模型原始tokenizer的設(shè)計特點以及詞匯表大小有關(guān)。

值得注意的是，研究團隊還分析了語言因素對優(yōu)化效果的影響。由于測試數(shù)據(jù)集是多語言的，不同語言的tokenization效率本來就存在差異。分析結(jié)果顯示，在數(shù)據(jù)集中有足夠代表性的語言通常都能從對話優(yōu)化的tokenizer中受益，但對于代表性不足的語言，優(yōu)化效果可能不明顯甚至略有負面影響。

**三、優(yōu)化的代價：對原始任務(wù)的影響**

任何優(yōu)化都可能存在代價，研究團隊也深知這一點。雖然為聊天對話定制的tokenizer能夠提高對話處理效率，但這些AI模型還需要處理其他類型的任務(wù)，比如文檔分析、代碼生成、學(xué)術(shù)寫作等。如果為了優(yōu)化聊天效果而嚴重損害了其他應(yīng)用的性能，那這種優(yōu)化就得不償失了。

為了評估這種潛在的負面影響，研究團隊使用C4數(shù)據(jù)集來測試對話優(yōu)化tokenizer在處理傳統(tǒng)LLM訓(xùn)練文本時的表現(xiàn)。C4數(shù)據(jù)集是由Allen人工智能研究所開發(fā)的大規(guī)模文本語料庫，包含了經(jīng)過清理的網(wǎng)頁內(nèi)容，是訓(xùn)練語言模型的標準數(shù)據(jù)集之一。

令人意外的是，測試結(jié)果并沒有顯示明顯的性能損失。更令人驚訝的是，Mistral-7B、Gemma-2-9B和BLOOM這三個模型在使用對話優(yōu)化tokenizer處理C4數(shù)據(jù)集時，token數(shù)量反而出現(xiàn)了小幅減少，分別約為1%、5%和5%。這個現(xiàn)象暗示著這些模型的原始tokenizer可能存在一些通用的優(yōu)化空間，對話優(yōu)化過程無意中改善了這些問題。

對于其他模型，DeepSeek-R1、LLaMA-3.1-8B和Phi-4在處理C4數(shù)據(jù)集時的token數(shù)量確實有小幅增加，但增幅都控制在2%以內(nèi)?？紤]到聊天應(yīng)用的普及程度和這些模型的主要用途，這樣的代價是可以接受的。

這些結(jié)果表明，為聊天對話優(yōu)化tokenizer不僅能夠提高對話處理效率，還不會顯著損害模型在其他任務(wù)上的表現(xiàn)。在某些情況下，甚至可能帶來意外的性能提升。這為將來在實際產(chǎn)品中應(yīng)用這種優(yōu)化策略提供了信心。

研究團隊認為，這種"雙贏"局面的出現(xiàn)可能有兩個原因。首先，對話文本雖然在風(fēng)格上與訓(xùn)練文本不同，但在詞匯使用和語言結(jié)構(gòu)上仍有相當多的共同點。優(yōu)化對話處理能力的同時，也間接提升了對這些共同元素的處理效率。其次，原始tokenizer在設(shè)計時可能沒有充分優(yōu)化，對話優(yōu)化過程揭示并改善了一些潛在的效率問題。

**四、節(jié)能潛力：小改進帶來大影響**

5%到10%的token減少聽起來可能不算很多，但當我們把視角放到全球AI服務(wù)的規(guī)模上時，這個數(shù)字的意義就完全不同了。每天有數(shù)億用戶在使用各種AI聊天服務(wù)，從ChatGPT到各種企業(yè)級AI助手，每一次交互都需要消耗計算資源和電能。

把這個概念具象化一些：假設(shè)一個大型AI服務(wù)提供商每天處理10億次對話交互，平均每次交互需要處理100個token。那么每天的總token處理量就是1000億個。如果通過優(yōu)化tokenizer減少8%的token數(shù)量，每天就能節(jié)省80億個token的處理量。

在當前的硬件條件下，每個token的處理都需要消耗一定的電能，雖然單個token的能耗很小，但乘以如此龐大的數(shù)量，累積的節(jié)能效果就相當可觀了。研究團隊引用的相關(guān)研究表明，在大多數(shù)模型中，能源消耗與token數(shù)量呈正比關(guān)系，這意味著token數(shù)量的減少可以直接轉(zhuǎn)化為能耗的降低。

更重要的是，隨著AI技術(shù)的普及和應(yīng)用場景的擴展，這種節(jié)能潛力還會繼續(xù)放大。目前AI聊天服務(wù)的用戶數(shù)量還在快速增長，越來越多的企業(yè)開始部署自己的AI助手，這些都會推動全球AI計算需求的持續(xù)增長。在這種背景下，任何能夠提高效率的技術(shù)改進都具有重要的環(huán)保價值。

從商業(yè)角度來看，能耗的降低也直接轉(zhuǎn)化為運營成本的節(jié)約。對于大型AI服務(wù)提供商而言，電費是運營成本的重要組成部分。即使是幾個百分點的能耗降低，在巨大的服務(wù)規(guī)模下也能帶來可觀的成本節(jié)約，這為采用這種優(yōu)化技術(shù)提供了經(jīng)濟動機。

研究團隊特別指出，在AI系統(tǒng)的整個生命周期中，推理階段（即實際為用戶提供服務(wù)的階段）的能耗占比正在不斷提高。隨著模型規(guī)模的擴大和用戶數(shù)量的增長，推理能耗可能會超過訓(xùn)練能耗成為主要的能源消耗來源。因此，優(yōu)化推理階段的效率具有更加重要的長遠意義。

**五、技術(shù)細節(jié)：不同策略的效果對比**

在具體的實驗設(shè)計中，研究團隊采用了嚴謹?shù)膶Ρ确治龇椒?。他們將聊天對話?shù)據(jù)按照80%-20%的比例隨機分為訓(xùn)練集和測試集，確保訓(xùn)練和測試數(shù)據(jù)之間沒有重疊，避免了過擬合問題。

對于每個被測試的模型，研究團隊都構(gòu)建了三個不同的優(yōu)化版本：僅用用戶輸入訓(xùn)練的版本、僅用AI回復(fù)訓(xùn)練的版本，以及用完整對話訓(xùn)練的版本。這種設(shè)計讓他們能夠深入理解對話中不同部分對優(yōu)化效果的貢獻。

實驗結(jié)果顯示了一些有趣的模式。首先，用完整對話訓(xùn)練的tokenizer通常表現(xiàn)最好，這符合直覺，因為它能夠?qū)W習(xí)到對話中用戶和AI雙方的語言特征。其次，僅用AI回復(fù)訓(xùn)練的版本表現(xiàn)往往優(yōu)于僅用用戶輸入訓(xùn)練的版本，這主要是因為在典型的對話中，AI的回復(fù)通常比用戶的提問更長，占據(jù)了更多的文本量。

在語言分析方面，研究團隊發(fā)現(xiàn)英語、西班牙語、法語等在訓(xùn)練數(shù)據(jù)中有充分代表性的語言都能從優(yōu)化中獲益。但是對于像中文這樣在對話數(shù)據(jù)集中占比較小的語言，優(yōu)化效果就不那么明顯，有時甚至可能略有負面影響。這提醒我們，在實際應(yīng)用中需要考慮服務(wù)用戶群體的語言分布特征。

DeepSeek模型在中文處理上的表現(xiàn)下降就是一個典型例子。這個模型原本在中文處理上有不錯的表現(xiàn)，但當使用主要包含英文對話的數(shù)據(jù)集進行優(yōu)化后，其中文處理能力受到了一定影響。這說明在為多語言模型優(yōu)化tokenizer時，需要確保訓(xùn)練數(shù)據(jù)的語言分布與實際應(yīng)用場景相匹配。

詞匯表大小也是影響優(yōu)化效果的一個重要因素。研究中的模型詞匯表大小從32,000到256,000不等，不同規(guī)模的詞匯表在優(yōu)化后表現(xiàn)出了不同的改進幅度。一般來說，詞匯表較小的模型往往有更大的優(yōu)化空間，因為它們在原始設(shè)計時可能沒有充分利用可用的詞匯容量。

**六、實際應(yīng)用的考量與挑戰(zhàn)**

雖然研究結(jié)果令人鼓舞，但將這種優(yōu)化技術(shù)應(yīng)用到實際產(chǎn)品中還面臨一些挑戰(zhàn)。最大的挑戰(zhàn)是如何在不影響模型核心性能的前提下集成新的tokenizer。

現(xiàn)有的AI模型在訓(xùn)練過程中，tokenizer與模型參數(shù)之間形成了復(fù)雜的適配關(guān)系。模型學(xué)會了如何理解和處理特定tokenizer產(chǎn)生的token序列，這種適配關(guān)系是通過大量計算資源和時間建立起來的。簡單地替換tokenizer可能會破壞這種適配關(guān)系，導(dǎo)致模型性能下降。

一種可能的解決方案是在模型部署階段采用漸進式的tokenizer更新策略。比如，可以先在低風(fēng)險的應(yīng)用場景中測試新的tokenizer，逐步擴大應(yīng)用范圍。另一種方案是開發(fā)能夠兼容多種tokenizer的模型架構(gòu)，讓模型能夠根據(jù)任務(wù)類型自動選擇最適合的tokenizer。

數(shù)據(jù)隱私也是需要考慮的問題。為了優(yōu)化tokenizer，需要使用大量的真實對話數(shù)據(jù)進行訓(xùn)練。如何在保護用戶隱私的同時獲得足夠的訓(xùn)練數(shù)據(jù)，是一個需要仔細平衡的問題。研究團隊使用的LMSYS數(shù)據(jù)集雖然是公開的，但在實際應(yīng)用中，企業(yè)可能需要使用自己的對話數(shù)據(jù)來獲得更好的優(yōu)化效果。

計算成本是另一個考量因素。雖然重新訓(xùn)練tokenizer的計算成本遠低于訓(xùn)練整個語言模型，但對于擁有多個模型的企業(yè)來說，這仍然是一筆不小的開支。需要在優(yōu)化收益和實施成本之間找到平衡點。

此外，不同應(yīng)用場景可能需要不同的優(yōu)化策略?？蛻舴?wù)聊天機器人的對話風(fēng)格與創(chuàng)意寫作助手的風(fēng)格明顯不同，為它們使用相同的優(yōu)化策略可能不是最佳選擇。這需要更細化的研究和定制化的解決方案。

**七、未來發(fā)展方向與展望**

這項研究開啟了AI系統(tǒng)節(jié)能優(yōu)化的一個新方向，但仍有許多問題有待深入探索。研究團隊在論文中也坦誠指出了當前工作的局限性和未來的研究方向。

首先是數(shù)據(jù)集的擴展。目前的研究主要基于一個對話數(shù)據(jù)集，雖然這個數(shù)據(jù)集規(guī)模很大且質(zhì)量較高，但單一數(shù)據(jù)源可能存在偏差。未來需要使用更多樣化的對話數(shù)據(jù)集來驗證和完善優(yōu)化方法，包括不同領(lǐng)域、不同語言、不同文化背景的對話數(shù)據(jù)。

其次是對模型性能影響的深入評估。當前研究主要關(guān)注了token數(shù)量的變化，但沒有全面評估對模型推理質(zhì)量的影響。未來需要設(shè)計更全面的評估體系，包括對話質(zhì)量、任務(wù)完成準確率、用戶滿意度等多個維度的指標。

第三是優(yōu)化算法的改進。目前的研究使用的是相對簡單的重訓(xùn)練方法，未來可以探索更先進的優(yōu)化算法，比如增量學(xué)習(xí)、遷移學(xué)習(xí)等技術(shù)，以實現(xiàn)更高效的tokenizer優(yōu)化。

多模態(tài)應(yīng)用也是一個值得關(guān)注的方向。隨著AI模型開始處理文本、圖像、音頻等多種類型的數(shù)據(jù)，如何為多模態(tài)對話優(yōu)化tokenizer將成為新的挑戰(zhàn)。這可能需要全新的理論框架和技術(shù)方法。

從更宏觀的角度來看，這項研究體現(xiàn)了AI發(fā)展中的一個重要趨勢：從單純追求性能提升轉(zhuǎn)向兼顧效率和可持續(xù)性。隨著AI應(yīng)用規(guī)模的不斷擴大，能源效率將成為衡量AI技術(shù)先進性的重要指標之一。

研究團隊也提出了一個更具前瞻性的想法：將tokenizer優(yōu)化集成到模型訓(xùn)練過程中，而不是將其視為獨立的預(yù)處理步驟。這種端到端的優(yōu)化方法可能會帶來更大的性能提升和能效改進。

**八、對行業(yè)的啟示意義**

這項研究的意義不僅在于技術(shù)層面的創(chuàng)新，更在于它為AI行業(yè)提供了一個新的思考角度。長期以來，AI研究主要關(guān)注模型結(jié)構(gòu)和訓(xùn)練算法的改進，對于tokenization這樣的"基礎(chǔ)設(shè)施"組件關(guān)注相對較少。

然而，正如這項研究所證明的，即使是看似微小的組件優(yōu)化也能帶來可觀的整體改進。這提醒我們，在追求突破性創(chuàng)新的同時，也不應(yīng)忽視對現(xiàn)有技術(shù)組件的深度優(yōu)化。有時候，最大的進步可能來自于對細節(jié)的精益求精。

對于AI服務(wù)提供商而言，這項研究提供了一個實用的節(jié)能策略。與需要大量資源的模型重訓(xùn)相比，tokenizer優(yōu)化的成本相對較低但收益明顯，是一個性價比很高的改進方向。

對于研究者而言，這項工作展示了跨學(xué)科思維的價值。將信息論的壓縮原理應(yīng)用到AI系統(tǒng)優(yōu)化中，體現(xiàn)了基礎(chǔ)理論與實際應(yīng)用的有機結(jié)合。這種思路可能在其他AI優(yōu)化問題中也有借鑒價值。

環(huán)保意識日益增強的社會背景下，這類研究也具有重要的社會價值。雖然單個用戶很難感受到這種優(yōu)化帶來的直接影響，但在全球范圍內(nèi)累積起來的環(huán)保效益是實實在在的。這為AI技術(shù)的可持續(xù)發(fā)展提供了新的路徑。

說到底，這項研究最大的價值在于它證明了一個簡單而深刻的道理：在復(fù)雜的技術(shù)系統(tǒng)中，任何一個環(huán)節(jié)的優(yōu)化都可能產(chǎn)生意想不到的連鎖效應(yīng)。聊天機器人的節(jié)能之路，可能就從重新設(shè)計它們的"詞典"開始。

隨著AI技術(shù)繼續(xù)滲透到我們生活的方方面面，這種看似微小但影響深遠的優(yōu)化將變得越來越重要。也許在不久的將來，當我們與AI助手對話時，背后不僅有強大的智能算法在工作，還有專門為對話優(yōu)化的高效詞匯處理系統(tǒng)在默默節(jié)約著每一分電能。這項來自馬德里理工大學(xué)的研究，為我們描繪了這樣一個更智能、更環(huán)保的對話AI未來。

Q&A

Q1：什么是tokenizer？它在AI聊天中起什么作用？ A：Tokenizer就像AI的"切詞師傅"，負責(zé)把你輸入的文字切分成小塊來處理。比如把"今天天氣好"切成"今天""天氣""好"幾個片段。AI需要先完成這個切分過程才能理解和回復(fù)你的消息。切分得越合理，AI處理就越高效。

Q2：為聊天優(yōu)化tokenizer真的能節(jié)能5-10%嗎？ A：是的。研究團隊測試了8個主流AI模型，發(fā)現(xiàn)專門為聊天對話訓(xùn)練的tokenizer確實能減少5-10%的詞匯片段數(shù)量。由于AI的耗電量與處理的片段數(shù)量直接相關(guān)，片段減少就意味著耗電減少。在全球數(shù)億用戶使用的規(guī)模下，這個節(jié)能效果相當可觀。

Q3：這種優(yōu)化會不會影響AI的聊天質(zhì)量？ A：研究顯示影響很小。優(yōu)化后的tokenizer在處理傳統(tǒng)任務(wù)時表現(xiàn)基本持平，有些甚至略有提升。這是因為聊天文本與訓(xùn)練文本在詞匯使用上有很多共同點，優(yōu)化聊天處理能力的同時也間接提升了整體效率，不會損害AI的回答質(zhì)量。