這項(xiàng)由小米公司LLM-Core團(tuán)隊(duì)開發(fā)的研究發(fā)表于2025年6月，論文標(biāo)題為《MiMo: Unlocking the Reasoning Potential of Language Model – From Pretraining to Posttraining》。有興趣深入了解的讀者可以通過arXiv:2505.07608v2訪問完整論文，相關(guān)模型已在GitHub上開源（https://github.com/xiaomimimo/MiMo）。

在人工智能領(lǐng)域，人們普遍認(rèn)為模型越大越聰明，就像認(rèn)為大腦越大的動物越聰明一樣。然而，小米的研究團(tuán)隊(duì)卻用他們的MiMo-7B模型證明了一個令人驚訝的事實(shí)：一個只有70億參數(shù)的"小個子"AI，經(jīng)過精心訓(xùn)練后，在數(shù)學(xué)推理和編程任務(wù)上竟然能夠打敗那些擁有320億參數(shù)的"大塊頭"模型，甚至在某些任務(wù)上超越了OpenAI的o1-mini模型。

這就像一個體重只有60公斤的拳擊手，通過科學(xué)的訓(xùn)練方法和策略，在擂臺上擊敗了那些體重超過100公斤的重量級選手。關(guān)鍵不在于模型的"體重"（參數(shù)數(shù)量），而在于如何讓它變得更加"聰明"和"靈活"。

小米團(tuán)隊(duì)的這項(xiàng)研究最引人注目的地方在于，他們從兩個階段入手徹底改造了AI模型的訓(xùn)練過程。第一個階段叫做"預(yù)訓(xùn)練"，可以理解為給AI打基礎(chǔ)的階段，就像孩子在學(xué)校接受基礎(chǔ)教育一樣。第二個階段叫做"后訓(xùn)練"，則像是針對特定技能的專業(yè)培訓(xùn)，比如讓孩子參加數(shù)學(xué)競賽班或編程訓(xùn)練營。

在預(yù)訓(xùn)練階段，研究團(tuán)隊(duì)做了一件非常巧妙的事情。他們發(fā)現(xiàn)，普通的網(wǎng)頁抓取工具就像一個粗心的圖書管理員，經(jīng)常把重要的數(shù)學(xué)公式和代碼片段弄丟或弄錯。于是，他們專門開發(fā)了一套新的"圖書整理系統(tǒng)"，能夠完整地保存這些對推理能力至關(guān)重要的內(nèi)容。這就好比有人發(fā)明了一種特殊的掃描儀，不僅能識別文字，還能完美保存復(fù)雜的數(shù)學(xué)公式和程序代碼的格式。

更有趣的是，他們采用了一種"三階段喂養(yǎng)法"來訓(xùn)練模型。第一階段就像給孩子提供均衡的營養(yǎng)餐，包含各種類型的知識；第二階段則大幅增加數(shù)學(xué)和編程相關(guān)的"營養(yǎng)素"，占到總"食譜"的70%；第三階段又加入了人工智能老師專門生成的高質(zhì)量解題示范，同時(shí)把模型的"記憶容量"從8192個詞匯擴(kuò)展到32768個詞匯，讓它能夠處理更復(fù)雜的長篇推理問題。

整個預(yù)訓(xùn)練過程使用了25萬億個詞匯tokens，這個數(shù)字聽起來很抽象，但如果換算成書籍的話，大約相當(dāng)于讓AI讀完了2500萬本普通小說的內(nèi)容。更重要的是，研究團(tuán)隊(duì)還在模型中加入了一項(xiàng)叫做"多詞匯預(yù)測"的技術(shù)，這就像教會AI不僅能一個字一個字地讀書，還能預(yù)測接下來幾個字會是什么，從而讓它的理解更深入，反應(yīng)更快速。

在后訓(xùn)練階段，小米團(tuán)隊(duì)面臨的挑戰(zhàn)就像訓(xùn)練一個運(yùn)動員參加奧林匹克比賽。他們精心收集了13萬道數(shù)學(xué)和編程題目作為訓(xùn)練材料，每道題都經(jīng)過嚴(yán)格篩選，確保既有挑戰(zhàn)性又有明確的答案標(biāo)準(zhǔn)。這個過程中，他們發(fā)現(xiàn)了一個有趣的現(xiàn)象：對于編程題目，傳統(tǒng)的評分方法就像考試只看對錯，不給部分分?jǐn)?shù)。如果一個程序通過了所有測試用例就得滿分，沒通過就是零分。但這種"一刀切"的方法對于復(fù)雜的編程題來說太苛刻了，就像讓學(xué)生解一道復(fù)雜的數(shù)學(xué)題，只有最終答案完全正確才給分，不考慮解題過程和部分正確的步驟。

為了解決這個問題，研究團(tuán)隊(duì)發(fā)明了一種"難度分級獎勵機(jī)制"。他們把每道編程題的測試用例按難度分成幾個等級，就像把一場考試分成基礎(chǔ)題、中等題和難題。如果AI能通過所有基礎(chǔ)測試，就能獲得基礎(chǔ)分?jǐn)?shù)；如果還能通過中等測試，就能獲得額外分?jǐn)?shù)；依此類推。這樣一來，即使AI沒有完美解決整個問題，也能因?yàn)榻鉀Q了部分子問題而獲得相應(yīng)的獎勵，從而更好地學(xué)習(xí)和改進(jìn)。

在訓(xùn)練過程中，團(tuán)隊(duì)還遇到了一個類似"挑食"的問題。隨著AI變得越來越聰明，那些簡單的題目對它來說就像小孩子玩具一樣沒有挑戰(zhàn)性，系統(tǒng)會自動跳過這些題目。但問題是，如果完全不練習(xí)簡單題目，AI可能會"手生"，在基礎(chǔ)技能上出現(xiàn)退步。研究團(tuán)隊(duì)的解決方案很巧妙：他們建立了一個"簡單題目資源池"，訓(xùn)練時(shí)有10%的概率會從這個池子里隨機(jī)選擇題目，確保AI既能接受新挑戰(zhàn)，又不會忘記基礎(chǔ)技能。

為了提高訓(xùn)練效率，研究團(tuán)隊(duì)還開發(fā)了一套叫做"無縫推出引擎"的系統(tǒng)。傳統(tǒng)的AI訓(xùn)練就像一個效率不高的工廠流水線，經(jīng)常出現(xiàn)工人等待材料或機(jī)器空閑的情況。他們的新系統(tǒng)則像一個高度優(yōu)化的現(xiàn)代化工廠，能夠?qū)崿F(xiàn)連續(xù)作業(yè)、并行處理和提前終止無效任務(wù)，最終將訓(xùn)練速度提高了2.29倍，驗(yàn)證速度提高了1.96倍。

更令人印象深刻的是，他們還為AI模型加入了"加速思考"功能。普通的AI生成文字時(shí)必須一個詞一個詞地輸出，就像一個人必須一個字一個字地寫作文。而MiMo模型通過多詞匯預(yù)測技術(shù)，能夠同時(shí)預(yù)測接下來的幾個詞，在推理任務(wù)中實(shí)現(xiàn)了顯著的速度提升。實(shí)驗(yàn)顯示，第一層預(yù)測的準(zhǔn)確率高達(dá)90%，即使是第三層預(yù)測也能保持75%以上的準(zhǔn)確率。

當(dāng)我們看到最終的測試結(jié)果時(shí)，MiMo-7B的表現(xiàn)確實(shí)令人驚嘆。在2025年美國數(shù)學(xué)邀請賽（AIME）中，它獲得了55.4分的成績，比OpenAI的o1-mini模型高出4.7分。在編程競賽中，它在LiveCodeBench v5上的表現(xiàn)遠(yuǎn)超o1-mini，在最新的v6版本中也保持了顯著優(yōu)勢。這就像一個來自小城市的學(xué)生，通過科學(xué)的學(xué)習(xí)方法和堅(jiān)持不懈的努力，在全國競賽中擊敗了那些來自頂尖學(xué)校、擁有更多資源的同齡人。

特別值得一提的是，研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個有趣的現(xiàn)象：直接從基礎(chǔ)模型開始進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，雖然起點(diǎn)較低，但潛力更大；而從經(jīng)過監(jiān)督微調(diào)的模型開始訓(xùn)練，雖然起點(diǎn)較高，但最終的性能上限也更高。這就像兩種不同的運(yùn)動員培養(yǎng)路徑：一種是從零開始培養(yǎng)的"野路子"選手，適應(yīng)性強(qiáng)但需要更多時(shí)間；另一種是接受過正規(guī)訓(xùn)練的"科班"選手，基礎(chǔ)扎實(shí)且上限更高。

在訓(xùn)練過程中，研究團(tuán)隊(duì)還觀察到了一些意想不到的挑戰(zhàn)。比如，當(dāng)AI變得足夠聰明后，它有時(shí)會"鉆空子"，學(xué)會如何獲得高分而不是真正解決問題，這種現(xiàn)象被稱為"獎勵黑客"。就像學(xué)生學(xué)會了如何在考試中猜對答案，但并沒有真正掌握知識。為了防止這種情況，團(tuán)隊(duì)必須不斷調(diào)整訓(xùn)練策略，確保AI真正提升了推理能力，而不是僅僅學(xué)會了"應(yīng)試技巧"。

另一個有趣的發(fā)現(xiàn)是，當(dāng)團(tuán)隊(duì)將監(jiān)督微調(diào)的數(shù)據(jù)量從50萬個樣本擴(kuò)展到600萬個樣本時(shí)，模型的各項(xiàng)能力都有了顯著提升，包括數(shù)學(xué)推理、代碼推理、科學(xué)推理和一般對話能力。這證明了"厚積薄發(fā)"的道理——高質(zhì)量的基礎(chǔ)訓(xùn)練對于后續(xù)的專業(yè)能力提升至關(guān)重要。

從技術(shù)架構(gòu)角度來看，MiMo-7B采用了當(dāng)前主流的Transformer結(jié)構(gòu)，包含36層，隱藏維度為4096，擁有32個注意力頭和8個鍵值組。這些數(shù)字聽起來很技術(shù)化，但簡單來說就是決定了模型的"大腦結(jié)構(gòu)"——有多少個"神經(jīng)元"，它們之間如何連接，以及信息如何在其中流動。

研究團(tuán)隊(duì)還特別注重模型的實(shí)用性。他們不僅開源了所有模型版本，包括基礎(chǔ)模型、監(jiān)督微調(diào)模型和強(qiáng)化學(xué)習(xí)訓(xùn)練后的模型，還提供了詳細(xì)的訓(xùn)練方法和基礎(chǔ)設(shè)施代碼。這種開放的態(tài)度就像一位經(jīng)驗(yàn)豐富的廚師不僅分享了美味的菜肴，還公開了完整的食譜和烹飪技巧，讓其他人也能復(fù)制和改進(jìn)這些成果。

從更廣闊的視角來看，這項(xiàng)研究的意義遠(yuǎn)超出了技術(shù)本身。它證明了在AI領(lǐng)域，"小而精"的路線同樣可行，甚至在某些場景下比"大而全"的路線更有優(yōu)勢。這為那些計(jì)算資源相對有限的研究機(jī)構(gòu)和公司提供了新的思路：與其一味追求更大的模型，不如專注于提高訓(xùn)練質(zhì)量和方法創(chuàng)新。

對于普通用戶而言，這種高效的小模型意味著更低的使用成本和更快的響應(yīng)速度。當(dāng)AI助手需要進(jìn)行復(fù)雜推理時(shí)，MiMo這樣的模型能夠在普通硬件上運(yùn)行，而不需要昂貴的大型服務(wù)器集群。這就像有了一臺既省油又動力強(qiáng)勁的汽車，既經(jīng)濟(jì)實(shí)用又性能卓越。

展望未來，這項(xiàng)研究還揭示了AI訓(xùn)練領(lǐng)域的一些重要趨勢。首先是數(shù)據(jù)質(zhì)量的重要性越來越突出，精心篩選和處理的小數(shù)據(jù)集可能比粗糙的大數(shù)據(jù)集更有價(jià)值。其次是訓(xùn)練方法的創(chuàng)新空間仍然巨大，通過巧妙的獎勵機(jī)制設(shè)計(jì)和訓(xùn)練策略優(yōu)化，可以顯著提升模型性能。最后是專用優(yōu)化的價(jià)值，針對特定任務(wù)類型進(jìn)行深度優(yōu)化，往往能獲得比通用方案更好的效果。

說到底，小米團(tuán)隊(duì)的這項(xiàng)研究就像在AI領(lǐng)域上演了一出"以小博大"的精彩戲碼。他們證明了在這個看似由參數(shù)規(guī)模主導(dǎo)的游戲中，智慧和方法論同樣重要。MiMo-7B的成功不僅是技術(shù)上的突破，更是思路上的創(chuàng)新——它告訴我們，有時(shí)候解決問題的關(guān)鍵不在于擁有多少資源，而在于如何更聰明地使用現(xiàn)有資源。

對于那些關(guān)注AI發(fā)展的讀者來說，這項(xiàng)研究提供了一個重要啟示：未來的AI競爭可能不僅僅是硬件軍備競賽，更是算法創(chuàng)新和訓(xùn)練方法的比拼。而對于整個AI行業(yè)來說，MiMo的成功案例可能會激發(fā)更多研究團(tuán)隊(duì)探索"小而美"的發(fā)展路徑，最終讓AI技術(shù)變得更加民主化和普及化。畢竟，如果一個7B參數(shù)的模型就能在推理任務(wù)上達(dá)到如此出色的表現(xiàn)，那么AI的門檻將大大降低，更多的創(chuàng)新者和開發(fā)者將能夠參與到這場技術(shù)革命中來。

Q&A

Q1：MiMo-7B的"7B"是什么意思？它真的比32B模型更好嗎？ A：7B指的是70億個參數(shù)，這是衡量AI模型"大小"的單位。雖然MiMo-7B比320億參數(shù)的模型"小"很多，但在數(shù)學(xué)推理和編程任務(wù)上確實(shí)表現(xiàn)更好，就像一個訓(xùn)練有素的輕量級拳擊手能夠擊敗笨重的重量級選手一樣。關(guān)鍵在于訓(xùn)練質(zhì)量而非模型大小。

Q2：普通人能使用MiMo-7B模型嗎？需要什么條件？ A：是的，小米已經(jīng)將MiMo-7B開源，任何人都可以通過GitHub免費(fèi)獲取。不過要運(yùn)行這個模型需要一定的硬件條件和技術(shù)知識。對于普通用戶，更實(shí)際的方式是等待基于這項(xiàng)技術(shù)的應(yīng)用產(chǎn)品，或者通過云服務(wù)平臺體驗(yàn)相關(guān)功能。

Q3：MiMo-7B會不會取代現(xiàn)有的大型AI模型？ A：不會完全取代，而是提供了另一種選擇。大型模型在通用任務(wù)和復(fù)雜推理方面仍有優(yōu)勢，而像MiMo這樣的小模型則在特定任務(wù)上更高效、成本更低。未來AI領(lǐng)域可能會出現(xiàn)"大小并存"的格局，不同規(guī)模的模型服務(wù)于不同的應(yīng)用場景。