這項(xiàng)由馬里蘭大學(xué)計算機(jī)科學(xué)系的李子悅、范晨瑞和周天一教授團(tuán)隊(duì)領(lǐng)導(dǎo)的突破性研究發(fā)表于2025年6月，論文標(biāo)題為"Where to find Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test"。有興趣深入了解的讀者可以通過arXiv:2506.21551v1訪問完整論文。

想象一下，你正在教一個孩子學(xué)數(shù)學(xué)。最初，這個孩子只是機(jī)械地背誦乘法表，看起來已經(jīng)學(xué)會了，但當(dāng)你給出新的數(shù)學(xué)題時，他卻完全不知道該怎么辦。然后突然有一天，孩子的眼中閃過一絲理解的光芒，開始能夠舉一反三，解決從未見過的數(shù)學(xué)問題。這種從死記硬背到真正理解的神奇轉(zhuǎn)變，在人工智能領(lǐng)域被稱為"Grokking"現(xiàn)象。

研究團(tuán)隊(duì)首次在真實(shí)的大型語言模型訓(xùn)練過程中發(fā)現(xiàn)了這種"頓悟"現(xiàn)象。以往的研究只在小型模型和簡單任務(wù)上觀察到這種現(xiàn)象，就像在實(shí)驗(yàn)室里觀察細(xì)菌一樣。但這次不同，研究人員分析了一個擁有70億參數(shù)的實(shí)際AI模型OLMoE的完整訓(xùn)練過程，這就像是在自然環(huán)境中觀察大型動物的行為模式一樣真實(shí)可貴。

更令人興奮的是，研究團(tuán)隊(duì)開發(fā)出了一套全新的"AI心理測試"方法，能夠在不需要任何考試或測驗(yàn)的情況下，僅僅通過觀察AI內(nèi)部的"思維路徑"就預(yù)測它何時會產(chǎn)生真正的智能。這就像是醫(yī)生通過觀察病人的腦電波就能判斷病人的認(rèn)知狀態(tài)，而不需要讓病人做任何測試題。

這項(xiàng)研究的核心發(fā)現(xiàn)顛覆了我們對AI學(xué)習(xí)過程的傳統(tǒng)認(rèn)知。長期以來，人們認(rèn)為當(dāng)AI的訓(xùn)練誤差不再下降時，就意味著學(xué)習(xí)過程已經(jīng)結(jié)束。但研究團(tuán)隊(duì)發(fā)現(xiàn)，這種看法完全錯誤，就像僅僅通過觀察學(xué)生的考試成績就判斷他們的學(xué)習(xí)進(jìn)度一樣膚淺。實(shí)際上，AI在訓(xùn)練誤差穩(wěn)定之后，內(nèi)部還在進(jìn)行著復(fù)雜而深刻的"思維重組"過程，最終實(shí)現(xiàn)從記憶到理解的質(zhì)的飛躍。

一、意外的發(fā)現(xiàn)：AI也會"開竅"

研究團(tuán)隊(duì)在分析OLMoE模型的訓(xùn)練過程時，發(fā)現(xiàn)了一個令人驚訝的現(xiàn)象。這個擁有70億參數(shù)的龐大AI系統(tǒng)在學(xué)習(xí)過程中表現(xiàn)出了明顯的"分科目學(xué)習(xí)"特征，就像一個學(xué)生在不同時間段對不同學(xué)科產(chǎn)生理解和興趣一樣。

當(dāng)研究人員仔細(xì)觀察AI在數(shù)學(xué)推理、代碼生成、常識問答和專業(yè)知識檢索這四個不同領(lǐng)域的學(xué)習(xí)曲線時，他們發(fā)現(xiàn)了一個奇特的現(xiàn)象。AI并不是同時在所有領(lǐng)域都實(shí)現(xiàn)突破，而是像人類學(xué)生一樣，在不同的時間點(diǎn)對不同的知識領(lǐng)域產(chǎn)生"頓悟"。有些知識域AI很快就能觸類旁通，而有些則需要更長的"醞釀期"。

這種異步學(xué)習(xí)模式完全顛覆了研究人員的預(yù)期。傳統(tǒng)觀點(diǎn)認(rèn)為，大型AI模型應(yīng)該像一臺精密的機(jī)器一樣，在所有任務(wù)上都表現(xiàn)出同步的進(jìn)步。但實(shí)際情況更像是觀察一個真實(shí)的學(xué)習(xí)者成長過程：有的科目開竅早，有的科目開竅晚，每個領(lǐng)域都有自己獨(dú)特的學(xué)習(xí)節(jié)奏。

更加神奇的是，研究團(tuán)隊(duì)發(fā)現(xiàn)AI在某個特定領(lǐng)域"開竅"的時機(jī)與該領(lǐng)域知識的難度密切相關(guān)。就像學(xué)生學(xué)習(xí)時，簡單的知識容易快速掌握，而復(fù)雜的概念需要更多時間消化理解一樣，AI也表現(xiàn)出了類似的學(xué)習(xí)規(guī)律。那些較晚被"記住"的訓(xùn)練數(shù)據(jù)，往往需要更長的時間才能實(shí)現(xiàn)從記憶到理解的轉(zhuǎn)變。

這個發(fā)現(xiàn)的重要性在于，它揭示了AI學(xué)習(xí)過程的本質(zhì)并非簡單的數(shù)據(jù)擬合，而是一個復(fù)雜的認(rèn)知重構(gòu)過程。就像人類大腦在學(xué)習(xí)新知識時會重新組織神經(jīng)連接一樣，AI在訓(xùn)練過程中也在不斷重新調(diào)整內(nèi)部的信息處理方式，直到找到最優(yōu)的知識表示和推理路徑。

二、破譯AI的"思維密碼"

為了深入理解AI內(nèi)部的這種神奇轉(zhuǎn)變，研究團(tuán)隊(duì)把注意力集中在了OLMoE模型的一個獨(dú)特特征上：專家混合架構(gòu)。這種架構(gòu)就像是AI大腦中的"分工合作系統(tǒng)"，不同的專家負(fù)責(zé)處理不同類型的信息，而路由器則負(fù)責(zé)決定每個輸入應(yīng)該交給哪些專家來處理。

研究人員發(fā)現(xiàn)，觀察這些"思維路徑"的變化模式，就像是解讀AI的內(nèi)心世界一樣富有啟發(fā)性。他們開發(fā)了兩個關(guān)鍵的測量指標(biāo)來量化這種變化。第一個指標(biāo)被稱為"路徑相似度"，它測量的是處理不同輸入時AI選擇的專家路徑有多相似。如果把AI的每次思考比作走一條路，那么這個指標(biāo)就是在觀察AI處理相似問題時是否會選擇相似的路線。

第二個指標(biāo)被稱為"路徑一致性"，它關(guān)注的是單個輸入在通過AI的不同層級時，專家選擇的連續(xù)性和邏輯性。這就像觀察一個人在解決問題時思維是否連貫，是否有清晰的邏輯鏈條。如果AI在處理一個問題時，從第一層到最后一層的專家選擇都很隨機(jī)和跳躍，那么說明它的思維還很混亂。相反，如果專家選擇表現(xiàn)出明顯的連續(xù)性和邏輯性，那么說明AI已經(jīng)形成了穩(wěn)定的思維模式。

通過長期跟蹤這兩個指標(biāo)的變化，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個令人震驚的規(guī)律。在AI的訓(xùn)練誤差已經(jīng)穩(wěn)定，看似學(xué)習(xí)停滯的階段，這兩個指標(biāo)卻在發(fā)生著劇烈的變化。AI的思維路徑從最初的隨機(jī)和個性化，逐漸變得更加結(jié)構(gòu)化和共享化。這就像是觀察一群學(xué)生學(xué)習(xí)同一個概念的過程：最初每個人都有自己獨(dú)特的理解方式，但隨著學(xué)習(xí)的深入，他們開始形成共同的、更加高效的思考模式。

這種變化的深層含義極其重要。它表明AI在"表面平靜"的階段實(shí)際上正在進(jìn)行著深層的知識重組。AI開始發(fā)現(xiàn)不同輸入之間的共同模式，學(xué)會用更加通用和高效的方式來處理信息。這種從個性化記憶到結(jié)構(gòu)化理解的轉(zhuǎn)變，正是真正智能涌現(xiàn)的標(biāo)志。

三、預(yù)測智能的新方法

基于對AI內(nèi)部思維路徑的深入理解，研究團(tuán)隊(duì)開發(fā)出了一套革命性的智能預(yù)測方法。這套方法的神奇之處在于，它完全不需要對AI進(jìn)行任何外部測試，僅僅通過觀察AI處理訓(xùn)練數(shù)據(jù)時的內(nèi)部狀態(tài)變化，就能準(zhǔn)確預(yù)測AI在各種任務(wù)上的表現(xiàn)。

這種方法的工作原理可以用一個生動的比喻來解釋。傳統(tǒng)的AI評估方法就像是通過考試成績來判斷學(xué)生的學(xué)習(xí)效果，但考試往往滯后于真實(shí)的學(xué)習(xí)過程，而且需要專門設(shè)計題目和評分標(biāo)準(zhǔn)。研究團(tuán)隊(duì)開發(fā)的新方法更像是通過觀察學(xué)生的學(xué)習(xí)習(xí)慣和思維方式的變化來預(yù)測他們的理解程度，這種方法更加及時和準(zhǔn)確。

研究人員通過大量實(shí)驗(yàn)驗(yàn)證了這種方法的有效性。他們發(fā)現(xiàn)，路徑相似度指標(biāo)與AI的實(shí)際表現(xiàn)呈現(xiàn)出強(qiáng)烈的負(fù)相關(guān)關(guān)系，相關(guān)系數(shù)高達(dá)-0.93左右。這意味著當(dāng)AI處理不同問題時選擇的路徑越來越相似時，它的實(shí)際智能水平就越來越高。這種現(xiàn)象反映了AI正在學(xué)會用更加通用和高效的方式來處理各種問題。

同樣令人印象深刻的是路徑一致性指標(biāo)的表現(xiàn)。這個指標(biāo)與AI的實(shí)際表現(xiàn)呈現(xiàn)出極強(qiáng)的正相關(guān)關(guān)系，相關(guān)系數(shù)常常超過0.97。這表明當(dāng)AI的內(nèi)部處理變得更加連貫和邏輯化時，它在各種任務(wù)上的表現(xiàn)也會相應(yīng)提升。

更重要的是，研究團(tuán)隊(duì)將他們的方法與傳統(tǒng)的訓(xùn)練誤差指標(biāo)進(jìn)行了對比。結(jié)果顯示，傳統(tǒng)的訓(xùn)練誤差在預(yù)測AI真實(shí)能力方面表現(xiàn)得相當(dāng)糟糕，有時甚至?xí)o出誤導(dǎo)性的信號。這就像是用錯誤的溫度計來測量病人的體溫一樣不可靠。相比之下，基于思維路徑的新方法能夠提供穩(wěn)定、準(zhǔn)確和及時的預(yù)測。

這種方法的實(shí)際應(yīng)用價值巨大。對于AI開發(fā)者來說，他們不再需要等到訓(xùn)練完成后再進(jìn)行復(fù)雜的測試來評估模型性能。相反，他們可以在訓(xùn)練過程中實(shí)時監(jiān)控這些內(nèi)部指標(biāo)，及時了解AI的學(xué)習(xí)進(jìn)展，并據(jù)此調(diào)整訓(xùn)練策略。這就像是給AI訓(xùn)練過程裝上了一個實(shí)時的"智能儀表盤"，讓開發(fā)者能夠清楚地看到AI的學(xué)習(xí)狀態(tài)和發(fā)展趨勢。

四、理論基礎(chǔ)的重大突破

為了從理論層面解釋這些觀察到的現(xiàn)象，研究團(tuán)隊(duì)深入分析了AI模型的數(shù)學(xué)結(jié)構(gòu)，并建立了一套完整的理論框架。這套理論框架的核心在于揭示了思維路徑復(fù)雜度與AI泛化能力之間的深層數(shù)學(xué)關(guān)系。

研究人員通過神經(jīng)正切核理論，建立了一個關(guān)于混合專家模型泛化界限的數(shù)學(xué)定理。這個定理看起來很抽象，但它的含義卻相當(dāng)直觀：AI的泛化能力直接取決于其內(nèi)部路由核矩陣的有效維度。簡單來說，當(dāng)AI的思維路徑變得更加結(jié)構(gòu)化和簡化時，它的泛化能力就會顯著提升。

這個理論發(fā)現(xiàn)的重要性在于，它為研究團(tuán)隊(duì)觀察到的現(xiàn)象提供了嚴(yán)格的數(shù)學(xué)解釋。當(dāng)AI從隨機(jī)的、個性化的思維模式轉(zhuǎn)向結(jié)構(gòu)化的、共享的思維模式時，它實(shí)際上是在降低內(nèi)部表示的復(fù)雜度，從而提升了處理新問題的能力。這就像是一個學(xué)生從死記硬背各種具體題目的解法，轉(zhuǎn)向理解和掌握背后的通用原理一樣。

為了驗(yàn)證這個理論預(yù)測，研究團(tuán)隊(duì)設(shè)計了一系列巧妙的實(shí)驗(yàn)。他們構(gòu)建了一個簡化的混合專家模型，在可控的合成數(shù)據(jù)上進(jìn)行訓(xùn)練，然后觀察編輯距離（衡量思維路徑復(fù)雜度的指標(biāo)）與有效維度之間的關(guān)系。實(shí)驗(yàn)結(jié)果完美地驗(yàn)證了理論預(yù)測：兩者之間存在強(qiáng)烈的正相關(guān)關(guān)系，相關(guān)性接近完美的線性關(guān)系。

這種理論與實(shí)驗(yàn)的完美契合，不僅證實(shí)了研究團(tuán)隊(duì)方法的科學(xué)性，更重要的是為AI的可解釋性研究開辟了新的方向。它表明，我們不僅可以通過觀察AI的內(nèi)部狀態(tài)來預(yù)測其性能，更可以通過數(shù)學(xué)理論來深入理解這種預(yù)測的原理和機(jī)制。

五、現(xiàn)實(shí)應(yīng)用的深遠(yuǎn)影響

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了學(xué)術(shù)層面的理論突破，它為AI開發(fā)和應(yīng)用領(lǐng)域帶來了革命性的實(shí)踐價值。對于AI模型的開發(fā)者而言，這套新方法就像是為他們提供了一個精密的"AI健康監(jiān)測器"，能夠?qū)崟r了解模型的學(xué)習(xí)狀態(tài)和發(fā)展?jié)摿Α?/p>

在傳統(tǒng)的AI開發(fā)流程中，研究人員通常需要等待整個訓(xùn)練過程結(jié)束，然后花費(fèi)大量時間和計算資源對模型進(jìn)行各種測試評估。這個過程不僅耗時耗力，而且往往滯后于實(shí)際的模型發(fā)展?，F(xiàn)在，通過監(jiān)控思維路徑的變化，開發(fā)者可以在訓(xùn)練進(jìn)行的同時就獲得關(guān)于模型性能的準(zhǔn)確預(yù)測，這大大提高了開發(fā)效率并降低了成本。

對于AI訓(xùn)練策略的優(yōu)化，這項(xiàng)研究也提供了重要啟示。既然研究表明不同知識域的"開竅"時間不同，那么訓(xùn)練策略就可以相應(yīng)地進(jìn)行調(diào)整。開發(fā)者可以根據(jù)不同任務(wù)的學(xué)習(xí)進(jìn)度，動態(tài)調(diào)整訓(xùn)練數(shù)據(jù)的比例和訓(xùn)練強(qiáng)度，確保各個能力域都能得到充分發(fā)展。這就像是為不同科目制定個性化的學(xué)習(xí)計劃一樣精準(zhǔn)和高效。

這項(xiàng)研究還為AI安全性評估提供了新的工具。通過觀察AI內(nèi)部思維路徑的變化模式，研究人員可以更好地理解AI的決策過程，識別潛在的風(fēng)險點(diǎn)。如果AI在某些任務(wù)上表現(xiàn)出異常的路徑模式，這可能預(yù)示著存在安全隱患或性能問題，需要及時干預(yù)和調(diào)整。

對于AI教育和科普領(lǐng)域，這項(xiàng)研究也具有重要價值。它提供了一個直觀的框架來理解AI的學(xué)習(xí)過程，使得非專業(yè)人士也能更好地理解AI是如何從簡單的模式識別發(fā)展到復(fù)雜的智能行為。這有助于提高公眾對AI技術(shù)的理解和接受度。

從長遠(yuǎn)來看，這項(xiàng)研究可能會推動整個AI領(lǐng)域評估標(biāo)準(zhǔn)的革新。目前的AI評估主要依賴于外部測試和基準(zhǔn)數(shù)據(jù)集，但這種方法存在諸多局限性。基于內(nèi)部狀態(tài)監(jiān)控的評估方法可能會成為未來AI發(fā)展的重要補(bǔ)充甚至主要手段，就像醫(yī)學(xué)診斷從單純依靠癥狀觀察發(fā)展到現(xiàn)代的內(nèi)在指標(biāo)檢測一樣。

研究團(tuán)隊(duì)也坦誠地指出了當(dāng)前研究的局限性。他們的分析主要基于單一的模型架構(gòu)，理論分析也局限于簡化的單層混合專家模型。但這些局限性并不影響研究成果的價值，反而為未來的研究指明了方向。隨著更多研究團(tuán)隊(duì)的加入和技術(shù)的進(jìn)步，這套方法有望在更廣泛的AI模型和應(yīng)用場景中得到驗(yàn)證和推廣。

說到底，這項(xiàng)研究最大的貢獻(xiàn)在于它改變了我們觀察和理解AI學(xué)習(xí)過程的方式。它告訴我們，AI的智能涌現(xiàn)不是一個神秘莫測的過程，而是有規(guī)律可循、可以預(yù)測和引導(dǎo)的。通過觀察AI的"內(nèi)心世界"，我們不僅能夠更好地開發(fā)和優(yōu)化AI系統(tǒng)，更能夠深入理解智能本身的本質(zhì)和規(guī)律。這種理解不僅對AI技術(shù)發(fā)展具有重要意義，對于我們理解人類自身的學(xué)習(xí)和認(rèn)知過程也可能提供有價值的啟示。

有興趣深入了解這項(xiàng)研究技術(shù)細(xì)節(jié)的讀者，可以通過arXiv:2506.21551v1訪問完整的研究論文，其中包含了詳細(xì)的實(shí)驗(yàn)設(shè)計、數(shù)學(xué)推導(dǎo)和更多的實(shí)驗(yàn)數(shù)據(jù)。

Q&A

Q1：什么是Grokking現(xiàn)象？它在AI中是如何表現(xiàn)的？ A：Grokking是指AI模型在訓(xùn)練誤差已經(jīng)穩(wěn)定后，突然在測試任務(wù)上表現(xiàn)出顯著提升的現(xiàn)象。就像學(xué)生從死記硬背到真正理解的轉(zhuǎn)變過程，AI也會經(jīng)歷從簡單記憶訓(xùn)練數(shù)據(jù)到真正掌握知識規(guī)律的"開竅"過程。

Q2：這項(xiàng)研究開發(fā)的新方法有什么優(yōu)勢？ A：新方法的最大優(yōu)勢是不需要任何外部測試就能預(yù)測AI的智能水平。通過觀察AI內(nèi)部的"思維路徑"變化，可以實(shí)時監(jiān)控AI的學(xué)習(xí)進(jìn)展，這比傳統(tǒng)的測試方法更及時、更準(zhǔn)確，也更節(jié)省資源。

Q3：這項(xiàng)研究對普通人有什么影響？ A：雖然這是一項(xiàng)技術(shù)研究，但它可能會讓未來的AI產(chǎn)品變得更加可靠和高效。開發(fā)者能夠更好地控制AI的訓(xùn)練過程，確保AI在各個方面都能達(dá)到預(yù)期的智能水平，從而為用戶提供更好的AI服務(wù)體驗(yàn)。