人工智能領域又傳來重磅消息。NVIDIA公司的研究團隊在2025年6月發(fā)布了一項突破性研究成果，詳細揭示了如何訓練出既擅長數學推理又精通代碼編寫的AI模型。這項由劉子涵、楊卓林等人領導的研究發(fā)表于2025年6月16日的arXiv預印本平臺，論文編號為arXiv:2506.13284v1，有興趣的讀者可以通過https://huggingface.co/nvidia/AceReason-Nemotron-1.1-7B獲取完整模型和數據。

在這個人工智能日新月異的時代，讓AI模型既能解決復雜的數學問題又能編寫高質量代碼，就像培養(yǎng)一個既是數學天才又是編程高手的學生一樣困難。傳統(tǒng)上，研究者們要么專注于讓AI學會數學推理，要么專門訓練編程能力，很少有人能夠找到讓這兩種能力完美融合的訓練方法。

NVIDIA的研究團隊發(fā)現了一個令人驚喜的現象：當他們專門用數學題訓練AI模型時，這個模型的編程能力竟然也得到了顯著提升。這就好比一個學生專心練習數學題，結果發(fā)現自己的邏輯思維能力增強了，編程水平也跟著提高了。更有趣的是，他們還發(fā)現了監(jiān)督學習和強化學習之間的奇妙配合關系，就像找到了教學和實踐之間的完美平衡點。

這項研究的核心在于探索兩種訓練方法的協(xié)同效應。第一種叫做監(jiān)督微調，就像傳統(tǒng)的課堂教學，老師給學生展示正確答案，學生跟著學習模仿。第二種叫做強化學習，更像是讓學生自己做題練習，做對了有獎勵，做錯了有懲罰，通過不斷試錯來提升能力。

研究團隊首先深入研究了監(jiān)督微調的數據擴展策略。他們發(fā)現，增加訓練題目的數量和為每道題提供多種解答方法都能顯著提升模型性能，但增加題目數量的效果更為明顯。這就像學習數學時，做更多不同類型的題目比反復看同一道題的多種解法更有效。具體來說，他們構建了七個不同規(guī)模的訓練數據集，從最小的3.6萬個樣本逐步擴展到最大的220萬個樣本，每次擴展都能觀察到模型能力的穩(wěn)步提升。

在訓練周期方面，研究者們觀察到一個有趣現象：模型的表現從第一輪訓練到第五輪訓練持續(xù)改善，在第五到第六輪之間才開始趨于穩(wěn)定。這意味著適度的"過擬合"實際上有助于提升測試準確率，特別是在生成長篇推理過程時。這種現象可能是因為自回歸模型中的暴露偏差導致的，簡單來說就是模型需要充分練習才能在實際應用中表現出色。

接下來，研究團隊探索了強化學習訓練的精妙之處。他們從不同強度的監(jiān)督模型開始進行強化學習，發(fā)現了一個重要規(guī)律：盡管初始模型的性能差距可能很大，但經過大規(guī)模強化學習訓練后，這些差距會顯著縮小。這就像不同起點的學生，通過持續(xù)的練習和改進，最終都能達到相近的水平。

溫度參數的選擇在強化學習中扮演著關鍵角色。研究團隊發(fā)現，訓練時的采樣溫度需要精心調節(jié)，既不能太低也不能太高。溫度太低會導致模型過度保守，缺乏探索性；溫度太高則會導致過度隨機，學習效率低下。他們提出了一個實用的經驗法則：將采樣溫度設置為使溫度調整后的熵保持在0.3左右，這樣可以在探索和利用之間取得良好平衡。

強化學習的訓練過程采用了階段性策略，就像學習編程時先學基礎語法，再學復雜算法一樣。第一階段使用8K標記長度限制，主要起到熱身作用。雖然這個階段初期可能會導致性能下降，但它幫助模型學會將冗長的推理過程壓縮為更簡潔的形式，為后續(xù)階段的學習打下基礎。第二和第三階段分別將長度限制擴展到16K和24K，模型的推理能力在這些階段得到顯著提升。

在處理超長輸出時，研究團隊發(fā)現了一個有趣的權衡。當響應長度較短（如8K或16K標記）時，過濾掉那些沒有在規(guī)定長度內給出最終答案的樣本是有益的。但隨著長度限制增加到24K和32K，這種過濾策略的優(yōu)勢逐漸減弱，甚至可能產生負面影響。這提醒我們，不同階段需要采用不同的訓練策略。

最令人驚喜的發(fā)現是跨領域的泛化能力。當研究團隊僅使用數學題目進行強化學習訓練時，模型的編程能力也得到了顯著提升。這種現象在各種不同強度的初始模型上都得到了驗證，說明數學推理和編程思維之間存在深層的聯系。這就像鍛煉身體的核心肌群會同時改善各種運動表現一樣，強化數學推理能力也會提升整體的邏輯思維水平。

在大規(guī)模評估中，研究團隊使用了多個權威基準測試。對于數學任務，他們選擇了AIME2024、AIME2025、Math500等競賽級別的測試集。對于編程任務，則采用了EvalPlus和LiveCodeBench等業(yè)界標準。所有測試都使用了嚴格的評估協(xié)議，包括多次采樣和平均結果，確保評估的可靠性。

最終的AceReason-Nemotron-1.1 7B模型在各項測試中都取得了優(yōu)異成績。在AIME2024上達到72.6%的準確率，在AIME2025上達到64.8%，在LiveCodeBench V5和V6上分別達到57.2%和52.1%。這些成績不僅超越了前代模型，也在同等規(guī)模的模型中達到了最高水平。

研究團隊還深入分析了pass@K指標，即給模型K次機會看能否答對題目。結果顯示，即使在K值較大的情況下，強化學習訓練的模型仍然比僅經過監(jiān)督訓練的模型表現更好。這說明強化學習不僅提升了模型的最佳表現，也提高了整體的成功概率。

更進一步的分析顯示，強化學習主要通過解決困難問題來提升模型性能。那些初始模型準確率低于20%的難題，經過強化學習后有了顯著改善。這就像一個學生通過刻苦練習，最終攻克了那些曾經束手無策的難題。

整個訓練過程的設計充分體現了教育學的智慧。從基礎的監(jiān)督學習開始，逐步過渡到更具挑戰(zhàn)性的強化學習，每個階段都有明確的目標和循序漸進的難度提升。這種方法論不僅適用于AI模型訓練，也為人類學習提供了有益的啟示。

說到底，這項研究最大的價值在于揭示了監(jiān)督學習和強化學習之間的協(xié)同關系。它告訴我們，培養(yǎng)AI的推理能力不是簡單的知識灌輸，而需要在模仿學習和自主探索之間找到平衡。正如培養(yǎng)人才需要既有扎實的基礎教育，又要有充分的實踐機會一樣，AI模型的訓練也需要這種有機結合。

這項研究的意義遠不止于創(chuàng)造了一個新的AI模型。它為整個AI訓練領域提供了新的思路和方法論，證明了跨領域能力提升的可能性，也為未來開發(fā)更強大、更通用的AI系統(tǒng)指明了方向。隨著這些訓練技術的不斷完善和普及，我們可以期待看到更多既聰明又實用的AI助手出現在我們的日常生活中。

對于普通人來說，這意味著未來的AI工具將更加智能和可靠，無論是幫助學生解決數學難題，還是協(xié)助程序員編寫代碼，都將有更出色的表現。而對于研究者和開發(fā)者來說，這項工作提供了寶貴的經驗和指導，讓他們能夠更有效地訓練和改進AI模型。

NVIDIA團隊不僅在論文中詳細分享了他們的發(fā)現，還開源了模型和數據，讓全世界的研究者都能受益于這些成果。這種開放合作的精神，正是推動AI技術不斷進步的重要動力。

Q&A

Q1：AceReason-Nemotron 1.1是什么？它有什么特別之處？ A：AceReason-Nemotron 1.1是NVIDIA開發(fā)的一個7B參數的AI模型，它的特別之處在于同時擅長數學推理和代碼編寫。更神奇的是，研究發(fā)現僅用數學題訓練這個模型，它的編程能力也會顯著提升，就像練習數學提升了整體邏輯思維能力一樣。

Q2：監(jiān)督學習和強化學習會不會互相沖突？ A：不會沖突，反而相互促進。監(jiān)督學習就像課堂教學，讓AI學會基礎知識；強化學習像實踐練習，讓AI通過試錯提升能力。研究發(fā)現即使初始模型差距很大，經過強化學習訓練后，性能差距會顯著縮小，說明這兩種方法配合效果很好。

Q3：普通人能用這個模型做什么？有什么實際價值？ A：這個模型可以幫助解決復雜的數學問題和編寫代碼，對學生、教師、程序員都很有用。更重要的是，這項研究的訓練方法為開發(fā)更智能的AI助手提供了新思路，未來我們可能會看到更多既聰明又實用的AI工具出現在日常生活中。