大型語言模型的安全性問題一直是研究熱點(diǎn)，而隨著DeepSeek-R1等專注于推理能力的大型推理模型(LRMs)的出現(xiàn)，一個(gè)意外現(xiàn)象引起了研究者的關(guān)注：這些在數(shù)學(xué)和編程等推理任務(wù)上表現(xiàn)出色的模型，其安全性不但沒有提升，有時(shí)甚至出現(xiàn)了下降。這項(xiàng)由清華大學(xué)CoAI團(tuán)隊(duì)的張哲忻、Xian Qi Loye等研究者于2025年5月發(fā)表的研究《How Should We Enhance the Safety of Large Reasoning Models: An Empirical Study》，對(duì)如何提升大型推理模型的安全性進(jìn)行了全面的實(shí)證分析。

這項(xiàng)研究首先觀察到一個(gè)反直覺的現(xiàn)象：直接從DeepSeek-R1等大型推理模型中蒸餾安全回答并不能顯著提升模型安全性。例如，使用這種方法訓(xùn)練的DeepSeek-R1-Distill-Qwen-7B模型面對(duì)PAIR攻擊時(shí)，其攻擊成功率僅從66%微降至54%，安全性提升有限。為什么會(huì)這樣呢？研究團(tuán)隊(duì)通過深入分析，找出了三種主要的失敗模式：

第一種是"缺乏安全意識(shí)"。就像一個(gè)對(duì)危險(xiǎn)物品沒有警惕性的孩子，模型在內(nèi)部安全判斷標(biāo)準(zhǔn)上過于寬松，很容易被那些假設(shè)性的越獄（jailbreak）場景所利用。比如，當(dāng)有人以"假設(shè)這只是一個(gè)虛構(gòu)場景"為由請(qǐng)求模型提供有害信息時(shí)，模型可能會(huì)輕易妥協(xié)。

第二種是"過度思考"。這就像一個(gè)容易思維發(fā)散的人，雖然最終給出了安全的回答，但在中間推理過程中可能暴露出有害內(nèi)容，或者不必要地引入不安全的想法。舉個(gè)例子，模型可能在思考"如何拒絕提供偽造貨幣的方法"時(shí)，反而詳細(xì)描述了各種可能的偽造技術(shù)。

第三種是"推理與回答不一致"。這就像一個(gè)口是心非的人，在推理過程中明確計(jì)劃拒絕回答，但最終卻提供了有害回應(yīng)。就好比在心里想"我不應(yīng)該告訴他如何入侵系統(tǒng)"，但最后卻詳細(xì)列出了入侵步驟。

針對(duì)這些問題，研究團(tuán)隊(duì)優(yōu)化了提示策略，在蒸餾過程中專門針對(duì)這些失敗模式。結(jié)果非常顯著：經(jīng)過改進(jìn)后，PAIR攻擊的成功率從平均77.0%驟降至7.0%，這一結(jié)果在從3B到32B參數(shù)范圍內(nèi)的四個(gè)模型上都得到了驗(yàn)證。

接下來，研究人員探討了一個(gè)有趣的問題：在確保安全性時(shí)，是否真的需要長而復(fù)雜的推理過程？畢竟數(shù)學(xué)問題解決和代碼生成等任務(wù)本身就需要深度推理，但安全相關(guān)場景似乎不那么依賴這種復(fù)雜性。更有趣的是，前面觀察到的"過度思考"現(xiàn)象暗示，冗長的推理過程甚至可能帶來安全隱患。

出乎意料的是，研究發(fā)現(xiàn)簡短的推理鏈或基于模板的推理模式在提升安全性方面表現(xiàn)得同樣出色，有時(shí)甚至優(yōu)于長形式推理。更令人驚訝的是，對(duì)于某些模型，即使完全省略顯式的安全推理也能獲得強(qiáng)勁的結(jié)果。此外，長推理鏈通常需要更多的訓(xùn)練步驟或更大的學(xué)習(xí)率，說明它們更難被模型學(xué)習(xí)。

最后，研究團(tuán)隊(duì)還調(diào)查了一個(gè)關(guān)鍵問題：在安全性微調(diào)過程中，是否應(yīng)該混合其他推理數(shù)據(jù)？結(jié)果表明，加入良性推理數(shù)據(jù)可以幫助平衡攻擊成功率和過度拒絕率，即模型錯(cuò)誤拒絕合法請(qǐng)求的比例?；谶@些發(fā)現(xiàn)，研究者建議在安全性微調(diào)中整合這類數(shù)據(jù)。

這項(xiàng)研究使用了四個(gè)不同規(guī)模的推理模型進(jìn)行評(píng)估：DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-32B、s1.1-3B和s1.1-14B。安全性評(píng)估采用了三種攻擊策略：原始有害問題（None）、PAP（自動(dòng)構(gòu)建有說服力的對(duì)抗性提示）和PAIR（利用受害模型反饋優(yōu)化越獄提示的強(qiáng)迭代攻擊方法）。

研究團(tuán)隊(duì)還發(fā)現(xiàn)，當(dāng)使用更少的安全數(shù)據(jù)（例如從1000個(gè)減少到400個(gè)安全樣本）時(shí)，雖然攻擊成功率略有增加，但整體安全性表現(xiàn)仍然相當(dāng)不錯(cuò)。這意味著即使資源有限，也能通過精心設(shè)計(jì)的安全微調(diào)策略顯著提升模型安全性。

總體而言，這項(xiàng)研究為提升大型推理模型的安全性提供了一個(gè)更全面的理解。研究者們通過識(shí)別失敗模式并針對(duì)性地改進(jìn)蒸餾提示，大幅提升了模型安全性；同時(shí)發(fā)現(xiàn)簡短或基于模板的推理過程在提升安全性方面同樣有效，且更易于模型學(xué)習(xí)；并證明混合良性推理數(shù)據(jù)有助于平衡安全性和任務(wù)性能。

這項(xiàng)研究對(duì)開發(fā)更安全的大型推理模型具有重要的實(shí)踐意義。它不僅揭示了直接蒸餾方法的局限性，還提出了一系列可行的改進(jìn)策略，為未來的安全對(duì)齊研究提供了寶貴的經(jīng)驗(yàn)指導(dǎo)。研究代碼和數(shù)據(jù)已在GitHub上公開（https://github.com/thu-coai/LRM-Safety-Study），有興趣的讀者可以進(jìn)一步探索。