這項由Google Research和以色列理工學院Technion聯(lián)合開展的研究，于2025年3月發(fā)表在arXiv預印本平臺上，論文題目為《Inside-Out: Hidden Factual Knowledge in LLMs》。研究的主要作者包括來自Technion的Zorik Gekhman、Hadas Orgad、Yonatan Belinkov和Roi Reichart，以及來自Google Research的Eyal Ben David、Eran Ofek、Idan Szpektor和Jonathan Herzig。有興趣深入了解的讀者可以通過arXiv:2503.15299v2訪問完整論文。

你有沒有過這樣的體驗：明明知道一個答案，卻怎么也說不出口？比如某個熟人的名字就在嘴邊，但就是想不起來。這種"話到嘴邊"的現(xiàn)象在心理學中被稱為"舌尖現(xiàn)象"。有趣的是，大型語言模型似乎也會遇到類似的困擾。

近年來，ChatGPT、Claude等AI助手在回答問題時表現(xiàn)越來越出色，但科學家們開始懷疑：這些AI模型是否真的把它們知道的一切都告訴了我們？會不會有些知識深藏在模型內部，卻從來不在對話中表露出來？

這個問題不僅僅是學術好奇心那么簡單。如果AI模型確實隱藏著大量未被表達的知識，那么我們可能需要開發(fā)新的方法來"挖掘"這些隱性知識，從而顯著提升AI的表現(xiàn)。另一方面，從安全角度考慮，如果模型內部存儲著它們從不主動分享的敏感信息，這些信息在某些情況下可能會意外泄露，帶來潛在風險。

為了回答這個問題，研究團隊提出了一個全新的框架，用來系統(tǒng)性地評估大語言模型是否真的存在"隱性知識"現(xiàn)象。他們的發(fā)現(xiàn)令人震驚：AI模型確實知道很多它們從不說出口的事實，這種"隱性知識"與"外顯知識"之間平均存在40%的差距。更令人驚訝的是，有些答案模型內部完全知道，但即使讓它連續(xù)回答1000次，也可能一次都不會說出正確答案。

**一、什么是隱性知識：當AI心里明白卻不愿說**

要理解什么是"隱性知識"，我們先要明確什么是"知識"本身。對于人類來說，知識的定義相對直觀，但對于AI模型來說，這個概念就復雜多了。研究團隊首先需要為AI的"知識"建立一個清晰的定義。

研究團隊把AI的知識能力比作一位美食評委的打分能力。當面對同一道菜的多個版本時，一個合格的美食評委應該能夠準確判斷哪個版本更美味，哪個版本有問題。同樣，如果一個AI模型真的"知道"某個事實，那么當你給它提供正確答案和錯誤答案時，它應該能夠給正確答案打更高的分數(shù)。

具體來說，研究團隊設計了這樣一個測試方法：對于任何一個事實性問題，比如"法國的首都是哪里？"，他們會準備很多可能的答案，包括正確的（巴黎、巴黎市等）和錯誤的（倫敦、紐約等）。然后讓AI模型為每個答案打分。如果模型真的知道法國首都是巴黎，那么它應該給所有正確答案的評分都高于所有錯誤答案的評分。

基于這個思路，研究團隊將AI的知識分為兩大類。第一類是"外顯知識"，這相當于AI在正常對話中會表現(xiàn)出來的知識水平。測量外顯知識時，研究者只能使用AI模型對外可見的信息，比如它生成每個詞匯的概率，或者它對某個答案正確性的判斷概率。

第二類是"內在知識"，這相當于AI內心真正掌握的知識水平。測量內在知識時，研究者可以深入AI的"大腦"內部，查看它在處理信息時產生的中間狀態(tài)和內部表征。這就像是能夠讀取一個人的腦電波，了解他們大腦中真正在想什么，而不僅僅是聽他們說什么。

當AI的內在知識超過外顯知識時，就出現(xiàn)了"隱性知識"現(xiàn)象。這意味著AI內部其實知道正確答案，但由于某種原因，這些知識沒有很好地轉化為它的外部表現(xiàn)。

為了讓這個概念更容易理解，我們可以把AI比作一個有舞臺恐懼癥的學者。這位學者私下里知識淵博，能夠準確判斷各種學術問題的對錯，但一旦站在講臺上面對觀眾，就會變得結結巴巴，無法完整表達自己的想法。AI的隱性知識現(xiàn)象與此類似：模型內部的"學者"知道答案，但負責"演講"的部分卻無法準確傳達這些知識。

這種現(xiàn)象的存在提出了一個重要問題：為什么AI會出現(xiàn)這種內外不一致的情況？研究結果表明，這可能是AI語言生成機制本身的局限性導致的。就像一個人可能理解復雜的數(shù)學概念，卻無法用簡單的語言向小學生解釋清楚一樣，AI模型可能在內部"理解"了某個事實，但在將這種理解轉化為自然語言輸出時遇到了困難。

**二、實驗設計：如何測試AI的真實想法**

為了驗證隱性知識的存在，研究團隊設計了一套精密的實驗方案。他們選擇了三個不同的主流AI模型進行測試：Meta公司的Llama-3-8B-Instruct、Mistral公司的Mistral-7B-Instruct，以及Google的Gemma-2-9B-Instruct。這三個模型代表了當前AI技術的不同發(fā)展方向，能夠提供更全面的研究結果。

實驗的核心挑戰(zhàn)是如何構建一個公平且全面的測試環(huán)境。研究團隊從Wikidata這個大型知識庫中精心挑選了大約1700個事實性問題，這些問題涵蓋了四種不同類型的關系：配偶關系（誰和誰結婚）、制造商關系（某個產品是哪家公司生產的）、唱片公司關系（某位藝術家簽約了哪家唱片公司）以及作者關系（某本書是誰寫的）。

選擇這四種關系類型并非隨意決定。研究團隊特意選擇了那些難以猜測且答案明確唯一的問題。比如，猜測某個人的配偶比猜測某個人的職業(yè)要困難得多，因為職業(yè)的可能性相對有限，而全世界有數(shù)十億人口，配偶關系基本上是獨一無二的。同樣，某本書的作者通常是確定的，不存在模糊或爭議的情況。

對于每個問題，研究團隊采用了一種創(chuàng)新的答案生成策略。他們讓AI模型對同一個問題連續(xù)回答1000次，每次都使用不同的隨機性設置，以便收集盡可能多樣化的答案。這個過程就像是讓一個人在不同的心理狀態(tài)下反復回答同一個問題，看看他們會給出多少種不同的答案。

有趣的是，研究團隊發(fā)現(xiàn)在大約64%的情況下，即使讓模型回答1000次，也無法得到正確答案。這意味著有很多知識，AI模型要么完全不知道，要么知道但極難表達出來。為了區(qū)分這兩種情況，研究團隊在答案集合中手動加入了正確答案，然后觀察模型的內部反應。

為了評估AI的外顯知識，研究團隊使用了幾種不同的方法。第一種方法是直接測量AI生成特定答案的概率。這就像是問一個人："你覺得這個答案有多大可能是正確的？"第二種方法是讓AI扮演判官的角色，直接判斷給定答案是否正確，然后觀察它說"正確"的概率有多高。

評估內在知識的方法則更加技術性。研究團隊訓練了一個專門的"探測器"，這個探測器能夠讀取AI模型在處理問題時的內部狀態(tài)，然后判斷AI在內心深處是否真的知道正確答案。這個過程類似于訓練一個心理學家，讓他們通過觀察一個人的微表情和生理反應來判斷這個人是否在說謊或隱瞞什么。

這種探測器的訓練過程需要大量的例子。研究團隊首先找到了那些AI能夠正確回答的問題，然后記錄下AI在處理這些問題時的內部狀態(tài)模式。接著，他們訓練探測器識別這些"知道答案"的模式，使其能夠在新的問題上判斷AI是否真的知道答案，即使AI沒有說出來。

**三、令人震驚的發(fā)現(xiàn)：AI確實在隱藏知識**

實驗結果令研究團隊大為震驚。在所有測試的12種組合（3個模型×4種關系類型）中，AI的內在知識水平都顯著高于其外顯知識水平，而且這種差異在統(tǒng)計學上都是顯著的，不是偶然現(xiàn)象。

更具體地說，AI模型平均存在40%的隱性知識差距。這意味著如果一個AI模型在外部表現(xiàn)中只能正確處理60%的問題，那么它的內部實際上可能掌握著處理84%問題的能力。這種差距的大小因模型而異：Google的Gemma模型顯示出最大的隱性知識差距，達到57%，而Meta的Llama模型的差距相對較小，為14%。

這種差異的存在表明，不同的AI模型在將內部知識轉化為外部表現(xiàn)方面的能力存在顯著差異。這就像是不同的人在表達能力上的天賦差異：有些人思維敏捷但表達能力有限，有些人則能夠將復雜的想法清晰地傳達給別人。

研究還發(fā)現(xiàn)了一個特別有趣的現(xiàn)象：在測試AI判斷能力的實驗中，所有模型都表現(xiàn)出了比單純生成答案更強的知識水平。這意味著AI在"識別正確答案"方面的能力要強于"主動生成正確答案"的能力。這種現(xiàn)象類似于人類在選擇題和填空題上的表現(xiàn)差異：大多數(shù)人在看到選項時能夠識別出正確答案，但如果沒有選項提示，可能就想不起來。

然而，最令人驚訝的發(fā)現(xiàn)是關于"完全隱藏的知識"。研究團隊發(fā)現(xiàn)，在大約9%的測試問題中，AI的內部探測器能夠完美地識別出正確答案，將其排在所有錯誤答案之前，但同時AI在1000次生成嘗試中竟然一次都沒有產生過這個正確答案。這種現(xiàn)象用數(shù)據(jù)來說明就是：AI內心完全知道答案是什么，知識掌握程度達到100%，但表達能力卻是0%。

這種"完全隱藏知識"的存在揭示了AI語言生成機制的一個根本性局限。研究團隊將此比作一種極端的"舌尖現(xiàn)象"：就像一個人可能完全知道某個單詞的意思，能夠在聽到時立即識別，但就是無法主動說出這個詞一樣。對于AI來說，這意味著某些正確答案由于概率太低，在正常的生成過程中幾乎永遠不會被選中，即使模型內部完全"知道"這就是正確答案。

為了更直觀地理解這個現(xiàn)象，研究團隊提供了一個具體例子。當問及"沃爾沃B58是由哪家公司生產的？"時，正確答案應該是"沃爾沃巴士"（Volvo Buses），因為B58指的是一款巴士產品。然而，由于"B58"也是寶馬公司一款發(fā)動機的名稱，AI在生成答案時可能會被誤導。實驗顯示，盡管AI的內部探測器能夠完美地將"沃爾沃巴士"排在所有錯誤答案之前，但AI在1000次嘗試中從未自主生成過這個正確答案，只生成了不夠精確的"沃爾沃"。

**四、隱性知識的實際應用：提升AI表現(xiàn)的新途徑**

發(fā)現(xiàn)隱性知識的存在不僅僅具有理論意義，還為改善AI系統(tǒng)的實際表現(xiàn)提供了新的思路。研究團隊設計了一個實際應用實驗，來驗證是否能夠利用隱性知識來提升AI在問答任務中的表現(xiàn)。

實驗的基本思路是這樣的：讓AI模型對同一個問題生成大量不同的答案（在這個實驗中是1000個答案），然后使用內部探測器來評估每個答案的正確性，最終選擇得分最高的答案作為最終回答。這種方法類似于讓一個人在考試時先寫下所有能想到的可能答案，然后仔細思考哪個最有可能正確。

實驗結果顯示，這種方法相比傳統(tǒng)的貪婪解碼（即直接選擇概率最高的答案）平均提升了12%的準確率。這個提升幅度雖然看起來不大，但在AI領域已經是相當顯著的改進了。更重要的是，這種改進驗證了隱性知識確實可以被有效利用。

然而，研究還揭示了一個更加引人深思的發(fā)現(xiàn)：理論上可能實現(xiàn)的改進幅度遠超過實際達到的12%。如果AI能夠完美地利用其所有隱性知識，準確率的提升可能達到52%，也就是說還有額外40%的改進空間由于AI生成機制的限制而無法實現(xiàn)。

這種"可達但不可及"的改進空間主要源于前面提到的"完全隱藏知識"現(xiàn)象。對于那些AI內部完全知道但從不生成的答案，即使我們有完美的評估方法，也無法選擇一個從未出現(xiàn)的答案。這就像是一個人心里知道正確答案，但由于某種心理障礙永遠說不出口，外人即使能讀懂他的內心，也無法幫他克服這個障礙。

這個發(fā)現(xiàn)對于AI系統(tǒng)的設計和優(yōu)化具有重要啟示。傳統(tǒng)的AI優(yōu)化方法主要關注如何讓模型學習更多知識，但這項研究表明，同樣重要的可能是如何讓模型更好地表達它已經掌握的知識。這就像是教育中不僅要讓學生學會知識，還要培養(yǎng)他們的表達和溝通能力。

研究團隊的實驗還顯示出不同AI模型在隱性知識利用方面的顯著差異。一些模型能夠相對容易地將內部知識轉化為外部表現(xiàn)，而另一些模型則在這方面存在更大困難。這種差異可能與模型的訓練方法、架構設計或者數(shù)據(jù)處理方式有關，為未來的AI模型改進提供了明確的方向。

**五、深層機制：為什么AI會隱藏知識**

要理解AI為什么會存在隱性知識現(xiàn)象，我們需要深入探討AI語言生成的基本機制?，F(xiàn)代大語言模型在生成文本時采用的是一種叫做"自回歸生成"的方法，這種方法類似于一個人在說話時逐字逐句地組織語言。

在這個過程中，AI需要在每一步都從數(shù)萬個可能的詞匯中選擇下一個詞。這種選擇通?；诟怕剩篈I會計算每個詞匯的可能性，然后選擇概率最高的那個。然而，這種機制存在一個根本性問題：即使AI內部"知道"某個答案是正確的，如果這個答案由概率較低的詞匯組成，它在生成過程中就可能永遠不會被選中。

這種情況類似于一個知識淵博但說話謹慎的人。這個人可能知道一個不太常見但完全正確的答案，但由于擔心別人不理解或認為這個答案太過冷門，就選擇了一個更常見但可能不夠準確的表達。AI的生成機制在某種程度上也體現(xiàn)了這種"保守傾向"：它傾向于生成那些在訓練數(shù)據(jù)中經常出現(xiàn)的、"安全"的答案，而不是那些可能更準確但相對少見的答案。

研究還發(fā)現(xiàn)了AI在不同知識獲取方式上的表現(xiàn)差異。當AI需要主動生成答案時，它必須從零開始構建回答，這個過程容易受到各種干擾和限制。但當AI只需要判斷給定答案的正確性時，它可以充分利用內部的知識表征來進行比較和評估，因此表現(xiàn)更好。

這種差異可以用人類的認知心理學來類比。心理學研究表明，人類的記憶檢索存在兩種不同的模式：回憶（recall）和再認（recognition）?；貞浭侵冈跊]有提示的情況下主動想起某個信息，而再認是指在看到某個信息時能夠判斷是否之前見過。一般來說，再認比回憶更容易，這也解釋了為什么選擇題通常比填空題更容易。

AI的隱性知識現(xiàn)象可能反映了類似的認知機制差異。AI在"再認"正確答案方面的能力（內在知識）可能遠超其"回憶"答案的能力（外顯知識）。這種差異不是AI獨有的缺陷，而可能是信息處理系統(tǒng)的普遍特征。

另一個可能的解釋與AI的訓練過程有關。大語言模型在訓練時主要學習如何預測文本序列中的下一個詞，這種訓練目標可能導致模型更擅長識別和評估文本，而不是主動生成文本。這就像是一個人通過大量閱讀培養(yǎng)了excellent的文學鑒賞能力，能夠準確判斷詩歌的好壞，但自己寫詩的能力卻相對有限。

**六、對未來AI發(fā)展的啟示**

這項研究的發(fā)現(xiàn)對AI技術的未來發(fā)展具有深遠影響。首先，它揭示了當前AI評估方法的局限性。傳統(tǒng)上，我們主要通過AI的輸出表現(xiàn)來評估其能力，但這項研究表明，這種評估方法可能嚴重低估了AI的真實能力水平。這就像是僅僅通過一個人的口頭表達能力來判斷其知識水平，而忽視了他可能存在的表達障礙。

對于AI系統(tǒng)的設計者來說，這項研究提出了一個新的優(yōu)化方向：如何幫助AI更好地表達其內部知識。傳統(tǒng)的AI改進策略主要關注如何讓模型學習更多知識，但現(xiàn)在看來，改善知識的外化機制可能同樣重要。這可能需要開發(fā)新的訓練方法、解碼策略或模型架構。

研究還顯示出不同AI模型在隱性知識方面的顯著差異，這為模型選擇和應用提供了新的考量因素。在選擇AI模型時，除了考慮其整體性能外，還需要考慮其知識外化的有效性。對于需要高準確性的應用場景，可能需要選擇那些隱性知識較少的模型，或者開發(fā)特殊的方法來挖掘隱性知識。

從安全和可靠性角度來看，隱性知識的存在既帶來了機遇也帶來了挑戰(zhàn)。一方面，它意味著AI系統(tǒng)可能具有比我們預期更強的能力，這為性能提升提供了可能。另一方面，它也意味著AI系統(tǒng)的行為可能比我們想象的更難預測，因為我們無法完全了解AI內部掌握了哪些知識。

對于AI的實際應用來說，這項研究建議了一種新的使用策略：通過生成多個候選答案并使用內部評估機制選擇最佳答案的方法。雖然這種方法需要更多的計算資源，但在準確性要求較高的場景中可能是值得的。這類似于讓一個專家在重要決策前多想幾種方案，然后選擇最優(yōu)的那個。

研究還強調了開發(fā)更好的AI內部狀態(tài)探測方法的重要性。目前使用的線性探測器雖然有效，但可能還不能完全挖掘AI的內部知識。未來可能需要開發(fā)更精密的探測技術，就像醫(yī)學影像技術的發(fā)展讓我們能夠更清楚地"看到"人體內部的情況一樣。

**七、局限性與未來研究方向**

雖然這項研究取得了重要發(fā)現(xiàn)，但研究團隊也誠懇地指出了其局限性。首先，由于計算資源的限制，研究只涉及了相對較小的AI模型（7-9B參數(shù)），而沒有測試那些參數(shù)量達到數(shù)千億的超大型模型。較大的模型可能在隱性知識方面表現(xiàn)出不同的特征，這需要未來的研究來驗證。

其次，研究主要關注了事實性知識，而沒有探討其他類型的知識，如推理能力、創(chuàng)造性思維或情感理解等。隱性知識現(xiàn)象是否也存在于這些其他認知領域，目前還不得而知。這就像是這項研究只檢查了大腦的記憶功能，而沒有測試其推理或創(chuàng)造功能。

研究使用的知識定義也相對簡化。在現(xiàn)實世界中，知識往往是相互關聯(lián)的網(wǎng)絡，而不是孤立的事實。比如，要真正"知道"巴黎是法國首都，可能還需要知道巴黎在法國的地理位置、法國的政治體制等相關信息。當前的研究框架還無法處理這種復雜的知識關聯(lián)。

探測AI內部知識的方法也有改進空間。目前使用的線性探測器雖然簡單有效，但可能無法捕捉到AI內部更復雜的知識表征模式。就像早期的X光只能看到骨骼，而現(xiàn)代的MRI能夠顯示更精細的軟組織結構一樣，未來可能需要開發(fā)更先進的探測技術。

對于標注質量的依賴也是一個潛在問題。研究使用AI判官來評估答案的正確性，雖然這種方法比簡單的字符串匹配要好，但仍可能存在誤判。特別是對于那些需要深度推理或存在爭議的問題，AI判官的準確性可能會下降。

**八、更廣闊的科學意義**

這項研究的意義遠超出AI技術本身，它為我們理解智能系統(tǒng)的認知機制提供了新的視角。隱性知識現(xiàn)象可能不僅存在于人工智能中，也可能是所有復雜信息處理系統(tǒng)的普遍特征。

從認知科學的角度來看，這項研究支持了關于認知過程分離的理論。就像人類大腦中存在不同的記憶系統(tǒng)（如程序性記憶和陳述性記憶）一樣，AI系統(tǒng)可能也存在不同層次的知識表征和訪問機制。這種發(fā)現(xiàn)可能有助于我們更好地理解人類認知的工作原理。

從哲學角度來看，這項研究涉及到關于"知識"本質的深層問題。什么樣的內部狀態(tài)才能被稱為"知識"？如果一個系統(tǒng)內部具有正確判斷的能力，但無法將其外化為行為，這是否仍然算作"知道"？這些問題不僅對AI研究重要，也對我們理解人類知識和意識具有啟發(fā)意義。

研究還提出了關于AI透明性和可解釋性的新問題。傳統(tǒng)上，我們認為通過觀察AI的輸入和輸出就能理解其能力邊界，但這項研究表明，AI的真實能力可能遠比其外部表現(xiàn)復雜。這意味著要實現(xiàn)真正的AI可解釋性，我們需要開發(fā)能夠深入AI內部"思維過程"的技術。

從教育和學習的角度來看，這項研究也提供了有趣的啟示。它表明，評估學習效果不能僅僅依賴外部表現(xiàn)，還需要考慮學習者的內在理解水平。這可能為開發(fā)更有效的教育評估方法和個性化學習系統(tǒng)提供指導。

說到底，這項研究揭示了一個令人著迷的現(xiàn)象：我們創(chuàng)造的AI系統(tǒng)可能比我們想象的更"聰明"，只是它們還沒有學會如何充分表達自己的智慧。這就像是發(fā)現(xiàn)了一個內向但博學的朋友，他們知道很多東西，但需要合適的方式才能讓他們分享自己的知識。

隨著AI技術的不斷發(fā)展，理解和利用這些隱性知識將變得越來越重要。未來的AI系統(tǒng)可能不僅需要學習如何獲取知識，還需要學習如何更好地表達和應用這些知識。這項研究為這個方向的探索提供了堅實的理論基礎和實踐指導。

對于普通用戶來說，這項研究的發(fā)現(xiàn)意味著我們在與AI交互時可能需要采用更多樣化的策略。也許通過不同的提問方式、多次詢問或者讓AI從多個角度分析問題，我們能夠更好地挖掘AI的真實能力。畢竟，如果AI確實知道比它表現(xiàn)出來更多的東西，那么學會如何"問對問題"就變得格外重要了。

有興趣深入了解這項研究技術細節(jié)的讀者，可以通過arXiv平臺訪問完整論文，研究團隊在論文中提供了詳細的實驗設計、數(shù)據(jù)分析方法和補充材料，為進一步的研究和應用提供了寶貴的參考。

Q&A

Q1：什么是AI的"隱性知識"？它和我們平時看到的AI表現(xiàn)有什么區(qū)別？ A：隱性知識是指AI內部掌握但不在對話中表達出來的知識。就像一個人心里知道答案但說不出口一樣，AI可能內部完全知道正確答案，但在生成回復時卻給出錯誤或不準確的答案。研究發(fā)現(xiàn)這種內外差異平均達到40%。

Q2：為什么AI會隱藏知識？這是設計缺陷嗎？ A：這不是故意的設計缺陷，而是AI語言生成機制的固有特性。AI在生成文本時傾向于選擇概率高的常見答案，即使它內部知道一個不太常見但更準確的答案。這類似于人類的"舌尖現(xiàn)象"——知道答案但就是說不出來。

Q3：這個發(fā)現(xiàn)對普通用戶使用AI有什么實際意義嗎？ A：是的，這意味著我們可能需要采用更多樣化的提問策略來挖掘AI的真實能力。比如讓AI多次回答同一問題、從不同角度提問，或者讓AI在多個選項中進行選擇而不是自由生成答案，這樣可能獲得更準確的結果。