這項由中國科學(xué)院軟件研究所中文信息處理實驗室的李卓群等研究者聯(lián)合阿里巴巴通義實驗室共同完成的研究成果，發(fā)表于2025年2月，論文題目為《DeepSolution: Boosting Complex Engineering Solution Design via Tree-based Exploration and Bi-point Thinking》。對這項研究感興趣的讀者可以通過GitHub項目地址https://github.com/Li-Z-Q/DeepSolution獲取更多詳細信息。

設(shè)想一下這樣的場景：一位工程師需要在經(jīng)常發(fā)生地震、土壤會因為水分而膨脹、每年降雨量高達3000毫米的惡劣環(huán)境中設(shè)計一座醫(yī)院。這聽起來就像是在變化莫測的沼澤地上建造一座堅固城堡，需要同時應(yīng)對地面搖晃、土壤膨脹和持續(xù)的暴雨沖刷。傳統(tǒng)上，這樣的復(fù)雜工程設(shè)計完全依賴資深專家的經(jīng)驗和知識，他們需要翻閱大量技術(shù)資料，仔細分析每一個約束條件，然后設(shè)計出既安全又高效的解決方案。這個過程不僅耗時費力，還需要極其豐富的專業(yè)經(jīng)驗。

然而，隨著人工智能技術(shù)的發(fā)展，研究團隊開始思考：能否讓計算機系統(tǒng)也具備這樣的工程設(shè)計能力？就像給工程師配備一個極其博學(xué)的智能助手，它不僅掌握海量的工程知識，還能像人類專家一樣進行復(fù)雜的推理和設(shè)計。這正是本項研究的核心動機。

研究團隊發(fā)現(xiàn)，現(xiàn)有的人工智能系統(tǒng)在處理復(fù)雜工程設(shè)計任務(wù)時存在明顯不足。以往的檢索增強生成技術(shù)主要針對簡單的問答任務(wù)，比如回答"某個總統(tǒng)的兒子多大年齡"這樣的事實性問題，或者提供某個技術(shù)原理的詳細解釋。但復(fù)雜工程設(shè)計任務(wù)完全不同，它需要同時考慮多個現(xiàn)實世界的約束條件，并且要求生成的解決方案必須是完整可行的，而不是簡單的知識片段拼接。

為了解決這個挑戰(zhàn)，研究團隊做了兩件重要的事情。首先，他們構(gòu)建了一個全新的評估基準(zhǔn)SolutionBench，這就像是為工程設(shè)計AI系統(tǒng)專門設(shè)計的"考試題庫"。其次，他們開發(fā)了SolutionRAG系統(tǒng)，這是一個能夠自動進行復(fù)雜工程設(shè)計的智能系統(tǒng)。

SolutionBench的構(gòu)建過程頗為嚴(yán)謹。研究團隊從各個工程領(lǐng)域的權(quán)威期刊中收集了數(shù)千份關(guān)于解決方案設(shè)計的工程報告，涵蓋環(huán)境、采礦、交通、航空航天、通信、建筑、水資源和農(nóng)業(yè)八個主要工程領(lǐng)域。這就像是建立了一個涵蓋各行各業(yè)工程難題的巨大案例庫。每份報告都包含真實的工程需求、專家設(shè)計的解決方案、分析這些需求時用到的專業(yè)知識、解決技術(shù)難題時采用的技術(shù)知識，以及專家的設(shè)計思路解釋。

更有趣的是SolutionRAG系統(tǒng)的設(shè)計理念。研究團隊意識到，從一個不夠完善的解決方案改進到可靠方案的過程是靈活多變的，沒有固定的推理模式。這就像修理一臺復(fù)雜機器，可能需要先檢查電路，也可能需要先更換零件，具體路徑取決于問題的具體情況。因此，SolutionRAG采用了"樹狀探索"的方法，每個分支代表不同的改進方向，系統(tǒng)可以同時探索多種可能的解決路徑。

另一個巧妙的設(shè)計是"雙重思維"機制。由于工程需求中存在多個現(xiàn)實約束條件，系統(tǒng)生成的解決方案無法保證滿足所有約束。就像一個人在做重要決定時會反復(fù)思考一樣，SolutionRAG在樹的生長過程中會交替進行"解決方案設(shè)計"和"方案審查"，逐步提高生成解決方案的可靠性。設(shè)計過程就像提出創(chuàng)意，審查過程則像找出問題和不足，兩者相互配合，不斷完善方案質(zhì)量。

一、構(gòu)建工程設(shè)計的"題庫"：SolutionBench基準(zhǔn)測試

構(gòu)建一個能夠評估AI系統(tǒng)工程設(shè)計能力的基準(zhǔn)測試，就像為醫(yī)學(xué)院學(xué)生設(shè)計臨床考試一樣復(fù)雜。研究團隊需要確保測試題目既來源于真實場景，又具有足夠的權(quán)威性和多樣性。

為了保證數(shù)據(jù)來源的權(quán)威性和真實性，研究團隊選擇了工程領(lǐng)域的權(quán)威期刊作為數(shù)據(jù)源。這些期刊中的工程報告都是由行業(yè)專家在嚴(yán)格的同行評議下完成的，相當(dāng)于經(jīng)過了多重質(zhì)量檢驗。報告中的需求來自真實的工業(yè)場景，解決方案也都是經(jīng)過實踐驗證的專業(yè)方案。

在領(lǐng)域多樣性方面，研究團隊選擇了八個主要工程類別：環(huán)境工程、采礦工程、交通運輸、航空航天、通信工程、建筑工程、水資源工程和農(nóng)業(yè)工程。這種廣泛的覆蓋確保了基準(zhǔn)測試能夠評估AI系統(tǒng)在各種不同工程場景下的表現(xiàn)能力。

數(shù)據(jù)提取過程采用了模板化的方法。研究團隊手工設(shè)計了一套提取模板，然后使用強大的大語言模型GPT-4o來實現(xiàn)內(nèi)容提取。這個模板就像一個精密的篩子，能夠從復(fù)雜的工程報告中準(zhǔn)確提取出五類關(guān)鍵信息：現(xiàn)實世界的復(fù)雜需求、專家編寫的解決方案、用于解讀需求的分析知識、用于解決需求的技術(shù)知識，以及專家解決方案設(shè)計過程的解釋。

然而，由于大語言模型是概率性模型，無法保證每次提取的內(nèi)容都完全符合要求，因此研究團隊還進行了人工驗證和修正。他們逐一檢查每個提取的內(nèi)容，確保信息與原始工程報告一致，并且符合模板定義。同時，由于同一工程領(lǐng)域的不同報告可能使用相似甚至相同的分析知識和技術(shù)知識，研究團隊還手工檢查并合并了重復(fù)的知識條目。

最終構(gòu)建的SolutionBench包含了八個工程領(lǐng)域的高質(zhì)量數(shù)據(jù)集，每個領(lǐng)域都有相應(yīng)的知識庫。以環(huán)境工程為例，包含119個數(shù)據(jù)點和554條知識條目。每個數(shù)據(jù)點都包含一個復(fù)雜需求、一個黃金標(biāo)準(zhǔn)解決方案、相關(guān)的分析知識和技術(shù)知識，以及詳細的解釋說明。

這個基準(zhǔn)測試支持兩種評估方式。第一種是直接評估，給定一個需求，期望系統(tǒng)能夠生成可靠的解決方案，這主要測試系統(tǒng)的內(nèi)在知識和推理能力。第二種是檢索增強評估，額外提供相關(guān)的知識庫供系統(tǒng)檢索和利用，這更符合實際工程設(shè)計中需要查閱大量專業(yè)資料的情況。

二、智能工程助手的核心技術(shù)：SolutionRAG系統(tǒng)

SolutionRAG系統(tǒng)的設(shè)計哲學(xué)可以用一個比喻來理解：它就像一個既有創(chuàng)造力又有批判思維的工程師團隊。團隊中有人負責(zé)提出創(chuàng)新方案，有人負責(zé)找出方案中的問題，而整個團隊會通過反復(fù)討論和改進來達成最終的優(yōu)質(zhì)解決方案。

系統(tǒng)的核心是"雙重思維樹"結(jié)構(gòu)。這個樹形結(jié)構(gòu)由兩種節(jié)點交替組成：解決方案節(jié)點和評論節(jié)點。解決方案節(jié)點包含針對給定需求設(shè)計的解決方案，期望是滿足所有約束條件的完整可行方案。評論節(jié)點則包含對某個解決方案的審查意見，指出該方案在滿足給定需求方面仍存在的不足之處。

樹的結(jié)構(gòu)設(shè)計很有意思：解決方案節(jié)點的子節(jié)點都是評論節(jié)點，而評論節(jié)點的子節(jié)點都是解決方案節(jié)點。這種交替連接形成了雙重思維模式，確保每個解決方案都會被仔細審查，每個審查意見都會催生新的改進方案。樹的根節(jié)點是工程需求本身，隨著樹的生長，較淺層的解決方案節(jié)點通?？煽啃暂^低，而較深層的節(jié)點可靠性較高。

解決方案的改進過程通過樹的生長來實現(xiàn)，包含節(jié)點擴展和節(jié)點評估兩個關(guān)鍵步驟。在節(jié)點擴展階段，系統(tǒng)會進行兩種操作：設(shè)計操作和審查操作。

設(shè)計操作就像工程師根據(jù)需求和反饋意見來制定新方案。給定工程需求和特定的評論意見，系統(tǒng)首先通過大語言模型隨機采樣生成多個提案，每個提案代表不同的設(shè)計方向。然后，系統(tǒng)為每個提案從知識庫中檢索相關(guān)的專業(yè)知識。最后，系統(tǒng)綜合需求、評論意見、檢索到的知識和歷史方案，生成更加完善的新解決方案。

審查操作則像專家對方案進行技術(shù)評議。類似于設(shè)計過程，審查也分為三個步驟：首先基于需求和解決方案生成多個審查提案，代表不同的審查角度；然后為每個提案檢索相關(guān)知識；最后生成針對該解決方案的具體評論意見。

為了平衡推理效率和性能，系統(tǒng)還實現(xiàn)了基于節(jié)點評估的剪枝機制。隨著樹的生長，節(jié)點數(shù)量會呈指數(shù)增長，導(dǎo)致推理時間大幅增加。因此，系統(tǒng)會對每個節(jié)點進行評分，只保留最有希望的解決方案和最有幫助的審查意見。

節(jié)點評估的方法很巧妙。對于解決方案節(jié)點，系統(tǒng)會根據(jù)其子評論節(jié)點來判斷該方案的可靠性。具體做法是將解決方案、評論和一個后綴文本組合輸入給大語言模型，通過計算模型對后綴文本的預(yù)測概率來獲得可靠性評分。這個后綴文本是"根據(jù)評論，上述解決方案是可靠的"。類似地，對于評論節(jié)點，系統(tǒng)會根據(jù)新舊解決方案的對比來判斷該評論的有幫助程度。

在樹的生長過程中，每一層都只保留評分最高的節(jié)點，確保推理過程始終沿著最有希望的解決方案和最有幫助的審查意見進行，從而在效率和性能之間取得平衡。

三、實驗驗證：傳統(tǒng)方法的局限與新系統(tǒng)的優(yōu)勢

為了全面評估不同類型系統(tǒng)在復(fù)雜工程解決方案設(shè)計任務(wù)上的能力，研究團隊設(shè)計了一套comprehensive的實驗方案。實驗就像是讓不同的"工程師"來解決同樣的復(fù)雜工程問題，然后比較他們的表現(xiàn)。

實驗的評估方式很有特色。由于期望的系統(tǒng)輸出是解決方案，這些方案可能有各種不同的文本表達方式，傳統(tǒng)的基于規(guī)則的評估指標(biāo)很難提供符合人類判斷習(xí)慣的評分。因此，研究團隊采用了GPT-4o作為評分器，計算兩個關(guān)鍵得分。

分析得分評估系統(tǒng)設(shè)計的解決方案是否像專家設(shè)計的方案一樣，使用了正確的分析知識來充分分析工程需求中的復(fù)雜約束條件。技術(shù)得分則評估系統(tǒng)是否像專家一樣，使用了正確的技術(shù)知識來解決工程需求中的復(fù)雜約束條件。兩個得分的范圍都是0到100分，分數(shù)越高表示系統(tǒng)的表現(xiàn)越接近專業(yè)工程師的水平。

實驗選擇了多種不同類型的基準(zhǔn)方法進行對比。深度推理模型包括o1-2024-12-17、GLM-Zero-Preview和QwQ-32B-Preview，這些模型具有強大的長鏈推理能力，但不使用外部知識檢索。單輪檢索增強生成方法包括樸素RAG和重排序RAG，它們只進行一輪檢索和生成。多輪RAG方法包括Self-RAG、GenGround和RQ-RAG，這些方法會進行多輪迭代，反復(fù)執(zhí)行問題重寫、檢索、過濾和生成中間答案等任務(wù)。

實驗結(jié)果揭示了一個有趣的現(xiàn)象：傳統(tǒng)方法在復(fù)雜工程解決方案設(shè)計任務(wù)上表現(xiàn)都不理想。深度推理模型雖然具有強大的推理能力，但缺乏足夠的工程專業(yè)知識，在所有八個工程領(lǐng)域的表現(xiàn)都比較差。例如，GLM-Zero-Preview在航空航天領(lǐng)域的分析得分只有42.3分。

基于檢索增強生成的方法雖然能夠獲取外部專業(yè)知識，但表現(xiàn)仍然處于相對較低的水平。例如，樸素RAG在采礦工程領(lǐng)域的技術(shù)得分只有40.1分，Self-RAG在環(huán)境工程領(lǐng)域的技術(shù)得分也只有63.6分。這說明簡單的知識檢索和生成并不足以處理復(fù)雜工程設(shè)計任務(wù)的多重約束和推理要求。

相比之下，SolutionRAG在所有八個工程領(lǐng)域都取得了最佳性能，顯著超越了基準(zhǔn)方法。例如，在采礦領(lǐng)域，SolutionRAG的技術(shù)得分比樸素RAG提高了10.4分，比Self-RAG提高了8.9分。這些實驗結(jié)果證實了SolutionRAG能夠有效處理各種真實工程場景中的復(fù)雜解決方案設(shè)計任務(wù)。

為了驗證系統(tǒng)核心機制的有效性，研究團隊還進行了消融實驗。他們分別測試了去除樹狀探索機制和去除雙重思維機制后的系統(tǒng)性能。去除樹狀探索意味著每個節(jié)點只生成一個子節(jié)點，形成單鏈推理模式。去除雙重思維則意味著樹中不包含審查過程，所有節(jié)點都是解決方案，形成單點思維推理模式。

消融實驗的結(jié)果表明，移除任一機制都會導(dǎo)致性能顯著下降，證明這兩個機制確實是解決復(fù)雜工程解決方案設(shè)計任務(wù)的核心。更有趣的是，移除這兩個機制后的整體性能下降程度相當(dāng)，說明樹狀探索和雙重思維在SolutionRAG中具有相似的重要性水平。

四、系統(tǒng)性能的深度分析：從生長過程到評估機制

為了更深入地理解SolutionRAG的工作機制，研究團隊進行了詳細的性能分析，就像解剖一個精密機器來了解每個部件的作用一樣。

首先，他們檢驗了解決方案是否真的會隨著樹深度的增加而改善。研究團隊分別對樹的第1層、第3層和第5層的解決方案進行評分，結(jié)果顯示性能確實會從淺層到深層逐步提升。這證明了SolutionRAG確實能夠通過深度推理過程來改善解決方案質(zhì)量，就像工匠通過反復(fù)打磨來提升作品品質(zhì)一樣。

樹的生長過程展現(xiàn)了一個有趣的現(xiàn)象：分析得分和技術(shù)得分都呈現(xiàn)穩(wěn)步上升的趨勢。在第一層，系統(tǒng)提出的解決方案往往比較粗糙，只考慮了部分約束條件。到了第三層，方案開始變得更加完善，考慮了更多的工程約束。到了第五層，解決方案已經(jīng)相當(dāng)成熟，能夠全面應(yīng)對各種復(fù)雜情況。

節(jié)點評估機制的有效性也得到了驗證。研究團隊比較了被保留節(jié)點和被剪枝節(jié)點的解決方案質(zhì)量，發(fā)現(xiàn)被保留節(jié)點的解決方案得分顯著高于被剪枝節(jié)點。這證明了節(jié)點評估確實是一個有效的判斷和剪枝機制，能夠準(zhǔn)確識別出最有希望的解決方案和最有幫助的審查意見。

這種差異在所有工程領(lǐng)域都很明顯。被保留的解決方案節(jié)點無論在分析得分還是技術(shù)得分上都明顯優(yōu)于被剪枝的節(jié)點，說明系統(tǒng)的評估機制能夠準(zhǔn)確判斷方案質(zhì)量。被保留的評論節(jié)點也表現(xiàn)出更高的有用性，能夠為后續(xù)的方案改進提供更有價值的指導(dǎo)。

這些分析結(jié)果揭示了SolutionRAG成功的深層原因。系統(tǒng)不是簡單地檢索知識然后生成文本，而是通過結(jié)構(gòu)化的思維過程來逐步完善解決方案。樹狀探索確保了系統(tǒng)能夠考慮多種不同的改進方向，避免陷入局部最優(yōu)。雙重思維機制則確保了每個方案都經(jīng)過仔細審查，問題能夠被及時發(fā)現(xiàn)和糾正。節(jié)點評估和剪枝機制則保證了推理過程的效率，讓系統(tǒng)能夠?qū)Ｗ⒂谧钣邢Ｍ姆桨负妥钣杏玫姆答仭?/p>

五、相關(guān)研究與技術(shù)創(chuàng)新：站在巨人肩膀上的突破

SolutionRAG的誕生并非無源之水，它建立在多個相關(guān)研究領(lǐng)域的基礎(chǔ)之上，同時又實現(xiàn)了重要的技術(shù)突破。

在復(fù)雜問答任務(wù)方面，現(xiàn)有的檢索增強生成研究主要聚焦于兩類任務(wù)。多跳問答任務(wù)處理的是由多個子問題組合而成的復(fù)雜問題，期望的答案通常是從相關(guān)知識文檔中提取的實體片段。長文本問答任務(wù)處理的是開放性和綜合性問題，期望的答案是通過整合相關(guān)文檔中的知識片段形成的文本段落。

然而，復(fù)雜工程解決方案設(shè)計任務(wù)與這兩類任務(wù)有本質(zhì)區(qū)別。工程設(shè)計問題包含多個現(xiàn)實世界的約束條件，期望的答案是需要靈活改進過程的解決方案，而不是簡單的實體片段或知識段落整合。這種根本差異使得復(fù)雜工程解決方案設(shè)計成為一個全新且具有挑戰(zhàn)性的任務(wù)。

在先進RAG系統(tǒng)方面，現(xiàn)有的高級RAG系統(tǒng)采用多輪方法來迭代執(zhí)行重寫、檢索、重排序和生成中間答案等步驟。這些系統(tǒng)通過多次迭代來逐步改善答案質(zhì)量，在一定程度上提升了復(fù)雜任務(wù)的處理能力。

但SolutionRAG與這些系統(tǒng)的關(guān)鍵區(qū)別在于雙重思維樹的設(shè)計。傳統(tǒng)的多輪RAG系統(tǒng)主要關(guān)注信息的逐步收集和整合，而SolutionRAG專門設(shè)計用于應(yīng)對復(fù)雜工程解決方案設(shè)計的挑戰(zhàn)。它不僅要收集和整合信息，更要確保生成的解決方案能夠滿足所有工程約束條件。

最近一些研究開始構(gòu)建基于蒙特卡羅樹搜索的RAG系統(tǒng)，通過深度思考來獲得更好的性能。這些方法在某種程度上與SolutionRAG的樹狀探索思想相似，都認識到了結(jié)構(gòu)化搜索的重要性。

但SolutionRAG的獨特貢獻在于雙重思維機制的引入。傳統(tǒng)的樹搜索方法缺乏確保滿足所有工程需求的機制，因此無法保證解決方案的可靠性。SolutionRAG的雙重思維機制通過交替的設(shè)計和審查過程，專門針對工程約束的滿足性進行優(yōu)化，這是其他方法所不具備的。

從技術(shù)創(chuàng)新的角度來看，SolutionRAG的主要貢獻可以概括為三個方面。首先是任務(wù)定義的創(chuàng)新，它首次明確定義了復(fù)雜工程解決方案設(shè)計任務(wù)，并構(gòu)建了相應(yīng)的評估基準(zhǔn)。其次是方法論的創(chuàng)新，樹狀探索和雙重思維的結(jié)合為處理多約束優(yōu)化問題提供了新的思路。最后是實用性的創(chuàng)新，系統(tǒng)在真實工程場景中的優(yōu)異表現(xiàn)證明了其實際應(yīng)用價值。

研究團隊的工作為后續(xù)研究開辟了新的方向。未來的研究可能會探索如何將類似的雙重思維機制應(yīng)用到其他復(fù)雜設(shè)計任務(wù)中，如產(chǎn)品設(shè)計、系統(tǒng)架構(gòu)設(shè)計等。同時，如何進一步提升樹狀探索的效率，如何更好地平衡探索寬度和深度，也是值得深入研究的問題。

說到底，這項研究代表了人工智能在專業(yè)領(lǐng)域應(yīng)用的重要進展。SolutionRAG不僅僅是一個技術(shù)系統(tǒng)，更像是一個能夠進行專業(yè)工程思考的智能助手。它證明了通過精心設(shè)計的推理機制，AI系統(tǒng)能夠在需要深度專業(yè)知識和復(fù)雜推理的任務(wù)中達到接近人類專家的水平。

這對普通人意味著什么呢？可以預(yù)見的是，這類技術(shù)的發(fā)展將大大降低復(fù)雜工程設(shè)計的門檻。中小型工程公司可能不再需要聘請大量資深專家，而是可以借助AI系統(tǒng)來處理復(fù)雜的設(shè)計挑戰(zhàn)。工程教育也可能因此改變，學(xué)生可以通過與智能系統(tǒng)的互動來學(xué)習(xí)工程設(shè)計的精髓。

當(dāng)然，這項技術(shù)也面臨一些限制。由于計算資源的限制，研究團隊使用的是現(xiàn)有大語言模型的能力，沒有考慮專門的訓(xùn)練優(yōu)化。未來的工作可能會探索使用強化學(xué)習(xí)來訓(xùn)練專門的工程設(shè)計模型，從而開發(fā)出更加強大的系統(tǒng)。另外，由于同樣的資源限制，研究中沒有廣泛探索樹的寬度和深度等超參數(shù)，這也是未來值得研究的方向。

總的來說，這項研究為AI在專業(yè)工程領(lǐng)域的應(yīng)用開啟了新的篇章。它不僅提供了一個有效的技術(shù)解決方案，更重要的是展示了AI系統(tǒng)通過結(jié)構(gòu)化思維來處理復(fù)雜專業(yè)任務(wù)的可能性。隨著技術(shù)的進一步發(fā)展和完善，我們有理由相信，智能工程設(shè)計助手將成為未來工程實踐中不可或缺的重要工具。

Q&A

Q1：SolutionRAG是什么？它能做什么？ A： SolutionRAG是由中科院軟件所開發(fā)的智能工程設(shè)計系統(tǒng)，它的核心能力是自動生成復(fù)雜工程問題的完整解決方案。比如設(shè)計一座在地震多發(fā)、土壤膨脹、降雨量大的地區(qū)建造醫(yī)院的方案，系統(tǒng)能像資深工程師一樣綜合考慮所有約束條件，提供可靠的技術(shù)解決方案。

Q2：這個系統(tǒng)會不會取代工程師？ A：目前不會完全取代工程師，更像是給工程師配備了一個非常博學(xué)的智能助手。系統(tǒng)能夠處理復(fù)雜的設(shè)計任務(wù)，但仍需要人類工程師的判斷和決策。它主要是降低了復(fù)雜工程設(shè)計的門檻，讓中小型公司也能處理高難度的工程挑戰(zhàn)。

Q3：普通人能使用這個系統(tǒng)嗎？有什么要求？ A： 目前這還是一個研究原型系統(tǒng)，主要面向工程專業(yè)人士。普通人可以通過GitHub項目地址https://github.com/Li-Z-Q/DeepSolution了解更多技術(shù)細節(jié)，但要實際使用還需要相當(dāng)?shù)墓こ瘫尘爸R。未來隨著技術(shù)成熟，可能會開發(fā)出更易用的商業(yè)版本。