2024年6月3日，浙江大學(xué)CAD&CG國家重點實驗室的研究團(tuán)隊在學(xué)術(shù)平臺arXiv上發(fā)表了一篇引人注目的研究論文《多模態(tài)深度研究員：基于代理架構(gòu)從零開始生成圖文交織報告》。這項由楊兆睿、潘博、王晗、王一遙、劉星宇、朱敏峰、張博和陳為共同完成的研究，為自動生成高質(zhì)量圖文交織報告開辟了新天地。

研究背景：為什么可視化在報告中如此重要？

想象一下，當(dāng)你閱讀一篇充滿大段文字的報告時，你可能會感到枯燥乏味，甚至難以理解其中的核心信息。這正是可視化在信息傳遞中扮演著不可替代角色的原因?？梢暬拖袷俏谋竞Ｑ笾械臒羲軌蛞龑?dǎo)讀者快速把握關(guān)鍵點，發(fā)現(xiàn)潛藏的模式，并增強(qiáng)整體閱讀體驗。

近年來，大型語言模型（LLMs）在推理和檢索增強(qiáng)生成方面取得了顯著進(jìn)步，使它們能夠進(jìn)行深度研究并生成全面的報告。然而，現(xiàn)有的深度研究框架主要集中在生成純文本內(nèi)容上，而自動生成交織文本和可視化的領(lǐng)域則鮮有探索。無論是學(xué)術(shù)界（如Jin等，2025；Zheng等，2025b；Li等，2025b）還是工業(yè)界（如OpenAI，2025c；Google，2024；xAI，2025；David Zhang，2025）的研究都主要關(guān)注純文本報告生成，忽視了文本以外模態(tài)的展示。這種以文本為主的報告限制了信息的有效傳遞，降低了可讀性和實用性。

在現(xiàn)實場景中，人類專家通常會精心設(shè)計一系列具有一致風(fēng)格的可視化圖表，將它們?nèi)谌脒m當(dāng)?shù)奈谋颈尘爸?，?chuàng)建連貫的圖文交織報告。然而，要實現(xiàn)多模態(tài)報告的端到端生成仍面臨諸多挑戰(zhàn)。盡管通過提示大型語言模型生成單個可視化圖表是一種很有前景的解決方案，但如何有效地表示和整合這些可視化內(nèi)容與文本內(nèi)容仍然是一個重大挑戰(zhàn)。

可視化的形式化描述：連接語言與圖表的橋梁

為了解決這一挑戰(zhàn)，研究團(tuán)隊提出了"可視化的形式化描述"（Formal Description of Visualization，簡稱FDV），這是一種受到圖形語法理論啟發(fā)的結(jié)構(gòu)化表示方法。FDV就像是可視化內(nèi)容的"配方書"，它從四個方面全面捕捉可視化設(shè)計：

1. 整體布局（Overall Layout）：描述圖表的整體組織結(jié)構(gòu)，包括各組成部分的位置安排。 2. 繪圖尺度（Plotting Scale）：詳細(xì)說明數(shù)據(jù)到視覺通道（如位置、顏色）的映射邏輯及其注釋。 3. 數(shù)據(jù)（Data）：描述用于生成可視化的數(shù)值數(shù)據(jù)和文本元素。 4. 標(biāo)記（Marks）：描述每個視覺元素的設(shè)計規(guī)格。

FDV就像是一種通用語言，能夠準(zhǔn)確傳達(dá)可視化設(shè)計的精髓，使大型語言模型能夠?qū)W習(xí)人類專家的設(shè)計并生成專業(yè)質(zhì)量的圖表。想象一下，如果將可視化比作一道料理，F(xiàn)DV就是詳細(xì)記錄了食材、調(diào)料比例、烹飪步驟和裝盤要求的完整食譜，讓任何人都能按圖索驥復(fù)現(xiàn)出相同的美食。

多模態(tài)深度研究員：四步法生成完美圖文報告

基于FDV，研究團(tuán)隊開發(fā)了"多模態(tài)深度研究員"（Multimodal DeepResearcher），這是一個能夠從零開始生成圖文交織報告的代理框架。整個框架分為四個關(guān)鍵階段：

**第一階段：研究階段**

首先，多模態(tài)深度研究員通過網(wǎng)絡(luò)搜索和推理收集有關(guān)特定主題的全面信息。它就像一位勤奮的學(xué)者，先生成相關(guān)關(guān)鍵詞，然后通過網(wǎng)絡(luò)搜索獲取信息，分析這些信息并綜合成有價值的見解，為報告奠定堅實的知識基礎(chǔ)。

**第二階段：示例報告文本化**

在這個階段，系統(tǒng)利用前面提到的FDV將人類專家創(chuàng)建的多模態(tài)報告轉(zhuǎn)化為純文本形式。這個過程就像是將一幅精美的畫作描述成文字，使得計算機(jī)能夠"理解"圖表的精髓。這些文本化的示例報告隨后用于上下文學(xué)習(xí)，幫助模型掌握專業(yè)報告的結(jié)構(gòu)和風(fēng)格。

**第三階段：規(guī)劃階段**

有了充分的研究和學(xué)習(xí)示例后，系統(tǒng)會制定一個詳細(xì)的內(nèi)容大綱和可視化風(fēng)格指南，確保整個報告的一致性。這就像是建筑師在動工前先繪制詳細(xì)的藍(lán)圖，確保最終建筑的和諧與美觀。

**第四階段：多模態(tài)報告生成**

最后，系統(tǒng)通過起草、編碼和迭代圖表優(yōu)化生成最終的交織報告。這個過程非常精細(xì)：首先生成含有FDV占位符的文本報告，然后提取這些FDV并提示語言模型通過編碼實現(xiàn)設(shè)計。為了確?？梢暬|(zhì)量，研究團(tuán)隊還引入了一個演員-評論家機(jī)制來修改生成圖表的代碼，使最終生成的圖表既美觀又準(zhǔn)確。

多模態(tài)報告基準(zhǔn)：如何評估生成的報告？

為了系統(tǒng)評估生成的多模態(tài)報告，研究團(tuán)隊構(gòu)建了MultimodalReportBench，其中包含100個多樣化的主題作為輸入以及5個專門的評估指標(biāo)：

1. **信息量和深度**：評估報告是否通過文本和可視化提供全面、實質(zhì)性和深入的信息。 2. **連貫性和組織結(jié)構(gòu)**：評估報告是否組織良好，可視化是否與文本有意義地連接。 3. **可驗證性**：評估報告中的信息是否可以通過引用進(jìn)行驗證。 4. **可視化質(zhì)量**：評估報告中可視化圖表的質(zhì)量，包括視覺清晰度和文本標(biāo)簽。 5. **可視化一致性**：評估報告中的可視化是否保持一致的整體風(fēng)格。

實驗結(jié)果：多模態(tài)深度研究員的驚人表現(xiàn)

研究團(tuán)隊進(jìn)行了廣泛的實驗，使用了專有模型和開源模型進(jìn)行評估。作為基線，他們改編了DataNarrative（Islam等，2024）框架，這是一個從表格輸入生成圖表占位符的相關(guān)框架。

實驗結(jié)果令人振奮！無論是自動評估還是人工評估，多模態(tài)深度研究員都表現(xiàn)出色。特別是，當(dāng)使用Claude 3.7 Sonnet作為生成器時，多模態(tài)深度研究員在總體上達(dá)到了82%的勝率，特別在可驗證性（86%）、可視化質(zhì)量（80%）和可視化一致性（78%）方面表現(xiàn)突出。

人工評估結(jié)果更加驚人，多模態(tài)深度研究員在總體上獲得了100%的勝率！三位評估者中，兩位選擇了多模態(tài)深度研究員生成的所有10份報告，而第三位評估者選擇了其中9份。

可視化分析：超越傳統(tǒng)圖表類型

雖然多模態(tài)深度研究員和基線方法每份報告生成的圖表數(shù)量相當(dāng)（分別為9.3和9.4），但多模態(tài)深度研究員生成的可視化明顯更加多樣化。雖然兩種方法都優(yōu)先考慮傳統(tǒng)圖表類型（如條形圖和折線圖），但多模態(tài)深度研究員在生成復(fù)雜可視化方面表現(xiàn)更為出色。

例如，在100個選定主題中，多模態(tài)深度研究員生成了15個流程圖和18個儀表板，而DataNarrative僅生成了2個流程圖和1個儀表板。此外，多模態(tài)深度研究員生成了280個難以歸類的可視化（如信息圖和思維導(dǎo)圖），遠(yuǎn)超DataNarrative生成的96個。這種差異凸顯了多模態(tài)深度研究員在適應(yīng)多樣化真實場景方面的靈活性。

挑戰(zhàn)與限制：仍需解決的問題

盡管多模態(tài)深度研究員表現(xiàn)出色，但集成可視化仍然帶來了新的挑戰(zhàn)。研究團(tuán)隊將常見錯誤分為兩類：

1. **重疊問題**：這是最常見的錯誤，通常由兩個因素導(dǎo)致：FDV中的過多信息使得在有限空間內(nèi)難以適當(dāng)排列，以及圖例、標(biāo)簽和注釋放置不當(dāng)。

2. **幻覺問題**：這是LLMs的基本挑戰(zhàn)，在可視化生成中也存在。例如，在某些情況下，模型可能錯誤地標(biāo)記數(shù)據(jù)不足的區(qū)域，使用虛構(gòu)內(nèi)容填充紅色區(qū)域。

消融研究：每個組件都至關(guān)重要

為了評估多模態(tài)深度研究員各個組件的有效性，研究團(tuán)隊在20個隨機(jī)子集主題上進(jìn)行了消融實驗。他們比較了3個變體與完整框架：

1. 沒有示例學(xué)習(xí)的變體：在70%的情況下表現(xiàn)較差 2. 沒有規(guī)劃的變體：在85%的情況下表現(xiàn)較差 3. 沒有圖表優(yōu)化的變體：在80%的情況下表現(xiàn)較差

這些結(jié)果清晰地表明，移除任何組件都會導(dǎo)致顯著的性能下降，證明了每個組件對多模態(tài)深度研究員的成功都是不可或缺的。

研究意義與未來展望

這項研究不僅提出了一種新的任務(wù)——從零開始生成圖文交織多模態(tài)報告，還提供了相應(yīng)的數(shù)據(jù)集和評估指標(biāo)。更重要的是，研究團(tuán)隊提出了可視化的形式化描述（FDV），這是一種結(jié)構(gòu)化的可視化文本表示，使大型語言模型能夠進(jìn)行上下文學(xué)習(xí)并生成多模態(tài)報告。

雖然實驗結(jié)果令人鼓舞，但研究團(tuán)隊也承認(rèn)存在一些限制。首先，生成的可視化中存在幾種類型的錯誤，正如前面討論的。此外，從示例報告進(jìn)行上下文學(xué)習(xí)對LLMs的上下文大小和理解能力提出了要求。最后，與最先進(jìn)模型相關(guān)的計算支出以及可視化代碼生成所需的廣泛處理時間，限制了實驗驗證所使用的數(shù)據(jù)集規(guī)模。

盡管如此，多模態(tài)深度研究員代表了自動生成高質(zhì)量圖文交織報告的重要一步，為未來研究開辟了新的可能性。隨著技術(shù)的不斷進(jìn)步，我們可以期待更加精確、多樣和視覺上引人入勝的自動生成報告，這將極大地改變信息傳遞和知識共享的方式。