這項由中科院計算技術(shù)研究所的張紹磊、郭守濤、方慶凱、周雁和馮洋教授團(tuán)隊開展的突破性研究于2025年6月發(fā)表在arXiv預(yù)印本平臺上，論文編號為arXiv:2506.13642v1。有興趣深入了解的讀者可以通過GitHub項目頁面https://github.com/ictnlp/Stream-Omni和Hugging Face模型頁面https://huggingface.co/ICTNLP/stream-omni-8b獲取詳細(xì)信息。

當(dāng)你和朋友視頻聊天時，你可以同時看到對方的表情、聽到聲音內(nèi)容，還能立即回應(yīng)?，F(xiàn)在，中科院的研究團(tuán)隊成功讓AI也具備了這種"三頭六臂"的能力，他們開發(fā)的Stream-Omni模型就像一個全能的聊天伙伴，不僅能同時處理圖片、語音和文字，還能在你說話的同時實(shí)時給出回應(yīng)，就像GPT-4o那樣自然流暢。

過去的AI助手往往只擅長一種交流方式，就像只會用一種語言的翻譯官。有些AI很擅長看圖片，有些很會處理語音，但要讓它們同時掌握多種技能就變得非常困難。傳統(tǒng)的解決方案就像把不同專業(yè)的人強(qiáng)行組隊，雖然能工作，但配合起來磕磕絆絆，需要大量的訓(xùn)練數(shù)據(jù)才能磨合好。

Stream-Omni的巧妙之處在于，它不是簡單地把不同技能拼湊在一起，而是根據(jù)不同信息的特點(diǎn)采用了"因材施教"的策略。研究團(tuán)隊發(fā)現(xiàn)，視覺信息和文字信息就像兩個不同性格的朋友，需要并肩合作才能發(fā)揮最佳效果，因此他們讓這兩種信息在同一個維度上融合。而語音和文字更像是同一個人的兩種表達(dá)方式，本質(zhì)上傳達(dá)著相同的意思，所以他們創(chuàng)造了一種更直接的對應(yīng)關(guān)系，讓語音能夠直接"翻譯"成文字的形式。

這種設(shè)計帶來了令人驚喜的效果。Stream-Omni只用了2.3萬小時的語音數(shù)據(jù)就達(dá)到了出色的性能，這個數(shù)據(jù)量相比其他類似系統(tǒng)要少得多。更重要的是，當(dāng)你用語音和它交流時，它能同時顯示出你說話的文字內(nèi)容和它的回答內(nèi)容，就像給聊天加上了實(shí)時字幕功能，讓交流變得更加清晰透明。

一、AI如何同時掌握"看、聽、說"三項技能

要理解Stream-Omni的工作原理，可以把它想象成一個多才多藝的翻譯官。這個翻譯官的核心是一個強(qiáng)大的語言理解中心，就像人腦中負(fù)責(zé)語言處理的區(qū)域。圍繞這個中心，研究團(tuán)隊為它配備了專門的"眼睛"和"耳朵"來接收不同類型的信息。

當(dāng)處理圖片信息時，Stream-Omni使用的策略就像兩個人并排坐著一起看電影。視覺信息和文字信息被放在同一個隊列中，依次進(jìn)入語言理解中心進(jìn)行處理。這種方式讓AI能夠?qū)D片中的內(nèi)容和文字描述緊密結(jié)合，形成完整的理解。

語音處理則采用了完全不同的策略。研究團(tuán)隊意識到，語音和文字本質(zhì)上表達(dá)的是同樣的內(nèi)容，就像同一首歌的不同版本。因此，他們在語言理解中心的上下兩端分別添加了"入口層"和"出口層"。入口層負(fù)責(zé)將語音轉(zhuǎn)換成語言理解中心能夠處理的形式，出口層則負(fù)責(zé)將處理結(jié)果重新轉(zhuǎn)換成語音輸出。

這種設(shè)計的精妙之處在于，它讓語言理解中心能夠?qū)⒆约阂延械恼Z言知識直接應(yīng)用到語音處理上，而不需要從零開始學(xué)習(xí)語音技能。就好比一個擅長閱讀的人學(xué)會了聽力，他的閱讀理解能力可以直接幫助他理解聽到的內(nèi)容。

為了實(shí)現(xiàn)語音和文字之間的精確對應(yīng)，研究團(tuán)隊引入了一個叫做CTC（連接主義時序分類）的技術(shù)。這個技術(shù)就像一個智能的對齊工具，能夠準(zhǔn)確地找出語音中每個音素對應(yīng)的文字內(nèi)容。通過這種方式，AI不僅能理解你說的話，還能實(shí)時顯示轉(zhuǎn)錄結(jié)果，讓交流過程變得更加透明。

語音生成過程同樣巧妙。當(dāng)AI需要"說話"時，它會一邊生成文字回答，一邊利用對齊技術(shù)確定每個文字對應(yīng)的語音片段。這種同步生成的方式讓語音輸出與文字內(nèi)容保持高度一致，避免了傳統(tǒng)方法中可能出現(xiàn)的語音和文字不匹配問題。

為了確保生成的語音質(zhì)量，研究團(tuán)隊還設(shè)計了一個"融合窗口"機(jī)制。這個機(jī)制就像一個注意力聚焦器，讓AI在生成每個語音片段時，不僅關(guān)注當(dāng)前的文字內(nèi)容，還會考慮前后幾個相關(guān)的文字，從而確保語音的連貫性和自然度。

二、數(shù)據(jù)匱乏難題的創(chuàng)新解決方案

在AI訓(xùn)練領(lǐng)域，數(shù)據(jù)就像食材對廚師一樣重要。然而，能夠同時包含文字、圖像和語音的高質(zhì)量數(shù)據(jù)集卻極其稀少，這就像試圖找到同時精通中餐、西餐和日料的食材一樣困難。面對這個挑戰(zhàn)，研究團(tuán)隊想出了一個巧妙的解決方案：自己"烹飪"訓(xùn)練數(shù)據(jù)。

研究團(tuán)隊的策略類似于一個聰明的廚師，雖然找不到現(xiàn)成的完美食材，但可以用現(xiàn)有的優(yōu)質(zhì)原料進(jìn)行精心搭配。他們收集了大量現(xiàn)有的文字和圖像配對數(shù)據(jù)，然后使用先進(jìn)的文字轉(zhuǎn)語音技術(shù)，為這些數(shù)據(jù)"配音"。這種方法就像給無聲電影配上聲音，創(chuàng)造出了豐富的三模態(tài)訓(xùn)練素材。

具體來說，研究團(tuán)隊從LLaVA視覺指令數(shù)據(jù)集、UltraChat文本對話數(shù)據(jù)集以及維基百科條目中提取了高質(zhì)量的文字內(nèi)容。然后，他們使用CosyVoice文字轉(zhuǎn)語音模型，將這些文字內(nèi)容轉(zhuǎn)換成自然流暢的語音。為了增加語音的多樣性，他們還從LibriSpeech和AISHELL數(shù)據(jù)庫中隨機(jī)采樣不同的說話人聲音特征，讓生成的語音具有豐富的音色變化，就像請了很多不同的播音員來朗讀同樣的內(nèi)容。

這種數(shù)據(jù)構(gòu)建方法的優(yōu)勢在于規(guī)模和質(zhì)量的平衡。雖然合成的語音可能不如真人錄制的語音那樣自然，但它確保了語音、文字和圖像之間的完美對應(yīng)關(guān)系。更重要的是，這種方法可以快速生成大量訓(xùn)練數(shù)據(jù)，為模型學(xué)習(xí)提供了充足的"營養(yǎng)"。

最終，Stream-Omni僅使用了2.3萬小時的語音數(shù)據(jù)就達(dá)到了優(yōu)秀的性能表現(xiàn)。相比之下，其他類似系統(tǒng)通常需要數(shù)十萬甚至上百萬小時的語音數(shù)據(jù)。這就像用更少的食材做出了同樣美味的菜肴，充分體現(xiàn)了方法的高效性。

為了驗(yàn)證這種方法的有效性，研究團(tuán)隊還構(gòu)建了SpokenVisIT基準(zhǔn)測試集。這個測試集基于真實(shí)世界的視覺問答場景，包含574張圖片和70種不同類型的指令，涵蓋了物體識別、視覺推理、創(chuàng)意寫作等多個方面。通過將原本的文字指令轉(zhuǎn)換成語音形式，他們創(chuàng)造了一個專門用于評估視覺語音交互能力的測試平臺。

三、三階段訓(xùn)練策略的精心設(shè)計

訓(xùn)練Stream-Omni就像培養(yǎng)一個多才多藝的學(xué)生，需要循序漸進(jìn)的教學(xué)策略。研究團(tuán)隊設(shè)計了一個三階段的訓(xùn)練方案，每個階段都有明確的學(xué)習(xí)目標(biāo)和訓(xùn)練重點(diǎn)，確保模型能夠逐步掌握各種技能并將它們有機(jī)結(jié)合。

第一階段專注于視覺和文字技能的培養(yǎng)。在這個階段，模型就像一個專心學(xué)習(xí)看圖說話的學(xué)生。研究團(tuán)隊使用LLaVA、LLaVA-OV和LLaVA-zh等經(jīng)典的視覺語言數(shù)據(jù)集，訓(xùn)練模型的視覺理解能力。這個階段的訓(xùn)練采用了成熟的視覺語言模型訓(xùn)練方法，確保模型能夠準(zhǔn)確理解圖像內(nèi)容并用文字進(jìn)行描述。訓(xùn)練過程中，只有視覺投影層和語言模型主體參與學(xué)習(xí)，其他組件保持不變。

第二階段轉(zhuǎn)向語音技能的專門訓(xùn)練。這個階段就像教學(xué)生學(xué)會聽力和口語表達(dá)。訓(xùn)練分為兩個并行的任務(wù)：一是通過CTC損失函數(shù)訓(xùn)練底層語音層，讓模型學(xué)會將語音轉(zhuǎn)換成文字；二是訓(xùn)練頂層語音層，讓模型學(xué)會根據(jù)文字內(nèi)容生成相應(yīng)的語音。這個階段使用的數(shù)據(jù)包括LibriSpeech和WenetSpeech等語音識別數(shù)據(jù)集，以及前面提到的合成語音數(shù)據(jù)。值得注意的是，在訓(xùn)練語音生成能力時，模型使用的是標(biāo)準(zhǔn)答案的文字內(nèi)容，而不是自己生成的文字，這樣可以避免錯誤累積，確保語音和文字之間的一致性。

第三階段是綜合能力的整合訓(xùn)練。在這個階段，模型需要學(xué)會同時處理多種模態(tài)的信息，就像一個學(xué)生需要在期末考試中展示所有學(xué)過的技能。訓(xùn)練任務(wù)包括視覺文字問答、視覺語音問答和視覺語音生成等多種組合。這種多任務(wù)學(xué)習(xí)方式讓模型能夠靈活應(yīng)對各種實(shí)際應(yīng)用場景，無論用戶選擇何種輸入和輸出方式，模型都能給出恰當(dāng)?shù)幕貞?yīng)。

整個訓(xùn)練過程的設(shè)計體現(xiàn)了"先分后合"的教學(xué)理念。前兩個階段讓模型分別掌握視覺文字和語音文字的對應(yīng)關(guān)系，第三階段則將這些技能融合，形成統(tǒng)一的多模態(tài)處理能力。這種漸進(jìn)式的訓(xùn)練策略不僅提高了訓(xùn)練效率，還確保了最終模型的穩(wěn)定性和可靠性。

訓(xùn)練過程使用了8塊H800 GPU，體現(xiàn)了現(xiàn)代AI訓(xùn)練對計算資源的高要求。然而，得益于高效的設(shè)計和訓(xùn)練策略，Stream-Omni在相對較短的時間內(nèi)就完成了訓(xùn)練，展現(xiàn)了方法的實(shí)用性。

四、性能評估與實(shí)際應(yīng)用效果

為了全面評估Stream-Omni的能力，研究團(tuán)隊設(shè)計了一套綜合的測試方案，就像給一個多才多藝的學(xué)生安排期末考試，需要檢驗(yàn)他在各個科目上的表現(xiàn)。測試涵蓋了視覺理解、語音交互和多模態(tài)融合等多個維度，確保模型在實(shí)際應(yīng)用中能夠勝任各種挑戰(zhàn)。

在視覺理解能力測試中，Stream-Omni參與了11個經(jīng)典的視覺語言基準(zhǔn)測試，包括VQA-v2、GQA、VizWiz等廣泛使用的數(shù)據(jù)集。測試結(jié)果顯示，Stream-Omni在大多數(shù)任務(wù)上都達(dá)到了與專門的視覺語言模型相當(dāng)?shù)男阅芩健Ｌ貏e值得注意的是，盡管Stream-Omni是一個同時支持視覺、語音和文字的綜合模型，它在視覺任務(wù)上的表現(xiàn)并沒有因?yàn)槎嗄B(tài)設(shè)計而受到影響，平均得分達(dá)到了64.7分，與同類模型基本持平。

語音交互能力的測試采用了知識問答的形式，使用Llama Questions和Web Questions兩個數(shù)據(jù)集進(jìn)行評估。測試分為語音轉(zhuǎn)文字和語音轉(zhuǎn)語音兩種模式，模擬實(shí)際使用中的不同場景。結(jié)果顯示，Stream-Omni在語音轉(zhuǎn)文字任務(wù)上表現(xiàn)優(yōu)異，平均準(zhǔn)確率達(dá)到60.3%，在語音轉(zhuǎn)語音任務(wù)上也取得了46.3%的準(zhǔn)確率。這個成績在同類模型中屬于領(lǐng)先水平，特別是考慮到Stream-Omni使用的訓(xùn)練數(shù)據(jù)量相對較少。

最引人注目的是多模態(tài)交互能力的測試。研究團(tuán)隊使用自制的SpokenVisIT基準(zhǔn)測試集，評估模型在同時處理視覺和語音信息時的表現(xiàn)。測試采用GPT-4o作為評判標(biāo)準(zhǔn)，對模型回答的質(zhì)量進(jìn)行1到5分的評分。Stream-Omni在視覺文字問答中獲得了3.93分，在視覺語音問答中獲得了3.68分，在視覺語音生成中獲得了2.62分。雖然語音生成的得分相對較低，但考慮到這是一個極具挑戰(zhàn)性的任務(wù)，這個結(jié)果已經(jīng)展現(xiàn)了模型的潛力。

為了展示模型的實(shí)際應(yīng)用效果，研究團(tuán)隊還進(jìn)行了案例分析。在一個關(guān)于建筑平面圖的問題中，當(dāng)用戶詢問"地下室的樓梯是否可以直接通往二樓而不經(jīng)過其他房間"時，Stream-Omni能夠準(zhǔn)確理解圖像內(nèi)容，無論用戶是通過文字還是語音提出問題，模型都能給出一致且正確的答案。這種跨模態(tài)的一致性體現(xiàn)了模型設(shè)計的成功。

另一個令人印象深刻的案例涉及工具識別。當(dāng)用戶詢問"這個設(shè)備如何幫助決定掛畫位置"時，Stream-Omni不僅能正確識別出圖片中的測量工具，還能詳細(xì)解釋其用途和使用方法。在語音生成模式下，模型能夠產(chǎn)生長達(dá)30秒的連貫語音回答，展現(xiàn)了出色的語音生成能力。

特別值得一提的是，Stream-Omni能夠在語音交互過程中同時提供中間結(jié)果，包括語音識別的文字轉(zhuǎn)錄和模型回答的文字內(nèi)容。這種"透明化"的交互方式讓用戶能夠?qū)崟r了解模型的理解過程，大大提升了用戶體驗(yàn)和信任度。

在語音識別質(zhì)量測試中，Stream-Omni在LibriSpeech數(shù)據(jù)集上取得了優(yōu)異成績，測試集干凈語音的詞錯誤率僅為3.0%，噪聲語音為7.2%。更重要的是，由于采用了非自回歸的生成方式，模型的推理速度比傳統(tǒng)方法快了數(shù)倍，推理時間僅為125毫秒和104毫秒，遠(yuǎn)低于其他同類系統(tǒng)。

五、技術(shù)創(chuàng)新的深層價值與意義

Stream-Omni的技術(shù)創(chuàng)新不僅僅是性能數(shù)字上的提升，更代表了AI多模態(tài)交互領(lǐng)域的一次重要突破。這項研究的價值就像發(fā)明了一種新的"通用語言"，讓不同類型的信息能夠更自然地融合和轉(zhuǎn)換。

最核心的創(chuàng)新在于"因材施教"的模態(tài)對齊策略。傳統(tǒng)方法就像把所有學(xué)生放在同一個教室里用相同的方法教學(xué)，而Stream-Omni則根據(jù)不同信息的特點(diǎn)采用針對性的處理方式。這種設(shè)計哲學(xué)的改變帶來了顯著的效果：用更少的數(shù)據(jù)達(dá)到更好的性能，同時還能提供更豐富的交互體驗(yàn)。

層級維度的語音文字映射技術(shù)特別值得關(guān)注。這種方法突破了傳統(tǒng)的序列拼接方式，創(chuàng)造了一種更直接、更高效的對應(yīng)關(guān)系。就像在兩座城市之間建造了一條高速公路，而不是讓所有交通都通過擁擠的城市道路。這種設(shè)計讓語音和文字之間的轉(zhuǎn)換變得更加流暢，也為實(shí)時交互提供了技術(shù)基礎(chǔ)。

實(shí)時中間結(jié)果展示功能代表了用戶體驗(yàn)設(shè)計的重要進(jìn)步。當(dāng)你和AI進(jìn)行語音對話時，你能看到AI"聽到"了什么，也能看到AI"想說"什么，這種透明度大大增強(qiáng)了用戶對AI系統(tǒng)的信任感。這就像和朋友聊天時，不僅能聽到對方說話，還能看到對方的表情和手勢，讓交流變得更加豐富和可靠。

數(shù)據(jù)效率的大幅提升具有重要的實(shí)用意義。Stream-Omni僅用2.3萬小時的語音數(shù)據(jù)就達(dá)到了優(yōu)秀性能，相比其他系統(tǒng)動輒需要數(shù)十萬小時的數(shù)據(jù)，這種效率提升為更多研究機(jī)構(gòu)和公司開發(fā)類似系統(tǒng)提供了可能。這就像發(fā)明了一種新的烹飪方法，用更少的食材就能做出同樣美味的菜肴。

技術(shù)架構(gòu)的模塊化設(shè)計也體現(xiàn)了重要的工程價值。整個系統(tǒng)被巧妙地分解為視覺編碼、語音處理、語言理解和語音生成等相對獨(dú)立的模塊，每個模塊都可以獨(dú)立優(yōu)化和升級。這種設(shè)計理念為未來的系統(tǒng)維護(hù)和功能擴(kuò)展提供了極大的便利。

從更廣闊的視角來看，Stream-Omni代表了AI向更自然、更人性化交互方式的重要進(jìn)展。它不再要求用戶適應(yīng)機(jī)器的交互方式，而是讓機(jī)器學(xué)會適應(yīng)人類的自然交流習(xí)慣。這種理念的轉(zhuǎn)變預(yù)示著未來AI助手將能夠更無縫地融入人們的日常生活和工作中。

研究團(tuán)隊開源的決定也值得贊賞。通過在GitHub和Hugging Face平臺公開代碼和模型，他們?yōu)檎麄€研究社區(qū)提供了寶貴的資源，這種開放的態(tài)度將有助于推動整個領(lǐng)域的快速發(fā)展。

此外，這項研究還為解決多模態(tài)AI領(lǐng)域的一些根本性挑戰(zhàn)提供了新思路。模態(tài)對齊、數(shù)據(jù)稀缺、實(shí)時交互等問題一直是困擾研究者的難題，Stream-Omni的成功經(jīng)驗(yàn)為后續(xù)研究提供了重要參考。

說到底，Stream-Omni的出現(xiàn)標(biāo)志著AI多模態(tài)交互技術(shù)正在從實(shí)驗(yàn)室走向?qū)嵱秒A段。雖然當(dāng)前的技術(shù)還不夠完美，比如在語音表現(xiàn)力和人性化程度方面仍有提升空間，但這項研究已經(jīng)為我們描繪了一個令人期待的未來圖景：AI助手將能夠像人類一樣自然地進(jìn)行多模態(tài)交流，真正成為我們生活和工作中的得力伙伴。

隨著技術(shù)的不斷成熟，我們可以期待看到更多基于這種設(shè)計理念的AI產(chǎn)品出現(xiàn)在教育、醫(yī)療、娛樂等各個領(lǐng)域，為人們的生活帶來更多便利和可能性。研究團(tuán)隊已經(jīng)為我們打開了通向這個未來的大門，剩下的就是等待技術(shù)的進(jìn)一步完善和應(yīng)用的廣泛推廣。有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以通過論文原文和開源項目獲取更多信息，親自體驗(yàn)這項令人興奮的技術(shù)創(chuàng)新。

Q&A

Q1：Stream-Omni是什么？它和其他AI助手有什么不同？ A：Stream-Omni是中科院開發(fā)的多模態(tài)AI模型，最大的不同在于它能同時處理圖片、語音和文字，就像一個會看、會聽、會說的全能助手。更重要的是，它能在你說話時實(shí)時顯示轉(zhuǎn)錄文字和回答內(nèi)容，讓交流過程更透明。相比其他AI助手只擅長一種交流方式，Stream-Omni真正實(shí)現(xiàn)了"三頭六臂"式的全方位交互。

Q2：Stream-Omni的訓(xùn)練數(shù)據(jù)比其他模型少很多，會不會影響性能？ A：恰恰相反，這正是Stream-Omni的優(yōu)勢所在。它只用了2.3萬小時的語音數(shù)據(jù)，而其他類似系統(tǒng)通常需要數(shù)十萬小時，但性能卻不相上下。這是因?yàn)樗捎昧?因材施教"的策略，根據(jù)不同信息類型的特點(diǎn)進(jìn)行針對性處理，就像用更聰明的方法學(xué)習(xí)，自然比死記硬背更高效。

Q3：普通用戶現(xiàn)在能使用Stream-Omni嗎？有什么要求？ A：目前Stream-Omni已在GitHub和Hugging Face平臺開源，技術(shù)愛好者和研究者可以下載使用。不過對于普通用戶來說，還需要一定的技術(shù)基礎(chǔ)來部署運(yùn)行。隨著技術(shù)成熟，預(yù)計未來會有更多基于這項技術(shù)的商業(yè)產(chǎn)品出現(xiàn)，讓普通用戶也能輕松體驗(yàn)這種全能AI助手的魅力。