在2025年5月，來(lái)自耶路撒冷希伯來(lái)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院的Iddo Yosha、Gallil Maimon和Yossi Adi發(fā)表了一項(xiàng)引人注目的研究《StressTest: Can YOUR Speech LM Handle the Stress?》。這項(xiàng)研究關(guān)注了一個(gè)在人工智能語(yǔ)音識(shí)別領(lǐng)域常被忽視但對(duì)人類(lèi)交流至關(guān)重要的方面：句子強(qiáng)調(diào)（sentence stress）。研究團(tuán)隊(duì)不僅提出了評(píng)估語(yǔ)音語(yǔ)言模型理解強(qiáng)調(diào)能力的測(cè)試基準(zhǔn)，還開(kāi)發(fā)了顯著改進(jìn)這一能力的方法。有興趣深入了解的讀者可以通過(guò)研究團(tuán)隊(duì)提供的網(wǎng)站（https://pages.cs.huji.ac.il/adiyoss-lab/stresstest）訪問(wèn)相關(guān)代碼、模型、數(shù)據(jù)和音頻樣本。

當(dāng)我們?cè)谌粘＝徽勚?，特意加重某些詞的語(yǔ)氣時(shí)，我們實(shí)際上在做什么？想象你對(duì)朋友說(shuō)："我沒(méi)說(shuō)她偷了錢(qián)"。這句話根據(jù)你強(qiáng)調(diào)的詞不同，會(huì)傳達(dá)完全不同的含義。如果你強(qiáng)調(diào)"我"，意思可能是"不是我說(shuō)的，是別人說(shuō)的"；如果強(qiáng)調(diào)"她"，則可能是"不是她偷的，是別人偷的"。這種通過(guò)強(qiáng)調(diào)特定詞語(yǔ)來(lái)傳達(dá)額外信息的方式，就是語(yǔ)言學(xué)家所說(shuō)的"句子強(qiáng)調(diào)"。

在人類(lèi)交流中，這種強(qiáng)調(diào)模式至關(guān)重要，它幫助我們表達(dá)意圖、突出重點(diǎn)、甚至完全改變句子的隱含意義——即使文字內(nèi)容完全相同。然而，當(dāng)前主流的語(yǔ)音識(shí)別技術(shù)卻常常忽略這一維度。傳統(tǒng)的語(yǔ)音識(shí)別系統(tǒng)通常只關(guān)注"說(shuō)了什么"，而不是"怎么說(shuō)的"，這導(dǎo)致了信息的丟失。

耶路撒冷希伯來(lái)大學(xué)的研究團(tuán)隊(duì)注意到了這一問(wèn)題。他們指出，雖然近年來(lái)語(yǔ)音感知語(yǔ)言模型（Speech-aware Language Models，簡(jiǎn)稱SLMs）取得了長(zhǎng)足進(jìn)步，能夠直接處理音頻而不需要轉(zhuǎn)錄步驟，但這些模型在理解語(yǔ)音強(qiáng)調(diào)方面的能力仍未被充分評(píng)估和開(kāi)發(fā)。為了填補(bǔ)這一空白，研究團(tuán)隊(duì)創(chuàng)建了StressTest基準(zhǔn)測(cè)試，并開(kāi)發(fā)了一種名為StresSLM的改進(jìn)模型。

一、StressTest：測(cè)試語(yǔ)音模型理解強(qiáng)調(diào)的能力

StressTest是一個(gè)專門(mén)設(shè)計(jì)用來(lái)測(cè)試語(yǔ)音語(yǔ)言模型理解句子強(qiáng)調(diào)的基準(zhǔn)測(cè)試。想象一下，這就像是一場(chǎng)特殊的考試，不是測(cè)試學(xué)生的數(shù)學(xué)或語(yǔ)文能力，而是測(cè)試人工智能是否能聽(tīng)懂我們說(shuō)話時(shí)的語(yǔ)氣變化所傳達(dá)的額外信息。

這個(gè)基準(zhǔn)測(cè)試包含兩個(gè)主要任務(wù)：首先是句子強(qiáng)調(diào)檢測(cè)（Sentence Stress Detection，簡(jiǎn)稱SSD），要求模型能夠準(zhǔn)確識(shí)別出說(shuō)話者在句子中強(qiáng)調(diào)了哪些詞；其次是句子強(qiáng)調(diào)推理（Sentence Stress Reasoning，簡(jiǎn)稱SSR），要求模型能夠基于強(qiáng)調(diào)模式推斷說(shuō)話者的真實(shí)意圖。

研究團(tuán)隊(duì)邀請(qǐng)了一位專業(yè)演員錄制了101個(gè)獨(dú)特的文本，每個(gè)文本至少有兩種不同的強(qiáng)調(diào)模式，從而產(chǎn)生不同的潛在解釋。例如，"你今晚想幫我做飯嗎？"這句話，如果強(qiáng)調(diào)"你"和"我"，可能暗示說(shuō)話者認(rèn)為對(duì)方烹飪技能不如自己；而如果強(qiáng)調(diào)其他詞，則可能傳達(dá)完全不同的意思。這樣的設(shè)計(jì)讓StressTest能夠全面評(píng)估模型理解句子強(qiáng)調(diào)的能力。

在數(shù)據(jù)集構(gòu)成上，StressTest包含85個(gè)有2種不同解釋的句子和16個(gè)有3種不同解釋的句子。在所有的解釋中，有170個(gè)只強(qiáng)調(diào)單個(gè)詞，43個(gè)強(qiáng)調(diào)兩個(gè)詞，5個(gè)強(qiáng)調(diào)三個(gè)不同的詞?？偣灿?18個(gè)音頻樣本，每個(gè)樣本都標(biāo)注了轉(zhuǎn)錄文本、強(qiáng)調(diào)詞的位置、可能的解釋以及正確的解釋。

二、現(xiàn)有模型表現(xiàn)如何？人類(lèi)vs機(jī)器的強(qiáng)調(diào)理解能力

研究團(tuán)隊(duì)使用StressTest評(píng)估了多個(gè)領(lǐng)先的語(yǔ)音語(yǔ)言模型，包括Qwen2Audio-7B-Instruct、SALMONN、LLaMA-Omni、Phi-4-multimodal-instruct和gpt-4o-audio。結(jié)果令人驚訝：盡管這些模型在許多語(yǔ)音任務(wù)上表現(xiàn)出色，但它們?cè)诶斫饩渥訌?qiáng)調(diào)方面表現(xiàn)卻接近隨機(jī)猜測(cè)的水平。

相比之下，人類(lèi)在這項(xiàng)任務(wù)上表現(xiàn)得幾乎完美。研究團(tuán)隊(duì)隨機(jī)抽取了100個(gè)樣本進(jìn)行人類(lèi)評(píng)估，讓16位注釋者回答相同的多項(xiàng)選擇題。結(jié)果顯示，當(dāng)采用三位注釋者的多數(shù)投票時(shí)，人類(lèi)的準(zhǔn)確率高達(dá)96.0%，即使是單個(gè)注釋者的總體準(zhǔn)確率也達(dá)到了92.6%。這一巨大差距凸顯了當(dāng)前語(yǔ)音語(yǔ)言模型在理解語(yǔ)音強(qiáng)調(diào)方面的不足。

研究還探索了不同輸入組合對(duì)模型性能的影響。他們發(fā)現(xiàn)，當(dāng)給予文本語(yǔ)言模型（而非語(yǔ)音模型）正確的轉(zhuǎn)錄文本和強(qiáng)調(diào)標(biāo)記時(shí)，這些模型反而表現(xiàn)更好，例如gpt-4o在此情況下的準(zhǔn)確率達(dá)到了86.2%。這表明問(wèn)題不在于理解強(qiáng)調(diào)的含義，而在于從原始音頻中準(zhǔn)確檢測(cè)出強(qiáng)調(diào)模式。

三、Stress-17k：為語(yǔ)音模型創(chuàng)建合成訓(xùn)練數(shù)據(jù)

為了解決現(xiàn)有模型在理解句子強(qiáng)調(diào)方面的不足，研究團(tuán)隊(duì)開(kāi)發(fā)了一種合成數(shù)據(jù)生成流程，創(chuàng)建了名為Stress-17k的訓(xùn)練數(shù)據(jù)集。這個(gè)過(guò)程就像是為語(yǔ)音模型制作專門(mén)的"強(qiáng)調(diào)理解"教科書(shū)，包含大量具有不同強(qiáng)調(diào)模式和相應(yīng)解釋的例子。

這個(gè)生成流程分為四個(gè)主要步驟：首先是文本樣本生成，研究團(tuán)隊(duì)使用gpt-4o作為智能助手，創(chuàng)建可以根據(jù)強(qiáng)調(diào)詞不同而有不同含義的句子；其次是強(qiáng)調(diào)語(yǔ)音合成，通過(guò)OpenAI的文本轉(zhuǎn)語(yǔ)音技術(shù)生成帶有強(qiáng)調(diào)的語(yǔ)音樣本；第三是強(qiáng)調(diào)驗(yàn)證，使用WhiStress模型過(guò)濾掉強(qiáng)調(diào)不準(zhǔn)確的樣本；最后是訓(xùn)練任務(wù)定義，設(shè)計(jì)多種任務(wù)幫助模型學(xué)習(xí)強(qiáng)調(diào)檢測(cè)和推理能力。

生成的Stress-17k數(shù)據(jù)集約有17,000個(gè)音頻樣本，其中經(jīng)過(guò)驗(yàn)證的高質(zhì)量樣本約有4,500個(gè)。這些樣本涵蓋了多種領(lǐng)域和主題，使用了不同的句子類(lèi)型（如陳述句、問(wèn)句、命令句等），并由男性和女性配音，以確保數(shù)據(jù)的多樣性。

這個(gè)訓(xùn)練數(shù)據(jù)集的關(guān)鍵在于它模擬了強(qiáng)調(diào)變化如何改變句子含義的情況，為語(yǔ)音語(yǔ)言模型提供了豐富的學(xué)習(xí)素材。通過(guò)在這個(gè)數(shù)據(jù)集上訓(xùn)練，模型有望學(xué)會(huì)像人類(lèi)一樣，理解說(shuō)話者通過(guò)強(qiáng)調(diào)傳達(dá)的隱含意圖。

四、StresSLM：理解語(yǔ)音強(qiáng)調(diào)的改進(jìn)模型

有了StressTest基準(zhǔn)和Stress-17k訓(xùn)練數(shù)據(jù)，研究團(tuán)隊(duì)接下來(lái)的任務(wù)是優(yōu)化現(xiàn)有語(yǔ)音語(yǔ)言模型，使其能夠更好地理解句子強(qiáng)調(diào)。他們選擇了Qwen2Audio-7B-Instruct作為基礎(chǔ)模型，使用LoRA適配器（一種參數(shù)高效的微調(diào)技術(shù)）在Stress-17k數(shù)據(jù)集上進(jìn)行訓(xùn)練。

為了防止模型過(guò)度專注于強(qiáng)調(diào)任務(wù)而忘記原有能力，研究團(tuán)隊(duì)還加入了一些原始任務(wù)的樣本，如LibriLight用于自動(dòng)語(yǔ)音識(shí)別和MELD用于語(yǔ)音情感識(shí)別。他們采用了分階段訓(xùn)練方法，先在完整數(shù)據(jù)集（包括未驗(yàn)證的樣本）上訓(xùn)練一個(gè)周期，然后在較小的高質(zhì)量子集上再訓(xùn)練一個(gè)周期。

這種訓(xùn)練策略產(chǎn)生了顯著成效。優(yōu)化后的模型StresSLM在StressTest上的表現(xiàn)大幅超越了現(xiàn)有模型，在句子強(qiáng)調(diào)推理任務(wù)上的準(zhǔn)確率達(dá)到81.6%（相比之下，最佳現(xiàn)有模型僅為58.7%），在句子強(qiáng)調(diào)檢測(cè)任務(wù)上的F1分?jǐn)?shù)達(dá)到86.4%（相比之下，最佳現(xiàn)有模型僅為40.5%）。

更重要的是，StresSLM在保持強(qiáng)調(diào)理解能力的同時(shí)，對(duì)原始任務(wù)的性能影響很小。雖然在自動(dòng)語(yǔ)音識(shí)別任務(wù)上有輕微下降，但在語(yǔ)音情感識(shí)別任務(wù)上甚至有所提升，從26.4%提高到57.2%。這表明，通過(guò)精心設(shè)計(jì)的訓(xùn)練策略，可以在不犧牲基本能力的情況下，顯著提升語(yǔ)音模型理解句子強(qiáng)調(diào)的能力。

五、深入分析：訓(xùn)練策略的影響

為了更好地理解哪些因素對(duì)模型性能影響最大，研究團(tuán)隊(duì)進(jìn)行了一系列消融實(shí)驗(yàn)（即有選擇地移除或改變系統(tǒng)的某些部分，觀察性能變化）。

首先，他們?cè)u(píng)估了WhiStress驗(yàn)證器的效果。結(jié)果表明，在經(jīng)過(guò)驗(yàn)證的子集上訓(xùn)練確實(shí)提高了句子強(qiáng)調(diào)推理的性能，但代價(jià)是強(qiáng)調(diào)檢測(cè)性能的下降。而采用分階段訓(xùn)練策略（先在完整數(shù)據(jù)集上訓(xùn)練，再在驗(yàn)證子集上微調(diào)）則能夠取得更好的平衡，同時(shí)提高兩項(xiàng)任務(wù)的性能。

其次，他們檢驗(yàn)了是否需要微調(diào)語(yǔ)音編碼器。結(jié)果顯示，凍結(jié)編碼器而只訓(xùn)練其他部分會(huì)顯著降低模型性能，證明語(yǔ)音中的強(qiáng)調(diào)相關(guān)信息需要通過(guò)微調(diào)編碼器才能被充分提取。這與之前的研究一致，表明韻律特征（如強(qiáng)調(diào)）被編碼在語(yǔ)音表示模型的不同層中。

最后，他們分析了不同訓(xùn)練任務(wù)的影響。結(jié)果表明，沒(méi)有一種任務(wù)組合在所有指標(biāo)上都表現(xiàn)最佳，但包含所有任務(wù)變體的訓(xùn)練方案能夠在句子強(qiáng)調(diào)推理和強(qiáng)調(diào)檢測(cè)之間取得較好的平衡。尤其值得注意的是，移除描述性解釋任務(wù)會(huì)導(dǎo)致強(qiáng)調(diào)推理性能大幅下降，表明這一任務(wù)在幫助模型建立強(qiáng)調(diào)模式與潛在含義之間的聯(lián)系方面起著重要作用。

這些實(shí)驗(yàn)提供了寶貴的見(jiàn)解，有助于未來(lái)設(shè)計(jì)更有效的訓(xùn)練策略來(lái)提升語(yǔ)音語(yǔ)言模型理解句子強(qiáng)調(diào)的能力。

六、研究意義與未來(lái)展望

這項(xiàng)研究的意義不僅在于揭示了當(dāng)前語(yǔ)音語(yǔ)言模型在理解句子強(qiáng)調(diào)方面的局限，還提供了改進(jìn)這一能力的有效方法。通過(guò)StressTest基準(zhǔn)、Stress-17k數(shù)據(jù)集和StresSLM模型，研究團(tuán)隊(duì)展示了如何使語(yǔ)音語(yǔ)言模型更好地理解人類(lèi)交流中的微妙含義。

在實(shí)際應(yīng)用方面，這一進(jìn)步有望改善語(yǔ)音助手、自動(dòng)客服和語(yǔ)音翻譯等系統(tǒng)的用戶體驗(yàn)。例如，當(dāng)用戶強(qiáng)調(diào)某些詞語(yǔ)表達(dá)特定意圖時(shí)，支持強(qiáng)調(diào)理解的語(yǔ)音助手能夠更準(zhǔn)確地理解用戶需求，提供更相關(guān)的響應(yīng)。在語(yǔ)音翻譯中，保留原始語(yǔ)音的強(qiáng)調(diào)模式及其含義，可以讓翻譯結(jié)果更加準(zhǔn)確地傳達(dá)說(shuō)話者的真實(shí)意圖。

然而，研究團(tuán)隊(duì)也承認(rèn)當(dāng)前工作存在一些局限。首先，StressTest和Stress-17k都僅限于英語(yǔ)，未來(lái)需要擴(kuò)展到其他語(yǔ)言以驗(yàn)證方法的普適性。其次，雖然StresSLM在測(cè)試基準(zhǔn)上表現(xiàn)出色，但在真實(shí)世界中的各種口音、方言和說(shuō)話風(fēng)格下的表現(xiàn)還需進(jìn)一步驗(yàn)證。最后，如何將句子強(qiáng)調(diào)理解與更廣泛的語(yǔ)境理解相結(jié)合，也是未來(lái)研究需要探索的方向。

盡管如此，這項(xiàng)研究無(wú)疑在推動(dòng)語(yǔ)音語(yǔ)言模型理解人類(lèi)交流的微妙方面邁出了重要一步。隨著研究的深入，我們可以期待未來(lái)的人工智能系統(tǒng)不僅能聽(tīng)懂我們說(shuō)了什么，還能理解我們是怎么說(shuō)的，從而實(shí)現(xiàn)更自然、更豐富的人機(jī)交互。