科技行者 7月10日 北京消息:近日,阿里發(fā)布新一代語(yǔ)音合成技術(shù)KAN-TTS,大幅提高合成語(yǔ)音與真人發(fā)聲的相似度,并將語(yǔ)音合成定制成本降低10倍以上。
阿里AI的這項(xiàng)突破,將問(wèn)世80年的語(yǔ)音合成(TTS)技術(shù)推向幾可亂真的水平,有望通過(guò)圖靈測(cè)試。
當(dāng)前業(yè)界商用系統(tǒng)的合成語(yǔ)音與原始音頻錄音的接近程度通常在85%到90%之間,而基于KAN-TTS技術(shù)的合成語(yǔ)音可將該數(shù)據(jù)提高到97%以上。
KAN-TTS由達(dá)摩院機(jī)器智能實(shí)驗(yàn)室自主研發(fā),深度融合了目前主流的端到端TTS技術(shù)和傳統(tǒng)TTS技術(shù),從多個(gè)方面改進(jìn)了語(yǔ)音合成。
傳統(tǒng)語(yǔ)音合成定制需要10小時(shí)以上的數(shù)據(jù)錄制和標(biāo)注,對(duì)錄音人和錄音環(huán)境要求很高。從啟動(dòng)定制到最終交付,項(xiàng)目周期長(zhǎng)成本高。
阿里利用Multi-Speaker Model與Speaker-aware Advanced Transfer Learning相結(jié)合的方法,將語(yǔ)音合成定制成本降低10倍以上,周期壓縮3倍以上。也就是說(shuō),用1小時(shí)有效錄音數(shù)據(jù)和不到兩個(gè)月制作周期,就能完成一次標(biāo)準(zhǔn)TTS定制。
普通用戶定制“AI聲音”的門檻更低。只需手機(jī)錄音十分鐘,就能獲得與錄制聲音高度相似的合成語(yǔ)音。阿里AI做到這一點(diǎn),主要基于自動(dòng)數(shù)據(jù)檢查、自動(dòng)標(biāo)注方法和對(duì)海量用戶場(chǎng)景的利用。
阿里已經(jīng)對(duì)外提供開(kāi)箱即用的TTS解決方案,共有通用、客服、童聲、英文和方言5個(gè)場(chǎng)景的34種高品質(zhì)聲音供選擇。
基于新一代技術(shù),阿里還顯著提高了設(shè)備端離線TTS的效果。這在超低資源設(shè)備端的TTS服務(wù)中非常有用,比如當(dāng)人們駕車行駛于信號(hào)微弱區(qū)域,阿里技術(shù)能避免語(yǔ)音導(dǎo)航“掉線”。
好文章,需要你的鼓勵(lì)
騰訊ARC實(shí)驗(yàn)室推出AudioStory系統(tǒng),首次實(shí)現(xiàn)AI根據(jù)復(fù)雜指令創(chuàng)作完整長(zhǎng)篇音頻故事。該系統(tǒng)結(jié)合大語(yǔ)言模型的敘事推理能力與音頻生成技術(shù),通過(guò)交錯(cuò)式推理生成、解耦橋接機(jī)制和漸進(jìn)式訓(xùn)練,能夠?qū)?fù)雜指令分解為連續(xù)音頻場(chǎng)景并保持整體連貫性。在AudioStory-10K基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開(kāi)辟新方向。
Meta與特拉維夫大學(xué)聯(lián)合研發(fā)的VideoJAM技術(shù),通過(guò)讓AI同時(shí)學(xué)習(xí)外觀和運(yùn)動(dòng)信息,顯著解決了當(dāng)前視頻生成模型中動(dòng)作不連貫、違反物理定律的核心問(wèn)題。該技術(shù)僅需添加兩個(gè)線性層就能大幅提升運(yùn)動(dòng)質(zhì)量,在多項(xiàng)測(cè)試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實(shí)用化應(yīng)用奠定了重要基礎(chǔ)。
上海AI實(shí)驗(yàn)室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語(yǔ)言模型人性化對(duì)話問(wèn)題。該研究創(chuàng)建了包含20萬(wàn)高質(zhì)量樣本的訓(xùn)練數(shù)據(jù)集和MM-AlignBench評(píng)測(cè)基準(zhǔn),通過(guò)創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時(shí)顯著提升人性化交互水平,為AI價(jià)值觀對(duì)齊提供了可行技術(shù)路徑。
谷歌DeepMind團(tuán)隊(duì)開(kāi)發(fā)的GraphCast是一個(gè)革命性的AI天氣預(yù)測(cè)模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預(yù)報(bào),準(zhǔn)確性超越傳統(tǒng)方法90%的指標(biāo)。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過(guò)學(xué)習(xí)40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預(yù)測(cè)方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學(xué)領(lǐng)域帶來(lái)了效率和精度的雙重突破。