科技行者 7月10日 北京消息:近日,阿里發(fā)布新一代語音合成技術(shù)KAN-TTS,大幅提高合成語音與真人發(fā)聲的相似度,并將語音合成定制成本降低10倍以上。
阿里AI的這項突破,將問世80年的語音合成(TTS)技術(shù)推向幾可亂真的水平,有望通過圖靈測試。
當(dāng)前業(yè)界商用系統(tǒng)的合成語音與原始音頻錄音的接近程度通常在85%到90%之間,而基于KAN-TTS技術(shù)的合成語音可將該數(shù)據(jù)提高到97%以上。
KAN-TTS由達摩院機器智能實驗室自主研發(fā),深度融合了目前主流的端到端TTS技術(shù)和傳統(tǒng)TTS技術(shù),從多個方面改進了語音合成。
傳統(tǒng)語音合成定制需要10小時以上的數(shù)據(jù)錄制和標(biāo)注,對錄音人和錄音環(huán)境要求很高。從啟動定制到最終交付,項目周期長成本高。
阿里利用Multi-Speaker Model與Speaker-aware Advanced Transfer Learning相結(jié)合的方法,將語音合成定制成本降低10倍以上,周期壓縮3倍以上。也就是說,用1小時有效錄音數(shù)據(jù)和不到兩個月制作周期,就能完成一次標(biāo)準(zhǔn)TTS定制。
普通用戶定制“AI聲音”的門檻更低。只需手機錄音十分鐘,就能獲得與錄制聲音高度相似的合成語音。阿里AI做到這一點,主要基于自動數(shù)據(jù)檢查、自動標(biāo)注方法和對海量用戶場景的利用。
阿里已經(jīng)對外提供開箱即用的TTS解決方案,共有通用、客服、童聲、英文和方言5個場景的34種高品質(zhì)聲音供選擇。
基于新一代技術(shù),阿里還顯著提高了設(shè)備端離線TTS的效果。這在超低資源設(shè)備端的TTS服務(wù)中非常有用,比如當(dāng)人們駕車行駛于信號微弱區(qū)域,阿里技術(shù)能避免語音導(dǎo)航“掉線”。
好文章,需要你的鼓勵
新加坡國立大學(xué)研究團隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟大學(xué)團隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設(shè)備上展現(xiàn)出色泛化能力,為機器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團隊通過對比實驗發(fā)現(xiàn),經(jīng)過強化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓(xùn)練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓(xùn)練效率,已在多個任務(wù)上驗證有效性。