媒體世界日新月異,而Fraunhofer IIS始終主導(dǎo)著最先進(jìn)音頻技術(shù)的發(fā)展。Fraunhofer IIS是一家音頻和多媒體技術(shù)的研究機(jī)構(gòu),借今年的中國(guó)國(guó)際信息通信展,他們又來(lái)到了中國(guó),目的是讓更多的中國(guó)客戶認(rèn)識(shí)他們。
在過(guò)去25年的時(shí)間里,F(xiàn)raunhofer集成電路研究所(IIS)音頻和多媒體部門始終專注于數(shù)字音頻技術(shù)的研發(fā)。作為MP3技術(shù)的發(fā)明者和AAC(高級(jí)音頻編碼)技術(shù)的聯(lián)合開(kāi)發(fā)者,以及未來(lái)廣播電視領(lǐng)域的音頻技術(shù)開(kāi)拓者Fraunhofer IIS將音頻技術(shù)創(chuàng)新變成了現(xiàn)實(shí)。
Toni Fiedler 德國(guó)Fraunhofer集成電路研究所(IIS)亞太區(qū)市場(chǎng)及業(yè)務(wù)發(fā)展總監(jiān)
(右)Matthias Rose 德國(guó)Fraunhofer集成電路研究所(IIS)音頻和多媒體營(yíng)銷傳播總監(jiān)
Fraunhofer IIS 亞太區(qū)市場(chǎng)及業(yè)務(wù)發(fā)展總監(jiān)Toni Fiedler表示,F(xiàn)raunhofer IIS最大的愿景就是與移動(dòng)運(yùn)營(yíng)商、 網(wǎng)絡(luò)服務(wù)提供商、廣播電視臺(tái)等緊密的合作為中國(guó)的消費(fèi)電子企業(yè)帶來(lái)創(chuàng)新的音頻技術(shù),另一方面Fraunhofer IIS也十分愿意幫助中國(guó)企業(yè)走出去,攜手中國(guó)制造商和中小企業(yè)以滿足國(guó)際化的音頻標(biāo)準(zhǔn)和技術(shù)規(guī)范。
目前Fraunhofer IIS致力于研發(fā)兩大塊技術(shù):第一是xHE-AAC和MPEG H的音頻解碼,xHE-AAC是下一代廣播電視將會(huì)主要使用的編解碼;第二個(gè)是EVS(增強(qiáng)語(yǔ)音服務(wù)),將主要應(yīng)用于4G LTE領(lǐng)域。
今年,中國(guó)全面步入4G LTE時(shí)代。據(jù)GSMA移動(dòng)智庫(kù)的研究數(shù)據(jù)顯示,預(yù)計(jì)到2020年底,中國(guó)的4G移動(dòng)連接總數(shù)將從2014年的1億左右增至近9億。4G移動(dòng)設(shè)備和服務(wù)將會(huì)在人們的工作和生活中扮演著越來(lái)越重要的角色。
顯然,LTE時(shí)代的高寬帶支持用戶使用很多大流量數(shù)據(jù)業(yè)務(wù),而語(yǔ)音業(yè)務(wù)仍將是手機(jī)終端的主要應(yīng)用。但遺憾的是,在我們使用手機(jī)打電話時(shí),聽(tīng)到的語(yǔ)音音質(zhì),幾十年來(lái)并沒(méi)有太大的不同。
目前3GPP在通信、音頻編解碼的技術(shù)標(biāo)準(zhǔn)上推進(jìn)并制定全高清語(yǔ)音標(biāo)準(zhǔn),這意味著在未來(lái)LTE的標(biāo)準(zhǔn)之下,整個(gè)語(yǔ)音通話的音質(zhì)標(biāo)準(zhǔn)會(huì)有大幅提升。
在本屆通信展上,F(xiàn)raunhofer IIS首次帶來(lái)4G 時(shí)代具有高效通信體驗(yàn)的全高清語(yǔ)音會(huì)議技術(shù),EVS增強(qiáng)型語(yǔ)音服務(wù)以及能夠在平板電腦或智能手機(jī)上體驗(yàn)到影院般的環(huán)繞聲音效的Fraunhofer Cingo技術(shù),以滿足4G用戶和設(shè)備的需求。
Fraunhofer IIS 全高清語(yǔ)音會(huì)議技術(shù)
全高清語(yǔ)音會(huì)議技術(shù):該技術(shù)能夠使電話會(huì)議實(shí)現(xiàn)高端網(wǎng)真視頻會(huì)議般的通話體驗(yàn)。由AAC-ELD音頻編解碼器實(shí)現(xiàn)的全高清語(yǔ)音通話,能夠使參與會(huì)議通話的用戶通過(guò)耳機(jī)感知其他會(huì)議參與者的方位,在這一場(chǎng)景下,所有的與會(huì)人員好像身處同一房間,因此彼此間的對(duì)話也變得更加自然,讓移動(dòng)會(huì)議變得更加輕松和高效。
EVS:增強(qiáng)型語(yǔ)音服務(wù)(Enhanced Voice Service,EVS,TS 26.441)是專為L(zhǎng)TE等分組交換網(wǎng)絡(luò)而設(shè)計(jì)的下一代3GPP實(shí)時(shí)通信編解碼器。在當(dāng)前的目標(biāo)應(yīng)用VoLTE(Voice over LTE)中使用EVS,可實(shí)現(xiàn)全高清語(yǔ)音通話質(zhì)量,而通話保真度可媲美當(dāng)今所有數(shù)字媒體。通過(guò)該技術(shù),我們不僅可以進(jìn)行自然的語(yǔ)音通信,而完整音頻頻譜還能夠再現(xiàn)音樂(lè)和環(huán)境氛圍。
Fraunhofer Cingo:借助Fraunhofer Cingo,無(wú)論是使用耳機(jī)還是內(nèi)置立體聲揚(yáng)聲器,用戶能夠在平板電腦或智能手機(jī)上體驗(yàn)到影院般的環(huán)繞聲音效體驗(yàn)。Cingo不僅可以帶來(lái)極致的環(huán)繞聲音效體驗(yàn),而且還能將現(xiàn)有的立體聲內(nèi)容變得更加自然和清晰。此外,針對(duì)嘈雜的環(huán)境Cingo還具備響度優(yōu)化功能,能夠顯著提升對(duì)話和解說(shuō)的清晰度。
Fraunhofer IIS先后研發(fā)了五代編解碼技術(shù),包括MP3格式,能夠提高編碼效率的AAC技術(shù)以及其組件,目前最流行的、幾乎在每部手機(jī)中都配備的HE-AAC技術(shù),主要應(yīng)用在通信領(lǐng)域、能夠?qū)崿F(xiàn)雙向低延遲通信的AAC-ELD技術(shù),以及應(yīng)用于4G LTE電信通信的技術(shù)。
Toni Fiedler提到,“Fraunhofer音頻技術(shù)的最大特征是向后兼容,如果企業(yè)使用了最新的解碼器xHE-AAC,那么之前所有的技術(shù)均能夠使用。因此現(xiàn)在的一些主流的電視臺(tái),比如BBC、NHK和新加坡的MediaCorp都使用了我們的技術(shù)。”
此外,F(xiàn)raunhofer IIS還展出了拓展型HE-AAC技術(shù)方案。xHE-AAC是首個(gè)將語(yǔ)音和通用音頻編碼結(jié)合在一個(gè)統(tǒng)一系統(tǒng)中的MPEG音頻編解碼技術(shù),xHE-AAC極大提升了8~64 kbit/s及以上的低比特率音頻的音樂(lè)和語(yǔ)音品質(zhì),其可應(yīng)用于無(wú)線網(wǎng)絡(luò)和衛(wèi)星廣播系統(tǒng)中的音樂(lè)流媒體。
Fraunhofer IIS音頻和多媒體營(yíng)銷傳播總監(jiān)Mathias Rose表示,目前在三網(wǎng)融合和OTT的大背景下,因?yàn)镕raunhofer的技術(shù)幾乎已經(jīng)被整合到所有的平臺(tái)當(dāng)中,可以廣泛應(yīng)用于廣播、IT網(wǎng)絡(luò)和移動(dòng)網(wǎng)絡(luò)中,讓廣播電視商可以將電視上的內(nèi)容傳輸?shù)狡桨搴褪謾C(jī)上進(jìn)行播放,甚至可以做到將手機(jī)和平板上的音頻質(zhì)量達(dá)到電視的音效水平,這使得HE-AAC處于一個(gè)非常最有利的位置。
Fraunhofer IIS表示,目前已與中國(guó)的三大運(yùn)營(yíng)商建立聯(lián)系,并且Fraunhofer IIS推出的高清語(yǔ)音技術(shù)是能夠支持所有LTE標(biāo)準(zhǔn),其設(shè)計(jì)的出發(fā)點(diǎn)就是希望以非常低的比特率來(lái)實(shí)現(xiàn)很高的音質(zhì)。
LTE主要是著眼于未來(lái)用戶會(huì)大量地進(jìn)行視頻的下載以及可視通話等,F(xiàn)raunhofer IIS希望在音頻領(lǐng)域,消耗最低的碼率,達(dá)到最優(yōu)的語(yǔ)音體驗(yàn),避免出現(xiàn)網(wǎng)絡(luò)擁塞的情況。蘋(píng)果的Facetime就是一個(gè)很典型的基于VoIP的服務(wù)。
同時(shí),F(xiàn)raunhofer IIS也在積極地嘗試與中國(guó)的中小企業(yè)展開(kāi)合作,總之,幫助中國(guó)制造商以正確的方式來(lái)實(shí)施AAC系列的技術(shù)、使得他們?cè)谌蚍秶鷥?nèi)保持競(jìng)爭(zhēng)優(yōu)勢(shì)是Fraunhofer IIS堅(jiān)持不懈的目標(biāo)。
針對(duì)在中國(guó)市場(chǎng)的發(fā)展,Toni Fiedler表示:“我們幾乎和中國(guó)所有的移動(dòng)運(yùn)營(yíng)商進(jìn)行溝通,希望他們將HE-AAC技術(shù)應(yīng)用在更多的場(chǎng)景中,比如VoIP、VoLTE等技術(shù)在音樂(lè)和移動(dòng)設(shè)備領(lǐng)域的應(yīng)用。此外,我們也極為重視與中小企業(yè)的合作,幫助中國(guó)制造商以正確的方式來(lái)實(shí)施我們的技術(shù),以使得他們?cè)谌蚍秶鷥?nèi)保持領(lǐng)先優(yōu)勢(shì)。”
好文章,需要你的鼓勵(lì)
新加坡國(guó)立大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)了SPIRAL框架,通過(guò)讓AI與自己對(duì)弈零和游戲來(lái)提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡(jiǎn)單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無(wú)需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開(kāi)發(fā)的GIGA-ToF技術(shù)通過(guò)融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問(wèn)題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺(jué)解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺(jué)語(yǔ)言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無(wú)法有效利用視覺(jué)信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過(guò)動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語(yǔ)言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。