Fraunhofer IIS在音頻編解碼領域擁有超過25年的經驗,先后發(fā)明了MP3格式和AAC技術,現如今很多的技術也應用在許多不同的場景當中。目前致力于研發(fā)兩大塊技術:第一是xHE-AAC和MPEG H的音頻解碼,xHE-AAC是下一代廣播電視將會主要使用的編解碼;第二個是EVS(增強語音服務),將主要應用于4G LTE領域。目前,有超過1000家公司在使用Fraunhofer IIS的授權許可軟件,全球超過70億臺的設備部署了HE-AAC。
AAC系列編解碼
Fraunhofer先后研發(fā)了MP3格式、能夠提高編碼效率的AAC技術以及其組件、目前最流行的也是幾乎在每部手機中都配備的HE-AAC技術。此外,AAC-ELD是主要應用在通信領域,能夠實現雙向低延遲通信的技術。目前,應用于4G LTE電信通信的技術也正在研發(fā)中。
Fraunhofer音頻技術最大的特征是向后兼容。如果企業(yè)使用了最新的解碼器xHE-AAC,那么之前所有的技術均能夠使用。一些主流的電視臺,比如BBC、NHK、新加坡的MediaCorp都使用了這一技術。
目前諸如廣播電視、IP網絡和移動網絡的技術都在不斷融合的過程中,也與很多標準組織進行合作,比如:歐洲智能電視標準HbbTV,網絡標準DASH,以及為好萊塢影院提供在線語音播放標準Ultra violet。HE-AAC技術是以上標準的必選技術。幾乎所有的主流媒體、廣播電視設備及服務廠商均支持HE-AAC多聲道,與此同時,越來越多的服務供應方也在使用HE-AAC的技術,HE-AAC被廣泛應用于全球最受歡迎的流媒體服務中。
下一代廣播電視
下一代廣播電視的話題在包括中國、歐洲、美國、日本在內的國家都在進行熱烈的討論。所以基于這樣一個背景,也產生了一個新的機構——FOBTV。來自于全世界各地的會員都集中于此,共同探討未來廣播電視標準的發(fā)展。Fraunhofer希望未來電視系統能夠實現全球化的兼容,但這并不意味著全世界各地的電視標準全是一樣的,而是能夠開發(fā)出一個更為靈活的系統,來更好地滿足各地方的標準,但與此同時又能夠相互兼容。值得一提的是,這個機構的技術委員會的主席是一名中國人,來自上海交通大學的張文軍教授。
Fraunhofer Cingo
這個產品的理念是希望能夠在移動設備當中為客戶提供環(huán)繞音效。這是一個非常重要的技術進步,一般來說高品質的音效都需要在非常理想的音樂環(huán)境下才能得以實現。但隨著技術的進步,目前有越來越多的用戶會在小型設備上,比如平板電腦或手機中欣賞音樂或觀看電影。
而這項技術就能夠滿足用戶即使在小型設備中也能獲得優(yōu)質的聽覺體驗。雖然人類只有兩只耳朵,但也能夠聽到各種環(huán)繞聲音效,并且能夠非常清晰地分辨聲音來自于前面、后面或者是上面、下面。所以Fraunhofer認為,人的兩個耳朵能夠實現這些效果的話,如果有兩個揚聲器,應該也能夠實現這種環(huán)繞音效的效果。目前這項技術能夠實現一種虛擬的環(huán)繞音效效果,即使只有兩個揚聲器也可以。谷歌已經將這項技術嵌入到他們的設備當中去,所以現在Google Play里面,你下載一個音頻便可以享受5.1聲道音效的影音效果。
對白增強技術——掌控音頻平衡
為了讓電視和廣播聽眾能夠擁有音頻的掌控權,Fraunhofer研發(fā)了對白增強技術。這項備受贊譽的技術幫助廣播電視領域克服了一個長期困擾的問題,即觀眾依照個人需求來改變環(huán)境音和對白之間的平衡。Fraunhofer在2013年IBC期間攜手Thomson Video Networks演示了對白增強技術在實時數字視頻廣播(DVB)鏈中的應用。此外,在2011年的溫布爾登網球錦標賽期間,Fraunhofer IIS與BBC共同針對對白增強技術的可用性進行了用戶體驗反饋實驗。
對白增強技術正在完成DVB標準化的進程中,因此這項技術能夠應用于基于DVB標準(如DVB-T2)的傳輸系統中。
對白增強技術是HE-AAC編解碼器的理想補充。作為目前最高效的電視廣播音頻編解碼器,在英國、瑞典等大多數推出了第二代地面電視的國家,HE-AAC都是指定的音頻編解碼器。此外,HE-AAC還是 HbbTV(Hybrid Broadcast Broadband TV,混合廣播寬帶電視)指定的音頻編解碼器。
Fraunhofer IIS在中國
Fraunhofer幾乎在和中國所有的移動運營商進行溝通,希望他們將HE-AAC技術應用在更多的應用場景當中,比如VoIP、VoLTE等技術在音樂和在移動設備領域的應用。此外還與中小企業(yè)的合作。對于Fraunhofer來說,最為重要的一點就是幫助中國制造商以正確的方式來實施我們的技術,以使得他們在全球范圍內保持競爭優(yōu)勢。就在昨天,Fraunhofer剛剛宣布了一項與香港公司的合作項目,為客戶提供測試套件,以保證他們的測試能夠滿足各個不同市場的需要。中國的客戶希望按照Fraunhofer的標準做測試,并由Fraunhofer提供認證。目前,從歐洲、新加坡、馬來西亞等國家進口的廣電設備必須得到Fraunhofer的相關認證才得以進口。
好文章,需要你的鼓勵
新加坡國立大學研究團隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓練AI玩簡單撲克游戲就能讓其數學推理能力提升8.6%,通用推理提升8.4%,且無需任何數學題目作為訓練材料。研究發(fā)現游戲中的三種推理模式能成功轉移到數學解題中,為AI訓練提供了新思路。
同濟大學團隊開發(fā)的GIGA-ToF技術通過融合多幀圖像的"圖結構"信息,創(chuàng)新性地解決了3D相機噪聲問題。該技術利用圖像間的不變幾何關系,結合深度學習和數學優(yōu)化方法,在合成數據集上實現37.9%的精度提升,并在真實設備上展現出色泛化能力,為機器人、AR和自動駕駛等領域提供更可靠的3D視覺解決方案。
伊利諾伊大學研究團隊通過對比實驗發(fā)現,經過強化學習訓練的視覺語言模型雖然表現出"頓悟時刻"現象,但這些自我糾錯行為并不能實際提升推理準確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強于驗證答案質量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機構聯合提出SparseLoRA技術,通過動態(tài)稀疏性實現大語言模型訓練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓練效率,已在多個任務上驗證有效性。