近日,第二十九屆中國(guó)國(guó)際廣播電視信息網(wǎng)絡(luò)展覽會(huì)(CCBN2023)在北京舉行。快手StreamLake展示一站式音視頻+AI能力,攜StreamLake硬件編碼器首次亮相本次大會(huì)??焓諷treamLake專注于成為視頻化升級(jí)助推器,致力于助力各行業(yè)客戶實(shí)現(xiàn)視頻化業(yè)務(wù)轉(zhuǎn)型與升級(jí),在視頻化大趨勢(shì)下,助推視聽領(lǐng)域共同蓬勃發(fā)展。
作為業(yè)界知名的廣播電視和網(wǎng)絡(luò)視聽技術(shù)設(shè)備行業(yè)盛會(huì),本屆CCBN以“大視聽,向未來”為主題,展會(huì)聚焦高新技術(shù)在視聽行業(yè)的廣泛深度融合應(yīng)用,促進(jìn)科技自立自強(qiáng)和產(chǎn)業(yè)高質(zhì)量發(fā)展,助力構(gòu)建現(xiàn)代化大視聽發(fā)展格局。
在快手StreamLake展臺(tái)上,首次亮相的StreamLake硬件編碼器引發(fā)行業(yè)人士和參展觀眾的高度關(guān)注。據(jù)悉,該產(chǎn)品集成了快手自研SL200編碼卡及質(zhì)臻影音算法,利用快手領(lǐng)先的視頻編解碼及增強(qiáng)和修復(fù)算法,提升多媒體處理環(huán)節(jié)的質(zhì)量與效率,可應(yīng)用于IPTV、OTT、互聯(lián)網(wǎng)視頻直播等多個(gè)領(lǐng)域的超高清直播平臺(tái)建設(shè)及視頻壓縮編碼。
StreamLake硬件編碼器具有三大產(chǎn)品核心能力——極致的編碼質(zhì)量、領(lǐng)先的AI畫質(zhì)增強(qiáng)算法、超高清實(shí)時(shí)編碼。展會(huì)現(xiàn)場(chǎng),視頻畫面對(duì)比中可明顯看到在StreamLake硬件編碼器驅(qū)動(dòng)下,視頻畫面中呈現(xiàn)出的每一處細(xì)節(jié)清晰細(xì)膩,色彩飽和豐富,動(dòng)態(tài)影像高清流暢,帶來極致的視頻體驗(yàn)。
搭載快手StreamLake首款自研芯片,帶來卓越編碼質(zhì)量與性能
作為產(chǎn)品的核心技術(shù)之一,StreamLake硬件編碼器內(nèi)置首款自研智能視頻處理芯片StreamLake - 200(后文簡(jiǎn)稱SL200芯片)。該芯片具有業(yè)界極佳的編碼性能和廣泛的適用范圍,集成了快手領(lǐng)先的視頻編解碼、圖像處理、AI推理、內(nèi)容自適應(yīng)編碼等關(guān)鍵技術(shù),具備高質(zhì)量、高密度、智能化的特點(diǎn)。
在質(zhì)量方面,SL200芯片可提供行業(yè)領(lǐng)先的壓縮效率,相比x265 medium節(jié)省約30%碼率;密度方面,單卡可支持8路4K@60fps轉(zhuǎn)碼,達(dá)到業(yè)界領(lǐng)先水平。其低功耗設(shè)計(jì)可在高密度視頻處理的同時(shí)節(jié)省大量能耗,可應(yīng)用于短視頻、長(zhǎng)視頻、視頻直播、視頻會(huì)議、云游戲以及廣電等多種場(chǎng)景下的智能轉(zhuǎn)碼需求。
業(yè)界領(lǐng)先的AI畫質(zhì)增強(qiáng)算法,打造極致視聽體驗(yàn)
為了呈現(xiàn)超高清的極致視聽體驗(yàn),在視頻處理方向上,StreamLake硬件編碼器支持質(zhì)臻影音算法以及豐富的轉(zhuǎn)碼參數(shù)配置,通過畫質(zhì)增強(qiáng)、AI超分等核心算法能力,支持對(duì)視頻中的模糊、塊效應(yīng)、偽紋理等失真進(jìn)行針對(duì)性修復(fù),以及將低分辨率視頻重建為高分辨率視頻等方式,從而整體提升視頻主觀質(zhì)量。
支持4K/8K 10bit HDR實(shí)時(shí)轉(zhuǎn)碼,助力超高清直播平臺(tái)建設(shè)
在國(guó)家產(chǎn)業(yè)政策的大力支持以及超高清、5G、AI、VR、大數(shù)據(jù)等技術(shù)的融合應(yīng)用推動(dòng)下,超高清產(chǎn)業(yè)高速發(fā)展。面對(duì)用戶對(duì)超高清視頻和直播觀看日益增長(zhǎng)的需求,廣播電視和網(wǎng)絡(luò)視聽領(lǐng)域的超高清技術(shù)全面升級(jí)。StreamLake硬件編碼器可支持4K/8K 10bit HDR實(shí)時(shí)轉(zhuǎn)碼,為超高清直播平臺(tái)的建設(shè)提供有力的技術(shù)支持和保障,推動(dòng)超高清產(chǎn)業(yè)在編碼技術(shù)方向上的發(fā)展。
在國(guó)家廣播電視總局科技創(chuàng)新和傳輸覆蓋成果展上,快手StreamLake六自由度在互動(dòng)視聽板塊進(jìn)行了相關(guān)內(nèi)容展示。該技術(shù)通過多攝像頭同步采集、3D重建、壓縮傳輸和實(shí)時(shí)渲染技術(shù),可以實(shí)現(xiàn)子彈時(shí)間、虛擬運(yùn)鏡、自由視角交互等效果并支持3D空間剪輯創(chuàng)作,為用戶帶來沉浸式體驗(yàn)。伴隨視聽內(nèi)容呈現(xiàn)多樣化形態(tài),未來六自由度技術(shù)在體育賽事、影視娛樂、智慧場(chǎng)館等場(chǎng)景的落地應(yīng)用具有廣闊空間。
基于開放的產(chǎn)品能力,快手StreamLake已攜手知乎、中國(guó)聯(lián)通、央視頻、浙江廣播電視集團(tuán)、蒙牛、小米等眾多合作伙伴,在視頻化、智能化領(lǐng)域展開深入合作。未來,快手StreamLake也將繼續(xù)以開放的心態(tài),基于前沿的技術(shù)和產(chǎn)品優(yōu)勢(shì),為電商、廣電傳媒、泛娛樂等各行業(yè)合作伙伴提供一站式音視頻+AI解決方案,助推視聽產(chǎn)業(yè)和數(shù)字經(jīng)濟(jì)的高質(zhì)量發(fā)展。
好文章,需要你的鼓勵(lì)
新加坡國(guó)立大學(xué)研究團(tuán)隊(duì)開發(fā)了SPIRAL框架,通過讓AI與自己對(duì)弈零和游戲來提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡(jiǎn)單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語(yǔ)言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語(yǔ)言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。