7月5日,由莫斯科國立大學(xué)舉辦的MSU2022世界編碼器大賽硬件編碼器成績?nèi)拷視???焓諷treamLake首款自研智能視頻處理芯片StreamLake-200(SL200)奪得4K和1080P賽道24項(xiàng)指標(biāo)中的16項(xiàng)第一。
據(jù)悉,這是快手StreamLake首次參加MSU世界編碼器大賽,在全部6個(gè)子賽道中斬獲5個(gè)“最佳ASIC編碼器”稱號(hào),標(biāo)志著SL200芯片在高密度、高質(zhì)量及超高質(zhì)量下均達(dá)到業(yè)界領(lǐng)先水平。
MSU大賽在視頻壓縮領(lǐng)域極具影響力,至今已連續(xù)舉辦了十七屆,吸引了國內(nèi)外多家知名科技企業(yè)和組織參賽。本次MSU2022世界編碼器大賽硬件編碼器賽道共有14個(gè)國內(nèi)外企業(yè)參賽,包括騰訊、字節(jié)跳動(dòng)、Intel、英偉達(dá)、AMD等。比賽分為4K30fps、4K60fps、4K120fps、1080P60fps、1080P120fps、1080P240fps共6個(gè)子賽道,快手StreamLake參加了全部硬件賽道比賽。
隨著視頻行業(yè)的發(fā)展,4K超高清在短視頻、長視頻、廣電、高質(zhì)量監(jiān)控等領(lǐng)域的應(yīng)用越來越廣泛。在多年積累的基礎(chǔ)上,SL200芯片采用了多項(xiàng)快手自主創(chuàng)新技術(shù),對(duì)4K/8K超高清視頻進(jìn)行了針對(duì)性的優(yōu)化,實(shí)現(xiàn)了業(yè)界領(lǐng)先的清晰度和流暢度,并達(dá)到極高的編解碼密度。本屆MSU比賽中,SL200芯片在1080P和4K兩個(gè)賽道都斬獲佳績,顯示了該芯片廣泛的實(shí)用范圍,將對(duì)我國未來智能視頻行業(yè)的發(fā)展起到基石的作用。
該SoC芯片集成了快手領(lǐng)先的視頻編解碼、圖像處理、AI推理、內(nèi)容自適應(yīng)編碼等關(guān)鍵技術(shù),具備高質(zhì)量、高密度、智能化的特點(diǎn)。SL200芯片于2022年6月流片成功之后,快手團(tuán)隊(duì)設(shè)計(jì)研發(fā)了基于該芯片的板卡和服務(wù)器系統(tǒng),并完成了數(shù)月的大規(guī)?;叶群蛪毫y試,目前正逐步全面應(yīng)用于快手短視頻和直播業(yè)務(wù),并已對(duì)外開放測試,聯(lián)合多家合作伙伴共同探索更為廣闊的應(yīng)用場景。
目前,直播和短視頻已經(jīng)成為了視頻消費(fèi)中的重要部分,意味著視頻流量迎來快速增長以及帶寬成本不斷增加。SL200芯片具有“高編碼質(zhì)量+高密度”的特性,可極大限度降低帶寬成本,同時(shí)提供行業(yè)領(lǐng)先的編碼質(zhì)量。其中,高編碼質(zhì)量相比x265 medium節(jié)省約30%碼率,另外支持畫質(zhì)增強(qiáng);高轉(zhuǎn)碼密度方面,單卡(2顆芯片)支持8路4K60fps編碼,還支持“一進(jìn)多出”的轉(zhuǎn)碼模式。
隨著4K/8K超高清視頻被廣泛應(yīng)用于大型賽事、重要活動(dòng)的直播/轉(zhuǎn)播之中,為了提供更好的用戶體驗(yàn),廣電行業(yè)在質(zhì)量、穩(wěn)定性、密度方面都對(duì)視頻轉(zhuǎn)碼方案提出了更高的要求。SL200芯片憑借"AI+高質(zhì)量視頻編碼"特性,相比國內(nèi)某頭部廣電編碼器廠商可以節(jié)省約40%的碼率。另外SL200芯片提供了ABR、CBR、CRF三種碼控方案以應(yīng)對(duì)有線電視、IPTV、OTT和新媒體場景對(duì)于碼率控制的訴求。
而在云游戲場景下,對(duì)延時(shí)有著極高要求,例如射擊類游戲,對(duì)操作精準(zhǔn)度有很高要求,通常需要將游戲響應(yīng)延遲控制在50ms以內(nèi);VR等肢體配合類游戲,整個(gè)游戲鏈路延遲需要低于25ms。在整個(gè)云游戲的延遲通路中,通常對(duì)視頻編碼延遲的要求是控制在6ms內(nèi)。SL200芯片具有“低延遲+更好的編碼質(zhì)量”的特性,在4ms的超低延時(shí)下,可以獲得1080P超清畫質(zhì),并且相比某主流GPU在可節(jié)省約14%的碼率。
此外,快手StreamLake搭建了基于SL200芯片的視頻基礎(chǔ)設(shè)施,正式發(fā)布StreamLake硬件編碼器產(chǎn)品,利用快手領(lǐng)先的視頻編解碼及增強(qiáng)和修復(fù)算法,幫助客戶提升多媒體處理環(huán)節(jié)的質(zhì)量與效率,可應(yīng)用于IPTV、OTT、廣電、智能監(jiān)控、互聯(lián)網(wǎng)視頻直播等多個(gè)領(lǐng)域的超高清直播平臺(tái)建設(shè)及視頻壓縮編碼。
好文章,需要你的鼓勵(lì)
新加坡國立大學(xué)研究團(tuán)隊(duì)開發(fā)了SPIRAL框架,通過讓AI與自己對(duì)弈零和游戲來提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。