CNET科技行者 8月17日 北京消息:8月15日,高通宣布擴(kuò)展QualcommSpectra™模組項目(Qualcomm Spectra™ Module Program),將能實現(xiàn)更加優(yōu)化的生物識別功能和高分辨率深度傳感,旨在滿足一系列廣泛的移動終端和頭戴式顯示器(HMD)所帶來的、日益增加的拍照和視頻需求。該模組項目基于高通Spectra嵌入式圖像信號處理器(ISP)系列背后的前沿技術(shù)而打造,完全由高通設(shè)計,高通Spectra將通過即將推出的驍龍移動平臺為未來圖形質(zhì)量和計算機(jī)視覺創(chuàng)新鋪平道路。
高通產(chǎn)品管理副總裁Tim Leland表示:“無論是用于計算攝影、視頻錄制,或是要求精確動作跟蹤的計算機(jī)視覺應(yīng)用,高功效的攝像頭圖像信號處理無疑對下一代移動用戶體驗變得愈加重要。我們在視覺質(zhì)量和計算機(jī)視覺方面的突破性進(jìn)展,結(jié)合我們面向驍龍的集成式高通Spectra ISP系列,旨在支持前沿的移動應(yīng)用生態(tài)系統(tǒng),從而讓我們的客戶受益。”
全新的ISP和攝像頭模組結(jié)合起來,旨在支持利用了深度學(xué)習(xí)技術(shù)以及背景虛化效果的圖像體驗所實現(xiàn)的出色圖像質(zhì)量和全新計算機(jī)視覺用例,并縮短智能手機(jī)和HMD的上市時間。下一代ISP采用面向計算機(jī)視覺、圖像質(zhì)量和功效提升而設(shè)計的全新攝像頭架構(gòu),支持未來的驍龍移動平臺和驍龍?zhí)摂M現(xiàn)實(VR)平臺。攝像頭模組項目新增部分包含了三個攝像頭模組,包括虹膜認(rèn)證模組、被動深度傳感模組和主動深度傳感模組。
Qualcomm Spectra模組項目
去年發(fā)布的高通Spectra模組項目旨在幫助客戶加快支持出色圖像質(zhì)量和先進(jìn)攝像頭技術(shù)的終端上市時間。去年的產(chǎn)品中向客戶提供了優(yōu)化的雙攝像頭模組解決方案,便于制造商打造提升弱光拍攝、具備平滑變焦視頻錄制功能的智能手機(jī)攝像頭?,F(xiàn)在,攝像頭模組項目已經(jīng)擴(kuò)展,納入了全新的攝像頭模組,能夠利用主動傳感支持出色的生物識別,并利用結(jié)構(gòu)光支持需要實時、多重景深圖生成與分割的各種計算機(jī)視覺應(yīng)用。
第二代Qualcomm Spectra ISP
第二代高通Spectra ISP是利用全新硬件和軟件架構(gòu)的下一代集成式ISP系列,專為未來驍龍平臺中計算機(jī)視覺、圖像質(zhì)量和功效提升而設(shè)計。它支持多幀降噪技術(shù),可實現(xiàn)卓越的拍攝質(zhì)量,同時也支持硬件加速動態(tài)補(bǔ)償時間濾波器(MCTF)與內(nèi)聯(lián)電子圖像穩(wěn)定(EIS),可實現(xiàn)“像攝像機(jī)一般”的出色視頻質(zhì)量。
除了優(yōu)化的同步定位與地圖構(gòu)建(SLAM)算法以外,高通Spectra ISP的低功耗、高性能運(yùn)動追蹤功能旨在面向需要SLAM的虛擬現(xiàn)實和增強(qiáng)現(xiàn)實應(yīng)用,支持全新的擴(kuò)展現(xiàn)實(XR)用例。
高通Spectra ISP系列和全新高通Spectra攝像頭模組預(yù)計將集成在下一款旗艦驍龍移動平臺中。
好文章,需要你的鼓勵
新加坡國立大學(xué)研究團(tuán)隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊通過對比實驗發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強(qiáng)于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓(xùn)練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓(xùn)練效率,已在多個任務(wù)上驗證有效性。