尊敬的各位領(lǐng)導(dǎo)、各位嘉賓、各位朋友,大家上午好!我是高通公司孟樸。很榮幸受邀參加本次世界VR產(chǎn)業(yè)大會(huì),并有幸作為企業(yè)代表在這里與大家交流,共同探討XR行業(yè)發(fā)展趨勢(shì)和技術(shù)突破創(chuàng)新。
在高通我們認(rèn)為XR包括VR、AR和MR,它將是下一代移動(dòng)計(jì)算平臺(tái)。近兩年來(lái)越來(lái)越多的行業(yè)和企業(yè)開(kāi)始將目光聚焦到XR產(chǎn)業(yè),整個(gè)產(chǎn)業(yè)正迎來(lái)發(fā)展的黃金時(shí)期。與此同時(shí),XR也成為數(shù)字化變革、數(shù)字化轉(zhuǎn)型的關(guān)鍵技術(shù)之一;此外,普通消費(fèi)者也開(kāi)始關(guān)注XR,對(duì)XR所賦能的極具沉浸感和交互性的體驗(yàn)充滿期待。今天,我將就XR開(kāi)啟的全新視界,與各位做進(jìn)一步分享。
暢想一下,在不遠(yuǎn)的將來(lái),我們將生活在一個(gè)全新的現(xiàn)實(shí)世界。
人們不用再低頭通過(guò)手機(jī)、電腦的二維屏幕獲取信息。只要戴上眼鏡,虛擬信息就能夠疊加在透過(guò)眼鏡看到的真實(shí)世界之上。這種現(xiàn)實(shí)世界與虛擬信息融合的愿景,將推動(dòng)我們以全新的方式獲取信息、溝通交流、進(jìn)行導(dǎo)航和協(xié)同工作。
從目前的2D顯示屏完全過(guò)渡到空間計(jì)算,仍需要數(shù)年時(shí)間。但與前幾代技術(shù)相比,空間計(jì)算將對(duì)人們的生活產(chǎn)生更加深刻的影響,可以說(shuō),整個(gè)世界將變成人們的電腦桌面,而顯示屏是無(wú)限的。
高通已深耕XR領(lǐng)域長(zhǎng)達(dá)10年,我們相信XR最終將達(dá)到與智能手機(jī)相當(dāng)?shù)氖袌?chǎng)規(guī)模,并有望為社會(huì)帶來(lái)更加深刻的影響。
如今,XR設(shè)備主要分兩大類。第一類為XR一體機(jī)。我們認(rèn)為,在未來(lái)1-4年內(nèi),VR和AR一體機(jī)會(huì)變得更加輕量化且體積更小,并具備更強(qiáng)大的功能。另一類為XR眼鏡,它擁有纖薄的產(chǎn)品外形,可以與PC和智能手機(jī)等主要計(jì)算單元協(xié)同工作,這類設(shè)備也將在未來(lái)1-4年內(nèi)不斷演進(jìn)。
伴隨終端側(cè)算力的不斷提升,以及XR與5G、邊緣云和AI技術(shù)的協(xié)同發(fā)展,XR的產(chǎn)品形態(tài)也在不斷演進(jìn)并融合,無(wú)線連接將代替有線連接,部分處理工作在頭顯設(shè)備中進(jìn)行,而大部分處理工作由智能手機(jī)和PC完成,預(yù)計(jì)在5-10年后,可以實(shí)現(xiàn)輕量化眼鏡的形態(tài)。
不受線纜束縛的輕量化XR眼鏡,具有諸多優(yōu)勢(shì),舉例來(lái)說(shuō),不僅能夠同時(shí)查看并運(yùn)行多個(gè)程序和任務(wù)、還能夠通過(guò)先進(jìn)連接技術(shù)如5G實(shí)現(xiàn)低時(shí)延、出色能效,并完美支持沉浸式協(xié)作和流傳輸。
要不斷擴(kuò)大這些優(yōu)勢(shì)就需要技術(shù)上的創(chuàng)新和突破,而空間計(jì)算和5G則是其中的核心要素。
一方面,打造真正的沉浸式XR體驗(yàn)的關(guān)鍵是真實(shí)世界和數(shù)字世界的融合,這就需要引入一種全新的交互方式,即通過(guò)XR技術(shù)在我們生活的三維空間中進(jìn)行空間計(jì)算。
我們認(rèn)為“空間計(jì)算”是計(jì)算的未來(lái)。它是指現(xiàn)在用戶在移動(dòng)終端上進(jìn)行的活動(dòng),包括發(fā)消息、社交、查看地圖、享受流媒體娛樂(lè)、玩游戲等,未來(lái)都將以3D的形式映射到用戶面前。所有這些應(yīng)用和內(nèi)容都將疊加至真實(shí)世界之上,通過(guò)輕巧的頭戴式XR設(shè)備呈現(xiàn)在用戶眼前。
另一方面,5G也是推動(dòng)XR發(fā)展的關(guān)鍵技術(shù)。高通公司是全球領(lǐng)先的無(wú)線科技創(chuàng)新者,也是5G研發(fā)、商用與實(shí)現(xiàn)規(guī)?;耐苿?dòng)力量。我們相信5G技術(shù)的普及,將幫助用戶獲得無(wú)處不在的頂級(jí)XR體驗(yàn)。5G技術(shù)帶來(lái)的超高速、低時(shí)延的網(wǎng)絡(luò)連接能力,能夠支持XR設(shè)備利用高性能的邊緣云渲染,來(lái)增強(qiáng)終端側(cè)的渲染能力,在終端側(cè)和云端進(jìn)行分布式處理,充分利用終端和云端的優(yōu)勢(shì)?;谶@些技術(shù),用戶將能夠在纖薄的輕量型設(shè)備上體驗(yàn)到支持逼真視效的無(wú)界XR體驗(yàn)。
過(guò)去十年,高通對(duì)XR領(lǐng)域的前沿技術(shù)研發(fā)進(jìn)行了長(zhǎng)期且大量的投入,并將我們?cè)谝苿?dòng)領(lǐng)域深厚的技術(shù)積累引入到XR平臺(tái)中,打造了專門面向XR設(shè)備的驍龍XR1和XR2平臺(tái)。
目前驍龍已賦能超過(guò)45款XR設(shè)備,為XR產(chǎn)業(yè)生態(tài)系統(tǒng)的發(fā)展不斷注入強(qiáng)勁動(dòng)能。
滴水不成海,獨(dú)木難成林。推動(dòng)XR行業(yè)的發(fā)展,決不能只憑一己之力,而需要整個(gè)行業(yè)生態(tài)系統(tǒng)的共同努力,我們認(rèn)為“共同參與、共同合作、共同受益”將是整個(gè)XR生態(tài)系統(tǒng)的繁榮發(fā)展之道。為此,我們采取了四大戰(zhàn)略以幫助XR生態(tài)系統(tǒng)發(fā)展壯大。
這張膠片直觀地展示了我們?cè)谯`行XR生態(tài)系統(tǒng)發(fā)展戰(zhàn)略方面取得的豐碩成果。如今,我們的XR生態(tài)系統(tǒng)合作伙伴正在不斷擴(kuò)大,涵蓋了眾多OEM廠商,企業(yè)級(jí)解決方案供應(yīng)商,組件和技術(shù)供應(yīng)商以及全球的運(yùn)營(yíng)商。
不僅如此,高通創(chuàng)投還在上個(gè)月宣布成立XR產(chǎn)業(yè)投資聯(lián)盟,希望持續(xù)培育XR生態(tài)創(chuàng)新,進(jìn)一步加速XR產(chǎn)業(yè)發(fā)展。我們也歡迎更多的合作伙伴以及行業(yè)優(yōu)秀企業(yè),與我們攜手同行,共促XR產(chǎn)業(yè)升級(jí)。
回顧一下每一代無(wú)線通信技術(shù)是如何改變?nèi)藗兊臏贤ǚ绞?,?huì)發(fā)現(xiàn)很有意思:
下面我想通過(guò)一段視頻展示一下XR所賦能的全新交互方式。
我們正在推動(dòng)XR發(fā)展成為下一代移動(dòng)計(jì)算平臺(tái)。在這個(gè)過(guò)程中,AI和5G將發(fā)揮關(guān)鍵作用。AI已助力驍龍XR2平臺(tái)的多個(gè)特性實(shí)現(xiàn)大幅提升,而5G連接有望開(kāi)啟新一輪的XR創(chuàng)新體驗(yàn),為要求低時(shí)延和超高數(shù)據(jù)傳輸速度的XR體驗(yàn)提供支持。比如,5G能夠支持跨設(shè)備和邊緣云的分離式渲染處理,實(shí)現(xiàn)真正的無(wú)界XR。
我們相信,XR+5G+AI的深入融合將驅(qū)動(dòng)新一輪的產(chǎn)業(yè)變革,助力眾多傳統(tǒng)產(chǎn)業(yè)升級(jí)轉(zhuǎn)型,變革人們的生活方式,并對(duì)教育、建筑、工業(yè)、醫(yī)療等行業(yè)產(chǎn)生深遠(yuǎn)影響。
我們將持續(xù)攜手產(chǎn)業(yè)伙伴推動(dòng)XR生態(tài)系統(tǒng)發(fā)展,也將采取更多措施加強(qiáng)與開(kāi)發(fā)者的緊密合作。讓我們共同期待,XR賦能的新視界的到來(lái)!
謝謝大家!
好文章,需要你的鼓勵(lì)
新加坡國(guó)立大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)了SPIRAL框架,通過(guò)讓AI與自己對(duì)弈零和游戲來(lái)提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡(jiǎn)單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無(wú)需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開(kāi)發(fā)的GIGA-ToF技術(shù)通過(guò)融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問(wèn)題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺(jué)解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺(jué)語(yǔ)言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無(wú)法有效利用視覺(jué)信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過(guò)動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語(yǔ)言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。