CNET科技行者 1月19日 北京消息(文/周雅):IMAX電影的片頭,都有一句廣告語,大意為“水晶般的畫質(zhì)感受,栩栩如生的觀影感受”,讓每一個(gè)觀眾都能沉浸在電影語言創(chuàng)造的世界當(dāng)中。但看電影要在固定的場所,在固定的時(shí)間,我們能否隨時(shí)隨地體驗(yàn)這種感受呢?
當(dāng)高通工程師John Cook面帶微笑,從桌上拿起一個(gè)印有“Qualcomm Snapdragon(高通驍龍)”字樣的VR眼鏡時(shí),我們似乎得到了這個(gè)答案。John一邊遞給我眼鏡一邊認(rèn)真地介紹道:“這臺(tái)高通最新款VR一體機(jī)參考設(shè)計(jì)基于高通最新款處理器驍龍845,畫面會(huì)很美,很流暢。”它沒有連接笨重的PC,也沒有復(fù)雜的接線,雖外表看起來中規(guī)中矩,但當(dāng)我戴上它和耳機(jī),一段太空艙打怪(Space Dock游戲)的沉浸式體驗(yàn)就此開始,短短五分鐘,并沒有motion sickness(暈眩感)。除了不同于以往VR體驗(yàn)的四周維度,這次還能明顯感受到高低維度,更具現(xiàn)場感,好像比身處豪華影廳看3D電影還能讓人身臨其境。
實(shí)現(xiàn)這一革命性體驗(yàn)的背后支持,一方面來自于高通剛剛發(fā)布的驍龍845移動(dòng)平臺(tái),另一方面源于演示環(huán)境中極低的網(wǎng)絡(luò)延遲。高通現(xiàn)場高級(jí)工程師Mamatha Kandi解釋說,“延遲小于20毫秒的VR設(shè)備才幾乎沒有motion sickness”。屏幕也是因素之一。市面上主流產(chǎn)品屏幕都是LCD屏,自帶很高的余暉效應(yīng),做不到20毫秒,導(dǎo)致產(chǎn)品體驗(yàn)拖影嚴(yán)重,造成暈炫。
這是拉斯維加斯CES 2018高通展臺(tái)的一幕。今年是VR/AR亮相CES的第六年,參展商都有了自己的獨(dú)立展區(qū)。如果你恰巧在現(xiàn)場,或許不會(huì)想錯(cuò)過VR/AR show,門口一般排著老長隊(duì)伍,看起來那么火爆,那么吸引人,而且無處不在。
CES 2018高通展區(qū)移動(dòng)VR體驗(yàn)館
沉浸靠連接,5G實(shí)現(xiàn)新體驗(yàn)
在去年早些時(shí)候的一次采訪中,高通產(chǎn)品管理總監(jiān)Hiren Bhinde曾經(jīng)做出判斷,智能手機(jī)是現(xiàn)在最重要的計(jì)算平臺(tái),相信XR將會(huì)成為下一代的移動(dòng)計(jì)算平臺(tái)。而XR就是沉浸式體驗(yàn)的技術(shù)打開方式。XR(即Expanded Reality,擴(kuò)展現(xiàn)實(shí)),意指AR(Augmented Reality,增強(qiáng)現(xiàn)實(shí))、VR(Virtual Reality,虛擬現(xiàn)實(shí))和MR(Mix Reality,混合現(xiàn)實(shí))的融合,三者融合被高通視為一個(gè)技術(shù)趨勢。
據(jù)我們從CES 2018高通展區(qū)展示的案例來看,XR應(yīng)用已經(jīng)十分廣泛,涉及工業(yè)生產(chǎn)、健康醫(yī)療、教育、軍事、娛樂等等領(lǐng)域。例如,一個(gè)消防員要進(jìn)入建筑中救火,他的XR設(shè)備應(yīng)該足夠輕,同時(shí)能聯(lián)網(wǎng),有眼球追蹤攝像頭來顯示他看到的情況,以及很多其他通信功能來協(xié)助他工作。比如,當(dāng)消防員戴著這樣一款XR設(shè)備進(jìn)入起火的酒店大堂時(shí),眼鏡可以顯示左邊起火房間的溫度,攝像頭會(huì)顯示右邊房間有人正在被營救,或者更遠(yuǎn)的樓道里有人正在呼救……
由此我們可以清楚地發(fā)現(xiàn),沉浸式體驗(yàn)需要具備這樣一些因素:高傳播速率和更快的連接、移動(dòng)無線XR、傳感器、人工智能算法、眼球追蹤攝像頭、手勢識(shí)別等。而高傳播速率和更快的連接能夠通過5G技術(shù)實(shí)現(xiàn),5G將帶來徹底的革命性無線新體驗(yàn),我們可以再詳細(xì)解讀幾個(gè)場景。
第一,移動(dòng)視覺型需求,包括增強(qiáng)型移動(dòng)寬帶、高清視頻和無線傳輸?shù)腣R應(yīng)用。5G的數(shù)據(jù)速率非常高,能達(dá)到數(shù)百兆,甚至數(shù)千兆比特每秒(Gbps)數(shù)據(jù)傳輸速率的帶寬,正是得益于此,我們才能在看錄像時(shí)產(chǎn)生身臨其境的感覺。譬如,一個(gè)人去聽現(xiàn)場演唱會(huì),碰到現(xiàn)場門票售罄,可以選擇購買虛擬門票,在家中戴上虛擬頭盔體驗(yàn)身臨其境之感。這就依賴于現(xiàn)場360度相機(jī)的實(shí)時(shí)傳輸,甚至可以通過現(xiàn)場幾部5G手機(jī)拍攝,而后將所拍的場景拼湊成一個(gè)360度體驗(yàn)。只有在5G場景下,實(shí)時(shí)的超高速傳輸速率才能夠支持這樣的體驗(yàn),而不會(huì)卡頓。
第二,關(guān)鍵業(yè)務(wù)型服務(wù)。與3G、4G不同,關(guān)鍵業(yè)務(wù)型服務(wù)并不只著眼于提高數(shù)據(jù)傳輸速率,而且對(duì)系統(tǒng)的可靠性和時(shí)延要求更高,因?yàn)?G應(yīng)用場景不能遺漏任何一條信息,比如工業(yè)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)。假設(shè)你在開車,很多路況信息需要及時(shí)地反映給駕駛系統(tǒng),而周圍能夠提供相關(guān)信息的來源又非常多(如交通信號(hào)燈、路況等),這些都構(gòu)成了自動(dòng)駕駛的重要應(yīng)用場景,因此需要大量高可靠、低延時(shí)的連接——目前,5G的設(shè)計(jì)思想把系統(tǒng)時(shí)延控制在一毫秒以內(nèi),因?yàn)槊恳缓撩雽?duì)關(guān)鍵業(yè)務(wù)型服務(wù)來說,都非常重要。如果這些信息因?yàn)榫W(wǎng)絡(luò)延時(shí)問題導(dǎo)致信息的混亂,用戶的基本體驗(yàn)都將無從談起。
第三,萬物互聯(lián),也就是要實(shí)現(xiàn)無處不在的連接,比如智慧公共服務(wù)。在家庭或者城市場景下,每一項(xiàng)公共服務(wù)都會(huì)向智能化轉(zhuǎn)型,比如水表和電表。我們需要這些實(shí)時(shí)連接的儀表盤節(jié)省電量,延長使用時(shí)間,在海量數(shù)據(jù)傳輸?shù)那闆r下,沒有好的功耗控制,也將無法實(shí)現(xiàn)這些業(yè)務(wù)場景。這也是5G的低功耗大連接的優(yōu)勢和對(duì)相關(guān)技術(shù)平臺(tái)的需求。
由此可見,5G是通往未來通信領(lǐng)域的關(guān)鍵一步。而先進(jìn)的5G技術(shù)平臺(tái),也一定會(huì)是無線通信企業(yè)的愿景和目標(biāo)。CES 2018期間,剛剛受任為高通總裁的Cristiano Amon(克里斯蒂安諾·阿蒙)在演講中直截了當(dāng)?shù)攸c(diǎn)出具體的計(jì)劃:高通目前一方面致力于推動(dòng)5G發(fā)展,為移動(dòng)通信業(yè)務(wù)帶來創(chuàng)新。高通致力于在2019年上半年就能讓全球消費(fèi)者看到支持5G的旗艦智能手機(jī)面市;另一方面,高通也正在將自身在移動(dòng)領(lǐng)域的技術(shù)不斷擴(kuò)展到相鄰市場,包括VR、可穿戴、PC、車聯(lián)網(wǎng)、IoT等等的新業(yè)務(wù),這些新業(yè)務(wù)、新技術(shù)都是移動(dòng)技術(shù)的延伸。在2017財(cái)年里,這些新業(yè)務(wù)的營收總和達(dá)30億美元,與2015年相比,增長75%。這正是將移動(dòng)核心技術(shù)不斷擴(kuò)展到其他領(lǐng)域所帶來的效益。
生態(tài)賦能,沉浸式時(shí)代加快到來
正因?yàn)橛脩趔w驗(yàn)的巨大變化,再加上3GPP剛剛完成首個(gè)可實(shí)施的5G新空口(5G NR)規(guī)范,5G輪廓越來越清晰,因此廠商們也越來越注重沉浸式體驗(yàn)性能帶來的重大產(chǎn)業(yè)機(jī)遇。
CES一個(gè)有趣的現(xiàn)象可以解釋這個(gè)觀點(diǎn),盡管今年VR/AR參展商數(shù)量較往年有所下降,但首發(fā)新品質(zhì)量反而攀升。譬如,中國廠商VR一體機(jī)勢頭兇猛,小米、創(chuàng)維、聯(lián)想、IDEALENS、愛奇藝、Pico、華為等紛紛推出最新VR一體機(jī);此外,輕量和智能成為AR的關(guān)鍵詞,SeengeneX AR雙目眼鏡一體機(jī)僅166克,耐德佳的AR智能眼鏡“New Glass C300”厚度僅為5mm。
當(dāng)然,未來的XR不會(huì)由固定的PC引領(lǐng),而是依靠移動(dòng)通信技術(shù)。高通產(chǎn)品管理副總裁Eduardo Esteves告訴我,對(duì)于XR來說,附加PC成本太高,太不便利,因此它的驅(qū)動(dòng)力來自于移動(dòng)領(lǐng)域,需要具備低功耗、低時(shí)延、高散熱率、全覆蓋,以達(dá)到沉浸式體驗(yàn)。
高通的沉浸式體驗(yàn)生態(tài)系統(tǒng),是讓行業(yè)合作伙伴能夠快速提供成熟產(chǎn)品的有力支持。
首先是芯片。驍龍835就是高通為支持XR體驗(yàn)所打造的移動(dòng)平臺(tái),再到驍龍845,它集成了Qualcomm Spectra™ 280 ISP和Qualcomm® Adreno™ 630視覺處理子系統(tǒng),所引入的“Adreno視覺聚焦”可以顯著降低功耗,提升視覺質(zhì)量,帶來的圖像增強(qiáng)技術(shù)將在XR體驗(yàn)中得到發(fā)揮,變革娛樂、教育和社交互動(dòng),更具沉浸感和直觀性。
其次是軟件發(fā)展路線。高通提供了專門的VR軟件開發(fā)工具包(SDK),以幫助開發(fā)者們快速上手開發(fā)XR應(yīng)用。譬如,驍龍845是首款支持室內(nèi)空間定位(room-scale)六自由度(6DoF)和即時(shí)定位與地圖構(gòu)建(SLAM)的移動(dòng)平臺(tái),從而實(shí)現(xiàn)諸如避免墻壁碰撞等特性。
再者是高通的頭戴式顯示器(HMD)加速器計(jì)劃,讓OEM廠商能以更快的速度實(shí)現(xiàn)產(chǎn)品商用。
由此,這樣的酷炫產(chǎn)品越來越多。Facebook VR 負(fù)責(zé)人(小米前副總裁)Hugo Barra公布了一體機(jī)Oculus Go,另公布與小米聯(lián)合推出小米VR一體機(jī)Mi VR(后者被視為Oculus Go中國版),兩者均搭載高通驍龍821移動(dòng)VR平臺(tái)和WQHD顯示屏,不需要嵌入手機(jī),也不需要連接電腦,可獨(dú)立運(yùn)行。目前,高通的驍龍芯片已經(jīng)被應(yīng)用到20款MR/VR頭盔中。
某種程度上說,我們很難預(yù)測5G時(shí)代的沉浸式體驗(yàn)會(huì)給人們的數(shù)字化生活帶來哪些改變,畢竟人們正在經(jīng)歷改變,但是我們都知道,這些改變將會(huì)顛覆以往的認(rèn)知。栩栩如生的感受,可能就發(fā)生在未來的5G時(shí)代。
好文章,需要你的鼓勵(lì)
新加坡國立大學(xué)研究團(tuán)隊(duì)開發(fā)了SPIRAL框架,通過讓AI與自己對(duì)弈零和游戲來提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。