但在這款重磅產(chǎn)品發(fā)布之前,又有報(bào)告暗示稱,蘋(píng)果可能先期推出一款高端VR或XR頭顯設(shè)備試水。
除了零零散散一些難以與成品直接掛鉤的專(zhuān)利申請(qǐng)之外,近期關(guān)于“Apple VR”的資料終于浮出水面。該產(chǎn)品的大部分內(nèi)部消息流出于2021年初,當(dāng)時(shí)有多份報(bào)告和分析師認(rèn)為,蘋(píng)果將于2023年初發(fā)布一款采用前沿技術(shù)的昂貴頭顯。
01
"Apple VR"還是"Apple Glass"?
頭顯設(shè)備”很可能以預(yù)熱產(chǎn)品的形式亮相,通過(guò)暖場(chǎng),讓開(kāi)發(fā)人員和蘋(píng)果設(shè)計(jì)師為接下來(lái)的“Apple Glass”做好準(zhǔn)備。
Glass可能會(huì)采用與這款VR頭顯相同的技術(shù)棧
所有這些技術(shù),都要用到雙鏡頭組合,二者分別顯示略有不同的圖像,最終在大家眼前呈現(xiàn)出3D立體效果。
根據(jù)傳聞,蘋(píng)果采取的技術(shù),要比谷歌眼鏡等早期AR試水產(chǎn)品先進(jìn)得多。谷歌的頭顯設(shè)備,只能在鏡頭一角處押往少數(shù)扁平化的UI元素,而且其使用界面更接近智能手表、而非大家滿心期待的VR產(chǎn)品。
而蘋(píng)果AR眼鏡的目標(biāo)就在于此——以更加小巧的外形,提供更生動(dòng)的圖像呈現(xiàn)。
圖:Magic Leap使用增強(qiáng)現(xiàn)實(shí)技術(shù),將數(shù)字對(duì)象放置在現(xiàn)實(shí)世界當(dāng)中,但是到現(xiàn)在也沒(méi)有實(shí)現(xiàn)
于是,“Apple Glass”要想成功,就必須在「體積小型化」和「顯示高效率」之間找到平衡點(diǎn)。
預(yù)計(jì)會(huì)在2025年或之后。
隨著人們對(duì)于元宇宙概念的癡迷,大家越來(lái)越渴望能在虛擬環(huán)境中相互交流。但也有會(huì)議稱,蘋(píng)果的頭顯產(chǎn)品主要定位于游戲和開(kāi)發(fā)工具。
02
"Apple VR"功能特性
1、設(shè)計(jì)
與AR眼鏡相比,“Apple VR”可以做得更大更重,外觀與現(xiàn)有VR頭顯基本相同。據(jù)稱,其大小與Facebook的Oculus Quest 2差不多,只是正面擁有一塊彎曲的遮陽(yáng)板。
與Facebook頭顯一樣,“Apple VR”也將是一款內(nèi)置電池的獨(dú)立產(chǎn)品。這就跟PlayStation VR或Valve Index不同,你不需要把它接入游戲PC、游戲主機(jī)或者其他外部處理源。
圖:Apple VR頭顯側(cè)視圖
,頭帶部分類(lèi)似于Apple Watch和AirPods Max的結(jié)合體。
這款頭顯采取全封閉設(shè)計(jì),就是為了營(yíng)造出與現(xiàn)實(shí)世界徹底隔離的完整VR體驗(yàn),也可以配合攝像頭,支持AR直通。這就跟“Apple Glass”形成了鮮明對(duì)比,后者是通過(guò)透明鏡片,讓用戶直接觀察真實(shí)環(huán)境。
據(jù)報(bào)道,這款頭顯外表將采用織物覆蓋。雖然蘋(píng)果家的產(chǎn)品總愛(ài)使用金屬外殼,但織物表面應(yīng)該有助于減輕設(shè)備重量。它還可能支持可替換頭帶,據(jù)稱蘋(píng)果正在制作一款帶有內(nèi)置電池的頭帶原型。
分析師郭明錤在2021年12月的報(bào)告中提到,這款頭顯的重量應(yīng)該在500克以內(nèi),而第二代機(jī)型則會(huì)更輕。
2、處理器與顯示器
針對(duì)VR應(yīng)用需求,蘋(píng)果可能會(huì)為這款頭顯提供M1、M1 Pro或M1 Max的定制化芯片版本。
“Apple VR”還將搭載分辨率遠(yuǎn)超現(xiàn)有VR產(chǎn)品的高清顯示器。在目前市面上的同類(lèi)頭顯中,HP Reverb的分辨率最高,單眼可達(dá)2160 x 2160像素,組合分辨率可達(dá)4320 x 2160。
所謂“紗門(mén)效應(yīng)”,是指早期VR頭顯因分辨率不足,而導(dǎo)致肉眼直接觀察到像素顆粒的現(xiàn)象。8K顯示器還將提供更加逼真的環(huán)境,增加用戶的整體臨場(chǎng)感。
「合并注視點(diǎn)渲染」的方式達(dá)成目標(biāo)。該技術(shù)能夠跟蹤用戶的眼球,僅優(yōu)先處理用戶視覺(jué)焦點(diǎn)處的圖形細(xì)節(jié),與之對(duì)應(yīng),用戶視野中周邊部分的虛擬圖像質(zhì)量會(huì)相應(yīng)下降。
但注視點(diǎn)渲染的前提是:實(shí)現(xiàn)超精確的眼動(dòng)追蹤,這在目前大眾市場(chǎng)上的VR頭顯中仍未實(shí)現(xiàn)。而一旦蘋(píng)果公司搞定了這項(xiàng)技術(shù),中心渲染點(diǎn)處的高保真圖形將獲得更好的執(zhí)行效率,在節(jié)約處理資源的同時(shí),確保視覺(jué)細(xì)節(jié)不出現(xiàn)任何顯著下降。
2020年的一份報(bào)告顯示,蘋(píng)果的VR或AR產(chǎn)品將采用索尼公司提供的OLED面板。但也有報(bào)告提到,蘋(píng)果將使用micro OLED顯示器,而非標(biāo)準(zhǔn)OLED面板。
3、操作系統(tǒng)
每款蘋(píng)果產(chǎn)品都運(yùn)行著某種操作系統(tǒng)與配套軟件,這款即將推出的VR頭顯也不例外。根據(jù)泄露代碼與內(nèi)部文檔,我們基本摸清了蘋(píng)果對(duì)于新操作系統(tǒng)的命名思路。
圖:早期AR頭顯Magic Leap 1的營(yíng)銷(xiāo)效果圖
“rOS”或者“realityOS”。目前,realityOS的商標(biāo)已經(jīng)被一家名為“Realityo Systems LLC”的公司注冊(cè),而此消息的公布時(shí)間為6月8日,與6月6日蘋(píng)果WWDC大會(huì)日期非常接近。
權(quán)威人士也認(rèn)為這絕不是巧合,因?yàn)橛袝?huì)議稱蘋(píng)果正在籌備其AR頭顯設(shè)備,并計(jì)劃在WWDC期間公開(kāi)發(fā)布。考慮到開(kāi)發(fā)商需要在發(fā)布之前就了解硬件信息,著手開(kāi)發(fā)消費(fèi)級(jí)軟件,所以以上消息應(yīng)該就是蘋(píng)果打出的一套組合拳。
4、攝像頭與手部追蹤
蘋(píng)果的頭顯原型將包含前置攝像頭——用以實(shí)現(xiàn)部分AR功能,并支持手部追蹤。
目前的VR頭顯主要依賴于「運(yùn)動(dòng)控制」,其原理類(lèi)似于Wii游戲手柄,其中包含能跟蹤用戶手部活動(dòng)的運(yùn)動(dòng)傳感器。在Valve Index當(dāng)中,甚至可以追蹤用戶的手指運(yùn)動(dòng)。因此在佩戴頭顯時(shí),用戶往往能看到畫(huà)面中出現(xiàn)一雙與控制器同步運(yùn)動(dòng)的虛擬手掌。
圖:Memoji使用面部跟蹤,為人臉特征設(shè)置動(dòng)畫(huà)
由于頭顯本身會(huì)擋臉,所以它會(huì)用攝像頭來(lái)跟蹤面部表情并自動(dòng)生成相應(yīng)的Memoji表情。
作為Apple VR頭顯上的另一項(xiàng)重要功能「SharePlay」,將允許玩家們?cè)赩R交互過(guò)程中一同觀看電影、聆聽(tīng)音樂(lè)。
頂針的設(shè)備,借此實(shí)現(xiàn)軟件控制。不過(guò),目前尚不清楚這款配件是會(huì)與“Apple VR”捆綁提供,還是選擇單獨(dú)銷(xiāo)售。
蘋(píng)果曾在2020年的iPad Pro與iPhone 12系列產(chǎn)品中使用過(guò)這項(xiàng)技術(shù),顯著改善了AR體驗(yàn)中的環(huán)境映射功能。它能更準(zhǔn)確地將虛擬對(duì)象放置在真實(shí)場(chǎng)景當(dāng)中,同時(shí)增強(qiáng)手部追蹤的效果。
郭明錤表示,Apple VR頭顯將配備15個(gè)攝像頭,共同實(shí)現(xiàn)追蹤與生物識(shí)別功能。其中8個(gè)用于傳遞圖像,確保佩戴者能夠在頭顯的遮擋下順暢觀察真實(shí)世界;剩下6個(gè)用于生物識(shí)別,具體識(shí)別哪些因素還不明確;還有1個(gè)將用于環(huán)境檢測(cè)。
5、冷卻系統(tǒng)
很長(zhǎng)一段時(shí)間以來(lái),蘋(píng)果公司一直避免為移動(dòng)設(shè)備加風(fēng)扇,但適當(dāng)?shù)睦鋮s系統(tǒng)對(duì)于目前的獨(dú)立VR設(shè)備來(lái)說(shuō)確實(shí)很重要。即使是當(dāng)下最高效的移動(dòng)處理器,如果沒(méi)有強(qiáng)大的冷卻系統(tǒng),在高強(qiáng)度VR需求下也會(huì)面臨過(guò)熱風(fēng)險(xiǎn)。
由于VR系統(tǒng)通常是雙鏡頭,確保為兩個(gè)鏡頭的視圖提供略有區(qū)別的顯示內(nèi)容,因此每個(gè)鏡頭呈現(xiàn)的視頻都會(huì)占用大量圖形算力,同時(shí)要根據(jù)玩家的頭部運(yùn)動(dòng)而不斷變化。此外,圖像分辨率極高,還要求每秒至少保持在60幀。
這款獨(dú)立頭顯還將包含一塊內(nèi)置電池,這會(huì)進(jìn)一步加劇發(fā)熱問(wèn)題。面對(duì)這些苛刻的條件,風(fēng)扇對(duì)于保持安全的工作溫度無(wú)疑至關(guān)重要。
6、插入式鏡片
圖:微軟HoloLens采用夾片設(shè)計(jì)實(shí)現(xiàn)鏡片添加
據(jù)稱,蘋(píng)果還打算提供定制化可插入鏡片,供玩家單獨(dú)購(gòu)買(mǎi)并插入頭顯設(shè)備。
但此類(lèi)鏡片在某些地區(qū)屬于處方類(lèi)商品,需要遵循具體法律規(guī)定,而蘋(píng)果還沒(méi)有確定如何在線上或零售門(mén)店中解決這方面法規(guī)問(wèn)題。
雖然專(zhuān)利不一定嚴(yán)格對(duì)應(yīng)最終產(chǎn)品,但蘋(píng)果確實(shí)提交了一項(xiàng)使用液體及壓力即時(shí)調(diào)整鏡片形制的技術(shù)專(zhuān)利。不過(guò)目前尚不清楚蘋(píng)果是否會(huì)將這項(xiàng)專(zhuān)利實(shí)際引入VR或AR產(chǎn)品。
03
"Apple VR"價(jià)格與發(fā)布日期
目前唯一面向大眾銷(xiāo)售的獨(dú)立VR頭顯、且售價(jià)超過(guò)299美元的,就只有Oculus Quest 2。蘋(píng)果的設(shè)備將采用質(zhì)量更高的組件,同時(shí)會(huì)優(yōu)先保護(hù)用戶隱私。
這么高的價(jià)格,肯定會(huì)衍生出相應(yīng)的商業(yè)模式——例如硬件租賃或者承諾支付軟件訂閱費(fèi)用。HoloLens也具有類(lèi)似的商業(yè)模式,只是蘋(píng)果這邊可能會(huì)將這款產(chǎn)品定位為消費(fèi)級(jí)和商用級(jí)買(mǎi)家。
也許這次搭載的很多底層技術(shù)與軟件內(nèi)容,接下來(lái)可以逐步延續(xù)到尺寸更小、更輕便、更易用的Apple Glass身上。
近期,眾多企業(yè)紛紛進(jìn)軍增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)以及元宇宙這片藍(lán)海市場(chǎng)。雖然蘋(píng)果還未對(duì)元宇宙做出明確表態(tài),但面對(duì)這樣一個(gè)可能被競(jìng)爭(zhēng)對(duì)手肆意瓜分的新世界,蘋(píng)果顯然不可能袖手旁觀。
8K顯示器等高端組件也確實(shí)讓Apple VR的制造難度更上一層樓。
如果消息屬實(shí),那相信后續(xù)公告將很快放出。
郭明錤還帶來(lái)了關(guān)于第二代頭顯的傳聞,據(jù)稱“將通過(guò)技術(shù)改進(jìn)實(shí)現(xiàn)體驗(yàn)增強(qiáng)”。第二代頭顯還將劃分出多個(gè)價(jià)位區(qū)間,為消費(fèi)者們提供高端旗艦與低端入門(mén)等版本,且計(jì)劃在2024年初發(fā)貨。
好文章,需要你的鼓勵(lì)
新加坡國(guó)立大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)了SPIRAL框架,通過(guò)讓AI與自己對(duì)弈零和游戲來(lái)提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡(jiǎn)單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無(wú)需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開(kāi)發(fā)的GIGA-ToF技術(shù)通過(guò)融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問(wèn)題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺(jué)解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺(jué)語(yǔ)言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無(wú)法有效利用視覺(jué)信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過(guò)動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語(yǔ)言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。