當《中國國家地理》攝影師徐健被要求“用手機拍攝一部紀錄片”時,他也沒想到自己竟然能完成這項不可能完成的任務(wù)。
作為一個職業(yè)野生動物攝影師和紀錄片制作人,徐健20年來去過中國很多的自然保護區(qū),拍攝過很多的自然美景和野生動物,在他的專業(yè)判斷里,更高質(zhì)量的素材往往需要更大件、更沉重、更昂貴的設(shè)備,他不得不隨時扛著這些笨重的家伙,而要想用手機做這些工作,簡直不可思議。直到某天他拿到一款可以拍攝8K視頻的手機。
徐健描述道,8K視頻可以做到還原大自然的細節(jié),動物身上的毛發(fā),巖石的紋理,清晰可見。它好像也“凝固”了動物的動態(tài),狐貍的奔跑,金絲猴的跳躍,鳥類的飛行,都能被捕捉到。而手機足夠小,既方便攜帶,又足夠拍攝狹小空間,甚至把手機固定在無人機,去拍攝動物的棲息地,飛上去,它的4K HDR就可以做到還原大自然的豐富顏色和一些暗部細節(jié)。
“我現(xiàn)在出去都愿意帶上這臺手機。”徐健說,一部搭載驍龍8系列芯片的手機。
12月1日晚,徐健在驍龍技術(shù)峰會的這番敘述,給我留下了特殊的印象。在當下智能社會,智能手機早已經(jīng)成為人人必備的隨身物,居家辦公、在線教育、遠程醫(yī)療、網(wǎng)絡(luò)娛樂無一不需要依賴手機和網(wǎng)絡(luò)。
人們從來不會放棄對于手機性能、功能的更高和更多追求,就像不希望降低自己的生活工作體驗一樣。
峰會當晚,高通全球新一代旗艦級芯片——驍龍888如約而至。高通技術(shù)公司產(chǎn)品管理副總裁Ziad Asghar這樣描述公司設(shè)計驍龍888的理念:“著眼于每個家庭中所有的單功能設(shè)備,將智能手機所支持的體驗提升至全新水平。”如果直白地理解這句話,就是你用它拍攝,它即相機;用它玩游戲,它即主機;用它監(jiān)測健康,它可以是私人助理;甚至不用擔心安全問題,因為它可以一機多個操作系統(tǒng)……總之并非為了創(chuàng)新而創(chuàng)新,而是為了消費者需求而創(chuàng)新。
如同高通公司總裁安蒙(Cristiano Amon)在峰會上所說:“在高通,我們一直在研究消費者使用智能手機的方式,以及未來他們需要什么。”對這些消費者而言,手機的旗艦特性已經(jīng)是必需品。
高通堅信,旗艦就意味著要重新定義體驗,這需要去傾聽消費者的心聲,同時也準備好超越他們的想象,創(chuàng)造新的機會。
盡管總有人詬病智能手機創(chuàng)新接近天花板,然而在5G時代的當下,有高通這樣的發(fā)明家和中國手機廠商的存在,智能終端依然能量不減,青春氣息于多處洋溢。
拍攝,從業(yè)余的變成專業(yè)的
智能手機一大功能是拍攝。
高通2020年調(diào)查發(fā)現(xiàn),61%的消費者表示拍照功能會影響他們對于手機的選擇。如今當人們習慣性隨手拍,驍龍888更希望實現(xiàn),并非只是隨手拍,還可以專業(yè)的隨手拍,背后是一系列的設(shè)計與算法加成。
圖:驍龍888關(guān)于影像的性能參數(shù)
1、首次支持三個ISP,打破傳統(tǒng)相機的藩籬。
“一個優(yōu)質(zhì)的影像,來自一個好的鏡頭和性能出色的圖像傳感器。”高通技術(shù)公司產(chǎn)品市場資深經(jīng)理PJ Jacobowitz認為。而驍龍移動平臺能拍出專業(yè)影像的秘密在于——Spectra ISP,這是高通迄今為止最先進的雙圖像信號處理單元,它每秒可以處理十億像素級的圖像數(shù)據(jù),擅長快速捕捉多張畫面,并利用每張圖像的最佳部分來呈現(xiàn)出一張出色、鮮艷、清晰的畫面。重點來了,驍龍888搭載的Spectra 580首次支持三個ISP。
三個ISP可以同時支持三個攝像頭的并行拍攝——即支持三段同時拍的4K HDR視頻(超廣角、主攝、長焦,且可以保存為三個獨立視頻),或支持同一時間拍的三張照片且每張照片都可達2800萬像素以及30fps的零快門延時模式。
三個ISP還能平滑切換多攝像頭構(gòu)成的“連續(xù)變焦”。以往在雙ISP上,當用戶開始使用主攝拍攝,系統(tǒng)會猜測用戶是會用到長焦呢,還是用超廣角? 一旦猜測錯誤就會導(dǎo)致變焦不平滑。但驍龍888可以在后臺運行三ISP/三個攝像頭,系統(tǒng)就無需猜測而是隨時切換到用戶想要用的攝像頭,最終呈現(xiàn)一個平滑的變焦畫面。
2、Spectra 580性能更強,讓手機get抓拍技巧。
Spectra 580比上一代ISP快35%,達到每秒27億像素的處理能力,即每秒捕獲120幀且每幀都是1200萬像素。試想一下未來若想要抓拍某個瞬間,無需再找角度連拍,只需在視頻里截圖就好,每張截圖的分辨率和幀數(shù)都不亞于拍出來的照片。
3、弱光拍攝和單幀逐行HDR,夜拍也清晰。
當光線太暗,即便是找到光源,保持手機穩(wěn)定,拍攝效果也未必理想。高通技術(shù)公司產(chǎn)品管理副總裁Judd Heape介紹,驍龍888搭載的Spectra 580,可以做到“哪怕是0.1Lux照度,依然拍攝出細節(jié)驚人的照片”。
Spectra 580被稱為單幀逐行HDR(Staggered HDR)圖像傳感器而設(shè)計,有大幅提升HDR視頻質(zhì)量的潛力。當其他ISP需要曝光三次才能分別達到不同曝光素材時,驍龍888只要一次曝光就能生成三張曝光不同的圖像,且每張圖像都有明亮或黑暗場景中不同部分的細節(jié)。由它可以實現(xiàn)10-bit的 HDR視頻圖像或是HDR照片。
值得一提的是,由于傳統(tǒng)的JPG文件只能保存8-bit數(shù)據(jù),因此高通未來想要推廣HEIF格式照片,它可拍攝10-bit,這將為照片帶來更高的清晰度、更多的細節(jié)和更鮮艷的色彩,而這是JPEG不可能實現(xiàn)的。Judd Heape感慨:“對于HDR來說,是時候讓照片趕上視頻了!”
4、更優(yōu)秀的3A算法,手機也可以是“傻瓜相機”。
所謂3A算法,即自動對焦、自動曝光和自動白平衡。這些以往是相機廠商看重的功能,高通希望它們在手機里也可以表現(xiàn)的出色,因此在完善3A算法方面投入了大量的時間和資源。Spectra 580首次推出高通第10代3A算法,這也是首次由AI賦能的3A算法。比如,可以用VR眼鏡來追蹤人們對于不同場景的眼球聚焦位置,再利用這些數(shù)據(jù)訓(xùn)練機器,以提升自動對焦的靈敏度和準確度。
在高通看來,它們在3A算法上的努力,就是為了讓相機變得更加“傻瓜”。用戶無需進行過多的手動操作,手機可以自動對焦,自動構(gòu)圖,甚至自動美化(基于AI)。
圖:基于Spectra 580的3A算法讓拍攝更智能。
游戲,從小眾的變成主流的
數(shù)碼世界曾經(jīng)的套路是:普通人愛拍照,硬核玩家愛游戲。
但是,當手機性能做到承載游戲的場景之后,移動游戲就從小部分人的狂歡,發(fā)展成了一個兼具娛樂、社交甚至職業(yè)的龐大產(chǎn)業(yè)。
高通分享數(shù)據(jù)指出,全球游戲玩家目前約27億人。其中幾乎所有玩家都表示,會花時間在智能手機上玩游戲,而有近10億人只用智能手機玩游戲。高通技術(shù)公司公共關(guān)系高級經(jīng)理Macey Davis在峰會上說:“移動游戲收入已占全球游戲收入的一半以上。”《PUBG Mobile》解說員及主持人Jason Kaplan甚至直言,靠玩游戲能掙錢。
因游戲而生的電競產(chǎn)業(yè)可謂吸金又吸睛。比如,大名鼎鼎的《DOTA2》游戲有一項國際邀請賽,目前的獎金池為4千萬美元,可以說一夜之間就能造就幾個百萬富翁。再比如,《英雄聯(lián)盟》2019賽季全球總決賽的收視率超過了1億,對比而言,超級碗的收視率是1.007億。數(shù)據(jù)預(yù)計,到2023年電競賽事的總收視率會增至6.46億。電競行業(yè)剛剛處于嶄露頭角的發(fā)展初期。
和傳統(tǒng)體育項目一樣,專業(yè)電競選手想要發(fā)揮最高水平,必須裝備至上。而在移動電競領(lǐng)域,高通稱,“驍龍平臺一直想要滿足玩家的需求和要求,讓他們盡可能地獲得每一分優(yōu)勢。”
圖:驍龍888關(guān)于游戲的性能參數(shù)
最牽動游戲玩家的自然是GPU的性能。驍龍888搭載了全新的Adreno 660 GPU,這款GPU的圖形性能相比上一代Adreno 650提升了 35%,能耗相比于上一代則降低了20%。在參與AI運算時,Adreno 660 GPU 的AI性能也有43%的提升。
此外,Adreno 660不僅是一個圖形引擎,還是一個出色的顯示引擎,可實現(xiàn)最佳的圖像質(zhì)量,例如支持 OLED顯示一致性、顯示圖像質(zhì)量的提升以及Demura和亞像素渲染技術(shù),以進一步提高智能手機顯示的圖像質(zhì)量。
1、Snapdragon Elite Gaming。
Elite Gaming在游戲必須的網(wǎng)絡(luò)傳輸、聲音和畫面上做了很多有意思的創(chuàng)新。比如,與杜比合作將手游場景的所有聲音都放置在三維空間中。
驍龍888搭載的Elite Gaming升級一項新特性——高通Game Quick Touch。以往,手游不可避免會出現(xiàn)觸控延遲,游戲工作一旦負載大,顯示屏幀同步的時間和游戲幀刷新的時間不一致,就會導(dǎo)致觸控延遲。而Game Quick Touch將觸控到顯示的響應(yīng)速度提高20%,以避免觸控延遲發(fā)生。即便幀率高達120fps的游戲,觸控響應(yīng)時間也會受益。
2、Adreno 660。
驍龍888搭載的Adreno 660 GPU今年有一項重要的功能升級——可變分辨率渲染技術(shù)(Variable Rate Shading),將有助于減少GPU工作負載,支持手游實現(xiàn)更快的速度,更高的分辨率,最高的視覺保真度。
此技術(shù)對于開發(fā)者也相當友好。具體而言,當渲染每一幀時,GPU會為每個像素執(zhí)行一個著色程序來計算它的顏色,而可變分辨率渲染允許開發(fā)人員指定著色器程序以 2個/4個像素為一組僅運行一次,即可將顏色結(jié)果重新復(fù)用于周圍的像素著色。這將會使整體著色的總像素數(shù)減少 40%,從而降低 GPU工作負載,讓開發(fā)者在不犧牲視覺逼真度的情況下創(chuàng)造更具有沉浸感的游戲體驗。
5G,從手機到萬物
5G時代,旗艦級芯片的創(chuàng)新,似乎讓接近年齡“中青年”的智能手機重新煥發(fā)活力,依然少年感十足。
而我們也有理由相信,除了拍照和游戲,同樣的變革和體驗將發(fā)生在各行各業(yè)。
安蒙說,“在高通,如果用一句話描述5G,那就是5G使萬事萬物時刻與云端保持可靠的連接。它將連接一切,5G將成為未來數(shù)字經(jīng)濟的第一驅(qū)動力。”
從醫(yī)療健康、能源到制造業(yè),都受益于移動行業(yè)的規(guī)模、先進技術(shù)、快速的設(shè)計周期、集成和優(yōu)化。他們正在探索新的商業(yè)模式,構(gòu)建新的服務(wù),探索通過終端和云服務(wù)與客戶互動的全新途徑。麥肯錫對全球高管的一項調(diào)查發(fā)現(xiàn),由于疫情,受訪公司將其業(yè)務(wù)的數(shù)字化進程加速提前了3年多,將其產(chǎn)品組合的數(shù)字化進程提前了7年。
無論是個人的網(wǎng)絡(luò)體驗,還是行業(yè)的數(shù)字化發(fā)展,都將會因為5G的普及發(fā)生巨大改變。當我們?yōu)樾乱淮K端帶來高能效、可擴展的終端側(cè)計算能力時,其影響可能會遠遠超過當下我們在智能手機上所看到的一切:從推動未來更安全、更高效交通系統(tǒng)的5G智能汽車;到支持基于云的現(xiàn)代互聯(lián)企業(yè)的5G PC,能夠讓員工在任何地方進行工作;再到XR驅(qū)動的下一代計算平臺變革,它將融合物理世界和數(shù)字世界,使虛擬現(xiàn)場成為日?,F(xiàn)實,變革我們工作、就醫(yī)和學習的方式。在這個過程中,5G時代的殺手級應(yīng)用勢必會出現(xiàn),下一個“新時代”勢必會到來。
而這一切就在不遠的將來,也需要整個產(chǎn)業(yè)鏈共同打造,就像被賦予“發(fā)發(fā)發(fā)”寓意的驍龍888一樣,中國市場在5G時代也同樣被寄予了厚望。而中國廠商也越來越注重品牌建設(shè)和品質(zhì)提升,在旗艦產(chǎn)品上精心打磨,在品牌定位上沖刺高端,不負眾望。
最后,我們再整體呈現(xiàn)這顆驍龍888 5G移動平臺的關(guān)鍵參數(shù)吧,這些專業(yè)名詞的背后,是無數(shù)通信技術(shù)發(fā)明家辛勤與智慧的結(jié)晶:
* 連接升級:集成驍龍X60和FastConnect 6900系統(tǒng),前者支持5G Sub-6GHz載波聚合和毫米波;后者支持Wi-Fi 6、Wi-Fi 6E的6GHz頻段、藍牙5.2/藍牙雙天線、高通aptX套件。支持全球5G多SIM卡功能。
* 性能升級:三星5nm制程。Adreno 660 GPU,對比驍龍865的Adreno 650,圖形渲染速度提升35%,能效提升25%,是首款支持可變分辨率渲染(Variable Rate Shading)的移動平臺。支持2.84GHz的主頻,是首個基于Arm Cortex-X1的商用CPU子系統(tǒng)。
* AI:Hexagon 780 DPS,整合的向量、張量、標量加速器共享片上緩存,三枚加速器融合處理,每瓦特性能比前代驍龍865提升3倍,其中張量加速器性能提升2倍,向量加速器性能提升50%。第二代高通傳感器中樞集成的專用低功耗AI處理器,能夠利用情境感知,并結(jié)合來自5G、Wi-Fi和藍牙等新增的數(shù)據(jù)源,支持如屏幕喚醒、抬手亮屏、用戶活動識別、語音事件檢測等用例。由CPU、GPU、DPS和Sensing Hub構(gòu)成的高通第6代AI Enging,可以實現(xiàn)每秒26萬億次運算。高通首次將AI用于影像的3A運算,支持RAW域處理。
* 影像:Spectra 580支持三ISP,以每秒處理27億像素的速度,比驍龍865的20億像素/秒提升35%,支持計算HDR,支持1200萬像素120fps拍攝或三路4K視頻錄制或三路2800萬像素照片拍攝,首次采用全新低光架構(gòu)拍夜拍,支持HEIF格式存儲10-bit色深影像文件。能夠拍攝符合CAI(Content Authenticity Initiative)標準、擁有加密印記的照片。
* 游戲:Snapdragon Elite Gaming。首款在移動端支持可變分辨率渲染(Variable Rate Shading),比前代驍龍865提升游戲渲染性能30%。Game Quick Touch,觸控延遲降低20%。
* 安全:支持高通安全處理單元、高通可信執(zhí)行環(huán)境,高通無線邊緣服務(wù)。支持Type-1 Hypervisor,能夠在同一終端上的不同應(yīng)用和多個操作系統(tǒng)之間進行數(shù)據(jù)保護和隔離。
目前已經(jīng)公布的14家采用驍龍888的手機廠商中(小米、vivo、realme、華碩、黑鯊、聯(lián)想、LG、魅族、摩托羅拉、努比亞、OnePlus、OPPO、夏普、中興),12家都是中國企業(yè)。
好文章,需要你的鼓勵
新加坡國立大學研究團隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學解題中,為AI訓(xùn)練提供了新思路。
同濟大學團隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學習和數(shù)學優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設(shè)備上展現(xiàn)出色泛化能力,為機器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學研究團隊通過對比實驗發(fā)現(xiàn),經(jīng)過強化學習訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓(xùn)練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓(xùn)練效率,已在多個任務(wù)上驗證有效性。
關(guān)注科技創(chuàng)新、技術(shù)投資。
以文會友,左手硬核科技,右手浪漫主義。