在雷軍透露下一代小米旗艦手機(jī)將會基于驍龍845平臺的20個小時后,高通的驍龍845平臺的技術(shù)細(xì)節(jié)得到了完整的公布。作為按規(guī)劃升級的產(chǎn)品,每一代自然會比上一代有各種性能、功能的進(jìn)步和提升,在人工智能已經(jīng)成為全球范圍內(nèi)科技領(lǐng)域最熱門話題的情況下,人工智能方面的特性也是這次高通第二屆驍龍技術(shù)峰會媒體關(guān)注的焦點。
高通QCT部門產(chǎn)品管理總監(jiān)Gary Brotman在演講中有一句直截了當(dāng)?shù)拇鸢福候旪?45上承載的是高通的第三代AI平臺,比上一代產(chǎn)品的AI性能快了3倍。這句話里有兩個3值得注意,一個是快了3倍,另一個是第3代。所以后續(xù)有記者專門問道了這個問題,為什么高通驍龍的AI做到第3代,以前竟然沒關(guān)注過,或者大規(guī)模宣傳過。高通的答案是人工智能的應(yīng)用之前成熟度相對不高。但其實更值得注意的是,驍龍的AI不是全新的特性,而是升級到第三代的技術(shù),這能證明一件事,高通做AI不是迎合風(fēng)口,而是自身技術(shù)保持了具有前瞻性的技術(shù)積累。包括AI在內(nèi),如果想描述驍龍845的整體表現(xiàn),大致可以分為這四個方面:
而實現(xiàn)這些新特性的技術(shù)驅(qū)動力則來源驍龍845上的計算、存儲、連接以及特定功能單元,下邊這張圖是這些單元的完整呈現(xiàn),包括X20 LTE modem、Adreno 630 視覺處理系統(tǒng)、Wi-Fi、Hexagon 685 DSP、Spectra 280 ISP、Aqstic Audio、Kryo 385 CPU、系統(tǒng)內(nèi)存和新的安全處理單元Secure Processing Unit等。
接下來分別講述一下這四個方面的具體性能提升和功能改進(jìn)。
根據(jù)高通的官方說法,通過驍龍845集成的Qualcomm Spectra™ 280 ISP和Qualcomm® Adreno™ 630視覺處理子系統(tǒng)。驍龍845移動平臺將使消費者能夠拍攝出電影級別的視頻,并打破現(xiàn)實與虛擬世界的界限。
這里值得關(guān)注的是兩方面,一個是色彩,一個XR(即VR/AR和MR)。
畫面的色彩表現(xiàn),主要由色深、色域和亮度決定。大家可以看這張圖,可以比較好的呈現(xiàn)845和上一代835的提升,其中內(nèi)部較小的多面體是835能夠達(dá)到的水準(zhǔn)(即Rec.709 SDR,是目前國際高清電視的標(biāo)準(zhǔn)),而外部的大多面體是驍龍845能夠達(dá)到的水準(zhǔn)Rec.2020廣色域,大家可以很直觀的看出色彩方面的數(shù)量變化,新平臺可以捕捉64倍的高動態(tài)范圍色彩信息,支持在Ultra HD Premium顯示屏上的視頻拍攝與播放,并支持超過10億種色調(diào)的10位色深。
在XR方面,通過Adreno 630視覺處理子系統(tǒng)架構(gòu)則提升了驍龍845的XR表現(xiàn),讓驍龍845成為首款支持室內(nèi)空間定位(room-scale)六自由度(6DoF)和即時定位與地圖構(gòu)建(SLAM)的移動平臺,從而實現(xiàn)諸如避免墻壁碰撞等特性。
此外,與前代產(chǎn)品相比,驍龍845所引入的“Adreno視覺聚焦”可以顯著降低功耗,提升視覺質(zhì)量,并增強(qiáng)XR應(yīng)用性能。這里多說一句,我們?nèi)搜墼谟^察物體的時候,視覺中心比較清晰,而邊緣比較模糊,Adreno就是類似的技術(shù)邏輯,通過讓畫面聚焦視覺中心,優(yōu)先渲染,優(yōu)化功效輸出。
綜合而言,根據(jù)高通提供的數(shù)字,在視覺方面,驍龍845做到了30%的圖形處理速度提升,30%的能效提升,和2.5倍的現(xiàn)實接口數(shù)據(jù)吞吐帶寬的增加。
在人工智能方面,我們在開始時提到,驍龍845承載的第三代AI移動平臺。與前代系統(tǒng)級芯片(SoC)相比,驍龍845帶來了近三倍的AI整體性能提升。其他的變化還包括:
在開發(fā)方面,由于現(xiàn)在基于人工智能的應(yīng)用開發(fā)普遍是在各種人工智能框架上實現(xiàn)的,所以支持盡可能多的主流框架是AI平臺的重要指標(biāo)。驍龍神經(jīng)處理引擎(SNPE)SDK除了已支持Google TensorFlow和Facebook Caffe / Caffe2框架之外,現(xiàn)在還支持Tensorflow Lite和新的ONNX,以及Caffe2、CNTK和MxNet和Google Android NN API。這說明高通在AI生態(tài)上所建立的廣泛資源和開放態(tài)度,值得留意的是,在高通提供的AI生態(tài)圖中,包括多家中國公司,如百度和高通投資的商湯科技。
現(xiàn)在人工智能主要分為云智能和端智能兩方面。高通認(rèn)為,由于手機(jī)是和用戶隱私相關(guān)性極高的產(chǎn)品,所以端智能尤為重要,讓數(shù)據(jù)在端上處理,來向用戶交付智能服務(wù)。在今天的演示環(huán)節(jié)當(dāng)中,高通也展示了這方面的能力,下圖中,手機(jī)可以實時將所拍攝的畫面,轉(zhuǎn)化為不同的藝術(shù)作品風(fēng)格。
其他方面AI的進(jìn)步,還包括驍龍845 通過Qualcomm Aqstic音頻編解碼器(WCD9341)以低功率音頻子系統(tǒng),實現(xiàn)增強(qiáng)的始終開啟關(guān)鍵詞檢測和超低功耗語音處理,優(yōu)化語音驅(qū)動的智能助手,從而使用戶能全天隨時通過語音與終端進(jìn)行交互,在一個演示中,基于高通技術(shù)的智能音箱可以在嘈雜的環(huán)境中,識別出主人的聲音,并做出實時反應(yīng)(在下圖中,大家可以感受一下距離,最遠(yuǎn)處擺桌子上就是智能印象,近景的灰衣服人為控制人)。
還需要說明的一點是,高通認(rèn)為智能的來源不應(yīng)該是單獨的單元,而應(yīng)該根據(jù)任務(wù)的不同,由不同的單元來處理,比如GPU,DSP或者視覺處理子系統(tǒng),驍龍845 AI方面涉及的處理單元見下圖。
和人工智能一樣,高通認(rèn)為這次安全是分層次的,不同的事件應(yīng)該由不同的安全機(jī)制保證。而驍龍845在安全方面的一個特別舉動,是引入了硬件隔離子系統(tǒng)——安全處理單元(SPU),目的是專門管理用戶識別信息,尤其是生物識別信息,比如指紋、面部特征等。另外高通還在本代產(chǎn)品當(dāng)中,引入了口令概念,讓手機(jī)更好的與個人身份綁定,避免通過篡改GPS信息偽造位置的情況發(fā)生,這在物流運(yùn)輸?shù)壬虡I(yè)場景當(dāng)中,是非?,F(xiàn)實的應(yīng)用。上述提到的幾點,可以通過下圖做進(jìn)一步了解。
最后我們說一下高通845在速度和性能方面的變化,我們最后說這個話題不是因為不重要,而是高通本身是做連接起家,這方面的提升是自然而然的。
具體而言,驍龍845集成了第二代千兆級LTE解決方案——驍龍X20 LTE調(diào)制解調(diào)器。理想條件下,可以3分鐘內(nèi)下載一部3GB的電影,在運(yùn)營商為5G做準(zhǔn)備時,推動加速普及千兆級LTE在全球的應(yīng)用。另外該調(diào)制解調(diào)器支持1.2Gbps的Category 18 LTE峰值下載速度,高達(dá)五載波聚合、許可輔助接入(LAA)、雙卡雙VoLTE,以及最多三個聚合載波上的4x4 MIMO。
在Wi-Fi方面,驍龍845還支持先進(jìn)的60GHz 802.11ad Wi-Fi,增加了對分集天線的支持,從而能實現(xiàn)4.6Gbps的多千兆比特網(wǎng)絡(luò)體驗;并集成具備先進(jìn)特性的802.11ac Wi-Fi,與前代產(chǎn)品相比,可實現(xiàn)16倍的連接設(shè)置速度提升。該平臺針對Bluetooth 5還有專門的優(yōu)化,另外,與前代相比,最多可將無線耳塞的功耗減少50%。
在性能方面,由于驍龍845采用新的影像和視覺處理架構(gòu),在視頻拍攝、游戲和XR應(yīng)用上功耗降低為30%(與前代產(chǎn)品相比)。得益于新的Adreno 630,圖像性能和能效比可提升高達(dá)30%。通過Qualcomm® Kryo™385架構(gòu),游戲、應(yīng)用程序啟動時間和重負(fù)載型程序上可以實現(xiàn)高達(dá)25%的性能提升。下圖就是在同等負(fù)載下,845與前代的功耗比較,有了較大程度下降。
驍龍845移動平臺現(xiàn)已向客戶出樣,搭載該平臺的商用終端預(yù)計將在2018年初開始出貨。最后我們再列舉一下驍龍845移動平臺的特性,包括:
Qualcomm Spectra 280 ISP:
-支持Ultra HD Premium拍攝
-Qualcomm Spectra模組方案,支持主動深度感測
-運(yùn)動補(bǔ)償時域濾波(MCTF)視頻拍攝
-多幀降噪
-高達(dá)1600萬像素@60fps高性能拍攝
-720p @480fps慢動作視頻拍攝
-ImMotion計算攝影
Adreno 630視覺處理子系統(tǒng):
-與前代產(chǎn)品相比,圖像/視頻渲染提升30%,功耗降低30%
-室內(nèi)空間定位(room-scale)六自由度(6DoF)及即時定位與地圖構(gòu)建(SLAM)
-Adreno 視覺聚焦,包括分塊渲染(tile rendering)、眼球追蹤、多視角渲染(multiView rendering)、細(xì)粒度終斷(fine grain preemption)
-2K x 2K @120Hz,2.5倍顯示接口數(shù)據(jù)吞吐量提升
-增強(qiáng)的6DoF,支持手勢追蹤和控制器
Qualcomm® Hexagon™ 685 DSP:
-面向AI 和圖像的第三代Hexagon Vector DSP(HVX)
-第三代Qualcomm All-Ways Aware™傳感器中樞
-面向音頻的Hexagon標(biāo)量DSP
驍龍 X20 LTE 調(diào)制解調(diào)器:
-支持1.2 Gbps 千兆級LTE Category 18
-支持許可輔助接入(LAA)
-支持公民寬帶無線服務(wù)(CBRS)共享頻譜
-支持雙卡雙VoLTE(DSDV)
連接:
-支持多千兆比特11ad Wi-Fi,并可支持分集天線
-集成2x2 11ac Wi-Fi,支持雙頻并發(fā)(DBS)
-11k/r/v:增強(qiáng)運(yùn)營級Wi-Fi的移動性能,快速建立連接,緩解擁堵
-專有增強(qiáng)的Bluetooth 5支持超低功耗無線耳塞,并同時向多個終端進(jìn)行音頻廣播
安全處理單元:
-生物信息識別(指紋、虹膜、語音、人臉)
-用戶和應(yīng)用數(shù)據(jù)保護(hù)
-集成方案,如集成SIM卡、支付及其他
Qualcomm Aqstic音頻:
-Qualcomm Aqstic音頻編解碼器(WCD934x):
播放:
-動態(tài)范圍:130dB, THD+N: -109dB
-支持原生 DSD(DSD64/DSD128),脈沖編碼調(diào)制(PCM)高達(dá)384kHz/32bit
-低功耗語音激活:0.65mA
錄音:
-動態(tài)范圍:109dB, THD+N: -103dB
-取樣:高達(dá)192kHz/24bit
Qualcomm® Quick Charge™ 4+
Kryo 385 CPU:
-四顆性能內(nèi)核,主頻高達(dá)2.8GHz(相較于前代產(chǎn)品,性能提升25%)
-四顆效率內(nèi)核,主頻高達(dá)1.8GHz
-2MB 共享L3緩存(新增)
-3MB系統(tǒng)緩存(新增)
10納米LPP FinFET制程工藝
好文章,需要你的鼓勵
騰訊ARC實驗室推出AudioStory系統(tǒng),首次實現(xiàn)AI根據(jù)復(fù)雜指令創(chuàng)作完整長篇音頻故事。該系統(tǒng)結(jié)合大語言模型的敘事推理能力與音頻生成技術(shù),通過交錯式推理生成、解耦橋接機(jī)制和漸進(jìn)式訓(xùn)練,能夠?qū)?fù)雜指令分解為連續(xù)音頻場景并保持整體連貫性。在AudioStory-10K基準(zhǔn)測試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開辟新方向。
Meta與特拉維夫大學(xué)聯(lián)合研發(fā)的VideoJAM技術(shù),通過讓AI同時學(xué)習(xí)外觀和運(yùn)動信息,顯著解決了當(dāng)前視頻生成模型中動作不連貫、違反物理定律的核心問題。該技術(shù)僅需添加兩個線性層就能大幅提升運(yùn)動質(zhì)量,在多項測試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實用化應(yīng)用奠定了重要基礎(chǔ)。
上海AI實驗室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語言模型人性化對話問題。該研究創(chuàng)建了包含20萬高質(zhì)量樣本的訓(xùn)練數(shù)據(jù)集和MM-AlignBench評測基準(zhǔn),通過創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時顯著提升人性化交互水平,為AI價值觀對齊提供了可行技術(shù)路徑。
谷歌DeepMind團(tuán)隊開發(fā)的GraphCast是一個革命性的AI天氣預(yù)測模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預(yù)報,準(zhǔn)確性超越傳統(tǒng)方法90%的指標(biāo)。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過學(xué)習(xí)40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預(yù)測方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學(xué)領(lǐng)域帶來了效率和精度的雙重突破。