咔嚓！

李雷掏出手機，按下快門，想要抓拍自己、韓梅梅、以及身后稍縱即逝的夕陽，但當(dāng)把手機翻過來一看，竟然拍成了荷蘭式鏡頭，雖然兩人面部情緒是飽滿的，但身后的美景卻沒有入鏡。想要再拍，一個旅游團的游客正瘋狂入畫，可惜！

這個橋段我們經(jīng)常見，不一樣的是，要是放在以前，這張圖像可能就會淪為廢鏡頭，但現(xiàn)在李雷根本不慌，因為他的手機有個強有力的幫手——AI。

AI會根據(jù)原始圖像，腦補它的完整畫面，自動填充圖像背景，即使是原始圖像沒有拍到的背景，AI也會用算法分析一波、再自動生成逼真的背景，把原始圖像化腐朽為神奇——這一功能叫做“照片擴展Photo Expansion”，是來自高通與Tetras.AI公司合作開發(fā)的功能，現(xiàn)在被內(nèi)置在搭載第三代驍龍8移動平臺的手機里。

照片擴展前(左)VS照片擴展后(右)

01 手機進化與智能演進

智能手機的名字雖然有智能二字，但這個過程并不是一蹴而就的。相反，智能手機作為硅基生命載體，也經(jīng)歷了一個進化過程。而進化的上半場，是從語音終端，發(fā)展到移動互聯(lián)網(wǎng)終端。

手機的第一次進化，是以通話+短信功能為代表的“翻蓋機”；手機的第二次進化，是feature phone(功能機)，從“翻蓋機”跨越到“黑莓全鍵盤”，手機除了語音短信功能之外，還多了一些簡單的上網(wǎng)娛樂功能；手機的第三次進化，是終端具備計算能力，當(dāng)年iPhone的出現(xiàn)引發(fā)移動應(yīng)用的爆發(fā)，移動應(yīng)用又反哺人們的工作生活方式。

不過，把照片發(fā)到朋友圈里，只是移動互聯(lián)網(wǎng)；像李雷一樣，能把創(chuàng)作出來的圖片發(fā)到朋友圈，就可以叫移動智能了。

是的，如今手機或許正在迎來第四次進化，手機正在能進行“無中生有”的創(chuàng)作，能夠與用戶基于自然語言交流，所以，從某種程度上看現(xiàn)在的“手機”，才能更稱得上是“智能”手機”。同時，智能手機的端側(cè)智能，也彌補了云端AI的成本、效率和安全性不足。

我們都知道，人工智能/機器學(xué)習(xí)主要包括兩個方向：一個是訓(xùn)練，一個是推理。隨著生成式AI模型的使用量和復(fù)雜性增長，如果只在云端進行訓(xùn)練和推理，就意味著數(shù)據(jù)中心的基礎(chǔ)設(shè)施成本(包括硬件、場地、能耗、運營、額外帶寬和網(wǎng)絡(luò)傳輸?shù)某杀緦⒊掷m(xù)增加)，更何況，現(xiàn)在一些生成式AI大模型動輒數(shù)十億參數(shù)。據(jù)估計，使用基于生成式AI的搜索，每一次查詢(query)其成本是傳統(tǒng)搜索方法的10倍，而這只是眾多生成式AI的應(yīng)用之一。

因此一些公司，比如高通，就提出了「混合AI」的路徑，讓每一個智能終端“進可攻退可守”。

所謂「混合AI」，指終端和云端協(xié)同工作，在適當(dāng)?shù)膱鼍昂蜁r間下分配AI計算的工作負載，以提供更好的體驗，并高效利用資源。在一些場景下，計算將主要以終端為中心，在必要時向云端分流任務(wù)；而在以云為中心的場景下，終端將根據(jù)自身能力，在可能的情況下從云端分擔(dān)一些AI工作負載。“生成式AI將成為人們與應(yīng)用程序之間的接口。當(dāng)云端和終端完全融合時，我們將看到新一輪行業(yè)變革。”正如高通公司CEO安蒙所說，云端與終端的協(xié)同，將是未來AI技術(shù)落地的方向。

“混合AI架構(gòu)，或僅在終端側(cè)運行AI，能夠在全球范圍帶來成本、能耗、性能、隱私、安全和個性化優(yōu)勢。”高通在曾經(jīng)發(fā)表的《混合AI是AI的未來》報告中指出。此處重點梳理一下其中的「降低成本」和「個性化」兩個優(yōu)勢。

在「降本」方面，在以終端為中心的「混合AI」架構(gòu)中，終端將充當(dāng)錨點，云端僅用于分流處理終端無法充分執(zhí)行的任務(wù)，這就可以支持OEM廠商、獨立軟件開發(fā)商(ISV)、應(yīng)用開發(fā)者，利用終端側(cè)的計算能力降低成本，更經(jīng)濟實惠地探索和打造應(yīng)用。“如果在云端運行一個超過10億參數(shù)的生成式AI模型，可能需要數(shù)百瓦的功耗，而在終端側(cè)運行需要的功耗僅有幾毫瓦。”高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負責(zé)人Ziad Asghar曾經(jīng)在采訪中指出。

例如，搭載驍龍X Elite的Windows 11 PC的終端側(cè)聊天助手，可實現(xiàn)每秒處理30個token；或搭載第三代驍龍8的智能手機，基于「高通AI軟件棧」的優(yōu)化，僅需不到1秒就能用Stable Diffusion生成圖像。而這兩者都是在終端側(cè)的離線模式下運行。

之所以能實現(xiàn)如此迅速的生成速度，是因為第三代驍龍8搭載的AI引擎實現(xiàn)了性能與能效飛躍，搭載了史上最快的高通Hexagon NPU，支持大模型參數(shù)規(guī)格從今年年初的10億量級，到現(xiàn)在暴增10倍至100億，能夠以20個token/s的速度進行AI大模型的生成。高通傳感器中樞也引入了下一代微型NPU，將AI性能提升至前代的3.5倍，內(nèi)存提升30%，在第三代驍龍8的加持下接入大模型的AI助手，能夠與高通傳感器中樞協(xié)同工作，利用位置和活動數(shù)據(jù)等信息，結(jié)合情境提供個性化的回答。

在「個性化」方面，智能手機的進化趨勢，是它可以越來越懂你，越來越個性化。而在終端側(cè)，數(shù)字助手將根據(jù)用戶的表情、喜好和個性進行定制，所形成的用戶畫像能夠從實際行為、痛點、需求、顧慮和問題等方面來體現(xiàn)，且這個助手可以持續(xù)學(xué)習(xí)和進化。另外，用戶畫像保留在終端內(nèi)，既不影響隱私保護，也可以通過終端側(cè)學(xué)習(xí)不斷優(yōu)化和更新。比如，搭載第三代驍龍8的手機支持終端側(cè)個性化功能，假如李雷是個旅游博主，那么當(dāng)他到某個旅游地時，手機里的AI助手會根據(jù)李雷喜歡沖浪的愛好，自動推薦當(dāng)?shù)氐臎_浪海灘。

它背后的原理是，高通傳感器中樞和設(shè)備上的大模型一起工作，不斷處理和分析來自手機上各種傳感器的數(shù)據(jù)。這些數(shù)據(jù)被用于創(chuàng)建一個神經(jīng)網(wǎng)絡(luò)，持續(xù)學(xué)習(xí)李雷的喜好，并持續(xù)訓(xùn)練大模型，隨著李雷用手機越多，它的響應(yīng)就會變得越有針對性和個性化。

也就是說，為了在終端側(cè)實現(xiàn)個性化人工智能，AI可以通過個人用戶及其當(dāng)前環(huán)境提供的本地數(shù)據(jù)進行靈活處理。例如，智能手機、平板電腦和PC等終端可以利用來自攝像頭、麥克風(fēng)、加速計、陀螺儀、GPS、Wi-Fi 和藍牙等內(nèi)置傳感器的數(shù)據(jù)，并用于設(shè)備上推理，以提供更相關(guān)和個性化的響應(yīng)。但僅這一點，對于“云端”來說，可能意味著成本高昂、效率低下、甚至無法實現(xiàn)，因為將視頻數(shù)據(jù)等數(shù)據(jù)上傳到云會占用大量帶寬，并且很容易耗盡電池壽命。

更關(guān)鍵的是，在終端側(cè)運行個性化AI，不需要持續(xù)訪問云資源，這可確保低延遲、增強數(shù)據(jù)隱私、并提供可靠的離線功能。

02 從普及網(wǎng)絡(luò)，到普及智能

圖靈在1950年發(fā)表了一篇重要的論文，題為《計算機與智能》(Computing Machinery and Intelligence)，這篇論文中他提出了著名的“圖靈測試”。

70年過去了，這個測試終將被生成式AI所打破。然而，這一重要技術(shù)革新的到來并不容易，背后凝聚了發(fā)明家們長期的科研積累。高通公司，就是一個例子。

這些年來，計算從「主機」發(fā)展到在「PC端」和「手機端」進行，然后是AI加速的計算在「云端」或「終端」實現(xiàn)，這就帶來一系列變革，甚至讓高通這家老牌通信公司，也直言正在轉(zhuǎn)型。“我們一直強調(diào)高通在不斷轉(zhuǎn)變，從原來的一家通信企業(yè)，轉(zhuǎn)型為現(xiàn)在的網(wǎng)聯(lián)計算處理企業(yè)。”安蒙前陣子在2023驍龍峰會時對外表示。

2007年，驍龍剛發(fā)布的時候，就承載了一個厚重的使命，要推動手機的普及，而4G帶來移動互聯(lián)網(wǎng)時代的同時，手機也從此變成一個互聯(lián)網(wǎng)終端。

也幾乎是在同一時刻，高通就開啟了人工智能的研究。早在2007年，高通就開始探索面向計算機視覺和運動控制應(yīng)用的機器學(xué)習(xí)脈沖神經(jīng)方法，隨后還將其研究范圍從仿生方法拓展到人工神經(jīng)網(wǎng)絡(luò)——主要是深度學(xué)習(xí)領(lǐng)域。2012年，高通在ImageNet挑戰(zhàn)賽中利用深度學(xué)習(xí)技術(shù)獲得成功，在物體定位、物體偵測和場景分類比賽中名列前三名。

到了2014年9月，高通在阿姆斯特丹開設(shè)Qualcomm Research荷蘭分支，作為機器學(xué)習(xí)研究的基地，學(xué)生通過“高通創(chuàng)新獎學(xué)金計劃”進行前瞻性研究；2015年9月，高通與阿姆斯特丹大學(xué)建立聯(lián)合研究實驗室，專注于推進面向移動計算機視覺的、最先進的機器學(xué)習(xí)技術(shù)發(fā)展。2017年，通過收購阿姆斯特丹人工智能公司Scyfer，高通進一步加深了人工智能領(lǐng)域的研究。

經(jīng)過持續(xù)不斷的研究，高通也終于收獲了AI領(lǐng)域的成果。2015年，高通向前邁出了一大步，正式在驍龍820上搭載首款高通AI引擎，在CPU上實現(xiàn)運行神經(jīng)網(wǎng)絡(luò)，還采用了當(dāng)時商用領(lǐng)域最為主流的深度學(xué)習(xí)框架Caffe，能自動根據(jù)用戶拍攝的照片進行分類，比如識別出實物和汽車的圖像，分別存儲在兩個不同的文件夾，方便用戶更好地管理拍攝的照片。此時，用戶可能根本沒有意識到，自己的手機里已經(jīng)開始變得“智能”。

但如果順藤摸瓜往前追溯，這源于2013年高通推出的AI芯片Zeroth，它最大的特色，是采用了仿生自生物大腦的神經(jīng)元架構(gòu)（這正是最早的NPU概念），能夠不依賴編程、而是通過反復(fù)的“觀察”和“自學(xué)習(xí)”，實現(xiàn)程序、性能的自我進化。在2015年，Zeroth的架構(gòu)、編程思路首次被引入到驍龍平臺，最終促使驍龍820成為第一款明確具備AI加速能力的移動平臺。

三年后的2018年，高通在端側(cè)AI處理又迎來一次技術(shù)爆發(fā)，驍龍855中專為AI新增張量加速器(Hexagon Tensor Accelerator)，以及搭載了4個Hexagon向量擴展內(nèi)核(Hexagon Vector eXtensions)，這讓驍龍855實現(xiàn)了專有的、可編程的AI加速。這是因為，在終端側(cè)大規(guī)模運行推理，就不得不考慮「能效」。

以智能手機為例，AI 運算本身需要反復(fù)、高強度的運算環(huán)境，智能手機的計算能力、電池、存儲空間等方面都可能是個問題，而高通的解決方法，是在 AI Engine 中引入 Hexagon 張量加速器，Hexagon支持的定點運算，有助于模型更快的運行，同時能耗也更低，Hexagon張量處理器的加入，可以大大提高AI Engine 的整體運算效率，降低功耗。

而一年后的2019年，隨著驍龍865的推出，高通擴展了終端側(cè)AI的用例，包括AI成像、AI視頻、AI語音和始終在線的傳感器中樞。

“再三年”后的2021年，驍龍8 Gen 1搭載了第七代高通AI引擎，高通推出了一種新的Hexagon數(shù)字信號處理器(DSP)架構(gòu)，它增加了一些用例，比如由高通AI引擎支持的始終感應(yīng)的相機用例。2022 年，高通將其軟件的各個組件合并到高通AI堆棧中，為特定領(lǐng)域的SDK奠定了基礎(chǔ)。

高通AI堆棧圖

到了2023年，高通最新發(fā)布的驍龍8 Gen 3已經(jīng)“無處不AI”，覆蓋了從硬件參數(shù)、AI軟件、到AI功能用例等方方面面。以用例而言，第三代驍龍8已經(jīng)成為業(yè)界第一款可以運行100億參數(shù)模型的安卓智能手機移動平臺，這就意味著它可以在不聯(lián)網(wǎng)的情況下，直接依靠本地AI算力實現(xiàn)自然語言對話、AI繪圖等功能。

總結(jié)下來，高通的人工智能，將移動領(lǐng)域作為一個重要起點。而這種傳統(tǒng)設(shè)定，也帶來了很高的門檻，因為移動設(shè)備是電池供電的輕型消費設(shè)備，處理、內(nèi)存和 I/O 有限。而高通已在AI業(yè)務(wù)領(lǐng)域集齊三大關(guān)鍵要素，它們包括：「硬件」，支持在既定功耗下實現(xiàn)更高性能；「高通AI軟件?！?；以及一系列「工具」，包括高通AI模型增效工具包(AIMET)等。

“縱觀智能手機領(lǐng)域，AI的發(fā)展有望開啟一輪全新的增長周期。只有強有力的技術(shù)變革，才能推動手機市場的變革。我們將「生成式AI」視為一次千載難逢的機會，基于智能手機的新一輪創(chuàng)新浪潮已勢不可擋。”高通公司CEO安蒙在近期的采訪中如此分享道。

因此，我們或許可以這樣講，驍龍不僅參與了移動互聯(lián)網(wǎng)的普及，在硬幣的另一面，高通也在推動這顆芯持續(xù)進行移動端智能的普及工作。

多年前，驍龍驅(qū)動的智能手機，讓全球多數(shù)人接入互聯(lián)網(wǎng)成為可能。多年后，5G和人工智能時代到來，驍龍又有了一個新使命，讓智能手機回歸初心——讓智能手機擁有真正的智能，更懂用戶、更人性化。