提到芯片,我們的智能手機(jī)電腦、智能汽車、智能家居等等設(shè)備,無(wú)一離不開(kāi)它,而芯片的產(chǎn)生有兩個(gè)階段:設(shè)計(jì)和制造,前者屬于軟件層面,后者屬于硬件層面。相對(duì)應(yīng)的,芯片公司也主要分為兩大類,芯片設(shè)計(jì)公司和芯片代工公司。所謂“一流的公司做設(shè)計(jì),二流的公司做品牌,三流的公司做生產(chǎn)。”這話放到芯片行業(yè)也不為過(guò),從軟件設(shè)計(jì)、調(diào)試、流片成功到批量生產(chǎn),整個(gè)環(huán)節(jié)既復(fù)雜又燒錢,因此全球頂尖的芯片設(shè)計(jì)公司寥寥無(wú)幾。
而在2021世界人工智能大會(huì)期間,蘋果公司副總裁、大中華區(qū)董事總經(jīng)理葛越就分享了關(guān)于《Apple“芯”系創(chuàng)新》的主題演講,短短20分鐘的內(nèi)容信息量不少,包括蘋果的芯片優(yōu)勢(shì)、產(chǎn)品理念、隱私問(wèn)題、開(kāi)發(fā)者群體。其中她提到,其中她提到,蘋果設(shè)計(jì)的芯片不是用來(lái)出售,而是專門為蘋果量身定制。為了進(jìn)一步改善用戶體驗(yàn),蘋果還在芯片中搭載了“神經(jīng)網(wǎng)絡(luò)引擎(neural engine)”,即蘋果在芯片中專門用于機(jī)器學(xué)習(xí)的硬件,可用于圖像處理、人臉識(shí)別等。同時(shí)她還透露,蘋果大中華區(qū)的開(kāi)發(fā)者目前已超過(guò)440萬(wàn)人。
圖片攝于上海世界人工智能大會(huì)·智能芯片定義產(chǎn)業(yè)未來(lái)專題論壇現(xiàn)場(chǎng)。
以下是蘋果公司副總裁、大中華區(qū)董事總經(jīng)理葛越7月8日在上海世界人工智能大會(huì)·智能芯片定義產(chǎn)業(yè)未來(lái)專題論壇的演講實(shí)錄:
各位領(lǐng)導(dǎo),各位嘉賓,大家下午好!首先非常感謝主辦方再次邀請(qǐng)我參加世界人工智能大會(huì)。很高興和這么多的業(yè)界專家和同仁匯聚一堂,探討如何讓技術(shù)為社會(huì)的發(fā)展起到更加有效的影響,并肩負(fù)起企業(yè)應(yīng)有的社會(huì)擔(dān)當(dāng)。
Apple(蘋果公司)強(qiáng)大的人工智能技術(shù)幫助客戶、創(chuàng)意工作者、開(kāi)發(fā)者取得成功。我們自豪地看到,無(wú)論在中國(guó)還是世界各地,Apple 的人工智能和機(jī)器學(xué)習(xí)技術(shù)正在改變著人們的生活。
今天我將分享Apple在人工智能和機(jī)器學(xué)習(xí)方面的做法,以及如何通過(guò)這些技術(shù)來(lái)幫助人們開(kāi)創(chuàng)一個(gè)更美好、更健康、更繁榮、更加激動(dòng)人心的未來(lái)。
Apple端到端的產(chǎn)品設(shè)計(jì),并嵌入機(jī)器學(xué)習(xí),從而實(shí)現(xiàn)眾多耳熟能詳?shù)墓δ?,增?qiáng)創(chuàng)造者和開(kāi)發(fā)者的創(chuàng)新能力。在整個(gè)過(guò)程中,我們把用戶隱私放在首位,同時(shí)提供卓越的用戶體驗(yàn)。
一、談「蘋果芯片」:軟硬件結(jié)合,自研芯片不會(huì)對(duì)外出售
首先,我想談?wù)?Apple 產(chǎn)品和技術(shù)開(kāi)發(fā)的理念。
我們對(duì)于我們創(chuàng)造的技術(shù)是有選擇性的。我們產(chǎn)品和技術(shù)的開(kāi)發(fā)永遠(yuǎn)都是為了打造最好的產(chǎn)品,實(shí)現(xiàn)最好的體驗(yàn),獨(dú)一無(wú)二的軟硬件緊密結(jié)合讓我們能夠做到這一點(diǎn)。
Apple的端到端的產(chǎn)品設(shè)計(jì),從芯片到硬件再到軟件全棧式覆蓋。這意味著我們?cè)O(shè)計(jì)的是完整的用戶體驗(yàn),包括從芯片到操作系統(tǒng),以及從拍攝到分享、溝通、創(chuàng)造和學(xué)習(xí)等一系列的豐富功能。
讓我們從Apple的芯片說(shuō)起。我們的芯片為我們自己的產(chǎn)品量身定制,并為機(jī)器學(xué)習(xí)進(jìn)行了專門的優(yōu)化。我們知道機(jī)器學(xué)習(xí)能夠?yàn)橛脩籼峁└鼮楠?dú)特的體驗(yàn),因此很早就開(kāi)始研發(fā)能在設(shè)備端有效運(yùn)行復(fù)雜機(jī)器學(xué)習(xí)算法的芯片。
10多年前Apple就開(kāi)始了這一工作,今天,我們幾乎所有產(chǎn)品都搭載了Apple自己的芯片。
我們的硬件技術(shù)團(tuán)隊(duì)采用了可擴(kuò)展的芯片架構(gòu),同樣的模塊可適用于多個(gè)系統(tǒng)級(jí)芯片(SoC)。芯片設(shè)計(jì)過(guò)程中,我們的工程師擁有著獨(dú)特的優(yōu)勢(shì):他們?cè)O(shè)計(jì)的芯片不是用來(lái)出售給其他公司,而是專門為Apple特定的產(chǎn)品,甚至是為了特定功能而專門設(shè)計(jì)的。這種優(yōu)化貫穿于CPU、GPU、圖像信號(hào)處理器及更多組件。也正是這種不斷優(yōu)化卓越用戶體驗(yàn)的愿望,推動(dòng)了我們開(kāi)發(fā)出Apple神經(jīng)網(wǎng)絡(luò)引擎。
我們于2017年發(fā)布的 A11 仿生芯片中搭載了神經(jīng)網(wǎng)絡(luò)引擎,這是SoC中專門負(fù)責(zé)機(jī)器學(xué)習(xí)的單元。自那時(shí)起,我們不斷增加神經(jīng)網(wǎng)絡(luò)引擎的核心和能力。iPhone12搭載的A14仿生芯片中的神經(jīng)網(wǎng)絡(luò)引擎能夠完成驚人的計(jì)算能力,即每秒11萬(wàn)億次的運(yùn)算。
去年,我們發(fā)布了搭載M1芯片的Mac,今年我們又發(fā)布了搭載M1芯片的 iPad Pro。這是我們有史以來(lái)最強(qiáng)大的一款芯片,性能和能效都大幅提升。M1是首款采用先進(jìn) 5 納米制程打造的個(gè)人電腦芯片,封裝了高達(dá)160億個(gè)晶體管,其數(shù)量為Apple所有芯片之最。
這款低能耗芯片搭載了世界上最快的中央處理器核心,擁有最卓越的中央處理器性能功耗比,配備了世界上最快的個(gè)人電腦集成顯卡,它的 Apple 神經(jīng)網(wǎng)絡(luò)引擎更帶來(lái)了突破性的機(jī)器學(xué)習(xí)性能。得益于此,M1 芯片完成了看似不可能完成的任務(wù):它的性能顯著提升,包括將機(jī)器學(xué)習(xí)速度提升最高 15 倍,與此同時(shí)電池續(xù)航時(shí)間最高提升 2 倍。
二、談「產(chǎn)品功能」:最好的產(chǎn)品是為所有人設(shè)計(jì)的產(chǎn)品
在開(kāi)發(fā)產(chǎn)品和功能時(shí),我們最重要的目標(biāo)就是通過(guò)更加簡(jiǎn)單易用、富有創(chuàng)意、并且充滿個(gè)性的技術(shù)讓用戶的生活變得更輕松。
因此,我們廣泛的將機(jī)器學(xué)習(xí)用于賦能用戶的日?;顒?dòng)。利用機(jī)器學(xué)習(xí)可以支持 Siri 語(yǔ)音識(shí)別,語(yǔ)言翻譯,設(shè)備端聽(tīng)寫,將照片進(jìn)行分門別類。Apple Watch 上的洗手和睡眠等健康應(yīng)用也得益于此。機(jī)器學(xué)習(xí)甚至可以根據(jù)用戶的使用習(xí)慣,優(yōu)化 Apple 設(shè)備的續(xù)航和充電。
我們?cè)诿恳淮诬浖轮?,持續(xù)創(chuàng)新機(jī)器學(xué)習(xí)能力。例如,iOS 15和 iPadOS 15 推出了一項(xiàng)我們稱之為“實(shí)況文本”的新功能。該功能可以識(shí)別圖片中的文字,因此用戶可以像選擇普通文本一樣選擇這些圖片中的文字。用戶可以拍一張指示牌的照片,通過(guò)機(jī)器學(xué)習(xí)就可以翻譯、搜索更多信息或分享給朋友。
iOS 15 和 iPadOS 15 中的另一項(xiàng)新功能叫做“視覺(jué)查找”。有了這個(gè)功能,大家可以選擇圖片中的一個(gè)對(duì)象,比如一款藝術(shù)品、一本書籍、一個(gè)動(dòng)物或者一個(gè)地標(biāo),然后立即獲取關(guān)于這個(gè)對(duì)象更多的相關(guān)信息。
我們相信,最好的產(chǎn)品是為所有人設(shè)計(jì)的產(chǎn)品。機(jī)器學(xué)習(xí)也驅(qū)動(dòng)了 Apple 圍繞輔助功能開(kāi)展的諸多創(chuàng)新。在我們產(chǎn)品自帶的輔助功能中,強(qiáng)大的麥克風(fēng)可以充當(dāng)失聰人士的耳朵。當(dāng)他們的設(shè)備“聽(tīng)到”火警、嬰兒啼哭或家用電器鳴叫等聲音時(shí),會(huì)立即通知用戶。
對(duì)視覺(jué)障礙用戶來(lái)說(shuō),Apple 產(chǎn)品的“旁白”功能使他們能夠無(wú)障礙地使用應(yīng)用程序。通過(guò)機(jī)器學(xué)習(xí),旁白能識(shí)別出設(shè)備屏幕上的內(nèi)容。它能幫助用戶“看見(jiàn)”圖像、文本或用戶界面上的按鈕等內(nèi)容,并向用戶解釋看到了什么。
還有一個(gè)令我們倍感興奮的例子。今年晚些時(shí)候,肢體殘障人士將能夠通過(guò)一項(xiàng)名為“輔助觸控功能”的技術(shù)更加充分地使用 Apple Watch。用戶佩戴手表時(shí),該技術(shù)將 Apple Watch 強(qiáng)大的傳感器與機(jī)器學(xué)習(xí)技術(shù)相結(jié)合,能夠檢測(cè)到肌肉運(yùn)動(dòng)與肌腱活動(dòng)的細(xì)微變化。因此,用戶只需通過(guò)手勢(shì),甚至無(wú)需觸碰手表屏幕,就能移動(dòng)屏幕上的指針,調(diào)用各種強(qiáng)大的功能。
通過(guò)這些方式,機(jī)器學(xué)習(xí)使得任何人都能輕松體驗(yàn) Apple 產(chǎn)品的魅力。我們相信,無(wú)論用戶使用產(chǎn)品的目的是什么,單純?yōu)榱藠蕵?lè),或是想在世界上留下自己的印記,我們都應(yīng)該為他們做出最好的產(chǎn)品,也就是適合每個(gè)人使用的產(chǎn)品。
三、談「隱私問(wèn)題」:蘋果不收集用戶信息、不存在服務(wù)器上、不出售
我們希望所有人使用我們的產(chǎn)品的時(shí)候能用得順心,也用得放心。因此我們將隱私保護(hù)置于一切產(chǎn)品開(kāi)發(fā)的核心。
我們知道,機(jī)器學(xué)習(xí)需要使用大量數(shù)據(jù)。但人工智能和機(jī)器學(xué)習(xí)的有效性并不需要以犧牲用戶隱私為代價(jià)。對(duì) Apple 的所有員工而言,這是我們的首要關(guān)注點(diǎn),也是基本的價(jià)值觀。同樣的隱私保護(hù)融入到我們?nèi)虍a(chǎn)品設(shè)計(jì)的每個(gè)階段之中。
無(wú)論是設(shè)計(jì)和訓(xùn)練機(jī)器學(xué)習(xí)模型,還是開(kāi)發(fā)基于語(yǔ)音和文本的軟件,在開(kāi)發(fā)的每個(gè)階段我們都會(huì)問(wèn)自己同一個(gè)問(wèn)題:“我們?nèi)绾文苡米钌俚臄?shù)據(jù)和最大程度的數(shù)據(jù)安全,打造最智能化的功能?”
因此我們不收集大量的個(gè)人信息,不將用戶數(shù)據(jù)存儲(chǔ)在服務(wù)器上,也不出售給第三方。我們并不需要做這種犧牲。在 Apple 所有的產(chǎn)品和服務(wù)中,我們僅使用必要的數(shù)據(jù)完成任務(wù),并盡量在設(shè)備端進(jìn)行數(shù)據(jù)處理。
當(dāng)機(jī)器學(xué)習(xí)是在用戶的設(shè)備端實(shí)時(shí)發(fā)生的時(shí)候,它不僅更安全,還更實(shí)用,更加個(gè)性化。
這里我想給大家舉幾個(gè)例子。Apple Pencil 能通過(guò)機(jī)器學(xué)習(xí)識(shí)別你的筆跡。面容 ID 和觸控 ID 能通過(guò)機(jī)器學(xué)習(xí)檢測(cè)你的面部或指紋。Apple Watch 也是通過(guò)機(jī)器學(xué)習(xí)檢測(cè)異常心率,并識(shí)別罕見(jiàn)的心臟疾病。在這個(gè)過(guò)程中,你的任何個(gè)人信息都從未離開(kāi)過(guò)你的設(shè)備。
在運(yùn)行 iOS 15 和 iPadOS 15 的設(shè)備上,Apple 的神經(jīng)網(wǎng)絡(luò)引擎功能十分強(qiáng)大。用戶向 Siri 提問(wèn)時(shí),我們的目標(biāo)是語(yǔ)音數(shù)據(jù)在設(shè)備端進(jìn)行處理。這意味著 Siri 不需要錄音,也不用問(wèn)題發(fā)送到云端就可以處理和回答語(yǔ)音請(qǐng)求。 當(dāng)隱私被置于設(shè)計(jì)的核心時(shí),機(jī)器學(xué)習(xí)的力量更為強(qiáng)大,也更有溫度。
在照片應(yīng)用中也可以看到我們對(duì)用戶隱私的承諾。我們知道,照片中含有一些關(guān)于朋友、家人和日常生活的最私人的數(shù)據(jù)。因此當(dāng)你在照片中搜索人物、寵物或地點(diǎn)時(shí),搜索僅發(fā)生在你的 iPhone 或 iPad 上。
我們所有的產(chǎn)品都以這種標(biāo)準(zhǔn)進(jìn)行機(jī)器學(xué)習(xí)功能的開(kāi)發(fā)。當(dāng)隱私得到保護(hù)時(shí),機(jī)器學(xué)習(xí)能夠發(fā)揮更巨大的潛力,激發(fā)創(chuàng)新,提升創(chuàng)造力。我們堅(jiān)持在設(shè)備端處理數(shù)據(jù)的努力,不僅更好地保護(hù)了隱私,還帶來(lái)了開(kāi)創(chuàng)性的新功能。我們認(rèn)為魚和熊掌皆可得。
四、談「開(kāi)發(fā)者」:教育是最重要的工具之一
正如大家所了解到的,Apple 對(duì)機(jī)器學(xué)習(xí)的投入不僅限于自身創(chuàng)新,也延伸到我們遍布在世界各地、不斷增長(zhǎng)的龐大開(kāi)發(fā)者社區(qū)。
世界各地的開(kāi)發(fā)者都可以使用 Apple 機(jī)器學(xué)習(xí)的框架 Core ML,把機(jī)器學(xué)習(xí)模型融入到他們的應(yīng)用中去。這使得開(kāi)發(fā)者能夠更輕松地開(kāi)發(fā)精彩的新功能和新體驗(yàn)。Core ML 大約在四年前推出,我們興奮地看到,中國(guó)和世界各地?cái)?shù)以百萬(wàn)的開(kāi)發(fā)者都在使用這一框架。
比如上海的開(kāi)發(fā)者 Versa 用了Core ML進(jìn)行創(chuàng)新,他們最新的編輯應(yīng)用「不咕剪輯」深受視頻博主喜愛(ài)。利用 Apple M1 芯片,「不咕剪輯」幾乎可以對(duì)視頻進(jìn)行實(shí)時(shí)逐幀處理。因?yàn)殚_(kāi)發(fā)者們利用我們的產(chǎn)品和技術(shù)推出了優(yōu)秀的創(chuàng)新應(yīng)用,普通創(chuàng)意人員都可以享受以往只有專業(yè)工作室才能實(shí)現(xiàn)的視頻和圖像處理效果。
通過(guò) Apple 的硬件設(shè)備,以及包括 Metal 在內(nèi)的技術(shù),開(kāi)發(fā)者們能最大程度地發(fā)揮 App 中的圖形和計(jì)算潛能。Metal 幫助拓展了手機(jī)游戲的視覺(jué)前沿。同樣位于上海的開(kāi)發(fā)者米哈游就基于此技術(shù),開(kāi)發(fā)的《原神》在全球受到追捧,還獲了年度 iPhone 游戲的殊榮,相信很多人的 iPhone 上都有這款游戲。
類似這兩家的優(yōu)秀開(kāi)發(fā)者在我們的平臺(tái)上還有很多,而且他們的隊(duì)伍還在不斷壯大。大中華區(qū)的開(kāi)發(fā)者人數(shù)現(xiàn)在已經(jīng)超過(guò)了 440 萬(wàn)人,過(guò)去兩年規(guī)模增長(zhǎng)速度達(dá)到 76%。
Apple 強(qiáng)大的技術(shù)支持正在惠及越來(lái)越多的人。通過(guò) Apple Developer Program,我們?yōu)楸姸嚅_(kāi)發(fā)者提供了最先進(jìn)的技術(shù),幫助他們開(kāi)發(fā)出更多更好的應(yīng)用。這其中包括成熟的大公司,也有小而美的新興企業(yè)。Apple 在 2020 年推出了 「App Store 小型企業(yè)計(jì)劃」,致力于為更多的小型開(kāi)發(fā)者提供支持,幫助他們開(kāi)發(fā)出深受全球喜愛(ài)的應(yīng)用。
我們認(rèn)為這些努力也才剛剛開(kāi)始。Apple 除了在所有設(shè)備中配有一顆強(qiáng)大的“芯”來(lái)保障技術(shù)賦能我們的生態(tài)和社區(qū),更有一份為培育中國(guó)開(kāi)發(fā)者社區(qū)全心投入的意愿和責(zé)任。我們?cè)谏虾5摹冈O(shè)計(jì)開(kāi)發(fā)加速器」定期為中國(guó)的開(kāi)發(fā)者舉辦線上和線下講座、研討會(huì)及社交活動(dòng)。在全國(guó)各地不論是幾千人的大企業(yè),還是包括個(gè)人開(kāi)發(fā)者在內(nèi)的小企業(yè),我們都會(huì)給予支持。
我們不僅支持現(xiàn)有的開(kāi)發(fā)者,還通過(guò)“智惠計(jì)劃”激勵(lì)著未來(lái)一代。大家可能聽(tīng)說(shuō)過(guò) WWDC 獎(jiǎng)學(xué)金計(jì)劃和全國(guó)大學(xué)生移動(dòng)應(yīng)用創(chuàng)新賽,這些競(jìng)賽讓數(shù)以萬(wàn)計(jì)的學(xué)生對(duì)編程產(chǎn)生濃厚的興趣。他們能獲得 Apple 工程師和成功開(kāi)發(fā)者的指導(dǎo),并與世界各地志同道合的朋友見(jiàn)面。通過(guò)“智惠計(jì)劃”,我們還與中國(guó)發(fā)展研究基金和中國(guó)扶貧基金會(huì)等伙伴合作, 為數(shù)十萬(wàn)從零到三歲的幼兒,農(nóng)村地區(qū)的學(xué)齡兒童以及職業(yè)學(xué)校的年輕人們提供幫助。
當(dāng)我們提供給人們出色的工具時(shí),他們就能實(shí)現(xiàn)非凡的創(chuàng)造。毫無(wú)疑問(wèn),教育正是最重要的工具之一。
我們很高興能將 Apple 芯片的能力和機(jī)器學(xué)習(xí)技術(shù)交給優(yōu)秀的年輕人、開(kāi)發(fā)者、設(shè)計(jì)師和工程師,幫助他們實(shí)現(xiàn)夢(mèng)想,我們更加期待用自己的教育之心承載我們的責(zé)任,賦能新一代。
我們深信深思者慮遠(yuǎn),登高者望遠(yuǎn),輕履者行遠(yuǎn)。我們?cè)负驮谧母魑活I(lǐng)導(dǎo)和業(yè)界同仁上下求索,攜手同行,為用戶提供更卓越的技術(shù)、開(kāi)拓更廣闊的天地、開(kāi)創(chuàng)更美好的未來(lái)。
謝謝大家!
好文章,需要你的鼓勵(lì)
新加坡國(guó)立大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)了SPIRAL框架,通過(guò)讓AI與自己對(duì)弈零和游戲來(lái)提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡(jiǎn)單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無(wú)需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開(kāi)發(fā)的GIGA-ToF技術(shù)通過(guò)融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問(wèn)題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺(jué)解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺(jué)語(yǔ)言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無(wú)法有效利用視覺(jué)信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過(guò)動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語(yǔ)言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。
關(guān)注科技創(chuàng)新、技術(shù)投資。
以文會(huì)友,左手硬核科技,右手浪漫主義。