CNET科技行者 1月4日 北京消息（編譯/高玉嫻）：人類能夠從照片中輕松辨認(rèn)出可愛(ài)的小狗，但谷歌公司的神經(jīng)網(wǎng)絡(luò)看到的卻可能是牛油果醬。這樣一個(gè)看似有趣的“惡作劇”背后，實(shí)際上隱藏著巨大的風(fēng)險(xiǎn)。

如今，機(jī)器學(xué)習(xí)算法已經(jīng)成為人工智能發(fā)展的關(guān)鍵要素，然而，事實(shí)證明算法也存在著被攻擊的風(fēng)險(xiǎn)和挑戰(zhàn)。

以著名的“認(rèn)貓”實(shí)驗(yàn)為例，即使面對(duì)一張明顯顯示為貓的圖像時(shí)，一旦其中存在“對(duì)抗性示例”，機(jī)器學(xué)習(xí)算法所識(shí)別的結(jié)果可能將不再是貓，而是人眼所無(wú)法檢測(cè)到的某些刻意安排的內(nèi)容。

雖然此前許多研究人員認(rèn)為，這類攻擊方式只存在于理論層面，即更像是一種示例而非真實(shí)威脅。然而，來(lái)自麻省理工學(xué)院學(xué)生社區(qū)LabSix的一群學(xué)生們已經(jīng)證明并發(fā)表了相關(guān)論文，表示他們能夠創(chuàng)建出誤導(dǎo)算法的三維對(duì)象（對(duì)抗性示例）。

如上圖，這個(gè)3D打印的龜被系統(tǒng)識(shí)別為步槍。

這一操作的實(shí)現(xiàn)方式是利用算法生成對(duì)抗性示例，并在模糊、旋轉(zhuǎn)、縮放或翻譯等轉(zhuǎn)換過(guò)程中導(dǎo)致目標(biāo)錯(cuò)誤分類。

而最近，該團(tuán)隊(duì)又宣布，這樣的“誤導(dǎo)”已經(jīng)可以在“黑盒”條件下進(jìn)行。即不需要了解算法的內(nèi)部運(yùn)作機(jī)制，也可以創(chuàng)建對(duì)抗性示例，從而攻擊算法。

這意味著已經(jīng)全面滲透至人們?nèi)粘Ｉ畹娜斯ぶ悄芗夹g(shù)正面臨著新的挑戰(zhàn)。試想一下，有人可以利用這樣的方式使用對(duì)抗性示例代替你本人來(lái)解鎖你的智能手機(jī)或付款。

在最新的論文當(dāng)中，該團(tuán)隊(duì)仍以谷歌Cloud Vision API（這是一種目前已經(jīng)廣泛使用的標(biāo)準(zhǔn)商業(yè)化圖像分類算法）為例，描述了如何在對(duì)算法知之甚少的前提下創(chuàng)建對(duì)抗性示例的過(guò)程。

他們對(duì)于Cloud Vision的所有認(rèn)知皆來(lái)自對(duì)其圖像分類結(jié)果的分析，例如其在識(shí)別圖像時(shí)給出的幾個(gè)最佳選項(xiàng)，以及各個(gè)選項(xiàng)對(duì)應(yīng)的概率。

LabSix的一名學(xué)生Andrew Ilyas表示，在不具備關(guān)于神經(jīng)網(wǎng)絡(luò)基礎(chǔ)信息的前提下攻擊算法確實(shí)是一項(xiàng)巨大的挑戰(zhàn)。他指出：“以識(shí)別狗的實(shí)驗(yàn)為例，一般大家在構(gòu)建這類對(duì)抗性示例時(shí)，首先想到的是如何從狗的形象出發(fā)將其轉(zhuǎn)變?yōu)榕Ｓ凸u。從傳統(tǒng)角度來(lái)思考，最重要的是隨時(shí)獲得算法將該圖片內(nèi)容辨別為牛油果醬的概率。然而在攻擊谷歌Cloud Vision時(shí)，算法并不會(huì)告訴我們?nèi)魏螌D片判斷為狗或牛油果醬的具體概率，只會(huì)展示其對(duì)于狗這一結(jié)論的肯定程度。”

▲圖片來(lái)源: LabSix

為了解決這個(gè)問(wèn)題，該團(tuán)隊(duì)使用了另一個(gè)算法，用來(lái)估算能夠讓機(jī)器將狗的圖片誤認(rèn)為是牛油果醬過(guò)程，所需要變化的像素值，然后再利用兩套算法共同對(duì)像素進(jìn)行緩慢切換。即從目標(biāo)類的圖像（在此實(shí)驗(yàn)中指的是狗的圖像）開(kāi)始，逐漸將其轉(zhuǎn)化為期望的對(duì)抗圖像（在此實(shí)驗(yàn)中指的是牛油果醬的圖像），同時(shí)在輸出中保持目標(biāo)類。在所有的時(shí)間里，這個(gè)算法只保留了破壞像素的正確組合，讓系統(tǒng)認(rèn)為它是在看著一只狗。

▲如上圖：目標(biāo)類圖像是狗，對(duì)抗圖像是雙人雪橇

該流程的工作原理在于，算法會(huì)將該圖像數(shù)千次甚至上百萬(wàn)次地提交至Cloud Vision API，從而測(cè)試何時(shí)才會(huì)成功將識(shí)別結(jié)果由狗轉(zhuǎn)變?yōu)榕Ｓ凸u或其它事物。

▲圖片來(lái)源: LabSix

這一過(guò)程通常需要經(jīng)過(guò)超過(guò)500萬(wàn)次的查詢，但Ilyas和他的團(tuán)隊(duì)使用了稱為自然進(jìn)化策略（NES）的計(jì)算機(jī)算法，從而幫助他們猜測(cè)圖像識(shí)別是如何對(duì)圖像進(jìn)行分類的。作為結(jié)果，他們只進(jìn)行了大約100萬(wàn)次查詢就為谷歌Cloud Vision的圖像分類器創(chuàng)建出了一個(gè)特定對(duì)抗性示例。而人眼在觀看圖片時(shí)，永遠(yuǎn)無(wú)法從中看到任何牛油果醬的端倪。

Ilyas說(shuō)，之所以可以做到這一點(diǎn)，是因?yàn)樗麄兊某绦驎?huì)在圖像上調(diào)整大量的像素，而不是每次都是幾個(gè)像素。

此外，在另一項(xiàng)測(cè)試中，他們還成功地讓谷歌的API誤將一架直升飛機(jī)認(rèn)作一組步槍。

▲圖片來(lái)源: LabSix

這種攻擊谷歌系統(tǒng)的方法提供了一個(gè)真實(shí)的例子，說(shuō)明基于人工智能的圖像識(shí)別系統(tǒng)是如何被黑客入侵的。這一發(fā)現(xiàn)有著更為廣泛的意義。舉例來(lái)說(shuō)，國(guó)防企業(yè)與刑事調(diào)查人員也在利用基于云的機(jī)器學(xué)習(xí)系統(tǒng)對(duì)大量圖像進(jìn)行分揀。熟練的編程人員將能夠制作一張看似正常的圖像，但機(jī)器在進(jìn)行讀取時(shí)卻可能出錯(cuò)——反之亦然。

LabSix團(tuán)隊(duì)的另一名學(xué)生Anish Athalye表示：“我們正在向著攻克實(shí)際系統(tǒng)的方向探索，而這顯然會(huì)給真實(shí)存在的系統(tǒng)帶來(lái)挑戰(zhàn)，因?yàn)?strong>事實(shí)證明即使是商業(yè)化、封閉性質(zhì)的專有系統(tǒng)，也同樣很容易受到攻擊。”

雖然到目前為止，他們只嘗試了谷歌的系統(tǒng)，但據(jù)團(tuán)隊(duì)指出，他們的技術(shù)在其他圖像識(shí)別系統(tǒng)上應(yīng)該也可以運(yùn)行。

如今，隨著對(duì)抗性示例逐步進(jìn)入大家的視線，研究人員們也開(kāi)始意識(shí)到自己還沒(méi)有找到強(qiáng)有力的方法予以防范。這可能代表著其會(huì)在未來(lái)帶來(lái)破壞性的后果。對(duì)此，Ilyas與Athalye表示，好在研究人員能夠在這些技術(shù)傳播得過(guò)度廣泛之前發(fā)現(xiàn)這一漏洞，并有機(jī)會(huì)搶在惡意人士之前對(duì)其加以修復(fù)。

來(lái)源：Fast Company

編譯整理：科技行者