CNET科技行者 1月4日 北京消息（編譯/高玉嫻）：人類能夠從照片中輕松辨認(rèn)出可愛的小狗，但谷歌公司的神經(jīng)網(wǎng)絡(luò)看到的卻可能是牛油果醬。這樣一個看似有趣的“惡作劇”背后，實(shí)際上隱藏著巨大的風(fēng)險。

如今，機(jī)器學(xué)習(xí)算法已經(jīng)成為人工智能發(fā)展的關(guān)鍵要素，然而，事實(shí)證明算法也存在著被攻擊的風(fēng)險和挑戰(zhàn)。

以著名的“認(rèn)貓”實(shí)驗(yàn)為例，即使面對一張明顯顯示為貓的圖像時，一旦其中存在“對抗性示例”，機(jī)器學(xué)習(xí)算法所識別的結(jié)果可能將不再是貓，而是人眼所無法檢測到的某些刻意安排的內(nèi)容。

雖然此前許多研究人員認(rèn)為，這類攻擊方式只存在于理論層面，即更像是一種示例而非真實(shí)威脅。然而，來自麻省理工學(xué)院學(xué)生社區(qū)LabSix的一群學(xué)生們已經(jīng)證明并發(fā)表了相關(guān)論文，表示他們能夠創(chuàng)建出誤導(dǎo)算法的三維對象（對抗性示例）。

如上圖，這個3D打印的龜被系統(tǒng)識別為步槍。

這一操作的實(shí)現(xiàn)方式是利用算法生成對抗性示例，并在模糊、旋轉(zhuǎn)、縮放或翻譯等轉(zhuǎn)換過程中導(dǎo)致目標(biāo)錯誤分類。

而最近，該團(tuán)隊(duì)又宣布，這樣的“誤導(dǎo)”已經(jīng)可以在“黑盒”條件下進(jìn)行。即不需要了解算法的內(nèi)部運(yùn)作機(jī)制，也可以創(chuàng)建對抗性示例，從而攻擊算法。

這意味著已經(jīng)全面滲透至人們?nèi)粘Ｉ畹娜斯ぶ悄芗夹g(shù)正面臨著新的挑戰(zhàn)。試想一下，有人可以利用這樣的方式使用對抗性示例代替你本人來解鎖你的智能手機(jī)或付款。

在最新的論文當(dāng)中，該團(tuán)隊(duì)仍以谷歌Cloud Vision API（這是一種目前已經(jīng)廣泛使用的標(biāo)準(zhǔn)商業(yè)化圖像分類算法）為例，描述了如何在對算法知之甚少的前提下創(chuàng)建對抗性示例的過程。

他們對于Cloud Vision的所有認(rèn)知皆來自對其圖像分類結(jié)果的分析，例如其在識別圖像時給出的幾個最佳選項(xiàng)，以及各個選項(xiàng)對應(yīng)的概率。

LabSix的一名學(xué)生Andrew Ilyas表示，在不具備關(guān)于神經(jīng)網(wǎng)絡(luò)基礎(chǔ)信息的前提下攻擊算法確實(shí)是一項(xiàng)巨大的挑戰(zhàn)。他指出：“以識別狗的實(shí)驗(yàn)為例，一般大家在構(gòu)建這類對抗性示例時，首先想到的是如何從狗的形象出發(fā)將其轉(zhuǎn)變?yōu)榕Ｓ凸u。從傳統(tǒng)角度來思考，最重要的是隨時獲得算法將該圖片內(nèi)容辨別為牛油果醬的概率。然而在攻擊谷歌Cloud Vision時，算法并不會告訴我們?nèi)魏螌D片判斷為狗或牛油果醬的具體概率，只會展示其對于狗這一結(jié)論的肯定程度。”

▲圖片來源: LabSix

為了解決這個問題，該團(tuán)隊(duì)使用了另一個算法，用來估算能夠讓機(jī)器將狗的圖片誤認(rèn)為是牛油果醬過程，所需要變化的像素值，然后再利用兩套算法共同對像素進(jìn)行緩慢切換。即從目標(biāo)類的圖像（在此實(shí)驗(yàn)中指的是狗的圖像）開始，逐漸將其轉(zhuǎn)化為期望的對抗圖像（在此實(shí)驗(yàn)中指的是牛油果醬的圖像），同時在輸出中保持目標(biāo)類。在所有的時間里，這個算法只保留了破壞像素的正確組合，讓系統(tǒng)認(rèn)為它是在看著一只狗。

▲如上圖：目標(biāo)類圖像是狗，對抗圖像是雙人雪橇

該流程的工作原理在于，算法會將該圖像數(shù)千次甚至上百萬次地提交至Cloud Vision API，從而測試何時才會成功將識別結(jié)果由狗轉(zhuǎn)變?yōu)榕Ｓ凸u或其它事物。

▲圖片來源: LabSix

這一過程通常需要經(jīng)過超過500萬次的查詢，但Ilyas和他的團(tuán)隊(duì)使用了稱為自然進(jìn)化策略（NES）的計算機(jī)算法，從而幫助他們猜測圖像識別是如何對圖像進(jìn)行分類的。作為結(jié)果，他們只進(jìn)行了大約100萬次查詢就為谷歌Cloud Vision的圖像分類器創(chuàng)建出了一個特定對抗性示例。而人眼在觀看圖片時，永遠(yuǎn)無法從中看到任何牛油果醬的端倪。

Ilyas說，之所以可以做到這一點(diǎn)，是因?yàn)樗麄兊某绦驎趫D像上調(diào)整大量的像素，而不是每次都是幾個像素。

此外，在另一項(xiàng)測試中，他們還成功地讓谷歌的API誤將一架直升飛機(jī)認(rèn)作一組步槍。

▲圖片來源: LabSix

這種攻擊谷歌系統(tǒng)的方法提供了一個真實(shí)的例子，說明基于人工智能的圖像識別系統(tǒng)是如何被黑客入侵的。這一發(fā)現(xiàn)有著更為廣泛的意義。舉例來說，國防企業(yè)與刑事調(diào)查人員也在利用基于云的機(jī)器學(xué)習(xí)系統(tǒng)對大量圖像進(jìn)行分揀。熟練的編程人員將能夠制作一張看似正常的圖像，但機(jī)器在進(jìn)行讀取時卻可能出錯——反之亦然。

LabSix團(tuán)隊(duì)的另一名學(xué)生Anish Athalye表示：“我們正在向著攻克實(shí)際系統(tǒng)的方向探索，而這顯然會給真實(shí)存在的系統(tǒng)帶來挑戰(zhàn)，因?yàn)?strong>事實(shí)證明即使是商業(yè)化、封閉性質(zhì)的專有系統(tǒng)，也同樣很容易受到攻擊。”

雖然到目前為止，他們只嘗試了谷歌的系統(tǒng)，但據(jù)團(tuán)隊(duì)指出，他們的技術(shù)在其他圖像識別系統(tǒng)上應(yīng)該也可以運(yùn)行。

如今，隨著對抗性示例逐步進(jìn)入大家的視線，研究人員們也開始意識到自己還沒有找到強(qiáng)有力的方法予以防范。這可能代表著其會在未來帶來破壞性的后果。對此，Ilyas與Athalye表示，好在研究人員能夠在這些技術(shù)傳播得過度廣泛之前發(fā)現(xiàn)這一漏洞，并有機(jī)會搶在惡意人士之前對其加以修復(fù)。

來源：Fast Company

編譯整理：科技行者