因為對神經(jīng)網(wǎng)絡深層功能的理解，不僅有助于我們了解其決策機制，同時我們構建更為強大的人工智能系統(tǒng)也至關重要。

中，也解釋了他們如何通過逐一刪除單個神經(jīng)元的方式去理解和判斷神經(jīng)網(wǎng)絡的性能。他們認為，理解神經(jīng)科學與深度學習神經(jīng)網(wǎng)絡之間關聯(lián)性的重要方法之一，正是調查個體神經(jīng)元的作用，特別是那些易于解釋的神經(jīng)元。

研究人員開發(fā)了專門的圖像分類模型，然后逐一刪除其中幾個神經(jīng)元，從而測量每個刪除對模型結果的影響。

據(jù)DeepMind稱，他們的發(fā)現(xiàn)產生了兩個結果：

• 雖然以往的眾多研究都集中于理解易于解釋的單個神經(jīng)元（例如'貓神經(jīng)元'，或者深層網(wǎng)絡內隱藏層中的神經(jīng)元等等只會對貓的圖像產生反應的單元），但結果顯示，它們在重要性上并不比綜合且難以解釋的神經(jīng)元更高；
• 能夠對從未見過的圖像進行正確分類的神經(jīng)網(wǎng)絡，在神經(jīng)元缺失適應性方面要比只能夠對已經(jīng)見過的圖像進行分類的網(wǎng)絡強。有點拗口，我們換句話來說，也就是適應度更高的網(wǎng)絡比單純依靠記憶起效的網(wǎng)絡更能擺脫對單一神經(jīng)元的依賴。

"神經(jīng)元可能較易解釋，但其重要性尚不明確

研究人員廣泛分析了只能對單一輸入圖像類別作出響應，且易于解釋的神經(jīng)元（即“選擇性”神經(jīng)元）。他們發(fā)現(xiàn)，在深度學習當中，此類神經(jīng)元包括了"貓神經(jīng)元"、情緒神經(jīng)元以及概括神經(jīng)元; 而在神經(jīng)科學領域，此類神經(jīng)元則包括Jennifer Aniston神經(jīng)元等。然而，這些僅占少數(shù)比例的高選擇性神經(jīng)元在重要性上到底與其它低選擇性、更令人費解且難以解釋的神經(jīng)元有何區(qū)別，目前還不得而知。

具有清晰響應模式的神經(jīng)元（例如對貓的圖像活躍，但對其它圖像皆不敏感的神經(jīng)元）比綜合性的神經(jīng)元（即能夠對各類隨機圖像集發(fā)生反應的神經(jīng)元）更易于解釋

而為了評估神經(jīng)元的重要性，研究人員在測試當中移除了部分神經(jīng)元，從而觀察網(wǎng)絡的分類任務處理效能所發(fā)生的變化。如果其中某個神經(jīng)元非常重要，那么將其移除就會產生極大的破壞性，并顯著降低網(wǎng)絡效能。相反，如果移除的神經(jīng)元并不太重要，那么就不會造成什么影響。

神經(jīng)元缺失對簡單神經(jīng)網(wǎng)絡所造成影響的概念示意圖。較深的神經(jīng)元往往更為活躍。嘗試點擊隱藏層神經(jīng)元并將其移除，觀察輸出神經(jīng)元的活動所發(fā)生的改變。需要注意的是，移除一個或兩個神經(jīng)元對輸出結果的影響很小，而移除大部分神經(jīng)元則會產生顯著的影響，并且其中一部分神經(jīng)元確實比其它神經(jīng)元更為重要！

這一發(fā)現(xiàn)與最近在神經(jīng)科學方面的研究進展相互印證，目前科學家們已經(jīng)證明那些作用不明的神經(jīng)元實際上能夠提供豐富的信息。這意味著我們必須邁過易解釋神經(jīng)元這道難關，才有可能真正搞清楚深層神經(jīng)網(wǎng)絡的運作機制。