機(jī)器學(xué)習(xí)技術(shù)通常以視覺(jué)系統(tǒng)為基礎(chǔ)進(jìn)行信息處理,現(xiàn)在為了超越這一局限,科學(xué)家們開(kāi)始從嗅覺(jué)當(dāng)中汲取靈感。
如今的人工智能系統(tǒng)(包括受到神經(jīng)元與神經(jīng)系統(tǒng)連接而啟發(fā)的人工神經(jīng)網(wǎng)絡(luò)),已經(jīng)能夠很好地完成具有已知約束條件的任務(wù),此外,這些系統(tǒng)往往還需要配合大量計(jì)算能力與可觀的訓(xùn)練數(shù)據(jù)集才能起效。憑借這些特質(zhì),它們?cè)趯?duì)弈、特別是圍棋領(lǐng)域獲得了出色表現(xiàn),能夠檢測(cè)圖像中是否存在車(chē)輛,并成功區(qū)分貓與狗等不同視覺(jué)對(duì)象。不過(guò)賓夕法尼亞大學(xué)計(jì)算神經(jīng)科學(xué)家Konard Kording指出,“但它們?cè)趧?chuàng)作音樂(lè)或者撰寫(xiě)短篇小說(shuō)方面卻表現(xiàn)得相當(dāng)糟糕。顯然,如今的人工智能系統(tǒng)在以有意義的方式進(jìn)行推理時(shí)面臨著重大的挑戰(zhàn)。”
為了克服這些局限性,一部分研究小組正在回歸從大腦中尋求新答案的方法。更令人稱(chēng)奇的是,其中一些研究人員選擇了看似不太可能的起點(diǎn):嗅覺(jué)??茖W(xué)家們希望更好地理解有機(jī)體如何處理化學(xué)信息,并發(fā)現(xiàn)了似乎有望解決人工智能問(wèn)題的相關(guān)編碼策略。此外,嗅覺(jué)回路與其它更為復(fù)雜的大腦區(qū)域間存在驚人的相似性,而后者則可能指引我們構(gòu)建起更強(qiáng)大的智能機(jī)器。
計(jì)算機(jī)科學(xué)家們現(xiàn)在正著手在機(jī)器學(xué)習(xí)環(huán)境當(dāng)中對(duì)上述發(fā)現(xiàn)進(jìn)行消化。
時(shí)至今日,最為先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)至少在某種程度上仍然依賴(lài)于視覺(jué)系統(tǒng)模擬結(jié)構(gòu),即以信息為基礎(chǔ)進(jìn)行分層攝取。當(dāng)視覺(jué)層接收到感官數(shù)據(jù)時(shí),其首先會(huì)選擇小的但定義明確的特征,包括邊緣、紋理、顏色等與空間映射相關(guān)的元素。神經(jīng)科學(xué)家David Hubel與Torsten Wiesel在上世紀(jì)五十年代到六十年代發(fā)現(xiàn),視覺(jué)系統(tǒng)中的特定神經(jīng)元與視網(wǎng)膜中的特定像素位置屬于一一對(duì)應(yīng)關(guān)系,這一重大發(fā)現(xiàn)亦使他們成功拿下諾貝爾獎(jiǎng)。
當(dāng)視覺(jué)信息通過(guò)皮層神經(jīng)元進(jìn)行傳遞時(shí),邊緣、紋理與顏色等細(xì)節(jié)信息匯集在一起共同形成愈發(fā)抽象的輸入表達(dá):例如對(duì)象為人臉,且面部特征顯示其身份為Jane。網(wǎng)絡(luò)中的每一層都有助于有機(jī)體實(shí)現(xiàn)這一最終判斷目標(biāo)。
深層神經(jīng)網(wǎng)絡(luò)會(huì)以類(lèi)似的分層方式運(yùn)作,并給機(jī)器學(xué)習(xí)與人工智能研究帶來(lái)了一場(chǎng)深遠(yuǎn)的革命。為了都會(huì)這些網(wǎng)絡(luò)識(shí)別人臉等物體,研究人員會(huì)向網(wǎng)絡(luò)當(dāng)中傳入數(shù)以千計(jì)的樣本圖像。該系統(tǒng)會(huì)加強(qiáng)或削弱各人工神經(jīng)元之間的連接,從而更準(zhǔn)確地判斷特定像素集合所形成的更為抽象的人臉圖形。在充足樣本的支持之下,其能夠識(shí)別新圖像當(dāng)中包含的人臉對(duì)象,以及此前從未見(jiàn)過(guò)的場(chǎng)景中的人臉模式。
研究人員在此類(lèi)網(wǎng)絡(luò)當(dāng)中取得了巨大成功,除了圖像分類(lèi)方面,其亦可在語(yǔ)音識(shí)別、語(yǔ)言翻譯以及其它機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域帶來(lái)良好表現(xiàn)。華盛頓大學(xué)計(jì)算神經(jīng)科學(xué)中心的研究人員Charles Delahunt表示,“我喜歡將深層網(wǎng)絡(luò)視為貨運(yùn)列車(chē)。其非常強(qiáng)大,但要求我們提供平坦的路面,從而鋪設(shè)軌道并建立龐大的基礎(chǔ)設(shè)施。但我們都很清楚,生物系統(tǒng)并不需要這些——它們能夠解決很多深層網(wǎng)絡(luò)如今尚無(wú)法解決的難題。”
下面再來(lái)聊聊人工智能領(lǐng)域的熱門(mén)話題:自動(dòng)駕駛汽車(chē)。在汽車(chē)立足新環(huán)境進(jìn)行導(dǎo)航時(shí),周邊環(huán)境將始終不斷變化,且充滿(mǎn)噪音與模糊性因素。如此一來(lái),受到視覺(jué)系統(tǒng)啟發(fā)的深度學(xué)習(xí)技術(shù)可能無(wú)法正常發(fā)揮作用。事實(shí)上,基于視覺(jué)的松散方法恐怕也不能很好地解決問(wèn)題。在這方面,麻省理工學(xué)院的生物物理學(xué)家Adam Marblestone表示,視覺(jué)處理所代表的是一種在根本層面以偶然性為基礎(chǔ)的洞察獲取能力,這是一種“歷史的僥幸”。正是這種僥幸讓科學(xué)家們獲得了目前人工智能領(lǐng)域最為成熟的系統(tǒng),即基于圖像的機(jī)器學(xué)習(xí)應(yīng)用方向。
加州索爾克生物研究所的計(jì)算機(jī)科學(xué)家Saket Navlakha則提醒稱(chēng),“每種類(lèi)型的刺激都會(huì)以不同的方式進(jìn)行處理。舉例來(lái)說(shuō),視覺(jué)與嗅覺(jué)就采用完全不同的信號(hào)類(lèi)型。因此,大腦可能會(huì)使用多種不同的策略來(lái)處理不同類(lèi)型的數(shù)據(jù)。我認(rèn)為除了研究視覺(jué)系統(tǒng)如何運(yùn)作之外,研究人員還有很多其它課題需要探索。”
圖:索爾克研究所計(jì)算機(jī)科學(xué)家Saket Navlakha開(kāi)發(fā)出一種基于飛蠅的嗅覺(jué)回路算法,希望改善機(jī)器學(xué)習(xí)技術(shù)在相似搜索與新型檢測(cè)任務(wù)中的表現(xiàn)。
他和其他一些研究人員們發(fā)現(xiàn),昆蟲(chóng)的嗅覺(jué)回路可能會(huì)帶來(lái)一些值得參考的經(jīng)驗(yàn)。直到上世紀(jì)九十年代,哥倫比亞大學(xué)的生物學(xué)家Linda Buck與Richard Axel才發(fā)現(xiàn)用于處理氣味受體的基因,這標(biāo)志著嗅覺(jué)研究工作正式起步。從那時(shí)開(kāi)始,嗅覺(jué)系統(tǒng)開(kāi)始變得極具特色,并指導(dǎo)著更多研究人員探索蒼蠅與其它昆蟲(chóng)對(duì)氣味的處理方式。一部分科學(xué)家認(rèn)為,其能夠輕松解決視覺(jué)系統(tǒng)所不能處理的多種常見(jiàn)計(jì)算挑戰(zhàn)。
Delahunt解釋稱(chēng),“我們之所以關(guān)注嗅覺(jué),是因?yàn)檫@是一套有限的系統(tǒng),因此能夠以相對(duì)完整的方式實(shí)現(xiàn)表征。這是個(gè)值得為之奮斗的好機(jī)會(huì)。”
英國(guó)赫特福德大學(xué)計(jì)算神經(jīng)科學(xué)家Michael Schmuker補(bǔ)充稱(chēng),“人們現(xiàn)在已經(jīng)能夠利用視覺(jué)完成一些奇妙的任務(wù)。也許我們也能夠通過(guò)嗅覺(jué)實(shí)現(xiàn)同樣神奇的效果。”
嗅覺(jué)與視覺(jué)在很多層面存在著本質(zhì)性的區(qū)別。首先,氣味是一種非結(jié)構(gòu)化信息,其不存在邊緣; 換言之,我們無(wú)法在空間當(dāng)中對(duì)具體對(duì)象進(jìn)行分組。氣味屬于具備不同組成及深度的混合物,我們難以將其歸類(lèi)為彼此相似或不同。因此,研究人員在探索中往往并不清楚應(yīng)該對(duì)哪些特征加以關(guān)注。
這些氣味將由淺層三層網(wǎng)絡(luò)進(jìn)行分析,該網(wǎng)絡(luò)在結(jié)構(gòu)上比視覺(jué)皮層復(fù)雜得多。此外,嗅覺(jué)區(qū)域的神經(jīng)元會(huì)隨機(jī)對(duì)整個(gè)受體空間進(jìn)行采樣,而非關(guān)注層次結(jié)構(gòu)中的特定區(qū)域。研究人員們利用索爾克研究所神經(jīng)生物學(xué)家Charles Stevens提出的所謂“反映射(antimap)”機(jī)制。在像視覺(jué)皮層這樣的映射系統(tǒng)當(dāng)中,神經(jīng)元的位置將提示其所攜帶的信息類(lèi)型。但在嗅覺(jué)皮層的反映射體系下,情況則并非如此。相反,信息會(huì)在整個(gè)系統(tǒng)中分布,且對(duì)相關(guān)數(shù)據(jù)的讀取需要立足一些極低數(shù)量的神經(jīng)元進(jìn)行采樣。更具體地講,研究人員需要通過(guò)高維空間內(nèi)的稀疏信息表達(dá)來(lái)實(shí)現(xiàn)反映射。
采取與果蠅相同的嗅覺(jué)回路,研究人員利用50個(gè)各自對(duì)不同分子具有敏感性的投射神經(jīng)元接收受體輸入。單一氣味會(huì)激發(fā)多個(gè)不同神經(jīng)元,而每個(gè)神經(jīng)元都代表著不同的氣味。這是一組信息的重疊表示,并在本示例中以50維空間表現(xiàn)。在此之后,該信息會(huì)被隨機(jī)投射至200個(gè)所謂凱尼恩(Kenyon)細(xì)胞中,該細(xì)胞通過(guò)編碼識(shí)別對(duì)應(yīng)的特定氣味。(對(duì)哺乳動(dòng)物而言,其體內(nèi)的梨狀皮質(zhì)細(xì)胞即負(fù)責(zé)處理此項(xiàng)任務(wù)。)其將形成40倍規(guī)模擴(kuò)展,從而確保神經(jīng)反應(yīng)模式以更敏銳的方式實(shí)現(xiàn)氣味區(qū)分。
Navlakha表示,“我們假設(shè)有1000個(gè)人齊聚于某一房間當(dāng)中,并嘗試根據(jù)業(yè)余愛(ài)好對(duì)其進(jìn)行分類(lèi)組織。當(dāng)然,在這個(gè)擁擠的空間內(nèi),大家或許能夠找到一些方法將其劃分成不同的團(tuán)隊(duì)。但在實(shí)際場(chǎng)景中,人們相當(dāng)于分散在廣闊的足球場(chǎng)上,研究人員需要學(xué)會(huì)處理這些額外的空間并構(gòu)建起數(shù)據(jù)。”
飛蠅的嗅覺(jué)回路構(gòu)建完成之后,其需要找到一種切實(shí)可行的方法以利用非重疊神經(jīng)元識(shí)別不同氣味。這套模型通過(guò)數(shù)據(jù)“稀疏化”實(shí)現(xiàn)這一點(diǎn)。在2000個(gè)凱尼恩細(xì)胞當(dāng)中,只有約100個(gè)(占總體數(shù)量的5%)對(duì)于特定氣味具有高活性(其它活性較低的細(xì)胞處于靜默狀態(tài)),并為各氣味提供唯一的標(biāo)注。
簡(jiǎn)而言之,雖然傳統(tǒng)的深層網(wǎng)絡(luò)(同樣是從視覺(jué)系統(tǒng)中獲取線索)在“學(xué)習(xí)”時(shí)會(huì)不斷改變其連接強(qiáng)度,但嗅覺(jué)系統(tǒng)似乎通常不會(huì)以這種對(duì)投射神經(jīng)元與凱尼恩細(xì)胞間連接進(jìn)行調(diào)整的方式進(jìn)行自我訓(xùn)練。
隨著研究人員在新世紀(jì)中對(duì)嗅覺(jué)系統(tǒng)的不斷探索,他們開(kāi)發(fā)出相應(yīng)算法以確定更高維度的隨機(jī)嵌入與稀疏性對(duì)計(jì)算效率造成的實(shí)際影響。英國(guó)蘇塞克斯大學(xué)的Thomas Nowotny與加利福尼亞大學(xué)圣迭戈分校的Ramón Huerta兩位科學(xué)家甚至建立起另一種與機(jī)器學(xué)習(xí)模型間的連接方式,并將其命名為支持向量機(jī)(support vector machine)。他們認(rèn)為,自然與人工系統(tǒng)對(duì)信息的處理方式在形式上是等同的,二者都會(huì)利用隨機(jī)組織與維度擴(kuò)展的方式有效表達(dá)復(fù)雜數(shù)據(jù)。在這方面,人工智能與生物進(jìn)化在同一類(lèi)解決方案上實(shí)現(xiàn)了獨(dú)立融合。
圖:蘇塞克斯大學(xué)信息學(xué)教授Thomas Nowotny發(fā)現(xiàn)了嗅覺(jué)系統(tǒng)與一類(lèi)所謂支持向量機(jī)的模型之間的相似之處。以此為基礎(chǔ),他進(jìn)一步探索嗅覺(jué)的實(shí)現(xiàn)原理并希望借此指導(dǎo)更多潛在的人工智能應(yīng)用方向。
憑借著這種連接方式,Nowotny和他的同事持續(xù)探索嗅覺(jué)與機(jī)器學(xué)習(xí)技術(shù)之間的關(guān)系,希望尋求二者之間更深層次的聯(lián)系。2009年,他們表示最初用于識(shí)別氣味的昆蟲(chóng)嗅覺(jué)模型也可成功識(shí)別手寫(xiě)數(shù)字。此外,除去其中的大部分神經(jīng)元——用以模擬腦細(xì)胞的死亡與無(wú)替換過(guò)程——并不會(huì)對(duì)其表現(xiàn)造成太大影響。Nowotny表示,“這套系統(tǒng)中的某些部分可能會(huì)中斷,但系統(tǒng)整體仍能夠繼續(xù)工作。”在他看來(lái),未來(lái)火星探測(cè)器等設(shè)備有望采用這種硬件類(lèi)型,從而在惡劣的條件下長(zhǎng)期保持運(yùn)行。
不過(guò)在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi),研究人員并沒(méi)有投入太多精力來(lái)跟進(jìn)這些發(fā)現(xiàn)——直到最近,才有部分科學(xué)家重新審視嗅覺(jué)的生物結(jié)構(gòu),希望深入了解如何改善機(jī)器學(xué)習(xí)在某些具體問(wèn)題上的表現(xiàn)。
Delahunt和他的同事們重復(fù)了Nowotny提出的實(shí)驗(yàn),以飛蛾的嗅覺(jué)系統(tǒng)為基礎(chǔ),并將其與傳統(tǒng)的機(jī)器學(xué)習(xí)模型進(jìn)行了比較。在樣本數(shù)量少于20個(gè)的情況下,基于飛蛾的模型能夠更好地識(shí)別手寫(xiě)數(shù)字; 但隨著訓(xùn)練數(shù)據(jù)的增加,其它模型則表現(xiàn)出更為強(qiáng)大且準(zhǔn)確的判斷能力。Delahunt指出,“機(jī)器學(xué)習(xí)方法擅長(zhǎng)在具備大量數(shù)據(jù)的前提下提供非常精確的分類(lèi)器,而昆蟲(chóng)模型則非常擅長(zhǎng)利用少部分?jǐn)?shù)據(jù)快速進(jìn)行粗略分類(lèi)。”
在學(xué)習(xí)速度方面,嗅覺(jué)系統(tǒng)的效果似乎更好,因?yàn)樵谶@種情況下,“學(xué)習(xí)”的目的不再是尋找對(duì)于特定任務(wù)而言最佳的特征與表達(dá)。相反,其基本目標(biāo)會(huì)簡(jiǎn)化為識(shí)別哪一組隨機(jī)特征與正確結(jié)果間存在相關(guān)性,而哪些不存在相關(guān)性。中國(guó)南方醫(yī)科大學(xué)的生物學(xué)家Fei Peng表示,“只需一次點(diǎn)擊即可完成訓(xùn)練,這樣的能力當(dāng)然令人神往,對(duì)吧?”
實(shí)際上,嗅覺(jué)策略相當(dāng)于把一些最基本、最原始的概念引入到模型當(dāng)中,就像是把對(duì)真實(shí)世界中的某些一般性理解硬性接入我們的大腦之內(nèi)。在此之后,結(jié)構(gòu)本身即可執(zhí)行一些簡(jiǎn)單且無(wú)需指令引導(dǎo)的先天性任務(wù)。
其中一項(xiàng)最引人注目的例子來(lái)自Navlakha去年在他實(shí)驗(yàn)室中得出的研究成果。他與加州大學(xué)圣迭戈分校的計(jì)算機(jī)科學(xué)家Stevenes及Sanjoy Dsgupta一道,希望找到一種以嗅覺(jué)激發(fā)的相似性搜索方式。正如YouTube網(wǎng)站能夠根據(jù)用戶(hù)目前正在觀看的內(nèi)容生成側(cè)邊欄推薦視頻列表一樣,有機(jī)體也必須有能力在識(shí)別氣味時(shí)進(jìn)行快速且準(zhǔn)確的比較。一只飛蠅會(huì)很快意識(shí)到其應(yīng)該趨近成熟水果的味道,而遠(yuǎn)離醋酸等刺激性氣味的來(lái)源。但考慮到其所處的環(huán)境復(fù)雜且充滿(mǎn)干擾因素,因此其不可能遇到完全相同的氣味。一旦檢測(cè)到新的氣味,飛蠅會(huì)據(jù)此回憶起其此前遇到過(guò)的最相似的氣味,從而選擇出適用的行為反應(yīng)。
Navlakha創(chuàng)建出一種基于嗅覺(jué)的相似性探索算法,并將其應(yīng)用于圖像數(shù)據(jù)集的處理領(lǐng)域。他和他的團(tuán)隊(duì)發(fā)現(xiàn),他們的算法在實(shí)際表現(xiàn)上遠(yuǎn)優(yōu)于傳統(tǒng)非生物學(xué)方法,有時(shí)其降維效能甚至可達(dá)兩到三倍。(在這些較為標(biāo)準(zhǔn)的技術(shù)中,往往通過(guò)關(guān)注一些基本特征或維度來(lái)進(jìn)行對(duì)象比較。)Navlakha解釋稱(chēng),基于飛蠅的方法“可利用低于傳統(tǒng)方法約一個(gè)數(shù)量級(jí)的計(jì)算量獲得類(lèi)似的準(zhǔn)確度,因此其將能夠在成本或者性能方面帶來(lái)質(zhì)的飛躍”。
Nowotny、Navlakha以及Delahunt的實(shí)驗(yàn)結(jié)果表明,基本未經(jīng)訓(xùn)練的網(wǎng)絡(luò)已經(jīng)可用于執(zhí)行分類(lèi)計(jì)算與其它類(lèi)似的任務(wù)。在這類(lèi)編碼方案中構(gòu)建出的系統(tǒng)也能夠更容易地完成后續(xù)學(xué)習(xí)工作。舉例來(lái)說(shuō),其可用于涉及導(dǎo)航或記憶的任務(wù),且在這種情況下,系統(tǒng)能夠無(wú)需更多學(xué)習(xí)時(shí)間或大量示例即可順利應(yīng)對(duì)條件的變更(例如道路阻塞)。
Peng和他的同事們已經(jīng)開(kāi)始研究這個(gè)問(wèn)題,即通過(guò)創(chuàng)建一套螞蟻嗅覺(jué)模型以決定如何從一系列重疊的圖像當(dāng)中找到熟悉的路線并實(shí)現(xiàn)導(dǎo)航功能。
在目前正在接受審查的工作當(dāng)中,Navlakha采用了類(lèi)似的、基于嗅覺(jué)的方法進(jìn)行新奇檢測(cè)——即在接觸過(guò)數(shù)千個(gè)類(lèi)似物體之后,成功識(shí)別出新的、具有關(guān)聯(lián)性的物體。
而Nowotny則在研究如何利用嗅覺(jué)系統(tǒng)處理混合物。他已經(jīng)發(fā)現(xiàn)機(jī)器學(xué)習(xí)技術(shù)在此類(lèi)應(yīng)用方向上面臨的挑戰(zhàn)。舉例來(lái)說(shuō),有機(jī)體會(huì)將某些氣味視為來(lái)自單一對(duì)象,而某些氣味則源自混合物:某些人能夠在攝入數(shù)十種化學(xué)物質(zhì)后,準(zhǔn)確判斷出其嗅到的是一朵玫瑰; 或者可能會(huì)聞到來(lái)自附近面包店的同等數(shù)量的化學(xué)物質(zhì)并意識(shí)到其分別來(lái)自咖啡與牛角面包。Nowotny和他的團(tuán)隊(duì)發(fā)現(xiàn),人們?cè)谶M(jìn)行嗅聞時(shí)不會(huì)刻意對(duì)氣味進(jìn)行分離; 相反,咖啡與牛角面包間的氣味識(shí)別將以非常迅速的交替方式完成。
這種洞察能力對(duì)人工智能技術(shù)而言同樣非常重要。舉例來(lái)說(shuō),在酒會(huì)上的嘈雜環(huán)境中對(duì)多段同時(shí)進(jìn)行的對(duì)話進(jìn)行分離往往極為困難。如果房間中存在多位發(fā)言者,那么人工智能可以通過(guò)將聲音信號(hào)切換為極小的時(shí)間窗加以解決。而如果系統(tǒng)識(shí)別出來(lái)自某一發(fā)言者的聲音,其可能會(huì)嘗試抑制來(lái)自其他發(fā)言者的輸入信息。通過(guò)這樣的交替,神經(jīng)網(wǎng)絡(luò)即可順利解析對(duì)話內(nèi)容。
在上個(gè)月發(fā)表在科學(xué)論文預(yù)發(fā)表網(wǎng)站arxiv.org上的一篇文章指出,Delahunt和他來(lái)自華盛頓大學(xué)的同事J. Nathan Kutz所創(chuàng)造出的“昆蟲(chóng)機(jī)器人”進(jìn)一步推動(dòng)了這項(xiàng)研究的進(jìn)展。他們利用其基于飛蛾的模型輸出結(jié)果作為機(jī)器學(xué)習(xí)算法的輸入內(nèi)容,并借此實(shí)現(xiàn)了系統(tǒng)對(duì)圖像分類(lèi)能力的大幅改進(jìn)。Delahunt表示,“其為機(jī)器學(xué)習(xí)算法提供了強(qiáng)大的素材。飛蛾神經(jīng)給我們帶來(lái)一系列不同類(lèi)型的結(jié)構(gòu),而這種迥異于傳統(tǒng)的結(jié)構(gòu)有助于機(jī)器學(xué)習(xí)算法的提升。”
圖:華盛頓大學(xué)的Charles Delahunt(圖左)與J. Nathan Kutz(圖右)將飛蛾嗅覺(jué)網(wǎng)絡(luò)的結(jié)構(gòu)移植到機(jī)器學(xué)習(xí)環(huán)境當(dāng)中,從而創(chuàng)造出他們所謂的“昆蟲(chóng)機(jī)器人。”
一部分研究人員還希望利用嗅覺(jué)研究來(lái)確定如何在更深層的網(wǎng)絡(luò)當(dāng)中對(duì)多種學(xué)習(xí)形式加以協(xié)調(diào)。Peng表示,“但截至目前,我們?cè)谶@方面只能說(shuō)是略有涉獵。目前我還不太確定要如何借此改進(jìn)深度學(xué)習(xí)系統(tǒng)。”
除了實(shí)現(xiàn)基于嗅覺(jué)的架構(gòu)之外,這一領(lǐng)域中的另一大重要課題在于如何對(duì)系統(tǒng)輸入進(jìn)行明確定義。在剛剛發(fā)表在《科學(xué)進(jìn)展》雜志上的一篇論文當(dāng)中,由索爾克研究所的Tatyana Sharpee所領(lǐng)導(dǎo)的小組正想方設(shè)法對(duì)氣味做出描述。具體來(lái)講,不同圖像在一定程度上存在著共性,即要求立足“視覺(jué)空間”對(duì)像素間的距離進(jìn)行表達(dá)。但這種所謂距離概念對(duì)于嗅覺(jué)則完全不適用,且多種具有不同化學(xué)結(jié)構(gòu)的氣味在表達(dá)與判斷方面可能被認(rèn)為彼此相近。
圖:索爾克研究所神經(jīng)生物學(xué)家Tatyana Sharpee最近發(fā)現(xiàn),氣味可以映射至雙曲線空間之內(nèi)。她希望了解這種洞察結(jié)論能否幫助研究人員找到為深度學(xué)習(xí)系統(tǒng)構(gòu)建最佳輸入數(shù)據(jù)的辦法。
Sharpee和她的同事們希望根據(jù)在自然界中共同發(fā)現(xiàn)的頻率進(jìn)行氣味分子定義(出于研究的目的,他們檢查了氣味分子在各類(lèi)水果及其它樣品中共同作用的頻率)。在此之后,他們將氣味分子結(jié)合起來(lái)構(gòu)建圖譜,包括觀察哪些分子傾向于共同作用,而哪些分子之間保持著涇渭分明的隔離性。他們發(fā)現(xiàn),這就像是將城市點(diǎn)位映射到地球上一樣,氣味分子的映射呈現(xiàn)在一個(gè)雙曲線空間之內(nèi),其中的負(fù)曲率球體則為馬鞍狀。
Sharpee推測(cè),將這種具有雙曲線結(jié)構(gòu)的輸入饋送至機(jī)器學(xué)習(xí)算法內(nèi),有助于對(duì)結(jié)構(gòu)性較低的對(duì)象進(jìn)行分類(lèi)。她解釋稱(chēng),“深度學(xué)習(xí)當(dāng)中存在著一項(xiàng)起始性的假設(shè),即輸入內(nèi)容應(yīng)該以歐幾里德幾何度量完成。我認(rèn)為可以嘗試將此項(xiàng)指標(biāo)改為雙曲線指標(biāo)。”也許這樣的結(jié)構(gòu)能夠進(jìn)一步優(yōu)化深度學(xué)習(xí)系統(tǒng)。
就目前來(lái)講,嗅覺(jué)系統(tǒng)的大部分研究成果仍然處于理論階段。Navlakha與Delahunt的工作必須進(jìn)一步擴(kuò)展至更為復(fù)雜的機(jī)器學(xué)習(xí)問(wèn)題當(dāng)中,方能確定嗅覺(jué)模型是否有能力切實(shí)發(fā)揮作用。Nowotny表示,“我認(rèn)為這是一項(xiàng)新興挑戰(zhàn),我們期待觀察其能夠走多遠(yuǎn)。”
令研究人員們感到振奮的是,嗅覺(jué)系統(tǒng)在結(jié)構(gòu)上確實(shí)與許多物種大腦內(nèi)的其它區(qū)域表現(xiàn)出驚人的相似度,特別是與記憶及導(dǎo)航相關(guān)的海馬體,以及負(fù)責(zé)運(yùn)動(dòng)控制的小腦。嗅覺(jué)是一種古老的系統(tǒng),其歷史可以追溯到細(xì)菌生物對(duì)化學(xué)物質(zhì)的感受,且所有生物都會(huì)利用某種形式的嗅覺(jué)探索周邊環(huán)境。
Marblestone指出,“這似乎更接近我們提出的所謂皮層概念的進(jìn)化源點(diǎn)。”嗅覺(jué)很可能為一切生物的學(xué)習(xí)體系提供了共同點(diǎn)。神經(jīng)學(xué)家Ashok Litwin-Kumar認(rèn)為,“嗅覺(jué)系統(tǒng)為我們提供了一套非常保守的架構(gòu),且廣泛適用于各類(lèi)生物體對(duì)多種物體的識(shí)別方式。其中一定存在著某些非?;A(chǔ)的原理,因此值得加以深入探索。”
嗅覺(jué)回路有望成為嘗試?yán)斫夂qR體與小腦工作原理的、更為復(fù)雜的學(xué)習(xí)算法及計(jì)算方案的解讀起點(diǎn),甚至有可能引導(dǎo)我們將相關(guān)見(jiàn)解應(yīng)用于人工智能領(lǐng)域。研究人員已經(jīng)開(kāi)始關(guān)注注意力以及記憶等各類(lèi)認(rèn)知過(guò)程,希望借此找到能夠改進(jìn)當(dāng)前機(jī)器學(xué)習(xí)架構(gòu)與機(jī)制的方法。在這方面,嗅覺(jué)有可能提供一種更為簡(jiǎn)單的方式,用以建立這些連接。Marblestone認(rèn)為,“這是一個(gè)有趣的關(guān)鍵切入點(diǎn),并可能成為下一代神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)基礎(chǔ)。”
好文章,需要你的鼓勵(lì)
騰訊ARC實(shí)驗(yàn)室推出AudioStory系統(tǒng),首次實(shí)現(xiàn)AI根據(jù)復(fù)雜指令創(chuàng)作完整長(zhǎng)篇音頻故事。該系統(tǒng)結(jié)合大語(yǔ)言模型的敘事推理能力與音頻生成技術(shù),通過(guò)交錯(cuò)式推理生成、解耦橋接機(jī)制和漸進(jìn)式訓(xùn)練,能夠?qū)?fù)雜指令分解為連續(xù)音頻場(chǎng)景并保持整體連貫性。在AudioStory-10K基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開(kāi)辟新方向。
Meta與特拉維夫大學(xué)聯(lián)合研發(fā)的VideoJAM技術(shù),通過(guò)讓AI同時(shí)學(xué)習(xí)外觀和運(yùn)動(dòng)信息,顯著解決了當(dāng)前視頻生成模型中動(dòng)作不連貫、違反物理定律的核心問(wèn)題。該技術(shù)僅需添加兩個(gè)線性層就能大幅提升運(yùn)動(dòng)質(zhì)量,在多項(xiàng)測(cè)試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實(shí)用化應(yīng)用奠定了重要基礎(chǔ)。
上海AI實(shí)驗(yàn)室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語(yǔ)言模型人性化對(duì)話問(wèn)題。該研究創(chuàng)建了包含20萬(wàn)高質(zhì)量樣本的訓(xùn)練數(shù)據(jù)集和MM-AlignBench評(píng)測(cè)基準(zhǔn),通過(guò)創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時(shí)顯著提升人性化交互水平,為AI價(jià)值觀對(duì)齊提供了可行技術(shù)路徑。
谷歌DeepMind團(tuán)隊(duì)開(kāi)發(fā)的GraphCast是一個(gè)革命性的AI天氣預(yù)測(cè)模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預(yù)報(bào),準(zhǔn)確性超越傳統(tǒng)方法90%的指標(biāo)。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過(guò)學(xué)習(xí)40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預(yù)測(cè)方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學(xué)領(lǐng)域帶來(lái)了效率和精度的雙重突破。