半個(gè)世紀(jì)前,混沌理論(Chaos theory)的先驅(qū)者們發(fā)現(xiàn),“蝴蝶效應(yīng)”使得長(zhǎng)期預(yù)測(cè)變得深不可測(cè),對(duì)復(fù)雜系統(tǒng)(如天氣、經(jīng)濟(jì)或其他任何事物)而言,即使是最小的擾動(dòng),也能觸發(fā)一系列的連鎖反應(yīng),致使結(jié)果截然不同。如果我們不能更好更精確地理解這些系統(tǒng)的狀態(tài),從而預(yù)見(jiàn)事件會(huì)發(fā)展成什么樣,我們就會(huì)生活在不確定中。
這里手動(dòng)解釋一下混沌理論的背景。近半世紀(jì)以來(lái),科學(xué)家發(fā)現(xiàn)許多自然現(xiàn)象即使可以化為單純的數(shù)學(xué)公式,但是其行徑卻無(wú)法加以預(yù)測(cè)。如氣象學(xué)家Edward Lorenz發(fā)現(xiàn)簡(jiǎn)單的熱對(duì)流現(xiàn)象居然能引起令人無(wú)法想象的氣象變化,產(chǎn)生所謂的“蝴蝶效應(yīng)”;60年代,美國(guó)數(shù)學(xué)家Stephen Smale發(fā)現(xiàn),某些物體的行徑經(jīng)過(guò)某種規(guī)則性變化之后,隨后的發(fā)展并無(wú)一定的軌跡可循,呈現(xiàn)失序的混沌狀態(tài)。
直到1963年,美國(guó)氣象學(xué)家愛(ài)德華·諾頓·洛倫茨提出混沌理論(Chaos),非線性系統(tǒng)具有的多樣性和多尺度性?;煦缋碚摻忉屃藳Q定系統(tǒng)可能產(chǎn)生隨機(jī)結(jié)果。理論的最大的貢獻(xiàn)是用簡(jiǎn)單的模型獲得明確的非周期結(jié)果。在氣象、航空及航天等領(lǐng)域的研究里有重大的作用。
但現(xiàn)在,機(jī)器可以在此領(lǐng)域大顯身手了。
在《物理評(píng)論快報(bào)》(Physical Review Letters)和《混沌》(Chaos)雜志上發(fā)表的一系列研究結(jié)果表明,科學(xué)家運(yùn)用機(jī)器學(xué)習(xí)——其擁有最近在人工智能領(lǐng)域取得成功的同一計(jì)算技術(shù)——來(lái)預(yù)測(cè)混沌系統(tǒng)未來(lái)的演變。該方法因其開(kāi)創(chuàng)性并很可能被廣泛運(yùn)用而得到專家盛贊。
德國(guó)不來(lái)梅雅各布大學(xué)(Jacobs University)計(jì)算科學(xué)教授Herbert Jaeger評(píng)價(jià)道:“機(jī)器學(xué)習(xí)能預(yù)測(cè)遙遠(yuǎn)的未來(lái),實(shí)則令人驚喜。”
這些發(fā)現(xiàn)由資深混沌理論家Edward Ott和四名馬里蘭大學(xué)的學(xué)者共同完成。他們采用了一種被稱為“庫(kù)計(jì)算”的機(jī)器學(xué)習(xí)算法,來(lái)“學(xué)習(xí)”一種典型的、叫做Kuramoto-Sivashinsky方程的混沌系統(tǒng)。這個(gè)方程式的演化方式如同火焰鋒面,在燃燒的介質(zhì)中閃爍。該方程還描述了等離子體和其他現(xiàn)象中的漂移波,并可作為“時(shí)空混沌和干擾研究的基礎(chǔ)”,奧特的研究生、論文的第一作者Jaideep Pathak說(shuō)道。
經(jīng)過(guò)對(duì)Kuramoto-Sivashinsky方程式以往的演算數(shù)據(jù)的訓(xùn)練后,計(jì)算機(jī)就可以精確地預(yù)測(cè)出,在未來(lái)的8個(gè)“李亞普諾夫時(shí)間”(Lyapunov times)中,火焰系統(tǒng)將如何演變,比以往任何方法都要超前8倍。李雅普諾夫時(shí)間代表了一個(gè)混沌系統(tǒng)的兩個(gè)幾乎相同的狀態(tài)當(dāng)出現(xiàn)指數(shù)差異時(shí)所用時(shí)間。因此,它通常設(shè)定了可預(yù)測(cè)性的范圍。
德國(guó)德累斯頓物理研究所混沌理論學(xué)家Holger Kantz說(shuō):“機(jī)器學(xué)習(xí)的確大有裨益。”“機(jī)器學(xué)習(xí)技術(shù)某種意義上說(shuō)等同于認(rèn)知真理。”
該算法本身對(duì)Kuramoto-Sivashinsky方程一無(wú)所知,它只獲取方程式演化數(shù)據(jù)。這就是機(jī)器學(xué)習(xí)法的強(qiáng)大所在。許多情況下,描述一種混沌系統(tǒng)的方程式并不為人所知,因而動(dòng)力學(xué)家需努力建模以進(jìn)行預(yù)測(cè)。Ott的研究結(jié)果表明你不需要那些方程式,需要的只是數(shù)據(jù)。Kantz說(shuō):“這篇論文表明,或許有一天我們可以通過(guò)機(jī)器學(xué)習(xí)算法來(lái)預(yù)測(cè)天氣,而不是通過(guò)復(fù)雜的大氣模型。”
除了天氣預(yù)報(bào),專家稱,機(jī)器學(xué)習(xí)技術(shù)可以幫助監(jiān)測(cè)心律失?,F(xiàn)象,監(jiān)測(cè)是否有心臟病發(fā)作跡象,并監(jiān)測(cè)大腦神經(jīng)元的放電模式,以尋找神經(jīng)元突起跡象。進(jìn)一步說(shuō),它還能有助于預(yù)測(cè)海面情況,以防洶涌的海浪危及船只,抑或發(fā)生地震。
Ott特別希望這些新工具能對(duì)預(yù)警太陽(yáng)風(fēng)暴發(fā)揮作用,像1859年噴出太陽(yáng)表面35000英里的那一次。地磁的巨變使得北極光在地球上隨處可見(jiàn),感生電壓讓許多沒(méi)有通電的電線上產(chǎn)生了電流,直接斷掉了地球上的電報(bào)系統(tǒng)。如果今天地球受到這樣規(guī)模的太陽(yáng)風(fēng)暴襲擊,人類的電子設(shè)施會(huì)遭到嚴(yán)重破壞。Ott說(shuō)“如果你知道能預(yù)測(cè)太陽(yáng)風(fēng)暴即將來(lái)臨,你只需關(guān)掉電源,之后再重啟就好了。”
Ott、Pathak和他們的同事Brian Hunt、Michelle Girvan和Zhixin Lu(現(xiàn)就職于賓夕法尼亞大學(xué))通過(guò)綜合現(xiàn)有的工具取得了成果。
約六、七年前,當(dāng)強(qiáng)大的“深度學(xué)習(xí)”算法開(kāi)始掌握像圖像和語(yǔ)音識(shí)別這樣的人工智能任務(wù)時(shí),他們開(kāi)始研究機(jī)器學(xué)習(xí),并想出巧妙的方法將其運(yùn)用于混沌理論。他們?cè)谏疃葘W(xué)習(xí)革命之前就已經(jīng)得到了一些有希望的結(jié)果。其中最重要的一個(gè)是,在21世紀(jì)初,Jaeger和德國(guó)混沌理論學(xué)家Harald Haas利用一個(gè)隨機(jī)連接的人工神經(jīng)元網(wǎng)絡(luò)——形成了庫(kù)計(jì)算中的”庫(kù)”——來(lái)學(xué)習(xí)三個(gè)混沌系統(tǒng)協(xié)同變量的動(dòng)力學(xué)法則。在對(duì)這三組數(shù)字進(jìn)行訓(xùn)練后,網(wǎng)絡(luò)可以預(yù)測(cè)出這三個(gè)變量的未來(lái)值,且預(yù)測(cè)范圍之遠(yuǎn)令人印象深刻。然而,當(dāng)有多個(gè)相互作用的變量時(shí),計(jì)算就變得難以處理了。Ott和他的同事需要一個(gè)更為行之有效的方法,使庫(kù)計(jì)算與大型混沌系統(tǒng)相關(guān)聯(lián),這些系統(tǒng)有大量的相互關(guān)聯(lián)的變量。例如,火焰前部邊緣的每一個(gè)位置,都對(duì)應(yīng)著三個(gè)不同空間方向的速度分量。
圖左至右:馬里蘭大學(xué)Jaideep Pathak,Michelle Girvan,Brian Hunt,and Edward Ott
他們花了好幾年時(shí)間才找到這個(gè)直截了當(dāng)?shù)慕鉀Q辦法。“我們利用的是在空間擴(kuò)展的混沌系統(tǒng)中相互作用的局部性”,Pathak說(shuō),“局部性意味著局部的變量受其附近變量,而非遠(yuǎn)處變量的影響。”通過(guò)利用該理論,可以將問(wèn)題分解成塊。也就是說(shuō),可以將這個(gè)問(wèn)題并行解決,利用一個(gè)神經(jīng)元庫(kù)來(lái)學(xué)習(xí)一個(gè)系統(tǒng)補(bǔ)丁,另一個(gè)庫(kù)來(lái)學(xué)習(xí)下一個(gè)補(bǔ)丁,以此類推,相鄰區(qū)域的細(xì)微重疊,闡釋了它們之間的相互作用。
并行法使得庫(kù)計(jì)算法可以處理幾乎任何大小的混亂系統(tǒng),只要該任務(wù)具備合適的計(jì)算機(jī)資源庫(kù)即可。
Ott闡明庫(kù)計(jì)算分為三步過(guò)程。例如說(shuō)你想用它來(lái)預(yù)測(cè)火焰蔓延趨勢(shì)。
首先,你在火焰鋒面前五個(gè)不同的點(diǎn)測(cè)量火焰高度,繼而測(cè)量火焰燃燒一段時(shí)間后個(gè)點(diǎn)位高度。將這些數(shù)據(jù)流輸入庫(kù)中隨機(jī)選擇的人工神經(jīng)元中。輸入數(shù)據(jù)觸發(fā)神經(jīng)元放電,進(jìn)而觸發(fā)相連的神經(jīng)元,并在整個(gè)網(wǎng)絡(luò)中發(fā)送一連串信號(hào)。
第二步是使神經(jīng)網(wǎng)絡(luò)從輸入數(shù)據(jù)中學(xué)習(xí)火焰鋒面的動(dòng)態(tài)變化。為此,輸入數(shù)據(jù)時(shí),還要監(jiān)測(cè)庫(kù)中幾個(gè)隨機(jī)選擇的神經(jīng)元的信號(hào)強(qiáng)度。以五種不同的方式加權(quán)和組合這些信號(hào)而產(chǎn)生的五個(gè)數(shù)字作為輸出。目的是調(diào)整計(jì)算輸出的各種信號(hào)的權(quán)值,直到這些輸出與下一組輸入一致——下一組輸入就是下一時(shí)刻在火焰前部測(cè)量的五個(gè)新高度。Ott解釋說(shuō):“你想要的應(yīng)該是,輸出和下一時(shí)刻的輸入相同。”
為得到正確的權(quán)重,該算法簡(jiǎn)單地將每組輸出與下組輸出或五點(diǎn)中的每一點(diǎn)的預(yù)測(cè)高度與實(shí)際火焰高度進(jìn)行比較。每一次增加或減少各種信號(hào)的權(quán)重,無(wú)論以哪種方式,它們的組合都給出了5個(gè)輸出的正確值。從一個(gè)時(shí)間點(diǎn)到下一個(gè)時(shí)間點(diǎn),隨著權(quán)重的調(diào)整,預(yù)效果測(cè)逐漸提高,直到算法能夠連續(xù)預(yù)測(cè)出火焰狀態(tài)。
“第三步時(shí)其實(shí)就是在做預(yù)測(cè)了。”Ott說(shuō)。在了解了該系統(tǒng)的動(dòng)態(tài)之后,庫(kù)計(jì)算就可以揭示其未來(lái)演變路徑。計(jì)算機(jī)本身會(huì)進(jìn)行自問(wèn)。輸出作為新的輸入反饋回來(lái),如此循環(huán)往復(fù),以此來(lái)預(yù)測(cè)火焰鋒面五個(gè)點(diǎn)位高度的演變過(guò)程。其他庫(kù)也在平行地預(yù)測(cè)火焰中其他地方的高度變化過(guò)程。
在一月份發(fā)表的物理評(píng)論快報(bào)(Physical Review Letters)的論文(論文地址:http://www.bmp.ds.mpg.de/tl_files/bmp/preprints/Zimmermann_Parlitz_preprint.pdf)中,研究人員表明,他們預(yù)測(cè)的Kuramoto-Sivashinsky方程式火焰演化,與混沌系統(tǒng)的真實(shí)演化幾乎完全一致,直到第八個(gè)李亞普諾夫時(shí)間之后,預(yù)測(cè)才開(kāi)始偏離實(shí)際情況。
常規(guī)預(yù)測(cè)混沌系統(tǒng)的方法是盡可能精確地測(cè)量每一個(gè)時(shí)間點(diǎn)的狀態(tài),利用這些數(shù)據(jù)來(lái)校準(zhǔn)物理模型,然后使得模型不斷發(fā)展。由于是近似估計(jì),必須將一個(gè)典型的系統(tǒng)的初始狀態(tài)測(cè)量100,000,000次,才能將初始狀態(tài)的數(shù)據(jù)用于更準(zhǔn)確地預(yù)測(cè)混沌系統(tǒng)未來(lái)8個(gè)李亞普諾夫時(shí)間內(nèi)的演化狀態(tài)。
這正是機(jī)器學(xué)習(xí)為“一種非常奏效且強(qiáng)大的方法”的原因,德國(guó)馬克斯普朗克動(dòng)力和自我組織學(xué)院的Ulrich Parlitz說(shuō),他和Jaeger一樣,在21世紀(jì)初也將機(jī)器學(xué)習(xí)應(yīng)用于低維度的混沌系統(tǒng)中。”我認(rèn)為這不僅在他們給出的例子中發(fā)揮作用,而且在某種意義上來(lái)說(shuō)是通用的,即可以應(yīng)用于許多過(guò)程和系統(tǒng)中。在即將發(fā)表在《混沌》(Chaos)上的一篇論文中,Parlitz和其合作伙伴應(yīng)用庫(kù)計(jì)算來(lái)預(yù)測(cè)“易激發(fā)媒介”(如心臟組織)的動(dòng)態(tài)。Parlitz認(rèn)為,深度學(xué)習(xí)雖然比庫(kù)計(jì)算更復(fù)雜,計(jì)算能力更強(qiáng),但同其他機(jī)器學(xué)習(xí)算法一樣,也能很好地解決混沌問(wèn)題。最近,麻省理工和蘇黎世聯(lián)邦理工學(xué)院的研究人員使用“長(zhǎng)短期記憶”神經(jīng)網(wǎng)絡(luò),取得了類似的結(jié)果。這種神經(jīng)網(wǎng)絡(luò)反復(fù)循環(huán),能夠長(zhǎng)時(shí)期儲(chǔ)存臨時(shí)信息。
在《物理評(píng)論快報(bào)》發(fā)表論文之后,Ott,Pathak,Girvan,Lu等人繼續(xù)推進(jìn)他們的研究,現(xiàn)在他們距離理想的預(yù)測(cè)技術(shù)的實(shí)現(xiàn)更進(jìn)一步了。在《混沌》(Chaos)發(fā)表的新研究中,他們發(fā)現(xiàn),通過(guò)混合數(shù)據(jù)驅(qū)動(dòng)、機(jī)器學(xué)習(xí)方法和傳統(tǒng)的基于模型的預(yù)測(cè),改進(jìn)了諸如Kuramoto-Sivashinsky方程這樣的混沌系統(tǒng)的預(yù)測(cè)。Ott認(rèn)為這是改善天氣預(yù)報(bào)和類似工作的更為行之有效的途徑,因?yàn)槲覀儾⒉豢偸菗碛型暾母叻直媛蕯?shù)據(jù)或完美的物理模型。他說(shuō):”我們應(yīng)該做的是基于我們擁有的知識(shí),如果我們對(duì)某事物一無(wú)所知,我們就應(yīng)該利用機(jī)器學(xué)習(xí)來(lái)填補(bǔ)無(wú)知的空白。”庫(kù)計(jì)算的預(yù)測(cè)本質(zhì)上可以用來(lái)校正模型;在Kuramoto-Sivashinsky方程的例子中,精確的預(yù)測(cè)被進(jìn)一步擴(kuò)展到了12個(gè)李亞普諾夫時(shí)間。
李亞普諾夫時(shí)間的長(zhǎng)短因不同的系統(tǒng)而異,從毫秒到數(shù)百萬(wàn)年不等。(就天氣而言,只有幾天。)時(shí)間越短,系統(tǒng)更容易受蝴蝶相應(yīng)的影響。混沌系統(tǒng)在自然界中無(wú)處不在,然而奇怪的是,混沌本身很難確定。芝加哥大學(xué)數(shù)學(xué)教授Amie Wilkinson說(shuō):”大多數(shù)人在運(yùn)用動(dòng)力系統(tǒng)時(shí)都會(huì)用到混沌這個(gè)術(shù)語(yǔ),但他們?cè)谑褂脮r(shí)確有些尷尬。”“有點(diǎn)時(shí)候說(shuō)某事有點(diǎn)混沌會(huì)給人感覺(jué)有些許俗氣。”因?yàn)樵跊](méi)有約定俗成的數(shù)學(xué)定義或充分必要的條件下引起了廣泛注意。Kantz同意這樣的說(shuō)法“混沌并不是一個(gè)簡(jiǎn)單的概念,”。在某些情況下,調(diào)整系統(tǒng)的單個(gè)參數(shù)可以使系統(tǒng)從混沌變?yōu)榉€(wěn)定,反之亦然。
Wilkinson和Kantz都在拉伸和折疊方面定義了混沌,就像面團(tuán)的重復(fù)拉伸和折疊一樣。每一塊面團(tuán)在搟面杖作用下水平伸展,在兩個(gè)空間方向上以指數(shù)的速度迅速分離,然后將面團(tuán)折疊壓平,在垂直方向?qū)⒚鎴F(tuán)凸起凹陷的部分再壓平。Kantz說(shuō),天氣、森林大火、太陽(yáng)風(fēng)暴以及其他所有混沌系統(tǒng)都是這樣的。“為了使軌跡的指數(shù)發(fā)散,需要這種拉伸,為了不使系統(tǒng)發(fā)散到無(wú)窮大,需要一些折疊。”折疊來(lái)自于系統(tǒng)中變量之間的非線性關(guān)系。
在不同維度上的拉伸和壓縮對(duì)應(yīng)于一個(gè)系統(tǒng)的正負(fù)“李亞普諾夫指數(shù)”。在《混沌》(Chaos)另一篇最新論文中,馬里蘭州的研究小組報(bào)告說(shuō),他們的庫(kù)計(jì)算機(jī)模型,能夠成功地從混沌系統(tǒng)進(jìn)化數(shù)據(jù)中,了解這些特征指數(shù)的值。為什么庫(kù)計(jì)算如此善于學(xué)習(xí)混沌系統(tǒng)的發(fā)展動(dòng)態(tài)并不是很好理解,計(jì)算機(jī)根據(jù)反饋的數(shù)據(jù)調(diào)整混沌系統(tǒng)動(dòng)力學(xué)的公式,直到這個(gè)公式能夠復(fù)制混沌系統(tǒng)的動(dòng)態(tài)變化過(guò)程。這項(xiàng)技術(shù)非常有效,事實(shí)上,Ott和其他馬里蘭研究人員現(xiàn)在打算用混沌理論來(lái)更好地理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部機(jī)制。
Ps:“如果我們對(duì)某事物一無(wú)所知,我們就應(yīng)該利用機(jī)器學(xué)習(xí)來(lái)填補(bǔ)無(wú)知的空白。”——Edward Ott
Ps:“機(jī)器學(xué)習(xí)技術(shù)某種意義上說(shuō)等同于認(rèn)知真理。”——Holger Kantz
好文章,需要你的鼓勵(lì)
新加坡國(guó)立大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)了SPIRAL框架,通過(guò)讓AI與自己對(duì)弈零和游戲來(lái)提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡(jiǎn)單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無(wú)需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開(kāi)發(fā)的GIGA-ToF技術(shù)通過(guò)融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問(wèn)題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺(jué)解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺(jué)語(yǔ)言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無(wú)法有效利用視覺(jué)信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過(guò)動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語(yǔ)言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。