無論是橄欖球運(yùn)動(dòng)員、機(jī)場(chǎng)交通管制員還是在公園中緊盯自己孩子的父母,我們總能靠大腦記下自己看到的一切。即使是暫時(shí)移開視線,剛剛看到的一切也仍然印在我們的腦海中。這種“視覺工作記憶”的能力似乎天然存在,不摻雜任何負(fù)擔(dān)。但麻省理工學(xué)院的一項(xiàng)最新研究表明,大腦在此期間實(shí)際是在高強(qiáng)度運(yùn)轉(zhuǎn)。每當(dāng)有關(guān)鍵物體在我們的視野中移動(dòng)時(shí)(無論是因?yàn)槲矬w本身移動(dòng),還是我們的目光游移),大腦都會(huì)在相對(duì)大腦半球的神經(jīng)元之間重新編碼,由此實(shí)現(xiàn)記憶的即時(shí)轉(zhuǎn)移。
這項(xiàng)發(fā)現(xiàn)已經(jīng)由Picower學(xué)習(xí)與記憶研究所的神經(jīng)科學(xué)家們發(fā)表在《自然》雜志上。從動(dòng)物實(shí)驗(yàn)的角度解釋,我們視覺系統(tǒng)的基礎(chǔ)布局,需要將左腦觀看到的內(nèi)容映射至右腦,并將右腦觀看到的內(nèi)容映射至左腦。
Picower研究所Earl Miller教授指導(dǎo)的在讀博士后、論文一作Scott Brincat提到,“人類必須有能力把握事物在真實(shí)場(chǎng)景中的位置,無論看向哪里,都必須時(shí)刻了解位置信息。因?yàn)樵谖覀円苿?dòng)視線時(shí),大腦從外部世界獲得的表示總會(huì)有所改變。”
在實(shí)驗(yàn)當(dāng)中,Brincat、Miller及其合作者發(fā)現(xiàn),當(dāng)一個(gè)物體在視野中轉(zhuǎn)換時(shí),大腦會(huì)迅速利用腦波頻率同步性的顯著變化,將信息從大腦一側(cè)引導(dǎo)至另一側(cè)。這種轉(zhuǎn)移在幾毫秒內(nèi)即可完成,其在另一大腦半球的前額葉皮層中募集一組新的神經(jīng)元,用以存儲(chǔ)記憶信息。這種新的神經(jīng)元集合將根據(jù)對(duì)象的新位置對(duì)對(duì)象進(jìn)行編碼,而大腦將繼續(xù)把該對(duì)象識(shí)別為之前另一半球視野中的對(duì)象。
Miller提到,這種在視野任意活動(dòng)的同時(shí)始終牢記事物相對(duì)位置的能力,是我們自由控制視線的基礎(chǔ)。運(yùn)動(dòng)員們可以將視野中的圖像在左右腦之間往來轉(zhuǎn)移,而不必?fù)?dān)心自己忘記剛剛看到的某一側(cè)情況。即使改變視線位置甚至超出視野以外,運(yùn)動(dòng)員仍然可以大體推斷當(dāng)前球場(chǎng)上的戰(zhàn)況。
Miller提到,“如果沒有這種能力,我們將是簡單的生物,只能對(duì)環(huán)境中當(dāng)下發(fā)生的一切做出反應(yīng),僅此而已。但好在我們可以牢記事物,對(duì)自己的行為做出主動(dòng)控制。換言之,我們不必立即做某些內(nèi)容做出反應(yīng),而是將場(chǎng)景記憶下來以備后用。”
往來轉(zhuǎn)移
在實(shí)驗(yàn)室中,研究人員們測(cè)量了動(dòng)物在嬉戲時(shí)兩個(gè)大腦半球前額葉皮層中數(shù)百個(gè)神經(jīng)元的活動(dòng)。這些動(dòng)物的視線被固定在屏幕一側(cè),物體(例如香蕉)圖像只會(huì)暫時(shí)出現(xiàn)在屏幕中央。這時(shí),動(dòng)物只能通過某一側(cè)的視野看到該物體,而且由于腦內(nèi)的交叉“布線”,物體只在一側(cè)的半球皮質(zhì)上接受處理。動(dòng)物必須牢記此圖像,而后判斷呈現(xiàn)的圖像中是否存在其他物體(例如蘋果)。但在某些試驗(yàn)中,在將原始物體保存在工作記憶中后,動(dòng)物被引導(dǎo)將視頻從一側(cè)轉(zhuǎn)換到另一側(cè),借此實(shí)際轉(zhuǎn)換了記憶圖像的所在側(cè)。
很明顯,動(dòng)物能夠準(zhǔn)確記住所呈現(xiàn)圖像與之前的圖像是否匹配;但在被迫不斷轉(zhuǎn)換視線的情況下,這種判斷能力受到了一點(diǎn)影響。Brincat認(rèn)為,這樣的錯(cuò)誤表明,大腦也需要開足馬力才能處理好記憶內(nèi)容與所見內(nèi)容之間的差異。
他強(qiáng)調(diào),“這種能力似乎天然存在,不摻雜任何負(fù)擔(dān),但大腦在此期間實(shí)際是在高強(qiáng)度運(yùn)轉(zhuǎn)。”
為了分析動(dòng)物們大腦中的實(shí)際處理過程,該團(tuán)隊(duì)訓(xùn)練出一種解碼程序,用以識(shí)別圖像記憶中神經(jīng)活動(dòng)原始數(shù)據(jù)的具體模式。正如所料,分析結(jié)果表明大腦對(duì)于半球內(nèi)的每個(gè)圖像進(jìn)行了信息編碼,而信息指示的位置與對(duì)象在視野中的實(shí)際位置相反。更值得注意的是,試驗(yàn)證明在動(dòng)物視線跨屏幕切換的情況下,編碼記憶信息的神經(jīng)活動(dòng)也會(huì)從一個(gè)大腦半球轉(zhuǎn)移至另一大腦半球。
研究小組還衡量了動(dòng)物神經(jīng)元集體活動(dòng)或腦電波的整體節(jié)律。他們發(fā)現(xiàn),記憶在從一個(gè)半球向另一個(gè)半球轉(zhuǎn)移時(shí),始終伴隨著一種標(biāo)志性的節(jié)律變化。隨著信息傳輸?shù)倪M(jìn)行,低頻“θ”波(約4-10赫茲)和高頻“β”波(約17-40 Hz)會(huì)在另一半球上同步上升,而“α/β”波(?11-17 赫茲)則同步下降。
這種節(jié)律的波動(dòng)模式,也在Miller實(shí)驗(yàn)室中關(guān)于皮質(zhì)如何使用節(jié)律變化傳遞信息的研究中得到了驗(yàn)證。低頻與高頻節(jié)律組合的增加,代表對(duì)感官信息(即動(dòng)物剛剛看到的事物表示)進(jìn)行編碼或調(diào)用。α/β頻率范圍內(nèi)的功率增加會(huì)抑制編碼,由此構(gòu)成感官信息處理的一種“門”機(jī)制。
Miller提到,“這是另一種形式的門,其中由α/β控制大腦兩個(gè)半球之間的記憶傳輸。”
意外發(fā)現(xiàn)
但除了節(jié)律模式之外,研究人員還得出另一個(gè)驚人的發(fā)現(xiàn):對(duì)于特定視野中同一位置相同物體的圖像,如果初始觀看的大腦半球不同,則前額葉皮層會(huì)使用不同的神經(jīng)元進(jìn)行重現(xiàn),而非從另一半球處轉(zhuǎn)移記憶。換句話說,與先前在右側(cè)看到香蕉、再將記憶轉(zhuǎn)移到左側(cè)的動(dòng)物相比,先在視野左側(cè)看到香蕉的動(dòng)物會(huì)使用不同的神經(jīng)元集合來表示此記憶。
對(duì)Miller來說,這一發(fā)現(xiàn)有著令人著迷的意義。神經(jīng)科學(xué)家曾認(rèn)為單個(gè)神經(jīng)元就是大腦功能中的基本單位,但最近人們開始傾向于神經(jīng)元集合才是這種基本單位。而此次新發(fā)現(xiàn)表明,即使是完全相同的信息,仍然可以由不同的、任意組成的神經(jīng)元集合進(jìn)行編碼。
Miller推測(cè)稱,“這些集合似乎也不是大腦的基本功能單元。那么,大腦的功能單元到底是什么?也許是大腦神經(jīng)網(wǎng)絡(luò)活動(dòng)創(chuàng)造的計(jì)算空間。”
除了Crinlith以及Mikael Lundqvist也參與了論文編撰。
此項(xiàng)研究由國立心理健康研究所、海軍研究辦公室、JPB基金會(huì)以及國立普通醫(yī)學(xué)科學(xué)研究所提供資金支持。除了Crincat與Miller之外,Jacob Donoghue、Meredith Mahnke、Simon Kornblith以及Mikael Lundqvist也參與了論文編撰。
好文章,需要你的鼓勵(lì)
新加坡國立大學(xué)研究團(tuán)隊(duì)開發(fā)了SPIRAL框架,通過讓AI與自己對(duì)弈零和游戲來提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。