今天,Meta公司人工智能研究部門Meta AI官宣,正在著手一個長期研究項目,研究人腦如何處理語言,目標(biāo)是建立更好的語言模型。
該項目日前宣布,將與神經(jīng)成像中心NeuroSpin、法國國家數(shù)字科學(xué)與技術(shù)研究所Inria合作完成。有了這兩個基金會的參與,Meta AI將比較人工智能語言模型和人腦對相同的口語或書面句子的反應(yīng)。
“了解人類智力的起源是21世紀(jì)科學(xué)界的一大挑戰(zhàn)”,NeuroSpin主任Stanislas Dehaene說道,“語言人工神經(jīng)網(wǎng)絡(luò)越來越接近于模仿人腦的活動,從而為思考如何在神經(jīng)組織中實現(xiàn)人腦思想提供了新思路。”
目前,最接近人類語言的人工智能模型是通過觀察上下文來系統(tǒng)地分解句子,并試圖基于一種機(jī)器學(xué)習(xí)類型來預(yù)測下一個單詞。盡管這些系統(tǒng)或許會帶來一種表面“人性化”的錯覺,但相比人腦,還是差了一大截。
例如,人工智能模型的輸入是“Once upon”(從),要預(yù)測下一個詞,能夠預(yù)測到“a time”(Once upon a time,英語里常用于童話故事的開頭,相當(dāng)于“從前”),是個孤立的過程。而另一方面,對于一個在童話故事中長大的人而言,其大腦聽到 "Once upon"后,大腦不僅僅會預(yù)測“a time”是下一個詞組,腦海中還會浮現(xiàn)出與童話相關(guān)的各種神奇概念,例如邪惡的女巫、龍、城堡、英雄和其他具有文化意義的東西。
當(dāng)大腦做出這些預(yù)測時,它們會生成特定的“大腦狀態(tài)”,可以在大腦成像中看到。Meta AI利用功能性磁共振成像和腦磁圖掃描儀,在志愿者閱讀或聽故事時拍攝大腦活動的快照。
當(dāng)研究人員開始用機(jī)器學(xué)習(xí)記錄來自公共數(shù)據(jù)集的大腦掃描,并結(jié)合新的功能性磁共振成像和腦磁圖掃描儀,他們發(fā)現(xiàn)了一些有趣的事情。該研究表明,人腦中的語言處理過程與人工智能語言模型的工作原理類似,往往類似于有組織的層次結(jié)構(gòu)。
例如,當(dāng)單詞觸發(fā)視覺刺激時,大腦中有一些區(qū)域與視覺處理算法類似,也有一些區(qū)域與表示單詞理解的算法類似,而整個網(wǎng)絡(luò)的行為似乎與人工智能語言轉(zhuǎn)換器類似。
在大腦研究中,我們已經(jīng)知道,大腦的特定區(qū)域是視覺化和語言處理的一部分,它們的相互作用形成了構(gòu)建敘事和表達(dá)的網(wǎng)絡(luò)。Meta AI的結(jié)果顯示,大腦的某些區(qū)域,如前額葉和頂葉皮質(zhì)——位于大腦的前部和中部——最能代表語言模型,并能對遙遠(yuǎn)的未來進(jìn)行單詞預(yù)測。
在Meta AI工作的博士生Charlotte Caucheteux表示,“我們發(fā)現(xiàn),更好的算法是在預(yù)測下一個單詞越多,就越類似大腦的活動,這一點相當(dāng)重要,因為這表明,大腦和算法之間共享的內(nèi)部表征對于處理語言的算法是有用的。”
Meta AI的研究人員和他們的合作者認(rèn)為,他們很可能踏上了成功之路,因為他們在分析了200名志愿者的簡單閱讀測試的大腦活動后很快得到了驗證。約一周后,麻省理工學(xué)院的一個團(tuán)隊獨立完成了一項類似的研究,并得出了非常相似的結(jié)論。
通過這些研究,Meta AI希望在人腦和人工智能模型之間建立可量化的相似性,并利用這些相似性對大腦功能產(chǎn)生新見解。通過提供與人類語言使用更協(xié)調(diào)的行為和反應(yīng)的人工智能,它將能夠以自然的方式更好地與人互動。
好文章,需要你的鼓勵
新加坡國立大學(xué)研究團(tuán)隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊通過對比實驗發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強(qiáng)于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓(xùn)練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓(xùn)練效率,已在多個任務(wù)上驗證有效性。
科技行者旗下編譯團(tuán)隊,聚焦海外新技術(shù)、新觀點、新風(fēng)向。