10月21日,夏威夷——驍龍峰會(huì)首日,智譜與高通技術(shù)公司宣布合作將GLM-4V端側(cè)視覺(jué)大模型,面向驍龍8至尊版進(jìn)行深度適配和推理優(yōu)化,支持豐富的多模態(tài)交互方式,進(jìn)一步推動(dòng)多模態(tài)生成式AI在終端側(cè)的部署和推廣,賦能更加情境化、個(gè)性化的終端側(cè)智能體驗(yàn)。
驍龍8至尊版移動(dòng)平臺(tái)搭載全新第二代高通®Oryon CPU和高通®Hexagon™ NPU,終端側(cè)AI能力再次實(shí)現(xiàn)突破,能夠賦能規(guī)模更大且更加復(fù)雜的多模態(tài)生成式AI用例在終端側(cè)高效運(yùn)行。充分利用驍龍8至尊版的強(qiáng)大終端側(cè)AI性能和高通AI軟件棧為模型帶來(lái)的性能優(yōu)化,GLM-4V端側(cè)視覺(jué)大模型能夠?qū)崿F(xiàn)令人驚嘆的處理能力,以超過(guò)70 tokens/秒的速度在終端側(cè)高速運(yùn)行。
改善情境化和定制化一直是用戶體驗(yàn)的長(zhǎng)期需求。多模態(tài)生成式AI模型能夠利用終端側(cè)豐富的傳感器數(shù)據(jù),例如文本、圖像、音頻、視頻等,打造更加直觀、無(wú)縫的智能交互體驗(yàn)。通過(guò)與驍龍8至尊版進(jìn)行深度適配和推理優(yōu)化,終端側(cè)多模態(tài)應(yīng)用ChatGLM能夠支持三種終端側(cè)交互方式:使用相機(jī)進(jìn)行實(shí)時(shí)語(yǔ)音對(duì)話、上傳照片進(jìn)行對(duì)話、上傳視頻進(jìn)行對(duì)話。豐富的多模態(tài)輸入輸出方式賦能智能助手ChatGLM實(shí)現(xiàn)了跨家庭、出行、工作和教育等多個(gè)場(chǎng)景的應(yīng)用,例如通過(guò)手機(jī)攝像頭獲取穿搭建議,利用視覺(jué)信息實(shí)現(xiàn)智能導(dǎo)航,通過(guò)車內(nèi)攝像頭識(shí)別遺留物品,拍攝畫作進(jìn)行風(fēng)格解析等。
高通技術(shù)公司高級(jí)副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉表示:“高通與智譜共同致力于推動(dòng)生成式AI在邊緣終端上的應(yīng)用和普及,并已經(jīng)在手機(jī)、PC、汽車等領(lǐng)域展開(kāi)了緊密合作。結(jié)合高通在終端側(cè)AI領(lǐng)域的長(zhǎng)期領(lǐng)導(dǎo)力,跨不同邊緣終端的廣泛市場(chǎng)布局,以及驍龍8至尊版的AI創(chuàng)新,我們?cè)谕苿?dòng)終端側(cè)生成式AI發(fā)展方面獨(dú)具優(yōu)勢(shì)。多模態(tài)是發(fā)揮終端生成式AI潛力的重要技術(shù)發(fā)展方向,我們期待攜手智譜,探索多模態(tài)在終端側(cè)AI應(yīng)用上的更多可能。”
智譜COO張帆表示:“驍龍8至尊版移動(dòng)平臺(tái)提供了卓越的AI算力,結(jié)合高通AI軟件棧推理框架的性能優(yōu)化,使得智譜的終端側(cè)大模型可以在設(shè)備端實(shí)現(xiàn)高速推理。我們相信,終端側(cè)算力平臺(tái)的性能躍遷結(jié)合大模型能力的進(jìn)步,會(huì)將生成式AI帶入新的時(shí)代。終端側(cè)運(yùn)行的生成式AI,在為用戶提供變革性體驗(yàn)的同時(shí),能更好地保護(hù)用戶隱私安全,真正讓AI變革用戶的日常生活。”
GLM-4V-Mini、GLM-4V-Nano端側(cè)視覺(jué)大模型和GLM-4-9B模型即將在高通AI Hub上線,搭載驍龍8至尊版的商用手機(jī)均可支持。
好文章,需要你的鼓勵(lì)
新加坡國(guó)立大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)了SPIRAL框架,通過(guò)讓AI與自己對(duì)弈零和游戲來(lái)提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡(jiǎn)單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無(wú)需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開(kāi)發(fā)的GIGA-ToF技術(shù)通過(guò)融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問(wèn)題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺(jué)解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺(jué)語(yǔ)言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無(wú)法有效利用視覺(jué)信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過(guò)動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語(yǔ)言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。