10月21日,夏威夷——驍龍峰會首日,智譜與高通技術(shù)公司宣布合作將GLM-4V端側(cè)視覺大模型,面向驍龍8至尊版進行深度適配和推理優(yōu)化,支持豐富的多模態(tài)交互方式,進一步推動多模態(tài)生成式AI在終端側(cè)的部署和推廣,賦能更加情境化、個性化的終端側(cè)智能體驗。
驍龍8至尊版移動平臺搭載全新第二代高通®Oryon CPU和高通®Hexagon™ NPU,終端側(cè)AI能力再次實現(xiàn)突破,能夠賦能規(guī)模更大且更加復雜的多模態(tài)生成式AI用例在終端側(cè)高效運行。充分利用驍龍8至尊版的強大終端側(cè)AI性能和高通AI軟件棧為模型帶來的性能優(yōu)化,GLM-4V端側(cè)視覺大模型能夠?qū)崿F(xiàn)令人驚嘆的處理能力,以超過70 tokens/秒的速度在終端側(cè)高速運行。
改善情境化和定制化一直是用戶體驗的長期需求。多模態(tài)生成式AI模型能夠利用終端側(cè)豐富的傳感器數(shù)據(jù),例如文本、圖像、音頻、視頻等,打造更加直觀、無縫的智能交互體驗。通過與驍龍8至尊版進行深度適配和推理優(yōu)化,終端側(cè)多模態(tài)應用ChatGLM能夠支持三種終端側(cè)交互方式:使用相機進行實時語音對話、上傳照片進行對話、上傳視頻進行對話。豐富的多模態(tài)輸入輸出方式賦能智能助手ChatGLM實現(xiàn)了跨家庭、出行、工作和教育等多個場景的應用,例如通過手機攝像頭獲取穿搭建議,利用視覺信息實現(xiàn)智能導航,通過車內(nèi)攝像頭識別遺留物品,拍攝畫作進行風格解析等。
高通技術(shù)公司高級副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務總經(jīng)理馬德嘉表示:“高通與智譜共同致力于推動生成式AI在邊緣終端上的應用和普及,并已經(jīng)在手機、PC、汽車等領(lǐng)域展開了緊密合作。結(jié)合高通在終端側(cè)AI領(lǐng)域的長期領(lǐng)導力,跨不同邊緣終端的廣泛市場布局,以及驍龍8至尊版的AI創(chuàng)新,我們在推動終端側(cè)生成式AI發(fā)展方面獨具優(yōu)勢。多模態(tài)是發(fā)揮終端生成式AI潛力的重要技術(shù)發(fā)展方向,我們期待攜手智譜,探索多模態(tài)在終端側(cè)AI應用上的更多可能。”
智譜COO張帆表示:“驍龍8至尊版移動平臺提供了卓越的AI算力,結(jié)合高通AI軟件棧推理框架的性能優(yōu)化,使得智譜的終端側(cè)大模型可以在設備端實現(xiàn)高速推理。我們相信,終端側(cè)算力平臺的性能躍遷結(jié)合大模型能力的進步,會將生成式AI帶入新的時代。終端側(cè)運行的生成式AI,在為用戶提供變革性體驗的同時,能更好地保護用戶隱私安全,真正讓AI變革用戶的日常生活。”
GLM-4V-Mini、GLM-4V-Nano端側(cè)視覺大模型和GLM-4-9B模型即將在高通AI Hub上線,搭載驍龍8至尊版的商用手機均可支持。
好文章,需要你的鼓勵
騰訊ARC實驗室推出AudioStory系統(tǒng),首次實現(xiàn)AI根據(jù)復雜指令創(chuàng)作完整長篇音頻故事。該系統(tǒng)結(jié)合大語言模型的敘事推理能力與音頻生成技術(shù),通過交錯式推理生成、解耦橋接機制和漸進式訓練,能夠?qū)碗s指令分解為連續(xù)音頻場景并保持整體連貫性。在AudioStory-10K基準測試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開辟新方向。
Meta與特拉維夫大學聯(lián)合研發(fā)的VideoJAM技術(shù),通過讓AI同時學習外觀和運動信息,顯著解決了當前視頻生成模型中動作不連貫、違反物理定律的核心問題。該技術(shù)僅需添加兩個線性層就能大幅提升運動質(zhì)量,在多項測試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實用化應用奠定了重要基礎。
上海AI實驗室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語言模型人性化對話問題。該研究創(chuàng)建了包含20萬高質(zhì)量樣本的訓練數(shù)據(jù)集和MM-AlignBench評測基準,通過創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時顯著提升人性化交互水平,為AI價值觀對齊提供了可行技術(shù)路徑。
谷歌DeepMind團隊開發(fā)的GraphCast是一個革命性的AI天氣預測模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預報,準確性超越傳統(tǒng)方法90%的指標。該模型采用圖神經(jīng)網(wǎng)絡技術(shù),通過學習40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預測方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學領(lǐng)域帶來了效率和精度的雙重突破。