近日,ARM發(fā)布 2023全面計(jì)算解決方案(TCS23),并于北京舉行了技術(shù)分享日活動,來自快手的技術(shù)專家分享了在大型項(xiàng)目中通過使用MTE來提升內(nèi)存安全的最新實(shí)踐。
ARM在 2023全面計(jì)算解決方案中,重點(diǎn)強(qiáng)調(diào)了內(nèi)存標(biāo)簽擴(kuò)展 (Memory Tagging Extension, MTE) 特性。據(jù)了解,MTE可以幫助開發(fā)者在部署之前和之后檢測到內(nèi)存安全問題,保證App內(nèi)存穩(wěn)定性提升用戶體驗(yàn),并減少安全漏洞降低受到攻擊的可能性。
作為領(lǐng)先的短視頻和直播平臺,2023年一季度,快手應(yīng)用的DAU同比增長8.3%達(dá) 3.74億,短視頻及直播內(nèi)容的總觀看次數(shù)同比增長超10%,累計(jì)互關(guān)用戶對數(shù)超過296億對。為了給用戶提供極致體驗(yàn),快手非常重視App穩(wěn)定性和保護(hù)用戶的隱私安全。
來自快手的技術(shù)專家李銳介紹,通過與ARM、Google、VIVO、榮耀等公司合作,快手在大型Android工程項(xiàng)目中使用 Arm MTE 提高內(nèi)存安全,90% 的內(nèi)存安全問題可以在 App 正式發(fā)布之前就在線下被檢測攔截,全面保障線上用戶的基礎(chǔ)體驗(yàn)。
在追求高性能和跨平臺的基礎(chǔ)軟件領(lǐng)域,快手使用C/C++/Assembly作為主要編程語言,這些語言提供了對內(nèi)存的直接靈活控制,程序員需要手動管理內(nèi)存,包括分配、釋放和直接使用地址讀寫內(nèi)存,通常被稱為內(nèi)存不安全的語言。
在快手這樣量級的App里,由于多線程并發(fā)和對象生命周期的管理復(fù)雜,外加海量用戶、高使用時(shí)長、碎片化設(shè)備等因素,很容易出現(xiàn)內(nèi)存破壞的問題,導(dǎo)致了大量偶發(fā)崩潰。并且根據(jù)Google Android的報(bào)道,75%的漏洞都和內(nèi)存非法使用有關(guān)。
過去,快手主要基于LLVM ASan工具進(jìn)行內(nèi)存破壞檢測,由于傳統(tǒng)內(nèi)存檢測工具的性能開銷較高,且需要重新編譯所有源代碼,所以幾乎無法在快手這樣量級的大型項(xiàng)目日常開發(fā)實(shí)踐中使用這些工具。
而快手MTE 自定義方案解決了這些問題,打破了傳統(tǒng)內(nèi)存檢測工具的不可能三角?;谟脩粽鎸?shí)場景,在高內(nèi)存負(fù)載下開啟MTE,依然可以十分流暢的運(yùn)行快手app。包括視頻觀看、主頁刷feed流、生產(chǎn)拍攝、直播推拉流、電商等高頻使用內(nèi)存的業(yè)務(wù)場景。累計(jì)檢出內(nèi)存破壞bug數(shù)十個(gè),包括自研庫、三方庫和系統(tǒng)GPU驅(qū)動庫等,在保證內(nèi)存安全方面發(fā)揮了重要作用。
快手穩(wěn)定性團(tuán)隊(duì)是國內(nèi)率先在Android應(yīng)用側(cè)把MTE技術(shù)完整落地用于大型App內(nèi)存安全檢測的,也早于Facebook和Unity在大型工程中實(shí)踐,取得了不錯(cuò)的收益。并且ARM也在2023MWC世界移動通信大會上,將快手的實(shí)踐作為Case Study展示。
李銳表示,通過與ARM等合作伙伴的共同努力,快手技術(shù)團(tuán)隊(duì)將持續(xù)提升系統(tǒng)穩(wěn)定性和隱私安全,為用戶提供更好的體驗(yàn)。
好文章,需要你的鼓勵
騰訊ARC實(shí)驗(yàn)室推出AudioStory系統(tǒng),首次實(shí)現(xiàn)AI根據(jù)復(fù)雜指令創(chuàng)作完整長篇音頻故事。該系統(tǒng)結(jié)合大語言模型的敘事推理能力與音頻生成技術(shù),通過交錯(cuò)式推理生成、解耦橋接機(jī)制和漸進(jìn)式訓(xùn)練,能夠?qū)?fù)雜指令分解為連續(xù)音頻場景并保持整體連貫性。在AudioStory-10K基準(zhǔn)測試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開辟新方向。
Meta與特拉維夫大學(xué)聯(lián)合研發(fā)的VideoJAM技術(shù),通過讓AI同時(shí)學(xué)習(xí)外觀和運(yùn)動信息,顯著解決了當(dāng)前視頻生成模型中動作不連貫、違反物理定律的核心問題。該技術(shù)僅需添加兩個(gè)線性層就能大幅提升運(yùn)動質(zhì)量,在多項(xiàng)測試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實(shí)用化應(yīng)用奠定了重要基礎(chǔ)。
上海AI實(shí)驗(yàn)室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語言模型人性化對話問題。該研究創(chuàng)建了包含20萬高質(zhì)量樣本的訓(xùn)練數(shù)據(jù)集和MM-AlignBench評測基準(zhǔn),通過創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時(shí)顯著提升人性化交互水平,為AI價(jià)值觀對齊提供了可行技術(shù)路徑。
谷歌DeepMind團(tuán)隊(duì)開發(fā)的GraphCast是一個(gè)革命性的AI天氣預(yù)測模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預(yù)報(bào),準(zhǔn)確性超越傳統(tǒng)方法90%的指標(biāo)。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過學(xué)習(xí)40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預(yù)測方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學(xué)領(lǐng)域帶來了效率和精度的雙重突破。