上篇的《大話“東數(shù)西算”》里,說到了東數(shù)西算是一種數(shù)據(jù)和計(jì)算的資源調(diào)配,但這種資源調(diào)配,和“南水北調(diào)”、“西氣東輸”又是大不同的。
小美:資源平衡可以理解,但數(shù)據(jù)的動(dòng)態(tài)平衡,是啥意思來?
悟空博士:大家不能簡(jiǎn)單的理解為東部的數(shù)據(jù)都要拿到西部去計(jì)算。如果這樣簡(jiǎn)單看,沒毛病,但并沒用厘清“東數(shù)西算”的大規(guī)劃。數(shù)據(jù)的動(dòng)態(tài)平衡是要先分清楚數(shù)據(jù)的分類,以此為基礎(chǔ),來理解東數(shù)西算了。
小美:悟空博士,那你快來說一說,數(shù)據(jù)怎么分類?
悟空博士:數(shù)據(jù)也有很多分類,從應(yīng)用角度來看,數(shù)據(jù)可分為熱數(shù)據(jù)和冷數(shù)據(jù)。熱數(shù)據(jù)就是需要頻繁訪問,對(duì)計(jì)算實(shí)效有較高要求的數(shù)據(jù),比如我們點(diǎn)外賣,當(dāng)然需要系統(tǒng)及時(shí)的響應(yīng),那么這個(gè)數(shù)據(jù)就是熱數(shù)據(jù)。簡(jiǎn)單理解,就是我們經(jīng)常用到的數(shù)據(jù)。
小美:有熱,就有冷吧?
悟空博士:對(duì),還有一部分就是冷數(shù)據(jù),我們偶爾訪問一下,對(duì)計(jì)算的時(shí)效性要求并不高,比如我們歸檔的電子郵件,偶爾想起來時(shí)候才會(huì)去看一眼。
小美:我知道了,冷數(shù)據(jù)和熱數(shù)據(jù)既然是按照平常用的應(yīng)用頻率來區(qū)分的,那么,這樣的區(qū)別,具體在“東數(shù)西算”中如何體現(xiàn)?
悟空博士:東數(shù)西算中的“數(shù)”,要看的是冷數(shù)據(jù)和熱數(shù)據(jù)之間的平衡,熱數(shù)據(jù)盡量留在距離用戶近的東部,而冷數(shù)據(jù)則運(yùn)到距離用戶較遠(yuǎn)的西部,數(shù)據(jù)的動(dòng)態(tài)平衡,放在這里,就是要隨著數(shù)據(jù)的冷熱進(jìn)行動(dòng)態(tài)的平衡。
小美:這種動(dòng)態(tài)平衡延伸開來,也會(huì)引發(fā)一系列效應(yīng)吧?
悟空博士: 是的,算力在寸土寸金的東部自然要更貴一些,而在自然資源豐富的西部則更具價(jià)格優(yōu)勢(shì)。但成本同樣需要考慮到,數(shù)據(jù)往返運(yùn)送所涉及到的網(wǎng)絡(luò)成本,以及往返的時(shí)間成本等。
小美:東數(shù)西算是全國(guó)一盤大棋,考量的會(huì)更多吧?
悟空博士:對(duì)頭,東數(shù)西算既要考慮算力成本,也要考慮往返的網(wǎng)絡(luò)成本以及時(shí)間成本,是結(jié)合成本考量后的平衡布局,確保相關(guān)數(shù)據(jù)的計(jì)算能保持一個(gè)成本最優(yōu)解。
當(dāng)然,“東數(shù)西算”實(shí)現(xiàn)的是更大意義上的平衡。西部的數(shù)字經(jīng)濟(jì)也會(huì)隨著算力中心的潛移,而最終受益。
小美:西部能夠接收東部的數(shù)據(jù),說明西部也有一些條件是適合來接收的,這其中有哪些契機(jī)。
悟空博士:電力成本、土地成本、人才成本放在西部,就降低了許多,因此,西部的算力就比東部的整體算力成本低,是彌補(bǔ)東部算力不足的劃算選擇。這些都是大家很容易想到的理由。
小美:那肯定還有很多大家不容易想到的理由了。
悟空博士:首先,技術(shù)是最不容忽視的,跟以往的資源調(diào)度所不同,“東數(shù)西算”之所以能提出,因?yàn)橛辛诵碌钠鯔C(jī):網(wǎng)絡(luò)能力逐步提升,互聯(lián)網(wǎng)架構(gòu)也在調(diào)整,這些讓“東數(shù)西算”成為可能。
小美:過去的網(wǎng)絡(luò)不能實(shí)現(xiàn)這樣的傳輸嗎?
悟空博士:過去的網(wǎng)絡(luò)傳輸能力還是有點(diǎn)“心有余,力不足”。傳輸海量的數(shù)據(jù),需要有強(qiáng)大的網(wǎng)絡(luò)。
曾經(jīng)有一個(gè)段子,亞馬遜為了計(jì)算處理數(shù)據(jù),公司用貨車?yán)脖P到數(shù)據(jù)中心來處理,而不是像想象中的那樣用“云”。
小美:原來還有這么一回事啊,下次咱們繼續(xù)說。
作者:
中國(guó)信通院云大所副總工程師 王蘊(yùn)韜
科技行者執(zhí)行總編輯 孫封蕾
大話“東數(shù)西算”
好文章,需要你的鼓勵(lì)
騰訊ARC實(shí)驗(yàn)室推出AudioStory系統(tǒng),首次實(shí)現(xiàn)AI根據(jù)復(fù)雜指令創(chuàng)作完整長(zhǎng)篇音頻故事。該系統(tǒng)結(jié)合大語言模型的敘事推理能力與音頻生成技術(shù),通過交錯(cuò)式推理生成、解耦橋接機(jī)制和漸進(jìn)式訓(xùn)練,能夠?qū)?fù)雜指令分解為連續(xù)音頻場(chǎng)景并保持整體連貫性。在AudioStory-10K基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開辟新方向。
Meta與特拉維夫大學(xué)聯(lián)合研發(fā)的VideoJAM技術(shù),通過讓AI同時(shí)學(xué)習(xí)外觀和運(yùn)動(dòng)信息,顯著解決了當(dāng)前視頻生成模型中動(dòng)作不連貫、違反物理定律的核心問題。該技術(shù)僅需添加兩個(gè)線性層就能大幅提升運(yùn)動(dòng)質(zhì)量,在多項(xiàng)測(cè)試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實(shí)用化應(yīng)用奠定了重要基礎(chǔ)。
上海AI實(shí)驗(yàn)室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語言模型人性化對(duì)話問題。該研究創(chuàng)建了包含20萬高質(zhì)量樣本的訓(xùn)練數(shù)據(jù)集和MM-AlignBench評(píng)測(cè)基準(zhǔn),通過創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時(shí)顯著提升人性化交互水平,為AI價(jià)值觀對(duì)齊提供了可行技術(shù)路徑。
谷歌DeepMind團(tuán)隊(duì)開發(fā)的GraphCast是一個(gè)革命性的AI天氣預(yù)測(cè)模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預(yù)報(bào),準(zhǔn)確性超越傳統(tǒng)方法90%的指標(biāo)。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過學(xué)習(xí)40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預(yù)測(cè)方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學(xué)領(lǐng)域帶來了效率和精度的雙重突破。
琢磨技術(shù)發(fā)展史,關(guān)注算力產(chǎn)業(yè),關(guān)注數(shù)字經(jīng)濟(jì)。
參與編寫了《開源法則》(人民郵電出版社),《人類計(jì)算簡(jiǎn)史:從中國(guó)算盤到數(shù)字經(jīng)濟(jì)》(中共中央黨校出版社)。