中篇的《大話“東數(shù)西算”》里,介紹了“東數(shù)西算”里的數(shù),數(shù)據(jù)的不同,資源調(diào)度的時候,就產(chǎn)生了分別,當(dāng)然,東數(shù)西算在今天得以進(jìn)行,更重要的是有了網(wǎng)絡(luò)的強大。
小美:網(wǎng)絡(luò)已經(jīng)今非昔比,我們都感受到了上網(wǎng)速度的變化,那您說說,這網(wǎng)速的變化,技術(shù)在發(fā)生什么樣的變化?
悟空博士:今天的網(wǎng)絡(luò)能力正在逐漸提升,尤其是骨干傳輸網(wǎng)絡(luò)能力的不斷提升,互聯(lián)網(wǎng)骨干直連點及互聯(lián)網(wǎng)交換中心帶來的網(wǎng)絡(luò)扁平化架構(gòu),海量數(shù)據(jù)傳輸需求能夠得到保障,使得東數(shù)西算成為可能。
小美:悟空博士,網(wǎng)絡(luò)扁平化架構(gòu),跟互聯(lián)網(wǎng)有關(guān)系嗎?
悟空博士:網(wǎng)絡(luò)扁平化的同時,互聯(lián)網(wǎng)業(yè)務(wù)架構(gòu)也在逐步調(diào)整。互聯(lián)網(wǎng)應(yīng)用及技術(shù)架構(gòu)的不斷成熟,適應(yīng)“東數(shù)西算”架構(gòu)的應(yīng)用層出不窮?;ヂ?lián)網(wǎng)應(yīng)用也在以最低成本為核心進(jìn)行重新的架構(gòu)調(diào)整,在最便宜的地方存儲、最便宜的地方計算,互聯(lián)網(wǎng)本身也在適應(yīng)這種變化,最優(yōu)化的調(diào)度數(shù)據(jù)和算力已經(jīng)成為根植于互聯(lián)網(wǎng)系統(tǒng)的設(shè)計基因。
小美:也就是說,互聯(lián)網(wǎng)架構(gòu)也在“自適應(yīng)”應(yīng)用的發(fā)展,這樣的演進(jìn)繼續(xù)下去,“東數(shù)西算”對我們大家以后的生活有什么改變?
悟空博士:對大家而言,技術(shù)是無形的,但真真切切感受的就是,計算更便宜了。
西部算力低廉的成本攤薄了整體算力成本,算力成本的降低是普惠算力的第一步。
小美:什么叫做普惠算力?
悟空博士: 就像大家對電的認(rèn)知一樣,我們用電來照明,用電來作為各種用電器的能源,而不會太在意電的價格,這就說明,電成為普惠資源。算力,也會有一天像電一樣。
小美:電可以插上電源就有了,那普惠算力怎么來享受到?
悟空博士:計算成本的降低,會通過算力服務(wù)的價廉來感受到。
算力便宜了,基于算力的服務(wù)會隨之降價,降低了算力的準(zhǔn)入門檻,普惠的算力資源,吸引更多新入者進(jìn)入,讓競爭更為充分,覆蓋更為廣泛的數(shù)字經(jīng)濟發(fā)展奠定了更為良好的基礎(chǔ)。
小美:算力服務(wù)價格更加低廉,那是不是價廉的同時,能不能與“質(zhì)優(yōu)”兼得?
悟空博士:就像上世紀(jì)八九十年代,還會經(jīng)常停電,用蠟燭,電還不穩(wěn)定,但今天電已經(jīng)沒這個問題了,說明電已經(jīng)“質(zhì)優(yōu)價廉”了。算力和電力同樣,正在走和電力一樣的發(fā)展路徑,質(zhì)優(yōu)價廉的算力日后會成為可能。
小美: 算力走上“質(zhì)優(yōu)價廉”的過程中,東數(shù)西算是什么作用呢?
悟空博士:“東數(shù)西算”是對全國一體計算能力的頂層布局和科學(xué)規(guī)劃,為未來的大計算系統(tǒng)搭好了骨架,奠定了今后的發(fā)展基礎(chǔ)。未來算力的擴容,也將依托這個頂層設(shè)計,來高效、高質(zhì)量的實現(xiàn),是應(yīng)對未來海量算力需求的根本性保障。以后享用到“算力”,就像今天用電一樣方便且便宜。
小美:東數(shù)西算看上去很美好,那難點是什么?是“算”難,還是“數(shù)”難?
悟空博士:“算”和“數(shù)”其實都還有問題,都還沒有那么完美。其背后核心問題其實是隱藏在“算”和“數(shù)”背后的“網(wǎng)”。
“東數(shù)西算”最重要的還是要將算和數(shù)連接起來,而這既需要計算技術(shù)與網(wǎng)絡(luò)技術(shù)協(xié)同的“算網(wǎng)融合”,也需要分布式數(shù)據(jù)存儲、分布式數(shù)據(jù)傳輸之間的高效匹配。網(wǎng)絡(luò)技術(shù)才是這背后的核心。
小美:“網(wǎng)”發(fā)展到5G了,仍然不夠好?
悟空博士:網(wǎng)絡(luò)能力的提升,制約著“算”和“數(shù)”的發(fā)展,網(wǎng)絡(luò)能力是永恒的主題,可以說多大的帶寬都能迅速被海量數(shù)據(jù)傳輸迅速塞滿。
網(wǎng)絡(luò)能力將在未來相當(dāng)長一段時間內(nèi),都是東數(shù)西算的重要瓶頸,而這不但需要網(wǎng)絡(luò)核心、算力核心的統(tǒng)籌布局,也需要運營商網(wǎng)絡(luò)間更為扁平的互聯(lián)互通架構(gòu)。
小美:下次,我們可以就“網(wǎng)”的問題,再好好說說。
好文章,需要你的鼓勵
新加坡國立大學(xué)研究團隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟大學(xué)團隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設(shè)備上展現(xiàn)出色泛化能力,為機器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團隊通過對比實驗發(fā)現(xiàn),經(jīng)過強化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓(xùn)練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓(xùn)練效率,已在多個任務(wù)上驗證有效性。
琢磨技術(shù)發(fā)展史,關(guān)注算力產(chǎn)業(yè),關(guān)注數(shù)字經(jīng)濟。
參與編寫了《開源法則》(人民郵電出版社),《人類計算簡史:從中國算盤到數(shù)字經(jīng)濟》(中共中央黨校出版社)。