科技行者 8月3日 北京消息(文/高玉嫻): 2006年,網(wǎng)易在杭州成立了研究院。作為整個(gè)集團(tuán)業(yè)務(wù)發(fā)展的發(fā)動(dòng)機(jī),十多年來(lái)在這里走出了很多網(wǎng)易系產(chǎn)品,包括網(wǎng)易云音樂(lè)、網(wǎng)易考拉、網(wǎng)易云課堂等等。為了支撐這些業(yè)務(wù)的進(jìn)一步拓展和創(chuàng)新,研究院打造了一整套互聯(lián)網(wǎng)技術(shù)平臺(tái),并在2016年正式對(duì)外推出網(wǎng)易云服務(wù)。
與很多消費(fèi)類互聯(lián)網(wǎng)企業(yè)類似,網(wǎng)易云的多數(shù)系統(tǒng)首先都來(lái)自于內(nèi)部創(chuàng)新,經(jīng)過(guò)內(nèi)部的實(shí)踐磨合,最后才推向市場(chǎng)。
“舉例來(lái)說(shuō),早在研究院成立之前,網(wǎng)易技術(shù)團(tuán)隊(duì)就曾為了支持網(wǎng)易博客上幾十億級(jí)別的文章和圖片的管理,搭建了第一個(gè)海量數(shù)據(jù)管理平臺(tái),開(kāi)發(fā)了分布式文件存儲(chǔ)系統(tǒng)。”網(wǎng)易杭州研究院執(zhí)行院長(zhǎng)汪源在2018年云創(chuàng)大會(huì)上介紹,“而這,就是網(wǎng)易云上對(duì)象存儲(chǔ)系統(tǒng)的第一個(gè)版本。”
正式對(duì)外發(fā)布的這兩年來(lái),網(wǎng)易云的成績(jī)是有目共睹的。據(jù)汪源透露,截至目前網(wǎng)易云已經(jīng)服務(wù)了45萬(wàn)家企業(yè),覆蓋 55萬(wàn)開(kāi)發(fā)者,通過(guò)各類企業(yè)應(yīng)用連接了超過(guò)8億互聯(lián)網(wǎng)用戶。
“這兩年我們服務(wù)了大量的外部客戶,除了互聯(lián)網(wǎng)企業(yè),還有很多傳統(tǒng)行業(yè)客戶。在這個(gè)過(guò)程中,我們發(fā)現(xiàn)數(shù)字經(jīng)濟(jì)已經(jīng)成為中國(guó)經(jīng)濟(jì)創(chuàng)新發(fā)展的主流模式,可以說(shuō)未來(lái)只有一種企業(yè),就是‘數(shù)字企業(yè)’。而要成為數(shù)字企業(yè),就必然離不開(kāi)大數(shù)據(jù)、云計(jì)算等技術(shù)的支持。”汪源表示。
網(wǎng)易杭州研究院執(zhí)行院長(zhǎng)汪源
堅(jiān)定地站在開(kāi)源、開(kāi)放的道路上
去年,在第一屆中國(guó)云創(chuàng)大會(huì)上,網(wǎng)易推出了場(chǎng)景化云服務(wù)、專屬云等產(chǎn)品體系。而今年,聚焦“開(kāi)放、生態(tài)、賦能”這一主題,網(wǎng)易云的觸角進(jìn)一步延伸,格局也有所不同。
汪源在大會(huì)上提出,企業(yè)上云就像婚姻,是“一輩子”的事情,因此必須考慮長(zhǎng)遠(yuǎn),既要保證系統(tǒng)平滑演進(jìn)、自主可控而不被云廠商鎖死,還要有源源不斷的生態(tài)人才。而滿足這三個(gè)要求,這朵云一定是開(kāi)放的云,基于開(kāi)源技術(shù),并采用最主流的開(kāi)放標(biāo)準(zhǔn)。“唯有如此,企業(yè)的未來(lái)才有保障。”
“為此,網(wǎng)易將堅(jiān)定地站在開(kāi)源、開(kāi)放的道路上。我們希望所寫的每一行代碼對(duì)世界而言都是一種進(jìn)步,而不是重復(fù)的建設(shè)。”他說(shuō)。
的確,隨著用戶需求與技術(shù)應(yīng)用越來(lái)越復(fù)雜,沒(méi)有任何一家公司可以“單打獨(dú)斗”滿足所有要求。因此,云計(jì)算的生態(tài)漸漸形成,以O(shè)penStack、Hadoop、MySQL、Kubernetes、Docker等為代表的全棧開(kāi)源IT技術(shù)也變得更受青睞。
據(jù)了解,在這方面大部分的網(wǎng)易應(yīng)用都采用了OpenStack、Kubernetes、MySQL等開(kāi)源技術(shù),通過(guò)把自己的IT技術(shù)共享出來(lái),形成了如今開(kāi)放的網(wǎng)易云服務(wù)。
具體地,網(wǎng)易云在大會(huì)上發(fā)布了解決企業(yè)技術(shù)架構(gòu)演進(jìn)問(wèn)題的“輕舟”微服務(wù),融合了網(wǎng)易6年OpenStack經(jīng)驗(yàn)的“瀚海”私有云,與浪潮一起推出的全棧私有云一體機(jī),針對(duì)數(shù)據(jù)開(kāi)放了大數(shù)據(jù)全套產(chǎn)品等等。
“一葉輕舟”幫企業(yè)完成架構(gòu)演進(jìn)的“千里之行”。
“輕舟”微服務(wù)解決的是企業(yè)技術(shù)架構(gòu)平滑過(guò)渡的問(wèn)題。汪源認(rèn)為,企業(yè)架構(gòu)的演進(jìn)是一條很長(zhǎng)的路,所以在起點(diǎn)與終點(diǎn)之間需要“一葉輕舟”來(lái)幫助完成這“千里之行”。
微服務(wù)架構(gòu)脫胎于互聯(lián)網(wǎng)企業(yè)架構(gòu),由于可以把系統(tǒng)劃分成多個(gè)小模塊,通過(guò)標(biāo)準(zhǔn)的服務(wù)接口協(xié)作,支持架構(gòu)更靈活的業(yè)務(wù)發(fā)展,因此也成為了許多傳統(tǒng)企業(yè)數(shù)字化轉(zhuǎn)型的重要“利器”。
而據(jù)汪源介紹,“輕舟”基于微服務(wù)基本單元,是一個(gè)一站式 PaaS 平臺(tái),旨在幫助用戶解決應(yīng)用的全生命周期管理,并解決微服務(wù)的注冊(cè)、治理、鏈路跟蹤、監(jiān)控、診斷和高可用運(yùn)維等問(wèn)題,以快速實(shí)現(xiàn)易接入、易運(yùn)維的微服務(wù)解決方案。其特點(diǎn)主要體現(xiàn)在五個(gè)方面:
第一是開(kāi)放性,整合了如Spring Cloud、Dubbo等在內(nèi)的所有主流開(kāi)源技術(shù);
第二是支持DevOps;
第三是配備了輕量級(jí)的計(jì)算技術(shù)——容器平臺(tái),目前單個(gè)集群可支持3萬(wàn)節(jié)點(diǎn)、45萬(wàn)容器的容器云平臺(tái);
第四是提供AIOps,采用人工智能技術(shù)幫助企業(yè)排查各類問(wèn)題;
第五是提供全面的測(cè)試服務(wù),幫企業(yè)檢查每個(gè)服務(wù)是否有問(wèn)題。
基于此,企業(yè)就能輕松實(shí)現(xiàn)構(gòu)建、治理和管控。具體來(lái)說(shuō),“輕舟”微服務(wù)可以幫助企業(yè)實(shí)現(xiàn)平均每天500頻次的服務(wù)端更新,節(jié)省80%的人力運(yùn)維成本。以網(wǎng)易考拉為例,通過(guò)“輕舟”,已經(jīng)從原來(lái)平均每天2次的變更提升到了每天1000次,軟件產(chǎn)品質(zhì)量提升52%,實(shí)現(xiàn)了對(duì)千萬(wàn)級(jí)日活的大規(guī)模業(yè)務(wù)的支持。
“瀚海”私有云+一體機(jī),支持“??找惑w作戰(zhàn)”
從架構(gòu)上來(lái)看,“輕舟”解決了軟件層面的問(wèn)題。而在底層技術(shù)層面,網(wǎng)易云還整合了資源、數(shù)據(jù)庫(kù)、緩存等基礎(chǔ)服務(wù),重磅發(fā)布了“瀚海”私有云。
“瀚海”私有云所基于的是開(kāi)源架構(gòu),支持OpenStack、Kubernete等主流開(kāi)源技術(shù),提供與網(wǎng)易公有云同等的 IaaS、PaaS、CaaS 服務(wù),同時(shí)還可以無(wú)縫接入網(wǎng)易公有云,享受公有云的開(kāi)放性和資源彈性。
與其他OpenStack云不同的是,“瀚海”私有云單個(gè)集群就可以支持5000個(gè)物理節(jié)點(diǎn)、3萬(wàn)臺(tái)云主機(jī)。“這在該領(lǐng)域是排名第1的,并且據(jù)我所知,這個(gè)數(shù)字是第二名的2倍。”汪源說(shuō)。
根據(jù)OpenStack基金會(huì)調(diào)研,目前全球財(cái)富100強(qiáng)的公司超過(guò)60%部署了OpenStack云平臺(tái),OpenStack已經(jīng)成為主流IaaS云平臺(tái),而且這一數(shù)字有著越來(lái)越快的增長(zhǎng)趨勢(shì)。業(yè)界也普遍認(rèn)為,在云計(jì)算大時(shí)代來(lái)臨之際,中國(guó)技術(shù)人員完成了從技術(shù)采納者到技術(shù)貢獻(xiàn)者的轉(zhuǎn)變。在OpenStack開(kāi)源技術(shù)上,中國(guó)工程師和世界頂尖的工程師已經(jīng)站在同一起跑線上,這帶給了中國(guó)企業(yè)變道超車的機(jī)遇。
而早在2012年,網(wǎng)易就開(kāi)始融入OpenStack,是國(guó)內(nèi)最早采用OpenStack的企業(yè)之一。此次網(wǎng)易云發(fā)布的“瀚海”私有云在網(wǎng)易內(nèi)部服務(wù)了眾多產(chǎn)品線,已經(jīng)歷過(guò)大規(guī)模實(shí)際驗(yàn)證。
“更重要的是,瀚海私有云不但支持網(wǎng)易的公有云,還可以跟全球所有主流的公有云構(gòu)成混合云,”汪源表示,“我們的目標(biāo)是把開(kāi)放做到極致。”
此外,為了更好地支持“瀚海”私有云,網(wǎng)易云還聯(lián)合浪潮集團(tuán)發(fā)布了業(yè)內(nèi)首款云計(jì)算全棧一體機(jī),融合浪潮在計(jì)算基礎(chǔ)架構(gòu)的技術(shù)與網(wǎng)易云的互聯(lián)網(wǎng)級(jí)IT能力,為傳統(tǒng)企業(yè)用戶提供一站式云基礎(chǔ)設(shè)施解決方案。
“全棧一體機(jī)包含業(yè)務(wù)架構(gòu)所需要的所有云計(jì)算層次,打通了云計(jì)算IaaS、PaaS、SaaS多個(gè)層面,解決的是業(yè)務(wù)研發(fā)效率的問(wèn)題。相對(duì)于此前一體機(jī)單個(gè)戰(zhàn)艦一樣的存在,它就相當(dāng)于一艘裝備齊全的航母,可以海空一體作戰(zhàn)。”汪源介紹說(shuō)。
開(kāi)放大數(shù)據(jù)全套產(chǎn)品,賦能產(chǎn)業(yè)數(shù)字化創(chuàng)新
當(dāng)然,如汪源所說(shuō),網(wǎng)易云要做的是生態(tài),所以這些產(chǎn)品與服務(wù)顯然只是網(wǎng)易云服務(wù)的“冰山一角”。經(jīng)過(guò)多年在網(wǎng)易內(nèi)部的打磨驗(yàn)證,在大會(huì)上,汪源還宣布開(kāi)放了大數(shù)據(jù)全套產(chǎn)品,包括網(wǎng)易猛犸、Sloth、網(wǎng)易有數(shù)、DDB數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)NTSDB,所有這些產(chǎn)品都支持SQL標(biāo)準(zhǔn),能夠?qū)崿F(xiàn)私有化部署。
網(wǎng)易猛犸:這是整合了Hadoop、Spark、Impala、Flink、Azkaban、Scoop等一系列開(kāi)源技術(shù)的一站式大數(shù)據(jù)管理與應(yīng)用開(kāi)發(fā)平臺(tái)。據(jù)了解,此前網(wǎng)易云音樂(lè)的推薦系統(tǒng)就是基于猛犸運(yùn)行。由于它支持豐富的SQL,也有可視化的開(kāi)發(fā)界面,猛犸使得數(shù)據(jù)科學(xué)團(tuán)隊(duì)的工作效率提升了60%;
Sloth:這是一個(gè)開(kāi)放實(shí)時(shí)流計(jì)算平臺(tái),據(jù)了解,該平臺(tái)不僅用起來(lái)很簡(jiǎn)單、可靠,能夠自動(dòng)處理故障,并且能將延遲保持在毫秒級(jí)別,同時(shí)保證結(jié)果100%的正確性;
網(wǎng)易有數(shù):一個(gè)敏捷的數(shù)據(jù)可視化分析平臺(tái)。通過(guò)數(shù)據(jù)可視化幫助企業(yè)了解內(nèi)部管理、車間產(chǎn)線等的情況。據(jù)統(tǒng)計(jì)數(shù)據(jù)顯示,過(guò)去,網(wǎng)易有數(shù)幫助網(wǎng)易內(nèi)部業(yè)務(wù)節(jié)省了83%的數(shù)據(jù)分析時(shí)間;
DDB數(shù)據(jù)庫(kù):這是網(wǎng)易云歷史最悠久的產(chǎn)品,可以支持復(fù)雜的SQL、上千個(gè)節(jié)點(diǎn)、百萬(wàn)級(jí)QPS、金融級(jí)數(shù)據(jù)一致性,已經(jīng)廣泛應(yīng)用于網(wǎng)易游戲、網(wǎng)易考拉、網(wǎng)易音樂(lè)、易信以及金融等行業(yè)和業(yè)務(wù)領(lǐng)域;
時(shí)序數(shù)據(jù)庫(kù)NTSDB:針對(duì)諸如車聯(lián)網(wǎng)、交通、制造領(lǐng)域傳感器采集的數(shù)據(jù), NTSDB可以做到非常高效的處理,比如數(shù)據(jù)壓縮率超過(guò)20倍,即便是億級(jí)數(shù)據(jù)的聚合查詢也可以做到秒級(jí)。
值得一提的是,不僅僅是技術(shù)平臺(tái)支持,在產(chǎn)業(yè)數(shù)字化方面,通過(guò)覆蓋東北、華東、西南,以及海南省等地建立的10個(gè)網(wǎng)易聯(lián)合創(chuàng)新中心,網(wǎng)易杭州研究院還初步實(shí)現(xiàn)了對(duì)外業(yè)務(wù)創(chuàng)新能力的賦能,總面積超過(guò)了8萬(wàn)平方米,累計(jì)扶持創(chuàng)業(yè)企業(yè)超過(guò)1500家。
“我們始終認(rèn)為,只有開(kāi)放才有生態(tài),只有生態(tài)才能實(shí)現(xiàn)最大程度的賦能。為此,我們?cè)敢馀c所有合作伙伴共建一個(gè)所有開(kāi)放世界都可以共享的生態(tài),為所有產(chǎn)業(yè)的數(shù)字化創(chuàng)新實(shí)現(xiàn)賦能。”汪源總結(jié)說(shuō)。
好文章,需要你的鼓勵(lì)
騰訊ARC實(shí)驗(yàn)室推出AudioStory系統(tǒng),首次實(shí)現(xiàn)AI根據(jù)復(fù)雜指令創(chuàng)作完整長(zhǎng)篇音頻故事。該系統(tǒng)結(jié)合大語(yǔ)言模型的敘事推理能力與音頻生成技術(shù),通過(guò)交錯(cuò)式推理生成、解耦橋接機(jī)制和漸進(jìn)式訓(xùn)練,能夠?qū)?fù)雜指令分解為連續(xù)音頻場(chǎng)景并保持整體連貫性。在AudioStory-10K基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開(kāi)辟新方向。
Meta與特拉維夫大學(xué)聯(lián)合研發(fā)的VideoJAM技術(shù),通過(guò)讓AI同時(shí)學(xué)習(xí)外觀和運(yùn)動(dòng)信息,顯著解決了當(dāng)前視頻生成模型中動(dòng)作不連貫、違反物理定律的核心問(wèn)題。該技術(shù)僅需添加兩個(gè)線性層就能大幅提升運(yùn)動(dòng)質(zhì)量,在多項(xiàng)測(cè)試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實(shí)用化應(yīng)用奠定了重要基礎(chǔ)。
上海AI實(shí)驗(yàn)室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語(yǔ)言模型人性化對(duì)話問(wèn)題。該研究創(chuàng)建了包含20萬(wàn)高質(zhì)量樣本的訓(xùn)練數(shù)據(jù)集和MM-AlignBench評(píng)測(cè)基準(zhǔn),通過(guò)創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時(shí)顯著提升人性化交互水平,為AI價(jià)值觀對(duì)齊提供了可行技術(shù)路徑。
谷歌DeepMind團(tuán)隊(duì)開(kāi)發(fā)的GraphCast是一個(gè)革命性的AI天氣預(yù)測(cè)模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預(yù)報(bào),準(zhǔn)確性超越傳統(tǒng)方法90%的指標(biāo)。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過(guò)學(xué)習(xí)40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預(yù)測(cè)方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學(xué)領(lǐng)域帶來(lái)了效率和精度的雙重突破。