科技行者 8月3日 北京消息(文/高玉嫻): 2006年,網(wǎng)易在杭州成立了研究院。作為整個集團業(yè)務(wù)發(fā)展的發(fā)動機,十多年來在這里走出了很多網(wǎng)易系產(chǎn)品,包括網(wǎng)易云音樂、網(wǎng)易考拉、網(wǎng)易云課堂等等。為了支撐這些業(yè)務(wù)的進一步拓展和創(chuàng)新,研究院打造了一整套互聯(lián)網(wǎng)技術(shù)平臺,并在2016年正式對外推出網(wǎng)易云服務(wù)。
與很多消費類互聯(lián)網(wǎng)企業(yè)類似,網(wǎng)易云的多數(shù)系統(tǒng)首先都來自于內(nèi)部創(chuàng)新,經(jīng)過內(nèi)部的實踐磨合,最后才推向市場。
“舉例來說,早在研究院成立之前,網(wǎng)易技術(shù)團隊就曾為了支持網(wǎng)易博客上幾十億級別的文章和圖片的管理,搭建了第一個海量數(shù)據(jù)管理平臺,開發(fā)了分布式文件存儲系統(tǒng)。”網(wǎng)易杭州研究院執(zhí)行院長汪源在2018年云創(chuàng)大會上介紹,“而這,就是網(wǎng)易云上對象存儲系統(tǒng)的第一個版本。”
正式對外發(fā)布的這兩年來,網(wǎng)易云的成績是有目共睹的。據(jù)汪源透露,截至目前網(wǎng)易云已經(jīng)服務(wù)了45萬家企業(yè),覆蓋 55萬開發(fā)者,通過各類企業(yè)應(yīng)用連接了超過8億互聯(lián)網(wǎng)用戶。
“這兩年我們服務(wù)了大量的外部客戶,除了互聯(lián)網(wǎng)企業(yè),還有很多傳統(tǒng)行業(yè)客戶。在這個過程中,我們發(fā)現(xiàn)數(shù)字經(jīng)濟已經(jīng)成為中國經(jīng)濟創(chuàng)新發(fā)展的主流模式,可以說未來只有一種企業(yè),就是‘數(shù)字企業(yè)’。而要成為數(shù)字企業(yè),就必然離不開大數(shù)據(jù)、云計算等技術(shù)的支持。”汪源表示。
堅定地站在開源、開放的道路上
去年,在第一屆中國云創(chuàng)大會上,網(wǎng)易推出了場景化云服務(wù)、專屬云等產(chǎn)品體系。而今年,聚焦“開放、生態(tài)、賦能”這一主題,網(wǎng)易云的觸角進一步延伸,格局也有所不同。
汪源在大會上提出,企業(yè)上云就像婚姻,是“一輩子”的事情,因此必須考慮長遠,既要保證系統(tǒng)平滑演進、自主可控而不被云廠商鎖死,還要有源源不斷的生態(tài)人才。而滿足這三個要求,這朵云一定是開放的云,基于開源技術(shù),并采用最主流的開放標(biāo)準(zhǔn)。“唯有如此,企業(yè)的未來才有保障。”
“為此,網(wǎng)易將堅定地站在開源、開放的道路上。我們希望所寫的每一行代碼對世界而言都是一種進步,而不是重復(fù)的建設(shè)。”他說。
的確,隨著用戶需求與技術(shù)應(yīng)用越來越復(fù)雜,沒有任何一家公司可以“單打獨斗”滿足所有要求。因此,云計算的生態(tài)漸漸形成,以O(shè)penStack、Hadoop、MySQL、Kubernetes、Docker等為代表的全棧開源IT技術(shù)也變得更受青睞。
據(jù)了解,在這方面大部分的網(wǎng)易應(yīng)用都采用了OpenStack、Kubernetes、MySQL等開源技術(shù),通過把自己的IT技術(shù)共享出來,形成了如今開放的網(wǎng)易云服務(wù)。
具體地,網(wǎng)易云在大會上發(fā)布了解決企業(yè)技術(shù)架構(gòu)演進問題的“輕舟”微服務(wù),融合了網(wǎng)易6年OpenStack經(jīng)驗的“瀚海”私有云,與浪潮一起推出的全棧私有云一體機,針對數(shù)據(jù)開放了大數(shù)據(jù)全套產(chǎn)品等等。
“一葉輕舟”幫企業(yè)完成架構(gòu)演進的“千里之行”。
“輕舟”微服務(wù)解決的是企業(yè)技術(shù)架構(gòu)平滑過渡的問題。汪源認為,企業(yè)架構(gòu)的演進是一條很長的路,所以在起點與終點之間需要“一葉輕舟”來幫助完成這“千里之行”。
微服務(wù)架構(gòu)脫胎于互聯(lián)網(wǎng)企業(yè)架構(gòu),由于可以把系統(tǒng)劃分成多個小模塊,通過標(biāo)準(zhǔn)的服務(wù)接口協(xié)作,支持架構(gòu)更靈活的業(yè)務(wù)發(fā)展,因此也成為了許多傳統(tǒng)企業(yè)數(shù)字化轉(zhuǎn)型的重要“利器”。
而據(jù)汪源介紹,“輕舟”基于微服務(wù)基本單元,是一個一站式 PaaS 平臺,旨在幫助用戶解決應(yīng)用的全生命周期管理,并解決微服務(wù)的注冊、治理、鏈路跟蹤、監(jiān)控、診斷和高可用運維等問題,以快速實現(xiàn)易接入、易運維的微服務(wù)解決方案。其特點主要體現(xiàn)在五個方面:
第一是開放性,整合了如Spring Cloud、Dubbo等在內(nèi)的所有主流開源技術(shù);
第二是支持DevOps;
第三是配備了輕量級的計算技術(shù)——容器平臺,目前單個集群可支持3萬節(jié)點、45萬容器的容器云平臺;
第四是提供AIOps,采用人工智能技術(shù)幫助企業(yè)排查各類問題;
第五是提供全面的測試服務(wù),幫企業(yè)檢查每個服務(wù)是否有問題。
基于此,企業(yè)就能輕松實現(xiàn)構(gòu)建、治理和管控。具體來說,“輕舟”微服務(wù)可以幫助企業(yè)實現(xiàn)平均每天500頻次的服務(wù)端更新,節(jié)省80%的人力運維成本。以網(wǎng)易考拉為例,通過“輕舟”,已經(jīng)從原來平均每天2次的變更提升到了每天1000次,軟件產(chǎn)品質(zhì)量提升52%,實現(xiàn)了對千萬級日活的大規(guī)模業(yè)務(wù)的支持。
“瀚海”私有云+一體機,支持“??找惑w作戰(zhàn)”
從架構(gòu)上來看,“輕舟”解決了軟件層面的問題。而在底層技術(shù)層面,網(wǎng)易云還整合了資源、數(shù)據(jù)庫、緩存等基礎(chǔ)服務(wù),重磅發(fā)布了“瀚海”私有云。
“瀚海”私有云所基于的是開源架構(gòu),支持OpenStack、Kubernete等主流開源技術(shù),提供與網(wǎng)易公有云同等的 IaaS、PaaS、CaaS 服務(wù),同時還可以無縫接入網(wǎng)易公有云,享受公有云的開放性和資源彈性。
與其他OpenStack云不同的是,“瀚海”私有云單個集群就可以支持5000個物理節(jié)點、3萬臺云主機。“這在該領(lǐng)域是排名第1的,并且據(jù)我所知,這個數(shù)字是第二名的2倍。”汪源說。
根據(jù)OpenStack基金會調(diào)研,目前全球財富100強的公司超過60%部署了OpenStack云平臺,OpenStack已經(jīng)成為主流IaaS云平臺,而且這一數(shù)字有著越來越快的增長趨勢。業(yè)界也普遍認為,在云計算大時代來臨之際,中國技術(shù)人員完成了從技術(shù)采納者到技術(shù)貢獻者的轉(zhuǎn)變。在OpenStack開源技術(shù)上,中國工程師和世界頂尖的工程師已經(jīng)站在同一起跑線上,這帶給了中國企業(yè)變道超車的機遇。
而早在2012年,網(wǎng)易就開始融入OpenStack,是國內(nèi)最早采用OpenStack的企業(yè)之一。此次網(wǎng)易云發(fā)布的“瀚海”私有云在網(wǎng)易內(nèi)部服務(wù)了眾多產(chǎn)品線,已經(jīng)歷過大規(guī)模實際驗證。
“更重要的是,瀚海私有云不但支持網(wǎng)易的公有云,還可以跟全球所有主流的公有云構(gòu)成混合云,”汪源表示,“我們的目標(biāo)是把開放做到極致。”
此外,為了更好地支持“瀚海”私有云,網(wǎng)易云還聯(lián)合浪潮集團發(fā)布了業(yè)內(nèi)首款云計算全棧一體機,融合浪潮在計算基礎(chǔ)架構(gòu)的技術(shù)與網(wǎng)易云的互聯(lián)網(wǎng)級IT能力,為傳統(tǒng)企業(yè)用戶提供一站式云基礎(chǔ)設(shè)施解決方案。
“全棧一體機包含業(yè)務(wù)架構(gòu)所需要的所有云計算層次,打通了云計算IaaS、PaaS、SaaS多個層面,解決的是業(yè)務(wù)研發(fā)效率的問題。相對于此前一體機單個戰(zhàn)艦一樣的存在,它就相當(dāng)于一艘裝備齊全的航母,可以??找惑w作戰(zhàn)。”汪源介紹說。
開放大數(shù)據(jù)全套產(chǎn)品,賦能產(chǎn)業(yè)數(shù)字化創(chuàng)新
當(dāng)然,如汪源所說,網(wǎng)易云要做的是生態(tài),所以這些產(chǎn)品與服務(wù)顯然只是網(wǎng)易云服務(wù)的“冰山一角”。經(jīng)過多年在網(wǎng)易內(nèi)部的打磨驗證,在大會上,汪源還宣布開放了大數(shù)據(jù)全套產(chǎn)品,包括網(wǎng)易猛犸、Sloth、網(wǎng)易有數(shù)、DDB數(shù)據(jù)庫、時序數(shù)據(jù)庫NTSDB,所有這些產(chǎn)品都支持SQL標(biāo)準(zhǔn),能夠?qū)崿F(xiàn)私有化部署。
網(wǎng)易猛犸:這是整合了Hadoop、Spark、Impala、Flink、Azkaban、Scoop等一系列開源技術(shù)的一站式大數(shù)據(jù)管理與應(yīng)用開發(fā)平臺。據(jù)了解,此前網(wǎng)易云音樂的推薦系統(tǒng)就是基于猛犸運行。由于它支持豐富的SQL,也有可視化的開發(fā)界面,猛犸使得數(shù)據(jù)科學(xué)團隊的工作效率提升了60%;
Sloth:這是一個開放實時流計算平臺,據(jù)了解,該平臺不僅用起來很簡單、可靠,能夠自動處理故障,并且能將延遲保持在毫秒級別,同時保證結(jié)果100%的正確性;
網(wǎng)易有數(shù):一個敏捷的數(shù)據(jù)可視化分析平臺。通過數(shù)據(jù)可視化幫助企業(yè)了解內(nèi)部管理、車間產(chǎn)線等的情況。據(jù)統(tǒng)計數(shù)據(jù)顯示,過去,網(wǎng)易有數(shù)幫助網(wǎng)易內(nèi)部業(yè)務(wù)節(jié)省了83%的數(shù)據(jù)分析時間;
DDB數(shù)據(jù)庫:這是網(wǎng)易云歷史最悠久的產(chǎn)品,可以支持復(fù)雜的SQL、上千個節(jié)點、百萬級QPS、金融級數(shù)據(jù)一致性,已經(jīng)廣泛應(yīng)用于網(wǎng)易游戲、網(wǎng)易考拉、網(wǎng)易音樂、易信以及金融等行業(yè)和業(yè)務(wù)領(lǐng)域;
時序數(shù)據(jù)庫NTSDB:針對諸如車聯(lián)網(wǎng)、交通、制造領(lǐng)域傳感器采集的數(shù)據(jù), NTSDB可以做到非常高效的處理,比如數(shù)據(jù)壓縮率超過20倍,即便是億級數(shù)據(jù)的聚合查詢也可以做到秒級。
值得一提的是,不僅僅是技術(shù)平臺支持,在產(chǎn)業(yè)數(shù)字化方面,通過覆蓋東北、華東、西南,以及海南省等地建立的10個網(wǎng)易聯(lián)合創(chuàng)新中心,網(wǎng)易杭州研究院還初步實現(xiàn)了對外業(yè)務(wù)創(chuàng)新能力的賦能,總面積超過了8萬平方米,累計扶持創(chuàng)業(yè)企業(yè)超過1500家。
“我們始終認為,只有開放才有生態(tài),只有生態(tài)才能實現(xiàn)最大程度的賦能。為此,我們愿意與所有合作伙伴共建一個所有開放世界都可以共享的生態(tài),為所有產(chǎn)業(yè)的數(shù)字化創(chuàng)新實現(xiàn)賦能。”汪源總結(jié)說。
好文章,需要你的鼓勵
新加坡國立大學(xué)研究團隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟大學(xué)團隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設(shè)備上展現(xiàn)出色泛化能力,為機器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團隊通過對比實驗發(fā)現(xiàn),經(jīng)過強化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓(xùn)練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓(xùn)練效率,已在多個任務(wù)上驗證有效性。