“缺芯少魂”數(shù)十年來(lái)一直是中國(guó)IT產(chǎn)業(yè)發(fā)展的一大“心病”,芯片即心臟,操作系統(tǒng)即靈魂,尤其在愈發(fā)注重自主創(chuàng)新能力的今天,代表著“靈魂”的操作系統(tǒng)已被視為計(jì)算產(chǎn)業(yè)的生態(tài)底座。
“沒有OS(操作系統(tǒng)),我們是很難把所有的硬件能力發(fā)揮出來(lái)的,所以它是整個(gè)生態(tài)建設(shè),技術(shù)軟件的一個(gè)開始。”華為鯤鵬計(jì)算副總裁,操作系統(tǒng)總經(jīng)理江大勇在華為開發(fā)者大會(huì)2020(Cloud)期間接受專訪時(shí)強(qiáng)調(diào)。
▲ 圖:華為智能計(jì)算業(yè)務(wù)部服務(wù)器操作系統(tǒng)總經(jīng)理江大勇接受科技行者采訪
早在2019年華為全聯(lián)接大會(huì)上,華為宣布了新的計(jì)算戰(zhàn)略,圍繞旗下「鯤鵬」與「昇騰」兩個(gè)基礎(chǔ)芯片族,打造一個(gè)全新的異構(gòu)計(jì)算生態(tài)。
為了將鯤鵬計(jì)算平臺(tái)硬件能力發(fā)揮出來(lái),華為將其服務(wù)器操作系統(tǒng)開源,開源后命名為 openEuler。作為主要籌備方和創(chuàng)始者,華為會(huì)逐步開放在ICT基礎(chǔ)軟件領(lǐng)域的技術(shù)積累,把操作系統(tǒng)、編譯器/JDK等領(lǐng)域的華為內(nèi)部基礎(chǔ)平臺(tái)能力開源出來(lái)。在openEuler社區(qū),社區(qū)參與者可下載操作系統(tǒng)安裝鏡像或源代碼,快速了解并掌握openEuler操作系統(tǒng)的實(shí)現(xiàn),深度參與到社區(qū)的創(chuàng)新和實(shí)踐。
需要說(shuō)明的是,鯤鵬計(jì)算產(chǎn)業(yè),是基于華為鯤鵬處理器構(gòu)建全棧IT基礎(chǔ)設(shè)施、行業(yè)應(yīng)用及服務(wù),包括PC、服務(wù)器、存儲(chǔ)、操作系統(tǒng)、中間件、虛擬化、數(shù)據(jù)庫(kù)、云服務(wù)、行業(yè)應(yīng)用以及咨詢管理服務(wù)等。而作為鯤鵬處理器原生的操作系統(tǒng)openEuler,無(wú)疑象征著整個(gè)鯤鵬生態(tài)的“靈魂”。
現(xiàn)在,openEuler又向市場(chǎng)邁進(jìn)了一步。在華為開發(fā)者大會(huì)2020(Cloud)上,openEuler社區(qū)發(fā)布首個(gè)Long Term Support版本——openEuler 20.03 LTS,并與麒麟軟件、普華基礎(chǔ)軟件、統(tǒng)信軟件、中科院軟件4家OS廠家,共同發(fā)布了基于openEuler的商業(yè)發(fā)行版。
這意味著,openEuler已具備規(guī)模商用能力,也就加速了鯤鵬生態(tài)的落地和應(yīng)用。
鯤鵬生態(tài)二三事:獨(dú)行快,眾行遠(yuǎn)
來(lái)自官網(wǎng)的說(shuō)明,openEuler是一個(gè)開源、免費(fèi)的Linux發(fā)行版平臺(tái),將通過(guò)開放的社區(qū)形式,與全球的開發(fā)者共同構(gòu)建一個(gè)開放、多元和架構(gòu)包容的軟件生態(tài)體系。
同時(shí),openEuler也是一個(gè)創(chuàng)新平臺(tái),鼓勵(lì)任何人在該平臺(tái)上提出新想法、開拓新思路、實(shí)踐新方案。
自從源代碼開放以來(lái),openEuler社區(qū)積累了一些可觀的數(shù)字,超過(guò)5000人次的ISO下載,超過(guò)200人貢獻(xiàn)代碼,貢獻(xiàn)代碼的總次數(shù)超過(guò)5000。
同時(shí),openEuler社區(qū)成立了超過(guò)30個(gè)子項(xiàng)目,一些關(guān)鍵組織也風(fēng)風(fēng)火火開始運(yùn)作起來(lái)了,比如籌備組,成立了秘書處、技術(shù)委員會(huì)、安全委員等等。
江大勇深知,openEuler社區(qū)的成長(zhǎng),源于華為和合作伙伴的共同成就。“華為跟合作伙伴之間是優(yōu)勢(shì)互補(bǔ),華為更多聚焦在內(nèi)核、基礎(chǔ)的軟件包上,合作伙伴更多聚焦在面向客戶的一些差異化適配體驗(yàn)。”
技術(shù)上互補(bǔ),商業(yè)上也是一樣。華為在計(jì)算產(chǎn)業(yè)的變現(xiàn),主要是通過(guò)主辦、部件、合作伙伴等,華為不會(huì)發(fā)布自己的OS商業(yè)版本,合作伙伴則可以通過(guò)發(fā)布基于openEuler的自有品牌OS系統(tǒng),完成商業(yè)變現(xiàn)。
以普華基礎(chǔ)軟件為例,作為openEuler社區(qū)早期的籌建者、參與者與貢獻(xiàn)者,普華iSoft見證了openEuler社區(qū)版的開發(fā)歷程。普華基礎(chǔ)軟件事業(yè)部總經(jīng)理黃建忠,算是一名開源老人,他以自己的經(jīng)驗(yàn)談到:要考量一款服務(wù)器操作系統(tǒng),通常需要考慮到可用性、可靠性、可管理性、安全性、生態(tài)建設(shè)等多維度。
作為一款商業(yè)版服務(wù)器操作系統(tǒng)產(chǎn)品,普華iSoft開發(fā)集成了智能運(yùn)維、日志管理等組件提升了產(chǎn)品的可管理性。通過(guò)LTP 7x24等全方位壓力測(cè)試,確保產(chǎn)品可以長(zhǎng)時(shí)間、重負(fù)載、無(wú)故障的運(yùn)行。同時(shí),對(duì)openEuler的codebase進(jìn)行了全面檢測(cè)、驗(yàn)證及加固,達(dá)到了安全四級(jí)的等級(jí)要求。
在產(chǎn)品研發(fā)過(guò)程中,普華一共修復(fù)了113個(gè)Bug,增加了92個(gè)組件,保證了與openEuler絕對(duì)兼容的同時(shí),對(duì)產(chǎn)品進(jìn)行了全方位的調(diào)優(yōu),確保了性能最佳;生態(tài)建設(shè)方面,普華服務(wù)器操作系統(tǒng)鯤鵬版與上下游廠商進(jìn)行了兼容適配,可以支持市面上主流的國(guó)產(chǎn)數(shù)據(jù)庫(kù)、中間件等產(chǎn)品,以滿足信創(chuàng)領(lǐng)域替代的要求。目前,普華iSoft已經(jīng)將產(chǎn)品實(shí)際部署于電科云,基于openEuler LTS的普華服務(wù)器操作系統(tǒng)鯤鵬版已成為電科云最佳推薦鏡像。
未來(lái),普華iSoft將持續(xù)參與openEuler的社區(qū)建設(shè)、技術(shù)創(chuàng)新和生態(tài)建設(shè),不斷迭代產(chǎn)品,支持openEuler完成對(duì)全國(guó)產(chǎn)處理器的支持;同時(shí),普華iSoft還在啟動(dòng)openEuler與普華全場(chǎng)景操作系統(tǒng)架構(gòu)Adaptive OS融合工作,作為普華Adoptive OS“微小中大”的大場(chǎng)景支撐,為用戶提供功能完整、可用易用、安全可靠、性能優(yōu)越的操作系統(tǒng)產(chǎn)品和服務(wù)。
同樣,麒麟軟件也經(jīng)歷了這樣一個(gè)開發(fā)歷程。麒麟軟件副總裁李震寧介紹,公司基于openEuler社區(qū),從技術(shù)上已經(jīng)實(shí)現(xiàn)了多核、顯示以及虛擬化應(yīng)用等多種應(yīng)用,可以配套麒麟系統(tǒng)上層軟件棧,實(shí)現(xiàn)了多個(gè)體系架構(gòu)同源編譯的同時(shí),還可以良好的支持國(guó)內(nèi)外主流的數(shù)據(jù)庫(kù)、中間件、高可用集群、虛擬化軟件和云平臺(tái)等,具有非常好的生態(tài)適配能力。目前,麒麟操作系統(tǒng)已經(jīng)在能源行業(yè)、省級(jí)云計(jì)算平臺(tái)、以及、電信運(yùn)營(yíng)商等領(lǐng)域進(jìn)行部署應(yīng)用。
中科院軟件所副總工程師、智能軟件研究中心主任武延軍也強(qiáng)調(diào),選擇華為,基于openEuler社區(qū)來(lái)打造EulixOS操作系統(tǒng),相比基于國(guó)外Linux社區(qū),是一種既聚焦國(guó)產(chǎn)生態(tài)又不失國(guó)際化的選擇。軟件所作為在操作系統(tǒng)領(lǐng)域具有長(zhǎng)期積累的科研院所,希望把EulixOS打造成適合科研實(shí)驗(yàn)和技術(shù)研發(fā)的開放技術(shù)平臺(tái),可集成操作系統(tǒng)最新成果,服務(wù)科研工作,服務(wù)廣大Linux開發(fā)人員,探索科研成果產(chǎn)品化的路徑,從多個(gè)角度拓展openEuler生態(tài)鏈。軟件所還將啟動(dòng)“開源軟件供應(yīng)鏈點(diǎn)亮計(jì)劃”,用供應(yīng)鏈的思路和模式,把更多優(yōu)秀的、可靠的開源軟件集成到openEuler社區(qū)。
未來(lái)的openEuler社區(qū),將堅(jiān)持每?jī)赡暌粋€(gè)正式LTS版本、每六個(gè)月一個(gè)社區(qū)創(chuàng)新版本的節(jié)奏,持續(xù)迭代。2020下半年,華為還將著手進(jìn)行openEuler相關(guān)的技術(shù)認(rèn)證、培訓(xùn)和賦能工作,比如8月份會(huì)啟動(dòng)第一批工程師認(rèn)證(初級(jí)工程師認(rèn)證),9月份將要出版的操作系統(tǒng)相關(guān)原理,由清華計(jì)算機(jī)系撰寫;9月份還將上線一些MOOC相關(guān)的課程;第四季度將要推出《openEuler應(yīng)用編程技術(shù)》和《openEuler內(nèi)核編程技術(shù)》兩門課程及實(shí)驗(yàn)指導(dǎo),由中科院軟件所負(fù)責(zé)開發(fā),其中內(nèi)核編程相關(guān)的課程大綱已經(jīng)通過(guò)中國(guó)科學(xué)院大學(xué)的必修課審核,將于下學(xué)期進(jìn)入大學(xué)課堂。
開源,已經(jīng)被華為設(shè)定為一項(xiàng)長(zhǎng)期的戰(zhàn)略性投入。江大勇談及“華為計(jì)算產(chǎn)業(yè)的開源策略”時(shí)透露,從Cloud &AI成立以來(lái),華為就一直在堅(jiān)持“硬件開放,軟件開源,使能合作伙伴”的基本原則。按照規(guī)劃,華為會(huì)在2020年6月開源GaussDB OLTP單機(jī)版數(shù)據(jù)庫(kù),開源版本的數(shù)據(jù)庫(kù)名稱為openGauss。
“獨(dú)行快,眾行遠(yuǎn),對(duì)于生態(tài)來(lái)說(shuō),一定是更多的合作伙伴共同做,才能把產(chǎn)業(yè)做大。”
數(shù)字世界的“超級(jí)英雄”:算力越大,責(zé)任越大
超級(jí)英雄電影里通常有一句經(jīng)典臺(tái)詞,“能力越大,責(zé)任越大”。而對(duì)于IT人來(lái)講,這句話應(yīng)該是“算力越大,責(zé)任就越大”。
華為云&AI BG總裁侯金龍?jiān)谌A為開發(fā)者大會(huì)2020演講中提出,全球已經(jīng)邁入數(shù)字時(shí)代,芯片的摩爾定律開始放緩,傳統(tǒng)的計(jì)算不再滿足新的需求——計(jì)算架構(gòu)進(jìn)入了創(chuàng)新的黃金時(shí)代,世界正在呼喚多樣性的算力。
龐大的算力需求下,「異構(gòu)計(jì)算」異軍突起,算力的處理趨勢(shì)隨之從傳統(tǒng)通用CPU,走向與ARM、NPU、GPU一起的并行計(jì)算和分布式計(jì)算。
異構(gòu)計(jì)算的核心點(diǎn)在于“異構(gòu)”二字,用不同制程架構(gòu)、不同指令集、不同功能的硬件組合起來(lái)解決問(wèn)題,幾乎所有“挑戰(zhàn)性問(wèn)題”都能通過(guò)它來(lái)求解。
華為芯片和硬件戰(zhàn)略Fellow艾偉介紹,2000年,x86占據(jù)主流處理器市場(chǎng)份額第一,總算力輸出達(dá)到全球70%;如今,最大的算力架構(gòu)變成了ARM平臺(tái),基于ARM指令的處理器總算力輸出達(dá)到全球82%。目前全球算力格局發(fā)生了很大變化,基于ARM架構(gòu)的算力已經(jīng)成為主流算力架構(gòu)。
在此趨勢(shì)下,半導(dǎo)體先進(jìn)工藝的發(fā)展,已經(jīng)不再由PC機(jī)來(lái)牽引了,而轉(zhuǎn)向了ARM。ARM智能手機(jī),成為半導(dǎo)體產(chǎn)業(yè)的主要驅(qū)動(dòng)力,基于ARM的產(chǎn)品創(chuàng)新總量越來(lái)越多。“很多人可能會(huì)說(shuō),這些ARM還是比較低性能的。但是歷史上,從80年代PC機(jī)開始興起,到1993年P(guān)C機(jī)的總算力輸出超過(guò)了UNIX的大機(jī)和小機(jī),那時(shí)ARM也是下里巴人,直到1998年至強(qiáng)處理器推出,達(dá)到服務(wù)器水平之后,量變轉(zhuǎn)化成質(zhì)變,現(xiàn)在X86占據(jù)整個(gè)數(shù)據(jù)中心市場(chǎng)份額的90%以上。整個(gè)過(guò)程完全是替換性的顛覆變化,這個(gè)歷史可能會(huì)再次被重復(fù)。”
艾偉所說(shuō)的便是ARM的拐點(diǎn)正在到來(lái)。2013年,ARM算力輸出已經(jīng)超過(guò)了X86。2019年鯤鵬920處理能力,達(dá)到了高端處理服務(wù)器的水平。因此在艾偉看來(lái),新的顛覆故事很可能再次上演。
借此機(jī)會(huì),華為計(jì)算產(chǎn)業(yè)戰(zhàn)略的打法是“硬件開放,軟件開源,使能合作伙伴”。首先在硬件開放方面,按照侯金龍的說(shuō)法,華為聚焦做好芯片、板卡和主板,使能合作伙伴,優(yōu)先推出自己品牌的整機(jī)系統(tǒng)……目前全球已經(jīng)有11家合作伙伴推出了基于鯤鵬主板的服務(wù)器和PC產(chǎn)品,比如黃河、蒼梧天工、紫光恒運(yùn)、湘江、同方等已經(jīng)批量上市。
在軟件開源的合作上,侯金龍介紹:“華為與全球產(chǎn)業(yè)伙伴聯(lián)合成立15個(gè)鯤鵬生態(tài)創(chuàng)新中心,華為在全球超過(guò)600家ISV合作伙伴,超過(guò)1500款通過(guò)鯤鵬認(rèn)證的產(chǎn)品和解決方案,我們希望用三年的時(shí)間,讓90%的應(yīng)用都能跑到鯤鵬的計(jì)算平臺(tái)上。”
同時(shí),華為大舉拉攏開發(fā)者,“沃土計(jì)劃2.0”問(wèn)世,華為將在2020年投入2億美元推動(dòng)鯤鵬計(jì)算產(chǎn)業(yè)發(fā)展,(去年華為就計(jì)劃五年內(nèi)投入15億美元),并將扶持高校、初創(chuàng)企業(yè)、開發(fā)人員及合作伙伴。華為計(jì)劃5年內(nèi)發(fā)展500萬(wàn)開發(fā)者,目前華為云開發(fā)者已經(jīng)增長(zhǎng)到160萬(wàn)。
好文章,需要你的鼓勵(lì)
新加坡國(guó)立大學(xué)研究團(tuán)隊(duì)開發(fā)了SPIRAL框架,通過(guò)讓AI與自己對(duì)弈零和游戲來(lái)提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡(jiǎn)單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無(wú)需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開發(fā)的GIGA-ToF技術(shù)通過(guò)融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問(wèn)題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語(yǔ)言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無(wú)法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過(guò)動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語(yǔ)言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。
關(guān)注科技創(chuàng)新、技術(shù)投資。
以文會(huì)友,左手硬核科技,右手浪漫主義。