2024年對(duì)于OceanBase來(lái)說(shuō)是尤為關(guān)鍵的一年。
一方面,這一年,螞蟻集團(tuán)官宣OceanBase正式獨(dú)立運(yùn)營(yíng);
更重要的是,不少頭部企業(yè)核心業(yè)務(wù)開(kāi)始正式轉(zhuǎn)向OceanBase分布式數(shù)據(jù)庫(kù),一些企業(yè)甚至明確提出了要“All in OceanBase”。
OceanBase CEO楊冰稱(chēng),“分布式數(shù)據(jù)庫(kù)如今已經(jīng)開(kāi)始成為現(xiàn)代數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)架構(gòu),與此同時(shí),一體化數(shù)據(jù)庫(kù)也逐漸成熟、走向商用。”
2024年,在這兩大主流趨勢(shì)推動(dòng)下,OceanBase有了更大的作戰(zhàn)空間。
當(dāng)然,他們也有了新的思考和目標(biāo)。
數(shù)據(jù)庫(kù)的艱難十年
2014年11月,在AWS re:Invent大會(huì)上,亞馬遜官宣發(fā)布了Amazon Aurora,Aurora的發(fā)布,拉開(kāi)了自研數(shù)據(jù)庫(kù)的帷幕。
當(dāng)時(shí)中國(guó)數(shù)據(jù)庫(kù)商用市場(chǎng)仍處于初期階段,雖然Oracle在1989年就已經(jīng)進(jìn)入中國(guó)市場(chǎng),并帶動(dòng)了鐵路、金融、運(yùn)營(yíng)商等大型國(guó)央企的信息化升級(jí),但由于高昂的售價(jià)和運(yùn)維費(fèi)用,每年這些企業(yè)都需要巨額費(fèi)用支出,自研數(shù)據(jù)庫(kù)在這時(shí)的中國(guó)呼之欲出。
2010年,44歲的陽(yáng)振坤加入阿里,帶隊(duì)開(kāi)啟了阿里的數(shù)據(jù)庫(kù)自研之路,更準(zhǔn)確的說(shuō)法是,陽(yáng)振坤這一年在阿里內(nèi)部開(kāi)啟了分布式數(shù)據(jù)庫(kù)OceanBase的自研之路。
這一年,關(guān)系型數(shù)據(jù)庫(kù)仍是主流,但行業(yè)中已經(jīng)有了NoSQL有可能取代關(guān)系型數(shù)據(jù)庫(kù)的熱議,而分布式數(shù)據(jù)庫(kù)還只是一個(gè)不被看好的小眾路線。
楊冰回憶稱(chēng),“十幾年前,由于分布式數(shù)據(jù)庫(kù)的技術(shù)還很不成熟,就連如何用中間件做分庫(kù)、分表都還是一件很復(fù)雜的事,因而算是一條很小眾的技術(shù)路線。”
不過(guò),這還不是阿里自研數(shù)據(jù)庫(kù)之初遇到最大的難題,他們當(dāng)時(shí)遇到最大的難題其實(shí)是人才短缺。
當(dāng)時(shí)雖然一些IT技術(shù)人員已經(jīng)開(kāi)始使用數(shù)據(jù)庫(kù),但由于這項(xiàng)技術(shù)復(fù)雜度高,在國(guó)內(nèi)起步較晚,真要做數(shù)據(jù)庫(kù)自研,很難招到優(yōu)秀的數(shù)據(jù)庫(kù)人才。
這也是OceanBase后來(lái)每年召開(kāi)開(kāi)發(fā)者大會(huì),在開(kāi)發(fā)者社群上不斷投入,甚至直接與高校合作,聯(lián)合高校培養(yǎng)人才的原因之一。
當(dāng)然,這些都是后話,在阿里決定自研數(shù)據(jù)庫(kù)時(shí),擺在他們面前的第一個(gè)問(wèn)題是——選擇開(kāi)源路線,還是純自研路線?
選擇開(kāi)源路線的話,相當(dāng)于站在了巨人的肩膀上,不用經(jīng)歷從0到1的冷板凳和痛苦閉關(guān),但問(wèn)題在于,當(dāng)時(shí)國(guó)內(nèi)企業(yè)在實(shí)際應(yīng)用場(chǎng)景中,遇到的很多問(wèn)題通過(guò)開(kāi)源數(shù)據(jù)庫(kù)已經(jīng)無(wú)法從根本上得到解決。
例如,隨著企業(yè)對(duì)于海量數(shù)據(jù)、高速寫(xiě)入的需求越來(lái)越大,LSM-Tree數(shù)據(jù)結(jié)構(gòu)剛好適合這樣的需求。
然而,在傳統(tǒng)的數(shù)據(jù)庫(kù)架構(gòu)中,基于LSM-Tree構(gòu)建索引、進(jìn)行數(shù)據(jù)查詢(xún)這樣最基本的需求并不友好。
選擇純自研路線,可以從底層架構(gòu)上打破傳統(tǒng)規(guī)則,可以設(shè)計(jì)一個(gè)全新的、更適合應(yīng)用需求的架構(gòu),這樣自然也更容易解決數(shù)據(jù)庫(kù)行業(yè)當(dāng)時(shí)看似沖突的業(yè)務(wù)需求。
但這樣從無(wú)到有根技術(shù)的突破,是一個(gè)痛苦而又煎熬的過(guò)程。
當(dāng)時(shí)的OceanBase團(tuán)隊(duì)在二者之間,最終還是選擇了純自研這條“不歸路”。
就是這樣一條純自研、當(dāng)時(shí)看起來(lái)又很小眾的技術(shù)路線,OceanBase堅(jiān)持了10年。
楊冰說(shuō),“目前,OceanBase已經(jīng)做到了100%根自研。”
“從第一行代碼寫(xiě)起,我們知道每一行代碼是如何實(shí)現(xiàn)的,網(wǎng)絡(luò)存儲(chǔ)CPU是如何調(diào)度的,所以我們結(jié)合各個(gè)專(zhuān)有云、公有云場(chǎng)景做了大量的技術(shù)嘗試和自研創(chuàng)新。”
2014年,原生分布式數(shù)據(jù)庫(kù)OceanBase取代了原本的集中式數(shù)據(jù)庫(kù),支撐起了支付寶核心交易系統(tǒng),并開(kāi)始承擔(dān)“雙十一”10%的交易流量;
2016年,OceanBase 1.0版本正式發(fā)布,這一年“雙十一”期間支付寶所有支付數(shù)據(jù)鏈和交易數(shù)據(jù)鏈全部運(yùn)行在了OceanBase上,在阿里內(nèi)部率先實(shí)現(xiàn)了核心業(yè)務(wù)替代;
2021年,OceanBase發(fā)布HTAP混合引擎,并正式對(duì)外開(kāi)源,客戶(hù)數(shù)量超過(guò)400家,開(kāi)始真正成為通用型企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)。
“All in OceanBase”
當(dāng)楊冰在2024年站到OceanBase數(shù)據(jù)庫(kù)城市行|粵港澳的講臺(tái)上時(shí),分布式數(shù)據(jù)庫(kù)已經(jīng)不再是十年前那個(gè)小眾的技術(shù)路線,真正成了數(shù)據(jù)庫(kù)領(lǐng)域一條主流技術(shù)路線。
來(lái)自IDC的統(tǒng)計(jì)數(shù)據(jù)顯示,到2022年,中國(guó)分布式事務(wù)數(shù)據(jù)庫(kù)在關(guān)系型數(shù)據(jù)庫(kù)中的占比已經(jīng)提升到了16.2%。
此外,據(jù)IDC預(yù)測(cè),到2027年,中國(guó)分布式事務(wù)數(shù)據(jù)庫(kù)總體市場(chǎng)年復(fù)合增長(zhǎng)率將達(dá)到28.5%,其中在公有云上增長(zhǎng)率將達(dá)到32.8%。
這樣的增長(zhǎng)速度,已經(jīng)超過(guò)了公有云本身的增速。
而楊冰在和一些機(jī)構(gòu)分析師交流中也獲悉,以現(xiàn)有的增速來(lái)看,到2025年,國(guó)內(nèi)使用分布式數(shù)據(jù)庫(kù)的企業(yè)和場(chǎng)景占比預(yù)計(jì)將會(huì)突破50%。
今天,用不用分布式數(shù)據(jù)庫(kù)已經(jīng)不再是一個(gè)問(wèn)題,作為國(guó)內(nèi)最具代表性的分布式數(shù)據(jù)庫(kù),OceanBase如今也已經(jīng)有了超千家客戶(hù),諸如中國(guó)移動(dòng)、交通銀行、理想汽車(chē)等一些頭部企業(yè)經(jīng)過(guò)測(cè)試和準(zhǔn)備,核心業(yè)務(wù)正在轉(zhuǎn)向OceanBase分布式數(shù)據(jù)庫(kù)。
交通銀行貸記卡系統(tǒng)的分布式改造,是其向全面分布式轉(zhuǎn)型的關(guān)鍵一步,其中就包括在底層使用OceanBase。
通過(guò)使用OceanBase,大大提升交通銀行數(shù)據(jù)處理效率和系統(tǒng)可用性,金融TPS(每秒處理事務(wù)數(shù))提升6倍、跑批效率提升超過(guò)7倍。
據(jù)楊冰在大會(huì)上公布的數(shù)據(jù)顯示,如今的OceanBase已經(jīng)服務(wù)了中國(guó)70%頭部銀行、75%頭部證券、45%頭部基金,以及20%省移動(dòng)運(yùn)營(yíng)商和25%省人社部門(mén)。
在這個(gè)過(guò)程中,分布式數(shù)據(jù)庫(kù)逐漸成為現(xiàn)代數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)配置,越來(lái)越多企業(yè)開(kāi)始選擇分布式數(shù)據(jù)庫(kù),開(kāi)始“All in OceanBase”。
“一體化”新趨勢(shì)
2023年11月16日,在OceanBase2023年度發(fā)布會(huì)上,OceanBase 4.2.1 LTS正式發(fā)布。
OceanBase 4.2.1 LTS獨(dú)特之處在于,這是OceanBase首個(gè)長(zhǎng)期支持的一體化數(shù)據(jù)庫(kù)版本。
什么是分布式一體化數(shù)據(jù)庫(kù)?
在傳統(tǒng)概念中,與分布式架構(gòu)相對(duì)應(yīng)的是集中式架構(gòu),然而,企業(yè)往往是線性發(fā)展路線,在不同階段,對(duì)兩類(lèi)數(shù)據(jù)庫(kù)可能存在著不同的需求,這就意味著,對(duì)于數(shù)據(jù)庫(kù)供應(yīng)商而言,難以從工程和產(chǎn)品設(shè)計(jì)上將兩類(lèi)產(chǎn)品完全切分開(kāi)來(lái)。
“分布式和集中式本身不是對(duì)立的,”這是楊冰和OceanBase團(tuán)隊(duì)這幾年做數(shù)據(jù)庫(kù)產(chǎn)品研發(fā)和工程實(shí)踐的切身體會(huì)。
這也就有了OceanBase將分布式和單機(jī)數(shù)據(jù)庫(kù)融合在一起的設(shè)計(jì)思路來(lái)源。
vivo是受益于這類(lèi)數(shù)據(jù)庫(kù)產(chǎn)品的企業(yè)之一,vivo體系與流程部IT部DBA組總監(jiān)鄢楠指出,“vivo現(xiàn)在內(nèi)部業(yè)務(wù)系統(tǒng)已經(jīng)從十幾個(gè)數(shù)據(jù)庫(kù)實(shí)例發(fā)展到了數(shù)千個(gè),其中既有使用商業(yè)數(shù)據(jù)庫(kù)的業(yè)務(wù)系統(tǒng),也有使用開(kāi)源數(shù)據(jù)庫(kù)的業(yè)務(wù)系統(tǒng),基于降本增效考慮,在2023年開(kāi)始基于OceanBase自建數(shù)據(jù)庫(kù)。”
在這一過(guò)程中,vivo使用的正是OceanBase 4.2.1版本,也就是OceanBase的單機(jī)分布式一體化產(chǎn)品。
基于這一版本,在半年時(shí)間里,OceanBase已經(jīng)在vivo內(nèi)部15個(gè)生產(chǎn)業(yè)務(wù)系統(tǒng)上線應(yīng)用,在vivo原有的MySQL分庫(kù)分表架構(gòu)替換為OceanBase后,總資源占用節(jié)省了80%,極大地降低了vivo團(tuán)隊(duì)的運(yùn)維成本。
一體化是楊冰篤定的數(shù)據(jù)庫(kù)技術(shù)趨勢(shì),也是貫穿OceanBase過(guò)往十四年研發(fā)歷路中始終如一的方向。
在過(guò)往十四年里,OceanBase團(tuán)隊(duì)已經(jīng)基于自家數(shù)據(jù)庫(kù)實(shí)現(xiàn)了工程一體化、TP/AP一體化、云上云下一體化、單機(jī)分布式一體化,這四個(gè)“一體化”打造出的數(shù)據(jù)庫(kù),也是楊冰認(rèn)為接下來(lái)新一代數(shù)據(jù)庫(kù)該有的樣子。
就在前不久,螞蟻集團(tuán)官宣,旗下螞蟻國(guó)際、OceanBase和螞蟻數(shù)科已成立董事會(huì),開(kāi)始獨(dú)立面向市場(chǎng)。
與此同時(shí),OceanBase在3月20日的大會(huì)上官宣升級(jí)2022年發(fā)布的珊瑚計(jì)劃,提高專(zhuān)有云伙伴簽約占比至70%,伙伴獨(dú)立交付占比提高到30%。
OceanBase分布式數(shù)據(jù)庫(kù)規(guī)模化商用落地節(jié)奏由此也得以再次加快。
作為自2020年開(kāi)始獨(dú)立商業(yè)化的技術(shù)團(tuán)隊(duì),2024年,當(dāng)OceanBase正式獨(dú)立運(yùn)營(yíng)、加快進(jìn)入市場(chǎng)時(shí),一個(gè)數(shù)據(jù)庫(kù)行業(yè)新周期也悄然拉開(kāi)帷幕。
好文章,需要你的鼓勵(lì)
騰訊ARC實(shí)驗(yàn)室推出AudioStory系統(tǒng),首次實(shí)現(xiàn)AI根據(jù)復(fù)雜指令創(chuàng)作完整長(zhǎng)篇音頻故事。該系統(tǒng)結(jié)合大語(yǔ)言模型的敘事推理能力與音頻生成技術(shù),通過(guò)交錯(cuò)式推理生成、解耦橋接機(jī)制和漸進(jìn)式訓(xùn)練,能夠?qū)?fù)雜指令分解為連續(xù)音頻場(chǎng)景并保持整體連貫性。在AudioStory-10K基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開(kāi)辟新方向。
Meta與特拉維夫大學(xué)聯(lián)合研發(fā)的VideoJAM技術(shù),通過(guò)讓AI同時(shí)學(xué)習(xí)外觀和運(yùn)動(dòng)信息,顯著解決了當(dāng)前視頻生成模型中動(dòng)作不連貫、違反物理定律的核心問(wèn)題。該技術(shù)僅需添加兩個(gè)線性層就能大幅提升運(yùn)動(dòng)質(zhì)量,在多項(xiàng)測(cè)試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實(shí)用化應(yīng)用奠定了重要基礎(chǔ)。
上海AI實(shí)驗(yàn)室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語(yǔ)言模型人性化對(duì)話問(wèn)題。該研究創(chuàng)建了包含20萬(wàn)高質(zhì)量樣本的訓(xùn)練數(shù)據(jù)集和MM-AlignBench評(píng)測(cè)基準(zhǔn),通過(guò)創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時(shí)顯著提升人性化交互水平,為AI價(jià)值觀對(duì)齊提供了可行技術(shù)路徑。
谷歌DeepMind團(tuán)隊(duì)開(kāi)發(fā)的GraphCast是一個(gè)革命性的AI天氣預(yù)測(cè)模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預(yù)報(bào),準(zhǔn)確性超越傳統(tǒng)方法90%的指標(biāo)。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過(guò)學(xué)習(xí)40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預(yù)測(cè)方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學(xué)領(lǐng)域帶來(lái)了效率和精度的雙重突破。
關(guān)注智造、硬件、機(jī)器人。