國(guó)產(chǎn)數(shù)據(jù)庫(kù)迎來(lái)黃金時(shí)代。
企業(yè)走向數(shù)字化,離不開(kāi)一個(gè)關(guān)鍵的基礎(chǔ)軟件——數(shù)據(jù)庫(kù)。顧名思義,數(shù)據(jù)庫(kù)猶如一個(gè)存儲(chǔ)、組織、管理所有數(shù)據(jù)的檔案館,是企業(yè)、醫(yī)院、人社、銀行等各種信息系統(tǒng)不可或缺的地基。這樣一個(gè)執(zhí)掌數(shù)據(jù)命脈的軟件,卻長(zhǎng)期被西方大廠所壟斷。
數(shù)據(jù)庫(kù)商業(yè)化的起點(diǎn)可以追溯至1977年,33歲的美國(guó)商業(yè)奇才拉里·埃里森敏銳嗅到關(guān)系型數(shù)據(jù)庫(kù)的商機(jī),創(chuàng)立“軟件開(kāi)發(fā)實(shí)驗(yàn)室”,它就是日后的全球最大企業(yè)級(jí)軟件公司甲骨文。第二年,中國(guó)人民大學(xué)薩師煊教授第一次將“數(shù)據(jù)庫(kù)”寫在黑板上,這拉開(kāi)了數(shù)據(jù)庫(kù)概念在中國(guó)普及的序幕。
40余年后,中國(guó)眾多網(wǎng)民參與的雙11購(gòu)物節(jié),創(chuàng)造了全球最大流量洪峰。在科技創(chuàng)新戰(zhàn)略及大數(shù)據(jù)發(fā)展的激勵(lì)下,承擔(dān)起越來(lái)越多關(guān)鍵業(yè)務(wù)場(chǎng)景的國(guó)產(chǎn)數(shù)據(jù)庫(kù),正迎來(lái)最好時(shí)代。
熱潮之中,國(guó)產(chǎn)數(shù)據(jù)庫(kù)行業(yè)漸成百家爭(zhēng)鳴之勢(shì),其中雙11背后的關(guān)鍵功臣OceanBase,也在繼獨(dú)立運(yùn)作、開(kāi)源核心代碼后,邁向新的階段。“過(guò)去一年,OceanBase的客戶數(shù)實(shí)現(xiàn)翻倍達(dá)到400多家,其中來(lái)自非金融類客戶的營(yíng)收占比超過(guò)三成。”在1月6日舉行的DC2021分布式數(shù)據(jù)庫(kù)開(kāi)發(fā)者大會(huì)上,OceanBase CEO楊冰首次對(duì)外披露其關(guān)鍵營(yíng)收信息。這個(gè)勢(shì)頭正猛的國(guó)產(chǎn)數(shù)據(jù)庫(kù)主力,正從金融走向人社、能源、通信等各行各業(yè)。經(jīng)過(guò)11年的磨礪,OceanBase不再僅僅作為螞蟻核心業(yè)務(wù)的幕后英雄,而成長(zhǎng)為觀察國(guó)產(chǎn)數(shù)據(jù)庫(kù)摸索前路和嘗試突圍的一個(gè)絕佳樣本。
01.從企業(yè)內(nèi)部賬本,到互聯(lián)網(wǎng)靈魂支柱
數(shù)據(jù)庫(kù)主要做三件事,記賬、審賬、算賬。早期數(shù)據(jù)庫(kù)主要被用于封閉環(huán)境,比如醫(yī)院存檔病例信息、企業(yè)記錄員工檔案。而隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的浪潮接棒登場(chǎng),淘寶等用戶可以無(wú)限擴(kuò)張的環(huán)境對(duì)數(shù)據(jù)庫(kù)的擴(kuò)展性提出更高要求。當(dāng)單機(jī)數(shù)據(jù)庫(kù)難以滿足數(shù)據(jù)暴增所帶來(lái)的高并發(fā)量需求,靈活可擴(kuò)展、更高性價(jià)比、可實(shí)現(xiàn)多地多中心部署的分布式數(shù)據(jù)庫(kù)成為新趨勢(shì)。
如果將單機(jī)數(shù)據(jù)庫(kù)比作燃油車,分布式數(shù)據(jù)庫(kù)就好比新能源電動(dòng)車。燃油車處理能力有限,但非常成熟;電動(dòng)車雖未成熟,但有巨大的擴(kuò)展能力和發(fā)展空間,在一些體驗(yàn)上甚至超過(guò)燃油車。2021年是分布式數(shù)據(jù)庫(kù)大發(fā)展的元年。根據(jù)Gartner的數(shù)據(jù),2021年全球分布式數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模達(dá)到38.4億美元,2025年將達(dá)到72.8億美元。Gartner最新發(fā)布的白皮書認(rèn)為,以O(shè)ceanBase為代表的原生分布式數(shù)據(jù)庫(kù)正引領(lǐng)數(shù)據(jù)管理技術(shù)發(fā)展趨勢(shì)。
如圖所示,分布式數(shù)據(jù)庫(kù)經(jīng)歷了三代演變:前兩代分布式存儲(chǔ)系統(tǒng)(NoSQL)、分布式數(shù)據(jù)庫(kù)(可擴(kuò)展的SQL)都在一定程度上犧牲了單機(jī)性能、成本和企業(yè)級(jí)功能。相比之下,第三代原生分布式數(shù)據(jù)庫(kù)通過(guò)一體化架構(gòu),既支持完整的企業(yè)級(jí)SQL功能,享受到分布式技術(shù)無(wú)限擴(kuò)展、永遠(yuǎn)在線的技術(shù)紅利,又能兼容集中式數(shù)據(jù)庫(kù)功能,實(shí)現(xiàn)與集中式相當(dāng)?shù)膯螜C(jī)性能,逐漸成為企業(yè)核心系統(tǒng)升級(jí)的首選。
從2010年開(kāi)始立項(xiàng)的OceanBase,一直是原生分布式數(shù)據(jù)庫(kù)的信仰者、開(kāi)拓者。OceanBase曾連續(xù)8年支撐雙11,并承擔(dān)會(huì)員、交易、支付、賬務(wù)等螞蟻集團(tuán)的核心業(yè)務(wù)板塊,數(shù)據(jù)量達(dá)到數(shù)百PB,服務(wù)器核數(shù)過(guò)百萬(wàn)。這打磨了它在金融級(jí)場(chǎng)景的堅(jiān)實(shí)工程基礎(chǔ)。
目前全國(guó)TOP200的頭部金融機(jī)構(gòu)中,有1/4都將OceanBase作為核心系統(tǒng)升級(jí)的首選。以工商銀行為例,自投入使用OceanBase以來(lái),工商銀行法人理財(cái)支撐著企業(yè)客戶萬(wàn)億級(jí)別的資產(chǎn)實(shí)現(xiàn)兩地三中心的城市級(jí)容災(zāi)方案,達(dá)到5級(jí)容災(zāi)要求,做到7x24小時(shí)實(shí)時(shí)服務(wù)。核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)分布式改造后,數(shù)據(jù)庫(kù)服務(wù)器資源利用率達(dá)到75%,在系統(tǒng)處理能力遭遇瓶頸的時(shí)候,可進(jìn)行便捷的水平擴(kuò)展,增加集群計(jì)算資源來(lái)提升處理能力。
在IT168和ITPUB的《國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)選型及滿意度調(diào)查》中,OceanBase的用戶滿意度在國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)中排名第一。另?yè)?jù)Forrester最新研報(bào),OceanBase是中等營(yíng)收規(guī)模賽道中唯一一家來(lái)自中國(guó)的數(shù)據(jù)庫(kù)廠商,也是全球唯三具備實(shí)現(xiàn)Forrester定義的分布式數(shù)據(jù)庫(kù)細(xì)分功能、全覆蓋能力的廠商。
▲IT168&ITPUB調(diào)查顯示,16.67%的受訪者表示其所在企業(yè)已使用或計(jì)劃采用OceanBase
02.撐起雙11的同款技術(shù),被應(yīng)用到各行各業(yè)
扛住金融級(jí)場(chǎng)景的嚴(yán)苛考驗(yàn)后,OceanBase亦憑借穩(wěn)定出色的性能,高可靠性和高性價(jià)比,逐步深入應(yīng)用至通信、政務(wù)、能源等關(guān)系國(guó)計(jì)民生的重要領(lǐng)域。根據(jù)OceanBase最新披露營(yíng)收狀況,2021年,其客戶數(shù)量同比實(shí)現(xiàn)翻倍,達(dá)到400多家,其中來(lái)自其非金融類客戶的營(yíng)收占比已達(dá)到OceanBase總營(yíng)收的35%,且在快速增長(zhǎng)中。以山東移動(dòng)為例,對(duì)于這個(gè)用戶規(guī)模排名第二的省級(jí)運(yùn)營(yíng)商來(lái)說(shuō),計(jì)費(fèi)系統(tǒng)是其一大核心業(yè)務(wù)系統(tǒng),日處理各類詳單數(shù)據(jù)130億條,數(shù)據(jù)處理性能和準(zhǔn)確性至關(guān)重要。
2020年,山東移動(dòng)數(shù)據(jù)庫(kù)幾乎沒(méi)改業(yè)務(wù)代碼,就全部遷移至OceanBase。這使其詳單處理效率提升30%,存儲(chǔ)投入成本降低90%,硬件和維保成本大幅降低,并實(shí)現(xiàn)RPO=0的機(jī)房級(jí)別容災(zāi)能力。同時(shí)源系統(tǒng)數(shù)據(jù)類型、對(duì)象、存儲(chǔ)過(guò)程僅少量修改達(dá)成應(yīng)用適配,1小時(shí)完成應(yīng)用切割,實(shí)現(xiàn)應(yīng)用系統(tǒng)平滑遷移。
此外,OceanBase已經(jīng)在支撐多個(gè)省市人社系統(tǒng)的“社保系統(tǒng)省級(jí)大集中”。比如2021年12月,江西人社系統(tǒng)在全國(guó)人社領(lǐng)域內(nèi)首個(gè)開(kāi)展國(guó)產(chǎn)化試點(diǎn),使用OceanBase數(shù)據(jù)庫(kù)運(yùn)行其機(jī)關(guān)養(yǎng)老、企業(yè)養(yǎng)老、工傷保險(xiǎn)、失業(yè)保險(xiǎn)、職業(yè)年金及財(cái)務(wù)等核心社保數(shù)據(jù)。系統(tǒng)遷移至OceanBase后,可實(shí)現(xiàn)征繳計(jì)劃生成從16小時(shí)降至最快9分鐘?;贠ceanBase多數(shù)據(jù)副本分布式架構(gòu),可確保數(shù)據(jù)萬(wàn)無(wú)一失,7x24無(wú)間斷對(duì)外提供社保信息實(shí)時(shí)查詢功能。
面向能源企業(yè)的數(shù)字化轉(zhuǎn)型需求,OceanBase將23套分散加油卡系統(tǒng)數(shù)據(jù)庫(kù)全部集中到OceanBase的1套新加油卡系統(tǒng)中,為中石化節(jié)省了大量成本。同時(shí),新系統(tǒng)可支撐近3萬(wàn)家加油站,實(shí)現(xiàn)一張加油卡全國(guó)通用,支持交易流水由“天”級(jí)降低到“秒”級(jí),實(shí)現(xiàn)一體化班日結(jié)和報(bào)表需求,有力推進(jìn)中石化生活綜合服務(wù)商戰(zhàn)略轉(zhuǎn)型。
與國(guó)家電網(wǎng)的合作中,傳統(tǒng)數(shù)據(jù)庫(kù)升級(jí)到OceanBase數(shù)據(jù)庫(kù)后,在電費(fèi)發(fā)行場(chǎng)景、電費(fèi)提取場(chǎng)景、自動(dòng)化抄表場(chǎng)景等核心業(yè)務(wù)實(shí)現(xiàn)性能的大幅度提升。在實(shí)現(xiàn)降本增效之余,以O(shè)ceanBase為代表的原生分布式數(shù)據(jù)庫(kù)正通過(guò)合作提高業(yè)務(wù)效率,改善大眾日常生活的體驗(yàn)。
03.背后技術(shù)邏輯起底,想讓用戶用腳投票
達(dá)成上述的成績(jī),離不開(kāi)OceanBase長(zhǎng)達(dá)11年的技術(shù)積累。
“我們想做的事情就是讓用戶拿腳投票。”陽(yáng)振坤教授是OceanBase創(chuàng)始人,早在2010年立項(xiàng)時(shí)便計(jì)劃做一種可擴(kuò)展的、能一體化處理交易與分析的系統(tǒng),“我們的成本可能只有別人的不到一半,關(guān)鍵是我們一些使用的便利性。”在陽(yáng)振坤眼里,一個(gè)好的分布式數(shù)據(jù)庫(kù),是“一個(gè)”可水平擴(kuò)展且一份數(shù)據(jù)存儲(chǔ)既進(jìn)行交易處理又進(jìn)行分析處理的數(shù)據(jù)庫(kù)。它具備“一個(gè)數(shù)據(jù)庫(kù)”、可水平擴(kuò)展和HTAP的三個(gè)重要特性。
此前數(shù)據(jù)庫(kù)系統(tǒng)通常分別沿著事務(wù)處理、數(shù)據(jù)分析兩條路走,而OceanBase想要走一條將兩者兼顧的路,為此,它經(jīng)歷了雙11、支付寶等大量業(yè)務(wù)場(chǎng)景的磨煉,以不斷驗(yàn)證其足夠穩(wěn)定成熟。對(duì)于許多客戶,數(shù)據(jù)庫(kù)關(guān)乎生死,因此必須確保從遷移到運(yùn)維都萬(wàn)無(wú)一失。在對(duì)客戶友好的一體化架構(gòu)基礎(chǔ)上,OceanBase創(chuàng)新地推出“三地五中心”城市級(jí)容災(zāi)新標(biāo)準(zhǔn),具備高可用、高擴(kuò)展、高兼容、部署靈活、高性價(jià)比等特點(diǎn),并通過(guò)Paxos協(xié)議保證數(shù)據(jù)一致性,數(shù)據(jù)不丟失。
1月6日,在DC2021分布式數(shù)據(jù)庫(kù)開(kāi)發(fā)者大會(huì)上,楊冰公布OceanBase的全新使命:“用技術(shù)讓海量數(shù)據(jù)的管理和使用更簡(jiǎn)單。”在楊傳輝看來(lái):“只有自主研發(fā),才能完全掌控內(nèi)核。只有完全掌控內(nèi)核,才能夠持續(xù)在原生分布式數(shù)據(jù)庫(kù)領(lǐng)域開(kāi)拓創(chuàng)新。”100%自研,使得OceanBase具備隨時(shí)升級(jí)調(diào)優(yōu)能力,能敏捷響應(yīng)用戶需求,實(shí)現(xiàn)快速迭代。以前傳統(tǒng)數(shù)據(jù)庫(kù)受限于業(yè)務(wù)模式和技術(shù),對(duì)客戶需求響應(yīng)較慢,易出現(xiàn)出現(xiàn)尾大不掉的情況。而OceanBase能做到完全以客戶為中心,用最快的速度響應(yīng)客戶需求。過(guò)去一年,OceanBase共迭代了8個(gè)版本,代碼提交5300多次。這也成為了OceanBase非常重要的業(yè)務(wù)模式——產(chǎn)品驅(qū)動(dòng)增長(zhǎng)。
“產(chǎn)品力始終是OceanBase的立足根本。”楊冰相信,“只有好的技術(shù),才能創(chuàng)造好的產(chǎn)品,才能真正幫助客戶。而在大量客戶的個(gè)性化需求之下,產(chǎn)品也要反過(guò)來(lái)不斷迭代優(yōu)化,最終形成良性循環(huán),促進(jìn)業(yè)務(wù)發(fā)展。”為了方便客戶使用,OceanBean持續(xù)降低企業(yè)部署數(shù)據(jù)庫(kù)的門檻,一方面提供覆蓋安裝、部署、評(píng)估、遷移、研發(fā)、運(yùn)維等全過(guò)程的一整套工具體系,另一方面用普通PC服務(wù)器即可部署,不依賴特定硬件和服務(wù),無(wú)需SAN存儲(chǔ)。
隨著產(chǎn)品不斷迭代,OceanBase的客戶結(jié)構(gòu)也在持續(xù)優(yōu)化,大量中小客戶開(kāi)始青睞原生分布式數(shù)據(jù)庫(kù),占比達(dá)到66%。2021年是OceanBase獨(dú)立公司化運(yùn)作的第二年,這一年,它的核心產(chǎn)品技術(shù)繼續(xù)精進(jìn),主要取得了五個(gè)方面的突破:
(1)從OLTP到HTAP:TPC-H整體性能提升620%,30TB刷新世界記錄,自此OceanBase成為唯一在事務(wù)處理(TPC-C測(cè)試)和數(shù)據(jù)分析(TPC-H測(cè)試)都刷新世界記錄的國(guó)產(chǎn)原生分布式數(shù)據(jù)庫(kù);
(2)單核性價(jià)比大幅提升:sysbench整體性能提升68%,支持小規(guī)格部署,性價(jià)比在全球分布式數(shù)據(jù)庫(kù)領(lǐng)域遙遙領(lǐng)先;
(3)更強(qiáng)跑批能力:支持超大事務(wù),一套引擎能同時(shí)處理交易和跑批,確保跑批負(fù)載不會(huì)影響正在進(jìn)行的交易業(yè)務(wù),并行DML和大數(shù)據(jù)導(dǎo)入性能分別提升270%和58%;
(4)Oracle平滑遷移:OceanBase是業(yè)內(nèi)首個(gè)支持平滑遷移Oracle的原生分布式數(shù)據(jù)庫(kù),具備Oracle和MySQL兩種兼容能力并提供遷移工具,得到多行業(yè)核心業(yè)務(wù)場(chǎng)景的應(yīng)用證明;
(5)易用性提升:支持不依賴單點(diǎn)的分布式主動(dòng)死鎖檢測(cè),能通過(guò)全鏈路監(jiān)控來(lái)大幅降低問(wèn)題排查成本。重要的基礎(chǔ)軟件創(chuàng)新往往在開(kāi)源社區(qū)。2021年6月,OceanBase向開(kāi)源邁出一小步——面向社區(qū)完全開(kāi)放300萬(wàn)行核心代碼,并發(fā)布社區(qū)版。楊傳輝說(shuō),開(kāi)源版不落于2020年雙11使用的版本。據(jù)他分享,借助其一鍵部署工具,即便是沒(méi)有寫過(guò)代碼的小白,部署OceanBase總共可能也只需半個(gè)小時(shí)。
目前該社區(qū)已經(jīng)吸引全球超過(guò)2.3萬(wàn)名社區(qū)用戶,有逾100位外部開(kāi)發(fā)者,每3個(gè)月,OceanBase就會(huì)發(fā)布一個(gè)新的開(kāi)源版本。最新社區(qū)版將電商秒殺場(chǎng)景性能大幅提升300%,并兼容自主操作系統(tǒng)統(tǒng)信UOS。除了技術(shù)熱情外,楊傳輝也考慮實(shí)施一種將開(kāi)源代碼與云服務(wù)結(jié)合的商業(yè)模式,使開(kāi)源這件事能夠持續(xù)推進(jìn)。楊傳輝向智東西透露,在2022年,OceanBase會(huì)做一個(gè)更加輕量的一體化架構(gòu),使用戶部署成本更低,使用更小的CPU、內(nèi)存,同時(shí)支持更高指標(biāo)的數(shù)據(jù)量,并獲得更優(yōu)性能。OceanBase還將進(jìn)一步提升偏分析的性能,集合開(kāi)源提升易用性,面向多云做更多優(yōu)化,以及支持多模數(shù)據(jù)類型。
04.結(jié)語(yǔ):國(guó)產(chǎn)數(shù)據(jù)庫(kù)后浪崛起
無(wú)限擴(kuò)展,永遠(yuǎn)在線,讓客戶無(wú)需擔(dān)心容量和故障問(wèn)題,OceanBase已朝這個(gè)目標(biāo)奮斗了多年。楊傳輝相信,這將是對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)的一個(gè)顛覆。盡管美國(guó)數(shù)據(jù)庫(kù)大廠已筑就深厚的技術(shù)和生態(tài)壁壘,但大數(shù)據(jù)、云計(jì)算等新興技術(shù)正助推國(guó)內(nèi)企業(yè)在分布式數(shù)據(jù)庫(kù)等新型數(shù)據(jù)庫(kù)賽道的發(fā)展。自研技術(shù)和培育生態(tài)注定要翻山越嶺,路還長(zhǎng),國(guó)內(nèi)數(shù)據(jù)庫(kù)企業(yè)們已經(jīng)積極行動(dòng)起來(lái)。
作者 | 心緣
編輯 | 漠影