張翰文

摘 要：文章針對廣域網(wǎng)架構(gòu)下的多數(shù)據(jù)副本的數(shù)據(jù)一致性問題，提出了基于ZeroMQ及增量數(shù)據(jù)抽取的同步方案，研制了同步軟件UltraSync。在中國民航流量管理系統(tǒng)的研制與應(yīng)用中，UltraSync能高效地同步中心節(jié)點(diǎn)數(shù)據(jù)分布在全國的二級分系統(tǒng)，有效解決了核心數(shù)據(jù)的分布式存儲問題。

關(guān)鍵詞：數(shù)據(jù)同步;消息中間件;分布式數(shù)據(jù)存儲

1 相關(guān)工作

1.1 數(shù)據(jù)同步軟件概況

在傳統(tǒng)數(shù)據(jù)中心建設(shè)中，核心系統(tǒng)數(shù)據(jù)一般保存在磁盤陣列，通過磁盤陣列的鏡像復(fù)制技術(shù)或存儲虛擬化技術(shù)進(jìn)行存儲設(shè)備間的同步[1-2]，可以達(dá)到同城/異地數(shù)據(jù)庫雙活，進(jìn)而達(dá)到系統(tǒng)的容災(zāi)故障轉(zhuǎn)移和自動化運(yùn)行。存儲設(shè)備層的同步，需要有硬件存儲設(shè)備支持該特性，且對系統(tǒng)間的網(wǎng)絡(luò)要求較高，如系統(tǒng)間需要配備裸光纖加波分復(fù)用設(shè)備，有較大的資金投入。通過網(wǎng)絡(luò)傳輸至遠(yuǎn)端執(zhí)行。其他方式如通過數(shù)據(jù)庫的觸發(fā)器機(jī)制獲取增量數(shù)據(jù)，然后將數(shù)據(jù)傳輸?shù)綄Ψ綌?shù)據(jù)庫進(jìn)行數(shù)據(jù)還原，本質(zhì)還是獲取底層的變化增量數(shù)據(jù)，在遠(yuǎn)端進(jìn)行相同的DML操作來達(dá)到數(shù)據(jù)同步。

1.2 設(shè)計難點(diǎn)

中國民航流量管理系統(tǒng)在數(shù)據(jù)庫架構(gòu)上主要包含三個中心一級節(jié)點(diǎn)及八個地區(qū)二級節(jié)點(diǎn)。每個節(jié)點(diǎn)都配置有基于Oracle RAC集群的本地數(shù)據(jù)庫及應(yīng)用服務(wù)集群。在數(shù)據(jù)共享層引入了業(yè)界傳輸速度較快的ZeroMQ（以下簡稱“ZMQ”）消息中間件技術(shù)，設(shè)計了一套增量的基于數(shù)據(jù)結(jié)果的同步協(xié)議，利用可靠傳輸及校驗機(jī)制，使飛行計劃結(jié)果數(shù)據(jù)在各個數(shù)據(jù)庫副本間高效流轉(zhuǎn)。

系統(tǒng)所處的網(wǎng)絡(luò)環(huán)境為民航通信網(wǎng)，帶寬資源需與各類民航空管系統(tǒng)共享，有著嚴(yán)格的QOS要求，因此在數(shù)據(jù)同步過程中需要考慮數(shù)據(jù)的壓縮及帶寬占用率。如何平衡低延時與低帶寬占用，是UltraSync在研發(fā)實(shí)施中的一個難點(diǎn)。

2 UltraSync關(guān)鍵技術(shù)

2.1 ZMQ傳輸中間件

在數(shù)據(jù)的傳輸同步過程中，通常使用基于消息中間件的通信技術(shù)，保障數(shù)據(jù)的無損傳輸[3]。Message Queue（消息隊列）技術(shù)可以提供信息傳送的路由，并保障信息的傳遞，且消息隊列可在消息接收者未消費(fèi)或者未連接的情況下保留數(shù)據(jù)，直至下一次被消費(fèi)者取走。UltraSync在設(shè)計研發(fā)時，選用了ZMQ作為消息服務(wù)中間件。相比于其他MQ，其具備通信模式靈活，去中心化的分布式架構(gòu)及吞吐量高的特性。ZMQ支持的傳輸模式包括：REQ/REP請求響應(yīng)模式，PUB/SUB發(fā)布訂閱模式，ROUTER/DEALER路由代理模式。

數(shù)據(jù)提供方是數(shù)據(jù)的生產(chǎn)者，在民航流量管理系統(tǒng)中，即為處在中心節(jié)點(diǎn)的一級數(shù)據(jù)庫系統(tǒng)。UltraSync在一級部署了服務(wù)端，為二級同步提供代理服務(wù)。通過消息路由代理模式，數(shù)據(jù)提供方和請求方通過代理交互，而不用各方建立底層的多對多的數(shù)據(jù)連接，簡化了系統(tǒng)模塊間的交叉通信?？紤]系統(tǒng)處理能力有差異，在客戶端增加了本地緩存，通過ZMQ傳輸?shù)耐綌?shù)據(jù)會先在客戶端本地寫入數(shù)據(jù)請求方的共享內(nèi)存，減少網(wǎng)絡(luò)消息阻塞等待客戶端入庫的時延。

2.2 數(shù)據(jù)傳輸工作流

UltraSync提取增量源數(shù)據(jù)的方式主要是通過數(shù)據(jù)時標(biāo)或觸發(fā)器機(jī)制，獲取變化的數(shù)據(jù)，其基本捕獲的數(shù)據(jù)事件為DML類型的增刪修改事件。為保證變更的數(shù)據(jù)能正確的傳達(dá)至二級，UltraSync工具設(shè)計了一套隊列機(jī)制，對每一個二級節(jié)點(diǎn)的同步客戶端連接，建立一個專用的服務(wù)程序?qū)ζ溥M(jìn)行數(shù)據(jù)傳輸，類似Oracle數(shù)據(jù)庫服務(wù)器的Dedicated Server模式。

在客戶端與客戶端建立隊列的過程中，先通過連接隊列消息CONN，請求確認(rèn)消息ACP，數(shù)據(jù)索取消息REQ交互需要傳輸?shù)臄?shù)據(jù)表及二級最新的數(shù)據(jù)時標(biāo)。一級的專用服務(wù)進(jìn)程通過比對下級上報的時標(biāo)，獲取需要傳輸?shù)脑隽繑?shù)據(jù)，對本批次傳輸?shù)臄?shù)據(jù)行進(jìn)行流水號編號，通過ZMQ隊列傳輸至二級。二級對接收的數(shù)據(jù)依據(jù)流水號是否連續(xù)進(jìn)行兩端確認(rèn)，無誤后執(zhí)行數(shù)據(jù)的修改操作，從而保證數(shù)據(jù)的一致及增量數(shù)據(jù)的完整性。

3 系統(tǒng)同步架構(gòu)及實(shí)現(xiàn)

3.1 系統(tǒng)總體架構(gòu)

以UltraSync的實(shí)際應(yīng)用場景為例。在同步系統(tǒng)設(shè)計上，在一級節(jié)點(diǎn)部署UltraSync服務(wù)端，在二級節(jié)點(diǎn)部署UltraSync代理客戶端，實(shí)現(xiàn)一級到二級點(diǎn)對點(diǎn)，1對N的數(shù)據(jù)同步傳輸，如圖1所示。

首先，在一級節(jié)點(diǎn)上，系統(tǒng)整體設(shè)計為主，備，應(yīng)急的高冗余數(shù)據(jù)中心級架構(gòu)。對于二級系統(tǒng)的同步代理端，如何連接正在運(yùn)行的一級節(jié)點(diǎn)是實(shí)現(xiàn)的難點(diǎn)。Ultra Sync參照現(xiàn)在流行的開源系統(tǒng)架構(gòu)，采用類似服務(wù)網(wǎng)關(guān)的設(shè)計，即在系統(tǒng)的DMZ隔離區(qū)，通過服務(wù)網(wǎng)關(guān)統(tǒng)一代理主，備，應(yīng)急系統(tǒng)的一級核心數(shù)據(jù)庫。在中國空管局三中心一級節(jié)點(diǎn)內(nèi)部，服務(wù)端對始終指向當(dāng)前為主用運(yùn)行系統(tǒng)的數(shù)據(jù)庫，通過統(tǒng)一的對外數(shù)據(jù)接口提供服務(wù)。

3.2? 網(wǎng)絡(luò)傳輸模塊

在網(wǎng)絡(luò)設(shè)置配置中，主要有GENERAL和CONNE-CTION兩類配置。GENERAL標(biāo)簽中配置了服務(wù)連接的數(shù)據(jù)庫賬戶身份信息.CONNECTION類配置中對每個二級節(jié)點(diǎn)定義了一套消息隊列，每個隊列以CONNECTION加地區(qū)代號的方式劃定作用范圍。在二級節(jié)點(diǎn)的標(biāo)簽內(nèi)定義了本地區(qū)節(jié)點(diǎn)的連接名稱，訂閱數(shù)據(jù)的端口號pubport，專用通信端口p2pport，以及每個地區(qū)節(jié)點(diǎn)限制的帶寬上限bandwidth。通過該配置，可實(shí)現(xiàn)二級節(jié)點(diǎn)的網(wǎng)絡(luò)參數(shù)調(diào)整，具備較強(qiáng)的靈活性。

服務(wù)端程序啟動后，根據(jù)訂閱的端口號連接配置，生成服務(wù)名為nodename的專用連接進(jìn)程，而客戶端程序可以根據(jù)所處地區(qū)獲取配置中的訂閱端口，向服務(wù)端發(fā)起服務(wù)請求，獲取對應(yīng)節(jié)點(diǎn)的數(shù)據(jù)同步服務(wù)。

3.3? 數(shù)據(jù)抽取及壓縮模塊

系統(tǒng)的核心數(shù)據(jù)如飛行計劃數(shù)據(jù)在Oracle RAC集群中主要以字符串形式存儲。其傳輸一條記錄的基本流程如下：UltraSync在獲取數(shù)據(jù)庫數(shù)據(jù)時，根據(jù)數(shù)據(jù)庫表元信息（MetaData）生成結(jié)構(gòu)體，在程序內(nèi)存中完成表數(shù)據(jù)到結(jié)構(gòu)體的復(fù)制，結(jié)構(gòu)體的壓縮，再通過ZMQ隊列進(jìn)行數(shù)據(jù)傳輸。在數(shù)據(jù)壓縮中，綜合考慮壓縮性能及壓縮比，使用了成熟的LZF壓縮算法，降低字符串?dāng)?shù)據(jù)在通信傳輸中的帶寬消耗，經(jīng)現(xiàn)場運(yùn)行驗證，其壓縮性能及程序開銷均能達(dá)到業(yè)務(wù)實(shí)時性的要求。

4 系統(tǒng)性能驗證

UltraSync 模塊已在中國民航流量管理系統(tǒng)中上線，并承載全國各級節(jié)點(diǎn)實(shí)際的數(shù)據(jù)同步流量。作為代理程序，其性能受應(yīng)用服務(wù)器及數(shù)據(jù)庫服務(wù)器兩處影響，目前的服務(wù)器環(huán)境參數(shù)，如表1所示。

在東北二級節(jié)點(diǎn)上線運(yùn)行過程中，一級全國飛行計劃數(shù)據(jù)庫發(fā)生數(shù)據(jù)變化，到二級節(jié)點(diǎn)數(shù)據(jù)入庫，平均單表延遲最大為3.17秒，延遲中位數(shù)為1.91秒。通過數(shù)據(jù)比對，飛行計劃表數(shù)據(jù)在一二級庫傳輸之間無丟失現(xiàn)象。

5 結(jié)語

在民航空管流量系統(tǒng)不斷成長過程中，建立一個分布式的數(shù)據(jù)庫平臺，可有效共享各方信息，實(shí)現(xiàn)新業(yè)務(wù)的高效支撐。經(jīng)實(shí)際生產(chǎn)系統(tǒng)驗證，在低帶寬和DML操作特別頻繁的環(huán)境下，相比OGG軟件表現(xiàn)出更好的適應(yīng)性。通過系統(tǒng)上線運(yùn)行記錄，UltraSync軟件在數(shù)據(jù)傳輸?shù)姆€(wěn)定性及同步效率方面達(dá)到了系統(tǒng)要求。后續(xù)，還需考慮對異構(gòu)數(shù)據(jù)庫的兼容性及軟件的可移植性問題。

[參考文獻(xiàn)]

[1]吳禮樂.基于雙活容災(zāi)存儲技術(shù)的云計算數(shù)據(jù)中心的設(shè)計及應(yīng)用[J].電子設(shè)計工程，2015（6）：190-192.

[2]宋英華，王志勇，李鐘瑋.基于存儲雙活技術(shù)的調(diào)度自動化系統(tǒng)高可靠性架構(gòu)研究[J].供用電，2020（3）：58-63，70.

[3]王玨，孟曉蕊.分布式數(shù)據(jù)庫同步中間件系統(tǒng)的設(shè)計與研究[J].現(xiàn)代電子技術(shù)，2016（9）：31-36.

（編輯 姚 鑫）