傅思達(dá)，王福喜，高彬娜

(華北計算技術(shù)研究所，北京　100083)

多點(diǎn)多備的容災(zāi)備份技術(shù)研究與實現(xiàn)

傅思達(dá)，王福喜，高彬娜

(華北計算技術(shù)研究所，北京100083)

隨著信息應(yīng)用技術(shù)的發(fā)展，越來越多的信息系統(tǒng)投入使用，容災(zāi)備份技術(shù)作為系統(tǒng)高可用性的首要保障從未停止過研究，適合于不同場景的容災(zāi)備份解決方案日新月異。本文針對大型信息系統(tǒng)多地區(qū)分散部署、硬件設(shè)施不同和軟件結(jié)構(gòu)復(fù)雜的特點(diǎn)，提出一種多點(diǎn)多備的容災(zāi)備份系統(tǒng)方案使信息系統(tǒng)的每一個部署節(jié)點(diǎn)具備一對多和多對一的災(zāi)備能力，部署節(jié)點(diǎn)之間互為備份，最終實現(xiàn)多個節(jié)點(diǎn)的數(shù)據(jù)同時備份，每個備份數(shù)據(jù)都有多個異地備份副本的高可靠數(shù)據(jù)容災(zāi)。本文深入研究了實現(xiàn)多點(diǎn)多備的數(shù)據(jù)遠(yuǎn)程復(fù)制技術(shù)、數(shù)據(jù)備份方式和數(shù)據(jù)同步協(xié)議，提出了相應(yīng)的實現(xiàn)方案和具體的同步協(xié)議。

容災(zāi)備份；多點(diǎn)多備；遠(yuǎn)程復(fù)制；數(shù)據(jù)同步協(xié)議

本文著錄格式：傅思達(dá)，王福喜，高彬娜. 多點(diǎn)多備的容災(zāi)備份技術(shù)研究與實現(xiàn)[J]. 軟件，2016，37（9）：101-104

0　引言

隨著信息應(yīng)用技術(shù)的發(fā)展，越來越多的信息系統(tǒng)投入使用，容災(zāi)備份技術(shù)作為系統(tǒng)高可用性的首要保障從未停止過研究，適合于不同場景的容災(zāi)備份解決方案日新月異。

大型的綜合信息系統(tǒng)網(wǎng)絡(luò)地域分布廣泛、涉及業(yè)務(wù)繁多、層次復(fù)雜，系統(tǒng)具有多樣性，硬件設(shè)施和軟件結(jié)構(gòu)復(fù)雜。例如，軍事信息系統(tǒng)會部署到不同的地方，使得即使某個系統(tǒng)被擊毀，也不會影響其他系統(tǒng)正常運(yùn)行，達(dá)到抗毀頑存[1]；銀行數(shù)據(jù)分別存放到總行和各個地區(qū)分行的數(shù)據(jù)中心，在系統(tǒng)離線時（與總行系統(tǒng)失去連接）仍然可以繼續(xù)進(jìn)行業(yè)務(wù)交易；跨國企業(yè)會在不同的國家建立數(shù)據(jù)中心，以保證該地區(qū)的信息系統(tǒng)正常運(yùn)轉(zhuǎn)和提供高效的業(yè)務(wù)處理能力。對于這類信息系統(tǒng)，每一個數(shù)據(jù)中心都需要備份，而且需要多個備份副本來保證數(shù)據(jù)安全，傳統(tǒng)的容災(zāi)備份技術(shù)無法滿足這類信息系統(tǒng)的多點(diǎn)多備需求。

本文針對大型信息系統(tǒng)多地區(qū)分散部署、硬件設(shè)施不同和軟件結(jié)構(gòu)復(fù)雜的特點(diǎn)，提出一種多點(diǎn)多備的容災(zāi)備份系統(tǒng)方案使信息系統(tǒng)的每一個部署節(jié)點(diǎn)具備一對多和多對一的災(zāi)備能力，部署節(jié)點(diǎn)之間互為備份，最終實現(xiàn)多個節(jié)點(diǎn)的數(shù)據(jù)同時備份，每個備份數(shù)據(jù)都有多個異地備份副本的高可靠數(shù)據(jù)容災(zāi)。本文深入研究了實現(xiàn)多點(diǎn)多備的數(shù)據(jù)遠(yuǎn)程復(fù)制技術(shù)、數(shù)據(jù)備份方式和數(shù)據(jù)同步協(xié)議，提出了相應(yīng)的實現(xiàn)方案和具體的同步協(xié)議。

1　多點(diǎn)多備的災(zāi)備系統(tǒng)方案

大型信息系統(tǒng)通常會將系統(tǒng)部署在多個地方，每個信息系統(tǒng)都能獨(dú)立靈活的完成業(yè)務(wù)功能，同時彼此之間通過網(wǎng)絡(luò)傳輸數(shù)據(jù)進(jìn)行業(yè)務(wù)耦合。多點(diǎn)多備的災(zāi)備系統(tǒng)方案利用這類應(yīng)用系統(tǒng)的部署具有地域上的分散性，讓各個地區(qū)之間的數(shù)據(jù)互為備份，實現(xiàn)數(shù)據(jù)容災(zāi)。將信息系統(tǒng)所在的地區(qū)當(dāng)做一個部署節(jié)點(diǎn)，在一個部署節(jié)點(diǎn)可以部署有多套具有不同業(yè)務(wù)功能的應(yīng)用系統(tǒng)。部署節(jié)點(diǎn)之間，能夠建立起多點(diǎn)多備的災(zāi)備模式。如圖1所示。

圖1　容災(zāi)備份系統(tǒng)部署結(jié)構(gòu)

對于每一個部署節(jié)點(diǎn)來說，都實現(xiàn)了一對多和多對一的災(zāi)備模式，一對多指每一個部署節(jié)點(diǎn)都需要將業(yè)務(wù)數(shù)據(jù)備份到其相它多個設(shè)施節(jié)點(diǎn)形成多個災(zāi)備副本，多對一指每一個部署節(jié)點(diǎn)存儲著其它多個部署節(jié)點(diǎn)備份過來的數(shù)據(jù)備份，因此多個部署節(jié)點(diǎn)之間并發(fā)進(jìn)行互為容災(zāi)備份，構(gòu)成了多點(diǎn)多備的災(zāi)備系統(tǒng)架構(gòu)。多點(diǎn)多備的容災(zāi)備份部署架構(gòu)在實際運(yùn)用中要考慮各個部署節(jié)點(diǎn)之間互為備份的策略，即一個部署節(jié)點(diǎn)的數(shù)據(jù)要備份到哪幾個異地部署節(jié)點(diǎn)。因為每一個部署節(jié)點(diǎn)在地域上彼此之間分布不均勻，有些部署節(jié)點(diǎn)之間距離比較近，有些部署節(jié)點(diǎn)之間距離比較遠(yuǎn)，所以可以將比較靠近的部署節(jié)點(diǎn)分成一組，每一組內(nèi)的各個部署節(jié)點(diǎn)數(shù)據(jù)互相備份，然后再組內(nèi)選出一個部署節(jié)點(diǎn)代表每一組進(jìn)行組間互為備份。

2　基于多點(diǎn)多備的數(shù)據(jù)同步

2.1遠(yuǎn)程復(fù)制技術(shù)

多點(diǎn)多備的容災(zāi)備份系統(tǒng)方案要考慮信息系統(tǒng)多個部署節(jié)點(diǎn)的差異性，部署節(jié)點(diǎn)之間和部署節(jié)點(diǎn)內(nèi)部的硬件設(shè)施不完全統(tǒng)一、軟件結(jié)構(gòu)復(fù)雜多樣。數(shù)據(jù)的遠(yuǎn)程復(fù)制方式有同步復(fù)制和異步復(fù)制兩種，同步復(fù)制方式需要專業(yè)鏈路以及要求軟件的每一次IO事務(wù)都要在異地節(jié)點(diǎn)完成復(fù)制后才釋放，若采用同步復(fù)制方式，則代價昂貴且不利于災(zāi)備方案的實施部署，因而采用異步復(fù)制的方式進(jìn)行數(shù)據(jù)遠(yuǎn)程復(fù)制。

常見的異步遠(yuǎn)程復(fù)制技術(shù)有邏輯卷復(fù)制技術(shù)、磁盤陣列復(fù)制技術(shù)和數(shù)據(jù)庫復(fù)制技術(shù)。其中，磁盤陣列復(fù)制技術(shù)要求本地和異地兩端的服務(wù)器類型必須是同一廠家、同一系列；邏輯卷復(fù)制技術(shù)的監(jiān)控和復(fù)制會占用主機(jī)進(jìn)程。多點(diǎn)多備的容災(zāi)備份系統(tǒng)面對的是多個部署節(jié)點(diǎn)，每個部署節(jié)點(diǎn)又有多個不同的磁盤陣列和主機(jī)系統(tǒng)，如果采用磁盤陣列復(fù)制技術(shù)，則可能無法兼容原有的磁盤陣列，也不利于以后自由增加新的磁盤陣列；而采用邏輯卷復(fù)制技術(shù)又會對現(xiàn)有的每一個主機(jī)系統(tǒng)性能造成影響，增加額外的主機(jī)資源消耗。因此，多點(diǎn)多備的災(zāi)備系統(tǒng)采用數(shù)據(jù)庫復(fù)制技術(shù)，既可以滿足對不同硬件設(shè)施的兼容，也可以應(yīng)對復(fù)雜的軟件結(jié)構(gòu)，且除了數(shù)據(jù)庫內(nèi)容更新時寫歸檔日志占用少量主機(jī)資源外，不額外占用主機(jī)進(jìn)程[5-6]。

2.2數(shù)據(jù)備份方式

數(shù)據(jù)進(jìn)行多點(diǎn)多備，還要考慮備份文件盡可能小，使得設(shè)施節(jié)點(diǎn)之間并發(fā)進(jìn)行互為備份時不僅高效而且不會占用太多的網(wǎng)絡(luò)帶寬。除此之外，數(shù)據(jù)恢復(fù)要盡可能方便快捷，不耽誤業(yè)務(wù)系統(tǒng)的連續(xù)性。如果采用全量備份，那么每次備份的數(shù)據(jù)量大，對現(xiàn)有的網(wǎng)絡(luò)帶寬必然造成極大的壓力，影響業(yè)務(wù)系統(tǒng)功能。但是如果只采用增量備份，在恢復(fù)的時候又比較復(fù)雜，需要多份增量備份文件，尤其是增量備份文件會越來越多。

因此，研究采用全量備份和增量備份相結(jié)合的數(shù)據(jù)庫復(fù)制技術(shù)，利用首次全備份，在異地設(shè)施節(jié)點(diǎn)建立容災(zāi)備份數(shù)據(jù)庫鏡像，之后采用增量備份數(shù)據(jù)庫日志的方式更新異地設(shè)施節(jié)點(diǎn)的容災(zāi)備份數(shù)據(jù)庫，可以通過定義日志文件大小及增量日志采集頻率來控制備份文件的大小和災(zāi)難發(fā)生時的數(shù)據(jù)損失盡可能降低。備份恢復(fù)時，可以通過直接訪問遠(yuǎn)程節(jié)點(diǎn)的災(zāi)備數(shù)據(jù)庫來快速恢復(fù)業(yè)務(wù)，或者將災(zāi)備數(shù)據(jù)庫遷移到本地。

全量備份和增量備份相結(jié)合的數(shù)據(jù)庫復(fù)制方式，不僅避免了全量備份的備份數(shù)據(jù)冗余和備份頻率低容易造成數(shù)據(jù)丟失，也避免了增量備份恢復(fù)的復(fù)雜性，同時在備份時通過歸檔日志進(jìn)行增量備份，能夠自由設(shè)置數(shù)據(jù)采集頻率，且減小了備份文件大小，降低遠(yuǎn)程復(fù)制時占用的網(wǎng)絡(luò)帶寬，有效提高多點(diǎn)并發(fā)備份的效率。

2.3多點(diǎn)多備的數(shù)據(jù)同步協(xié)議

多點(diǎn)多備的數(shù)據(jù)同步協(xié)議主要解決多點(diǎn)多備的災(zāi)備系統(tǒng)進(jìn)行多點(diǎn)備份時如何保證每一個異地備份副本都與源節(jié)點(diǎn)的數(shù)據(jù)保持一致。為了實現(xiàn)多點(diǎn)多備，協(xié)議規(guī)定如下：

1）為每一個增量備份文件設(shè)置一個版本號。先進(jìn)行本地增量備份，首次全備份的版本號為零，然后依次累加版本號。異地增量備份基于本地增量備份進(jìn)行，將一個或多個版本的增量備份文件分別復(fù)制到多個異地節(jié)點(diǎn)，形成多個備份副本。

2）為每一個部署節(jié)點(diǎn)設(shè)置節(jié)點(diǎn)標(biāo)志。一對多備份時，根據(jù)備份目的節(jié)點(diǎn)得標(biāo)志不同，源節(jié)點(diǎn)到每一個目的節(jié)點(diǎn)的復(fù)制過程互不干擾、并發(fā)進(jìn)行，各自保證備份數(shù)據(jù)按序到達(dá)。多對一數(shù)據(jù)接收時，根據(jù)源節(jié)點(diǎn)的標(biāo)志不同，目的節(jié)點(diǎn)分別處理多個源節(jié)點(diǎn)的數(shù)據(jù)。

多點(diǎn)多備的災(zāi)備系統(tǒng)通過備份數(shù)據(jù)庫操作日志更新異地節(jié)點(diǎn)的鏡像數(shù)據(jù)庫，在進(jìn)行異地增量備份時需要保證備份文件按序到達(dá)。因此多點(diǎn)多備的同步協(xié)議根據(jù)備份文件版本號和節(jié)點(diǎn)標(biāo)志，還規(guī)定了備份數(shù)據(jù)從源節(jié)點(diǎn)到備份目的節(jié)點(diǎn)的可靠遠(yuǎn)程復(fù)制方式，如圖2所示。

圖2　數(shù)據(jù)遠(yuǎn)程復(fù)制方式

首次全備份：源節(jié)點(diǎn)發(fā)送零級備份（全備份）和源節(jié)點(diǎn)標(biāo)志m，目的節(jié)點(diǎn)收到備份文件后建立鏡像數(shù)據(jù)庫，反饋操作成功的確認(rèn)版本號Ack=0和目的節(jié)點(diǎn)標(biāo)志n。

異地增量備份：源節(jié)點(diǎn)依策略采集增量日志數(shù)據(jù)產(chǎn)生增量備份文件，設(shè)版本號k，(k=1，2，3……)。依策略觸發(fā)向某個目的節(jié)點(diǎn)n發(fā)送備份文件k和源節(jié)點(diǎn)標(biāo)志m。目的節(jié)點(diǎn)接收備份文件并按序加載到鏡像數(shù)據(jù)庫，返回響應(yīng)Ack=k和節(jié)點(diǎn)標(biāo)志n。如果發(fā)生斷線或者網(wǎng)絡(luò)不通等情況，在重新連接之后，可能會將多個版本號的備份文件進(jìn)行打包發(fā)送，反饋Ack只需等于最新的成功加載到鏡像數(shù)據(jù)庫的版本號。

異地備份失?。喝绻康墓?jié)點(diǎn)接收的某個源節(jié)點(diǎn)m的版本序不等于k+1，或者備份數(shù)據(jù)傳輸過程中丟包導(dǎo)致加載更新數(shù)據(jù)庫失敗，則反饋Ack=k。源節(jié)點(diǎn)收到目的節(jié)點(diǎn)n的確認(rèn)版本號k，即說明發(fā)往該目的節(jié)點(diǎn)n的前k個版本備份文件正常，重發(fā)k+1版本備份文件。

超時重傳：如果網(wǎng)絡(luò)擁塞導(dǎo)致源節(jié)點(diǎn)收不到某個目的節(jié)點(diǎn)確認(rèn)版本號Ack=k，那么可能目的節(jié)點(diǎn)沒有收到備份數(shù)據(jù)或者目的節(jié)點(diǎn)的確認(rèn)反饋消息丟失，則源節(jié)點(diǎn)重發(fā)該版本備份文件，目的節(jié)點(diǎn)收到備份文件后，會判斷該版本數(shù)據(jù)是否已經(jīng)成功加載更新，對于已經(jīng)更新過的則丟棄該版本，并反饋確認(rèn)版本號Ack=k。

3　實現(xiàn)

軍事信息系統(tǒng)涉及業(yè)務(wù)繁多、層次復(fù)雜，具有多點(diǎn)多級部署的特性，綜合考慮采用多點(diǎn)多備的容災(zāi)備份解決方案可以真正實現(xiàn)軍事系統(tǒng)的抗毀頑存?；诙帱c(diǎn)多備架構(gòu)的容災(zāi)備份軟件已經(jīng)實現(xiàn)，用于軍事信息系統(tǒng)的容災(zāi)備份。軟件通過配置相應(yīng)的備份對象、備份頻率和備份目的節(jié)點(diǎn)等信息，實現(xiàn)將多個源節(jié)點(diǎn)的備份對象按頻率觸發(fā)備份到多個目的節(jié)點(diǎn)，達(dá)到多點(diǎn)多備的目的。該容災(zāi)備份軟件可以靈活應(yīng)用于現(xiàn)有的具有多地區(qū)部署特性的信息系統(tǒng)環(huán)境，實現(xiàn)多點(diǎn)多備。

4　總結(jié)

研究容災(zāi)備份技術(shù)對于保護(hù)數(shù)據(jù)安全和提高信息系統(tǒng)可用性具有重要意義[7]。本文設(shè)計的多點(diǎn)多備的容災(zāi)備份系統(tǒng)方案結(jié)合大型信息系統(tǒng)多地部署的特性，使得部署節(jié)點(diǎn)之間能夠?qū)崿F(xiàn)多點(diǎn)互備，每個部署節(jié)點(diǎn)的數(shù)據(jù)都有多個異地備份副本的高可靠容災(zāi)備份。針對大型信息系統(tǒng)的部署節(jié)點(diǎn)之間存在的硬件設(shè)施不同和軟件結(jié)構(gòu)復(fù)雜等情況，仔細(xì)分析比較得出最適合的遠(yuǎn)程復(fù)制技術(shù)和數(shù)據(jù)備份方式。采用異步的數(shù)據(jù)庫復(fù)制技術(shù)降低容災(zāi)備份系統(tǒng)與信息系統(tǒng)的軟硬件耦合度，使得部署簡單靈活。使用全量備份和增量備份相結(jié)合的備份方式，提高多點(diǎn)并發(fā)備份效率，減少網(wǎng)絡(luò)帶寬的占用。同時本文還研究實現(xiàn)了基于多點(diǎn)多備的數(shù)據(jù)同步協(xié)議，保證同步數(shù)據(jù)的一致性和災(zāi)備數(shù)據(jù)的可靠性。

[1] 沈迪, 李建華, 朱瑞. 軍事信息系統(tǒng)容災(zāi)備份策略仿真研究[J]. 計算機(jī)仿真, 2013, 30(1): 23-27.

[2] 曹雪村. 災(zāi)難備份系統(tǒng)的數(shù)據(jù)同步技術(shù)研究及應(yīng)用[D].上海: 上海交通大學(xué), 2012.

[3] 盧正添, 李濤, 趙奎, 胡曉勤, 彭凌西, 劉才銘. 多點(diǎn)多跳的數(shù)據(jù)庫異地容災(zāi)備份方法[J]. 四川大學(xué)學(xué)報, 2008, 40(5): 125-129.

[4] 王浩銘, 穆道生, 周勇. 容災(zāi)備份技術(shù)、產(chǎn)品和應(yīng)用現(xiàn)狀的分析與研究[J]. 電腦知識與技術(shù), 2014, 10(13): 2914-2918.

[5] 郭偉華, 淺談Oracle數(shù)據(jù)同步技術(shù)[J]. 科技資訊, 2010.

[6] 劉超, 張明安. 基于Oracle數(shù)據(jù)庫系統(tǒng)的備份與恢復(fù)技術(shù)研究[J]. 軟件, 2014, 35(3): 125-128.

[7] 信懷義, 安衛(wèi)杰. 金融數(shù)據(jù)中心數(shù)據(jù)備份必要性及其機(jī)制研究[J]. 軟件, 2015, 36(12): 72-75.

[8] 劉皓. 分布式環(huán)境下可靠數(shù)據(jù)同步及通訊的協(xié)議分析[J].軟件, 2015, 36(9): 113-116.

Research of Disaster Recovery System of Multi-point and Multi-backup

FU Si-da, LIN Zhong, WANG Fu-xi, GAO Bin-na
(North China Institute of Computing technology, Beijing 100083, China)

With the development of information technology, more and more information system put into use.The study of the disaster recovery technology, as the primary guarantee of high availability system, never stopped,thus the disaster backup system can be applied to different scenarios. Based on large information system has characteristics of the more decentralized deployment, different hardware and complex software structure, puts forward a disaster recovery system solution of multi-point and multi-backup, which enable each deployed node have a one-to-multi, and multito-one disaster recovery ability and among deployed nodes are backup to each other, Finally realize backup multiple nodes and at the same time have multiple different backup copies each backup. This paper studied how to implement multi-point and multi-backup deeply, including the data remote replication technology, the way of data backup and the data synchronization protocol, also proposes the corresponding implementation scheme and the concrete synchronization protocol.

Disaster recovery; Multi-point and multi-backup; Remote replication; Data synchronization protocol

TP311.5

A

10.3969/j.issn.1003-6970.2016.09.024

傅思達(dá)(1991-)，男，漢族，北京市海淀區(qū)，在讀研究生，研究方向：計算機(jī)軟件與理論；王福喜(1981-)男，漢族，北京市海淀區(qū)，高級工程師，研究方向：計算機(jī)軟件與理論；高彬娜(1982-)女，漢族，北京市海淀區(qū)，工程師，研究方向：計算機(jī)軟件與理論