□劉克武 李 亞 呂朋舉（河南省水利信息中心）

河南省水利業(yè)務(wù)系統(tǒng)容災(zāi)平臺(tái)高可用研究與應(yīng)用

□劉克武 李 亞 呂朋舉（河南省水利信息中心）

隨著信息技術(shù)的飛速發(fā)展，社會(huì)需求的刺激，河南省水利業(yè)務(wù)系統(tǒng)呈幾何增長(zhǎng)，隨之水利業(yè)務(wù)應(yīng)用系統(tǒng)的穩(wěn)定性和高可用性就顯得日益重要，為有效地防止因本地網(wǎng)絡(luò)的中斷或業(yè)務(wù)系統(tǒng)的故障引起的數(shù)據(jù)丟失和服務(wù)不可用，研究和建設(shè)河南省水利業(yè)務(wù)系統(tǒng)容災(zāi)平臺(tái)高可用，實(shí)現(xiàn)若生產(chǎn)端服務(wù)器故障或宕機(jī)，應(yīng)用服務(wù)自動(dòng)或手動(dòng)切換到容災(zāi)端的服務(wù)器上，由其上對(duì)應(yīng)的應(yīng)用對(duì)外提供服務(wù)，關(guān)鍵業(yè)務(wù)系統(tǒng)達(dá)到“RPO≈0，RTO＜5m”的目標(biāo)，保證河南省水利業(yè)務(wù)系統(tǒng)的連續(xù)性。

容災(zāi)；高可用；水利業(yè)務(wù)系統(tǒng)

0 引言

容災(zāi)技術(shù)是現(xiàn)在信息化建設(shè)的重要組成部分，是防范災(zāi)難、降低損失、提高業(yè)務(wù)持續(xù)性的重要手段，是提升服務(wù)質(zhì)量、承擔(dān)社會(huì)責(zé)任的重要保障，目前已廣泛應(yīng)用于各行各業(yè)。

河南省水利信息化建設(shè)起步比較早，從20世紀(jì)70年代開(kāi)始，隨著社會(huì)的發(fā)展和互聯(lián)網(wǎng)技術(shù)水平的提高，一方面水利系統(tǒng)業(yè)務(wù)的不斷擴(kuò)展，刺激了水利業(yè)務(wù)系統(tǒng)突飛猛進(jìn)的增長(zhǎng)，另一方面隨著水利業(yè)務(wù)系統(tǒng)的推廣、使用以及無(wú)紙化辦公的要求，現(xiàn)在的工作已依賴(lài)于網(wǎng)上辦公，網(wǎng)絡(luò)的中斷或業(yè)務(wù)系統(tǒng)的故障都會(huì)嚴(yán)重影響日常工作的正常完成，同時(shí)也會(huì)對(duì)社會(huì)和公眾造成嚴(yán)重的影響。如何有效地規(guī)避故障風(fēng)險(xiǎn)，如何提高水利系統(tǒng)業(yè)務(wù)連續(xù)性的接管能力，降低或減少網(wǎng)絡(luò)、業(yè)務(wù)系統(tǒng)中斷產(chǎn)生的影響，保證其安全穩(wěn)定的運(yùn)行，已經(jīng)成為河南省水利信息化應(yīng)用管理的當(dāng)務(wù)之急。

1 河南省水利業(yè)務(wù)系統(tǒng)高可用需求分析

在網(wǎng)絡(luò)層，河南省水利廳信息網(wǎng)絡(luò)建設(shè)了省水利廳至18個(gè)省轄市水利（務(wù)）局、10個(gè)省直管縣（市）水利（務(wù)）局、12座大型水庫(kù)、26個(gè)廳屬單位及124個(gè)縣（市、區(qū)）水利部門(mén)的計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)，實(shí)現(xiàn)省、市、縣三級(jí)計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的互聯(lián)互通，并與水利部、濟(jì)南軍區(qū)、河南省委、省政府、省氣象局、省國(guó)土資源廳等相聯(lián)，但帶寬非常有限。

在業(yè)務(wù)應(yīng)用層，河南省水利業(yè)務(wù)系統(tǒng)從2010年開(kāi)始建設(shè)，現(xiàn)已完成河南省水利廳門(mén)戶網(wǎng)站、水利綜合辦公系統(tǒng)、網(wǎng)上行政審批系統(tǒng)、水利電子郵件系統(tǒng)等水利電子政務(wù)系統(tǒng)，以及防汛抗旱決策指揮系統(tǒng)、山洪災(zāi)害系統(tǒng)、水資源管理系統(tǒng)，水利普查系統(tǒng)等重要業(yè)務(wù)系統(tǒng)，承載著河南省、市、縣三級(jí)水利機(jī)構(gòu)的日常辦公、山洪預(yù)警、水文監(jiān)控、水資源監(jiān)測(cè)等工作，為越來(lái)越多的河南省水利業(yè)務(wù)提供基礎(chǔ)支撐。這其中的業(yè)務(wù)系統(tǒng)大多數(shù)都是涉及全省范圍的業(yè)務(wù)，但卻都是在單機(jī)上運(yùn)行，如果出現(xiàn)業(yè)務(wù)系統(tǒng)服務(wù)器硬件或服務(wù)故障，都會(huì)等待服務(wù)器配件到貨或從網(wǎng)絡(luò)層逐節(jié)點(diǎn)查找原因，甚至?xí)匦麓罱ǚ?wù)器環(huán)境、重新配置程序，這時(shí)間就不是半天、一天能恢復(fù)正常運(yùn)行的。

為提高業(yè)務(wù)系統(tǒng)的服務(wù)質(zhì)量、減少業(yè)務(wù)系統(tǒng)中斷時(shí)間，梳理河南省水利業(yè)務(wù)系統(tǒng)的實(shí)際情況，按照容災(zāi)的等級(jí)要求，河南省水利業(yè)務(wù)系統(tǒng)容災(zāi)平臺(tái)高可用的需求如下：第一，生產(chǎn)端服務(wù)器發(fā)生故障時(shí)，容災(zāi)端服務(wù)器按容災(zāi)等級(jí)通過(guò)自動(dòng)/手動(dòng)方式實(shí)現(xiàn)一個(gè)或多個(gè)應(yīng)用的接管，關(guān)鍵業(yè)務(wù)系統(tǒng)做到自動(dòng)的應(yīng)用接管。第二，容災(zāi)備份的一致性校驗(yàn)。第三，生產(chǎn)端及容災(zāi)端網(wǎng)絡(luò)的最低帶寬的快速傳輸。

2 河南省水利業(yè)務(wù)系統(tǒng)容災(zāi)平臺(tái)高可用設(shè)計(jì)

容災(zāi)的等級(jí)標(biāo)準(zhǔn)是按恢復(fù)點(diǎn)目標(biāo)RPO、恢復(fù)時(shí)間目標(biāo)RTO兩個(gè)指標(biāo)來(lái)劃分。RTO是針對(duì)服務(wù)丟失，從業(yè)務(wù)系統(tǒng)故障開(kāi)始，到業(yè)務(wù)系統(tǒng)恢復(fù)正常之間的時(shí)間段。RPO是針對(duì)數(shù)據(jù)丟失，指業(yè)務(wù)系統(tǒng)和應(yīng)用數(shù)據(jù)恢復(fù)正常后，系統(tǒng)及生產(chǎn)數(shù)據(jù)能恢復(fù)到過(guò)去的哪個(gè)時(shí)間點(diǎn)。

2.1 總體目標(biāo)

河南省水利業(yè)務(wù)系統(tǒng)容災(zāi)平臺(tái)高可用能在現(xiàn)帶寬網(wǎng)絡(luò)環(huán)境下快速地容災(zāi)數(shù)據(jù)復(fù)制與傳輸、跨多網(wǎng)段應(yīng)用接管，實(shí)現(xiàn)對(duì)業(yè)務(wù)系統(tǒng)的按需切換。

根據(jù)河南省水利廳的實(shí)際業(yè)務(wù)系統(tǒng)環(huán)境，業(yè)務(wù)重要性和部署方式不同，分級(jí)對(duì)現(xiàn)有業(yè)務(wù)進(jìn)行設(shè)計(jì)。其核心業(yè)務(wù)系統(tǒng)的應(yīng)用與數(shù)據(jù)十分重要，RPO和RTO要求級(jí)別較高，不僅要保證數(shù)據(jù)不丟失，而且在發(fā)生故障時(shí)，也需要快速地接管應(yīng)用，保障業(yè)務(wù)系統(tǒng)連續(xù)性，因此要求RPO≈0、RTO＜5m；對(duì)于一般的業(yè)務(wù)系統(tǒng)，不涉及下面市、縣，數(shù)據(jù)變化頻率不高，而且是在內(nèi)網(wǎng)運(yùn)行的，要求RPO≈0、RTO＜120m。

2.2 總體架構(gòu)

分析國(guó)內(nèi)外高可用容災(zāi)技術(shù)實(shí)現(xiàn)，經(jīng)過(guò)詳細(xì)的探討研究，現(xiàn)河南省水利系統(tǒng)業(yè)務(wù)部署在不同的網(wǎng)段內(nèi)，為實(shí)現(xiàn)高可用，容災(zāi)平臺(tái)通過(guò)對(duì)生產(chǎn)端服務(wù)器業(yè)務(wù)應(yīng)用、服務(wù)器等資源的狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，在發(fā)現(xiàn)業(yè)務(wù)應(yīng)用突然異常停止（如業(yè)務(wù)應(yīng)用異常退出、服務(wù)器斷電、硬件故障等）、或者達(dá)到需要切換的條件時(shí)（如生產(chǎn)端服務(wù)器資源即將耗盡、軟硬件升級(jí)等），通過(guò)負(fù)載均衡設(shè)備自動(dòng)或者手工將應(yīng)用切換到容災(zāi)端服務(wù)器上，實(shí)現(xiàn)業(yè)務(wù)多種模式的加密高效率地傳輸、跨網(wǎng)段的業(yè)務(wù)系統(tǒng)雙活。如圖1所示。

圖1 河南省水利業(yè)務(wù)系統(tǒng)容災(zāi)平臺(tái)高可用總體架構(gòu)圖

2.3 實(shí)現(xiàn)技術(shù)

2.3.1 窄帶寬網(wǎng)絡(luò)環(huán)境下容災(zāi)數(shù)據(jù)快速?gòu)?fù)制與傳輸技術(shù)

數(shù)據(jù)復(fù)制與傳輸技術(shù)是容災(zāi)方案設(shè)計(jì)中最基本也是最為核心的技術(shù)。傳統(tǒng)的數(shù)據(jù)容災(zāi)和備份技術(shù)，是對(duì)生產(chǎn)端文件系統(tǒng)的關(guān)鍵數(shù)據(jù)，進(jìn)行定期的完全或增量備份，并使用去重技術(shù)減少對(duì)存儲(chǔ)空間的耗費(fèi)，它存在著為了保證數(shù)據(jù)一致性，需要對(duì)生產(chǎn)端設(shè)備相關(guān)狀態(tài)進(jìn)行暫時(shí)凍結(jié)或進(jìn)行快照，然后再進(jìn)行定期的完全或增量備份，無(wú)法在用戶使用過(guò)程中實(shí)時(shí)捕獲增量修改，不能保證數(shù)據(jù)的同步；另一方面需要考慮使用額外的數(shù)據(jù)來(lái)滿足去重技術(shù)，增加了系統(tǒng)資源和處理開(kāi)銷(xiāo)。因此備份的時(shí)間粒度和系統(tǒng)開(kāi)銷(xiāo)需求都不能滿足實(shí)際。經(jīng)過(guò)多方的溝通、測(cè)試，容災(zāi)數(shù)據(jù)復(fù)制與傳輸功能最終選擇基于字節(jié)級(jí)的復(fù)制技術(shù)及數(shù)據(jù)序列化傳輸技術(shù)。一方面它可以通過(guò)旁路式監(jiān)聽(tīng)源端的數(shù)據(jù)變化，以最小字節(jié)級(jí)增量數(shù)據(jù)捕捉方式，將生產(chǎn)端字節(jié)級(jí)的數(shù)據(jù)變化量實(shí)時(shí)的容災(zāi)復(fù)制，不需對(duì)生產(chǎn)端設(shè)備相關(guān)狀態(tài)進(jìn)行暫時(shí)凍結(jié)或進(jìn)行快照。另一方面字節(jié)級(jí)的復(fù)制技術(shù)對(duì)生產(chǎn)端服務(wù)器計(jì)算資源占用可以忽略。僅僅是旁路捕獲數(shù)據(jù)，通過(guò)旁路式截獲生產(chǎn)系統(tǒng)的數(shù)據(jù)變化，所有的數(shù)據(jù)都是從內(nèi)存中獲得，處理和復(fù)制正在使用的文件與目錄時(shí)，無(wú)需要求關(guān)閉該文件，相關(guān)的應(yīng)用仍然保持在線和活躍運(yùn)行狀態(tài)，不會(huì)對(duì)您的工作有任何負(fù)面影響，因此數(shù)據(jù)復(fù)制過(guò)程不占用主機(jī)的IO資源。第三方面基于字節(jié)級(jí)的數(shù)據(jù)復(fù)制粒度最小到字節(jié)，數(shù)據(jù)保護(hù)和恢復(fù)粒度可以做到毫秒級(jí)，因此對(duì)于帶寬資源的要求也是極低的。綜上容災(zāi)數(shù)據(jù)的快速?gòu)?fù)制、傳輸，在不影響現(xiàn)有生產(chǎn)端應(yīng)用的前提下，保證了信息在整個(gè)過(guò)程中的安全及完整性。

2.3.2 基于負(fù)載均衡的業(yè)務(wù)應(yīng)用無(wú)縫切換技術(shù)

分析國(guó)內(nèi)外跨網(wǎng)段容災(zāi)技術(shù)，目前有3種技術(shù)方式：一是基于網(wǎng)絡(luò)虛擬化技術(shù)。通過(guò)使用MAC地址路由規(guī)則，打通生產(chǎn)端與容災(zāi)端的二層通信，實(shí)現(xiàn)IP地址跨數(shù)據(jù)中心的遷移，從而有效滿足了生產(chǎn)端與容災(zāi)端資源調(diào)度和虛機(jī)遷移的要求，但是網(wǎng)絡(luò)虛擬化技術(shù)對(duì)硬件要求較高，投資成本較高，對(duì)當(dāng)前網(wǎng)絡(luò)環(huán)境及設(shè)置改動(dòng)較大，不符合實(shí)際建設(shè)需求。二是基于VPN技術(shù)。利用VPN技術(shù)使主機(jī)集群二層可達(dá)，缺點(diǎn)是維護(hù)復(fù)雜，系統(tǒng)節(jié)點(diǎn)較多的情況下維護(hù)更復(fù)雜，不支持H.232視頻協(xié)議等，經(jīng)過(guò)詳細(xì)調(diào)查研究，放棄此解決方案。三是基于負(fù)載均衡技術(shù)。采用負(fù)載均衡技術(shù)，旁路接入對(duì)當(dāng)前網(wǎng)絡(luò)環(huán)境沒(méi)有任何改變，利用負(fù)載監(jiān)控業(yè)務(wù)端口或靜態(tài)頁(yè)，當(dāng)生產(chǎn)端應(yīng)用異?；虺霈F(xiàn)各種異常（如服務(wù)異常停止、網(wǎng)絡(luò)異常、硬件故障、生產(chǎn)應(yīng)用宕機(jī)維護(hù)）而導(dǎo)致應(yīng)用不可用時(shí)，將相關(guān)的應(yīng)用立刻切換到容災(zāi)端服務(wù)器上，由容災(zāi)端服務(wù)器上的應(yīng)用來(lái)提供服務(wù)，實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的無(wú)縫切換。根據(jù)河南省水利廳網(wǎng)段較多、網(wǎng)絡(luò)復(fù)雜及安全性的要求，經(jīng)過(guò)詳細(xì)的研究與測(cè)試，關(guān)鍵業(yè)務(wù)系統(tǒng)最終采用負(fù)載均衡來(lái)實(shí)現(xiàn)業(yè)務(wù)的雙活。

2.3.3 信息一致性技術(shù)

文件系統(tǒng)的I/O操作是序列化的，這些操作日志必須保持它原有的操作次序，如數(shù)據(jù)庫(kù)文件，在I/O操作被截獲時(shí)為每個(gè)操作日志進(jìn)行序列化排序，要求對(duì)數(shù)據(jù)的截獲、傳輸、存儲(chǔ)嚴(yán)格的按源序處理，容災(zāi)端收到I/O操作日志后對(duì)個(gè)別亂序通過(guò)日志記錄中的數(shù)字序號(hào)重新將I/O操作序列化，與生產(chǎn)端序列嚴(yán)格一致后再提交到容災(zāi)端寫(xiě)入，從而保證兩端信息的一致性。

3 結(jié)語(yǔ)

根據(jù)河南省水利信息化業(yè)務(wù)系統(tǒng)現(xiàn)狀和特點(diǎn)，經(jīng)過(guò)針對(duì)性研究，利用最新容災(zāi)技術(shù)，采用最經(jīng)濟(jì)的手段建設(shè)一套復(fù)雜網(wǎng)絡(luò)下業(yè)務(wù)應(yīng)用高可用的容災(zāi)平臺(tái)，為河南省水利信息化業(yè)務(wù)系統(tǒng)提供完善安全的容災(zāi)體系。

從長(zhǎng)遠(yuǎn)看，業(yè)務(wù)高可用的價(jià)值并非僅僅是業(yè)務(wù)系統(tǒng)應(yīng)對(duì)災(zāi)難、提高生存能力的工具，而是已經(jīng)成為提升政府服務(wù)質(zhì)量、承擔(dān)社會(huì)責(zé)任的重要保障；是水利系統(tǒng)提高政府辦事效率和透明度，減少行政環(huán)節(jié)，節(jié)約行政成本，適應(yīng)需求變化的重要基礎(chǔ)。

［1］馬獻(xiàn)章.數(shù)據(jù)庫(kù)云平臺(tái)理論與實(shí)踐［M］.北京∶清華大學(xué)出版社,2016（1）.

［2］武春嶺.數(shù)據(jù)存儲(chǔ)與容災(zāi)［M］.北京∶高等教育出版社,2015（1）.

［3］肖良華.從災(zāi)備到雙活［J］.金融電子化,2013（11）∶55-56.

［4］詹浩,李陽(yáng),郗新江.大型數(shù)據(jù)中心“雙活”應(yīng)用探析［J］.金融電子化,2013（8）∶69-70.

［5］韓兆云.綜合業(yè)務(wù)異地災(zāi)備系統(tǒng)三層異構(gòu)云服務(wù)平臺(tái)［J］.金融電子化,2014（9）：70-72.

TP311.5

A

1673-8853（2017）09-0092-02

2017-6-16

編輯：劉 青