文 | 劉躍 宋兵

難以預料的天災與人禍，如火災、地震、海嘯等造成信息系統(tǒng)出現(xiàn)損壞或數(shù)據(jù)丟失、無法提供服務等情況，甚至讓一個部門或社會局部停止運轉(zhuǎn)，造成嚴重后果。典型的像美國9.11事件發(fā)生一年后，350家曾在世貿(mào)大廈內(nèi)辦公的公司中的200余家，由于信息系統(tǒng)破壞，關鍵數(shù)據(jù)的丟失，就此關閉了。面對災難，企業(yè)束手無策嗎？當然不是。同樣在世貿(mào)大廈中辦公的摩根斯坦利公司由于建立了數(shù)據(jù)備份和遠程容災系統(tǒng)，在前所未有的9.11災難中，保護了公司的重要數(shù)據(jù)，在第二天遍及全球的業(yè)務照常運行。

所以，災難不能預測，但是可以預防，因此建立信息系統(tǒng)的異地容災對企業(yè)，特別是對那些全球覆蓋，二十四小時不間斷運轉(zhuǎn)，高度信息化的世界性新聞媒體集團來講是非常重要的。

一、容災概述

信息系統(tǒng)異地容災是指在相隔較遠的異地，建立兩套或多套功能相同的信息系統(tǒng)，互相之間可以進行健康狀態(tài)監(jiān)視和功能切換，當一處系統(tǒng)因意外(如火災、地震等)停止工作時，整個應用系統(tǒng)可以切換到另一套，使得該系統(tǒng)可以繼續(xù)提供服務，保證業(yè)務的連續(xù)。

從技術上看，衡量容災層次的主要有兩個指標：RPO（Recovery Point Object）和RTO（Recovery Time Object）；RPO即數(shù)據(jù)恢復點目標，主要指的是業(yè)務系統(tǒng)所能容忍的數(shù)據(jù)丟失量；RTO是恢復時間目標，主要指的是所能容忍的業(yè)務停止服務的最長時間，也就是從災難發(fā)生到業(yè)務系統(tǒng)恢復服務功能所需要的最短時間周期。RPO針對的是數(shù)據(jù)丟失，而RTO針對的是服務丟失，二者沒有必然的關聯(lián)性。RTO和RPO的確定必須在進行風險分析和業(yè)務影響分析后根據(jù)不同的業(yè)務需求確定。對于不同企業(yè)的同一種業(yè)務，RTO和RPO的需求也會有所不同。

異地容災的備份與恢復國家標準《信息系統(tǒng)災難恢復規(guī)范》(GB/T 20988-2007 )規(guī)定了信息系統(tǒng)災難恢復應遵循的基本要求，適用于信息系統(tǒng)災難恢復的規(guī)劃、審批、實施和管理。并對災難恢復能力作了6個等級的劃分：第1級 基本支持，第2級 備用場地支持，第3級 電子傳輸和部分設備支持，第4級 電子傳輸及完整設備支持，第5級實時數(shù)據(jù)傳輸及完整設備支持，第6級數(shù)據(jù)零丟失和遠程集群支持。

二、容災恢復技術

容災系統(tǒng)所涉及的恢復技術一般包括三種：數(shù)據(jù)恢復技術、應用恢復技術和網(wǎng)絡恢復技術。下面就這三種技術進行簡要分析。

所謂數(shù)據(jù)恢復技術，是指建立一個異地的數(shù)據(jù)備份系統(tǒng)，作為本地關鍵應用數(shù)據(jù)的一個可用復制。在本地數(shù)據(jù)或整個應用系統(tǒng)出現(xiàn)災難時，確保在異地保存有一份可用的關鍵業(yè)務的數(shù)據(jù)。該數(shù)據(jù)可以是與本地生產(chǎn)數(shù)據(jù)的完全實時復制，也可以比本地數(shù)據(jù)略微落后，但一定是可用的。采用的主要技術是數(shù)據(jù)備份和數(shù)據(jù)復制技術。按照其實現(xiàn)的技術方式來說，主要可以分為同步傳輸方式和異步傳輸方式。同步方式是指數(shù)據(jù)在本地和異地都保存成功后，才會返回應用系統(tǒng)數(shù)據(jù)成功存儲的信息；而異步方式是數(shù)據(jù)只要在本地存儲成功，就返回應用系統(tǒng)成功的信息，而數(shù)據(jù)存儲到異地是在后臺異步完成的。

應用容災恢復技術是在數(shù)據(jù)容災的基礎上，在異地建立一套完整的與本地生產(chǎn)系統(tǒng)相當?shù)膫浞輵孟到y(tǒng)，也可以是互為備份。建立這樣一個系統(tǒng)是相對比較復雜的，不僅需要一份可用的數(shù)據(jù)復制，還要有包括網(wǎng)絡、主機、應用、甚至IP等資源，以及各種資源之間的良好協(xié)調(diào)。主要的技術包括負載均衡、集群技術。數(shù)據(jù)容災是應用容災的技術，應用容災是數(shù)據(jù)容災的目標。

網(wǎng)絡恢復技術一般有：1）4-7層交換機，例如：無中斷的網(wǎng)絡恢復需要動態(tài)網(wǎng)絡路由重選，來保證應用能夠在不中斷最終用戶的情況下轉(zhuǎn)入備用數(shù)據(jù)中心。在SNA環(huán)境下通過APPN（Advanced Peer to Peer Networking）來完成，而在IP環(huán)境下則通過第4-7層轉(zhuǎn)換來完成。通過標準的基于路由器的技術，可以在通用的IP傳輸上使用APPN；2）路由，例如：可以通過APPN和/或標準的路由協(xié)議來完成 (OSPF/EIGRP/BGP-4)在非GDPS 環(huán)境中，APPN應用路由在容災系統(tǒng)備用路徑可用時，自動恢復網(wǎng)絡連接。3）2層Reconnect，例如：SNA子網(wǎng)在以太網(wǎng)/SNA中通過ATM/幀中繼/DDN鏈路進行互聯(lián)，如果發(fā)生鏈路故障，則可以通過手工切換來實現(xiàn)網(wǎng)絡恢復。

綜上所述，在選擇容災系統(tǒng)的架構時，還要建立多層次的廣域網(wǎng)絡故障切換機制。在遠程的容災系統(tǒng)中，要實現(xiàn)完整的應用容災，既要包含本地系統(tǒng)的安全機制、遠程的數(shù)據(jù)復制機制，還應具有廣域網(wǎng)范圍的遠程故障切換能力和故障診斷能力。也就是說，一旦故障發(fā)生，系統(tǒng)要有強大的故障診斷和切換策略制訂機制，確?？焖俚姆磻脱杆俚臉I(yè)務接管。實際上，廣域網(wǎng)范圍的高可用能力與本地系統(tǒng)的高可用能力應形成一個整體，實現(xiàn)多級的故障切換和恢復機制，確保系統(tǒng)在各個范圍的可靠和安全。

在信息化高速發(fā)展的今天，信息系統(tǒng)已經(jīng)應用到社會的方方面面，隨著信息系統(tǒng)數(shù)據(jù)量以指數(shù)方式爆發(fā)性增長，數(shù)據(jù)安全的重要性越來越大，各個組織對信息系統(tǒng)的依賴也越來越嚴重，成為組織能否成功的關鍵。

三、異地容災方案的實施

對于異地容災系統(tǒng)的建立，建議通過分步實施，逐漸建立一套完善的系統(tǒng)容災解決方案：

第一步，完善深化本地備份系統(tǒng)

通過相應的備份軟件，對目前所有的計算機系統(tǒng)，做好完善的數(shù)據(jù)備份，特別是做好操作系統(tǒng)備份、文件系統(tǒng)備份、數(shù)據(jù)庫系統(tǒng)文件備份、數(shù)據(jù)庫數(shù)據(jù)文件備份、相關的核心應用程序備份；建立好完善的備份/恢復機制和遠程磁帶保管機制；這也是下一步實現(xiàn)遠程數(shù)據(jù)復制容災的基礎，容災中心與生產(chǎn)中心的數(shù)據(jù)初始化同步，都是通過備份恢復方式，實現(xiàn)一個同步起點。備份非常重要，可以防止出現(xiàn)一些惡意操作或誤操作等造成的數(shù)據(jù)邏輯錯誤。

建立備份系統(tǒng)后，再將備份文件在異地也保存一份，保證出現(xiàn)地理上的不可預見災難時，在異地保存一份完整的數(shù)據(jù)。異地備份中心地理位置的選擇，大的方面需要對政治、軍事、科技、人口和地質(zhì)環(huán)境等因素加以考慮，還要從企業(yè)或機構的遠景規(guī)劃，業(yè)務布局，實施、維護便利性等方面考慮。

第二步，完善存儲和應用的整合

存儲整合是指通過相關的產(chǎn)品選擇，將各服務器的數(shù)據(jù)、或應用，通過基于一定的管理及后續(xù)，實現(xiàn)數(shù)據(jù)的快照、鏡像等技術，遷移到外置基于SAN的陣列庫中，通過唯一的管理接口，實現(xiàn)統(tǒng)一管理，屏蔽不同廠商陣列的差異。為后續(xù)進行容災管理奠定基礎。

應用整合是指通過相應的應用集群管理軟件，管理所有的應用系統(tǒng)狀態(tài)。對現(xiàn)有的數(shù)據(jù)庫系統(tǒng)Oracle、SQL Server、DB2、中間件等應用，實現(xiàn)雙機、多機或是單機集群管理。操作系統(tǒng)平臺相同的，可以整合在一起，實現(xiàn)多機集群，不同的數(shù)據(jù)庫實例，只是作為一個“數(shù)據(jù)庫服務組”，運行在多機或雙機中的某一臺服務器上，為中間件、其他應用建立“應用服務組”，也納入到集群軟件的管理；并且動過集權軟件建立“應用服務組”與“數(shù)據(jù)庫服務組”或其他“應用服務組”的依賴關系，實現(xiàn)對應用啟動、關閉的有序管理。

如果是Oracle RAC的應用，則需要集權軟件支持，因此在選擇集權管理軟件時要納入考慮因素，通過RAC的支持使得數(shù)據(jù)庫的 RAC應用也在集群軟件的管理之下。

第三步，建立異地數(shù)據(jù)實時保護

通過第二步的存儲和應用整合，使得所有需要容災的核心系統(tǒng)，全部納入到一個統(tǒng)一的管理平臺之下，我們將規(guī)劃好應用數(shù)據(jù)的存放方式、數(shù)據(jù)文件的存放地點、日志的存放地點，然后統(tǒng)一為這些數(shù)據(jù)指定一定的存儲策略，實現(xiàn)遠程數(shù)據(jù)實時復制。

遠程數(shù)據(jù)實時復制，達到了真正的數(shù)據(jù)高可用，任何一個節(jié)點出現(xiàn)問題時，可以在很短的時間內(nèi)，將應用切換到另外一個節(jié)點，實現(xiàn)業(yè)務的連續(xù)性。

第四步，建立異地容災切換演練機制

在數(shù)據(jù)庫復制初始化完成，相關應用復制完成，就可以實現(xiàn)相關應用的“消防演習”了。這是保證容災系統(tǒng)正常工作的最有效的手段。

第五步，建立遠程切換機制

確定外部DNS服務器對本地服務器與容災中心服務器IP地址的對應關系，確定DNS 更新的內(nèi)容。切換在某些情況下，也是一個非常復雜的過程，因為涉及切換的內(nèi)容還是很多的，包括數(shù)據(jù)庫、應用系統(tǒng)、安全系統(tǒng)、中間件等等，所以最好是能夠建立一些自動切換的手段，提高切換的效率和可靠。

四、案例分析

筆者以某傳媒集團的異地容災系統(tǒng)建設過程為例，在此簡單的介紹和分析容災系統(tǒng)建設過程，總結(jié)實施中的經(jīng)驗。

1.項目背景介紹

該傳媒集團業(yè)務范圍遍布各大洲，主要業(yè)務系統(tǒng)數(shù)據(jù)集中存放在總部數(shù)據(jù)中心，數(shù)據(jù)庫為Oracle；應用系統(tǒng)為C/S結(jié)構，終端分布部署在各分支機構，通過分支的中間層服務器和數(shù)據(jù)庫進行通信。

項目建設之前，該集團已經(jīng)有非常完善的數(shù)據(jù)備份恢復機制，能夠保證數(shù)據(jù)的RPO，但是，因為該集團需要一個不間斷的業(yè)務保證，而且一旦發(fā)生一些地理上的自然災害等導致總部數(shù)據(jù)出現(xiàn)問題的時候（包括備份數(shù)據(jù)），該集團的業(yè)務將很難恢復。為此，管理層討論后決策，建設總部數(shù)據(jù)中心的異地容災系統(tǒng)，一方面保證數(shù)據(jù)的安全，另一方面，要保證業(yè)務的連續(xù)。

2.容災需求分析

經(jīng)過對該集團業(yè)務特點分析，明確系統(tǒng)的異地容災需要具有如下能力：

1) 數(shù)據(jù)能夠在“運行節(jié)點”和“備份節(jié)點”之間達到接近實時的復制，保障數(shù)據(jù)在上千公里外的異地有一份完全相同的副本，不但要保證數(shù)據(jù)復制的準確性、一致性等，更重要的是，兩個節(jié)點之間要能夠隨時“互換”，也就是說數(shù)據(jù)可以從“運行節(jié)點”復制到“備份節(jié)點”，當運行節(jié)點出現(xiàn)問題業(yè)務切換到“備份節(jié)點”時，數(shù)據(jù)也可以從“備份節(jié)點”復制到“運行節(jié)點”；

2) “運行節(jié)點”和“備份節(jié)點”都要做好數(shù)據(jù)的備份，防止出現(xiàn)惡意操作或誤操作造成的數(shù)據(jù)邏輯錯誤。因為當“運行節(jié)點”和“備份節(jié)點”之間數(shù)據(jù)進行實時復制時，一旦發(fā)生前端的誤操作，可能會導致數(shù)據(jù)庫中數(shù)據(jù)的邏輯錯誤，如果沒有數(shù)據(jù)的定期備份，錯誤的數(shù)據(jù)就很難恢復；

3) 當真正發(fā)生災難時，系統(tǒng)的運行環(huán)境能夠迅速的從“運行節(jié)點”切換到“備份節(jié)點”，保證業(yè)務的連續(xù)性。切換涉及到的數(shù)據(jù)庫、中間件、安全、DNS等各種服務，都需要進行平滑、迅速的切換，不能有太多人工干預的操作；

4) 平時運行中，建立“演練切換機制”，定期將系統(tǒng)的運行環(huán)境在“運行節(jié)點”和“備份節(jié)點”之間切換，一方面是使資源的利用率更加合理，另一方面也是不斷的對切換流程進行驗證完善；

5) 建立并完善“安全系統(tǒng)”等關鍵支撐平臺的高可用。在本方案中，DNS服務器、安全服務器、應用服務器等；

6) 建立網(wǎng)絡通道備份機制，防止因為網(wǎng)絡出現(xiàn)問題造成系統(tǒng)切換失效。

3.容災方案設計

1) 在“運行節(jié)點”和“備份節(jié)點”之間建立兩條網(wǎng)絡傳輸通路，其中一條用作備份，而且在選擇網(wǎng)絡服務提供商時，該集團選擇了兩家。同時，通過路由技術建立網(wǎng)絡的切換機制，保證在一條物理鏈路出現(xiàn)問題時，能夠快速的切換到另外一條，做到了鏈路冗余，這樣保證了兩個數(shù)據(jù)中心之間網(wǎng)絡的高可用，為建立系統(tǒng)的異地容災奠定了堅實的基礎；

2) “運行節(jié)點”和“備份節(jié)點”上的Oracle數(shù)據(jù)庫之間采用Quest公司的SharePlex進行數(shù)據(jù)的雙向異步準實時同步，確保兩節(jié)點上的數(shù)據(jù)都處于在線可用狀態(tài)。

3) 在進行數(shù)據(jù)同步之初，由于對產(chǎn)品不太熟悉，有些配置不當?shù)牡胤?，造成了?shù)據(jù)的少量缺失，后來建立了兩節(jié)點之間數(shù)據(jù)的核對機制，發(fā)現(xiàn)錯誤后，及時修正，最終保證了數(shù)據(jù)的一致。

4) 采用SharePlex進行數(shù)據(jù)同步時，還需要解決下面的難題：數(shù)據(jù)庫結(jié)構的升級，因為數(shù)據(jù)庫結(jié)構的變化有很多，比如修改主鍵、增加字段、修改字段等等，這些都得需要對SharePlex進行同步的配置，而且同時需要對兩個節(jié)點的數(shù)據(jù)庫都要升級才能滿足要求。需要建立方便、可靠的升級機制，保證了數(shù)據(jù)庫結(jié)構升級的順利進行。

5) “運行節(jié)點”和“備份節(jié)點”的數(shù)據(jù)庫都制定完善的本地備份策略，并嚴格實施。該項目中，兩節(jié)點的數(shù)據(jù)備份時通過兩種手段實現(xiàn)：一種是采用硬盤的鏡像技術實現(xiàn)的，這樣不但速度快，而且穩(wěn)定可靠，還可以提供一個在線可以使用的數(shù)據(jù)庫，但是容量有限；另一種就是采用磁帶備份技術，并定期將磁帶運往同城異地，保證備份文件的安全。

6) 在“運行節(jié)點”和“備份節(jié)點”分別建立CA、SCA和RA服務器，平時只使用運行節(jié)點的服務，并做好兩節(jié)點之間服務器上配置信息的同步，當運行節(jié)點出現(xiàn)問題時，切換到備份節(jié)點。

4.經(jīng)驗總結(jié)與思考

盡管做了充分準備，在該項目實際進行中，依然遇到了很多問題，但都通過各種手段研究解決，這充分說明了實踐出真知。通過這個項目，總結(jié)一下在實施異地容災項目時應注意的問題。

1) 技術工具的專業(yè)化

異地容災技術要求高，術業(yè)有專攻，需要工具、組件專業(yè)化。在選擇數(shù)據(jù)庫復制軟件時，項目組最先準備采用數(shù)據(jù)庫軟件附屬的復制工具，但配置復雜，難于操作，還遇到一些意想不到的問題。所以，轉(zhuǎn)向考察一些專業(yè)的數(shù)據(jù)復制工具軟件，通過對專業(yè)工具軟件測試比較發(fā)現(xiàn)，這些軟件比功能完善，使用方便，提高了數(shù)據(jù)庫復制的可靠性。

2) 做好數(shù)據(jù)的準確性比對

在項目實施完成，正式開始使用時，一定要注意“運行節(jié)點”和“備份節(jié)點”之間數(shù)據(jù)的一致性，最好是提前做好數(shù)據(jù)對比程序，并由專人負責比對，一旦發(fā)現(xiàn)問題，務必及時處理。否則，當時間長了以后，數(shù)據(jù)誤差越積越多，最終造成很嚴重的數(shù)據(jù)準確性問題，就會使方案得不償失了。所以，做好數(shù)據(jù)基準點工作很重要。

3) 編寫必要的切換程序

該項目在實施之初，對提高切換的自動程度缺乏考慮，造成了切換過程需要很多人工干預工作，降低了工作效率，更容易引入人為失誤。后來經(jīng)過分析整理，項目組編寫了一個簡練高效的切換程序，“一鍵”完成切換，自動化程度大幅提高。所以，在具體設計切換方案時，最好將切換過程標準化、自動化，提高切換的效率和穩(wěn)定性。

4) 做好DNS、路由、安全等關鍵節(jié)點的高可用

異地容災系統(tǒng)中，很多切換都是通過DNS服務器完成重定向的，所以DNS服務器本身的高可用和容災一定要做好，其他的比如安全服務、路由等也都要做好高可用，保證在系統(tǒng)切換時，這些關鍵要素要予以充分重視。

5) 成立“異地容災委員會”

在所有的要素中，人是最重要的。在建設異地容災項目時，最重要的因素是“人”，一定要建立相應的組織，專門負責異地容災的管理，包括方案的制定、切換演習等，最好有高層領導統(tǒng)籌，這樣整項工作才有條不紊，具有效率。

6) 制定完善的切換預案并定期演練

方案考慮再周全，也要經(jīng)過實踐的驗證。所以在該項目建設過程中，每個階段都進行多次演練，以驗證各個環(huán)節(jié)的可靠性，發(fā)現(xiàn)問題，解決問題，提高人員操作的熟練性。