□ 文 孫淳曄 梁 楊

運(yùn)營(yíng)商業(yè)務(wù)支撐系統(tǒng)主要面向客戶(hù)服務(wù)和業(yè)務(wù)管理，隨著近年來(lái)的不斷建設(shè)、發(fā)展、完善，已從企業(yè)內(nèi)部IT系統(tǒng)轉(zhuǎn)型為開(kāi)放的移動(dòng)互聯(lián)網(wǎng)節(jié)點(diǎn)，成為客戶(hù)運(yùn)營(yíng)的核心和連接數(shù)字化服務(wù)的紐帶，新形勢(shì)下的競(jìng)爭(zhēng)環(huán)境、業(yè)務(wù)、客戶(hù)、產(chǎn)品和網(wǎng)絡(luò)的變化都對(duì)現(xiàn)有的系統(tǒng)架構(gòu)帶來(lái)巨大挑戰(zhàn)，實(shí)現(xiàn)系統(tǒng)架構(gòu)的穩(wěn)定可靠性，保證業(yè)務(wù)連續(xù)性，以便更好地支撐市場(chǎng)拓展及客戶(hù)服務(wù)的發(fā)揮顯得極為必要。

為實(shí)現(xiàn)業(yè)務(wù)的連續(xù)性保障，制度上應(yīng)建立風(fēng)險(xiǎn)防控手段、應(yīng)急管理辦法措施進(jìn)行規(guī)避，技術(shù)上通過(guò)建立容災(zāi)、備份等應(yīng)急保障實(shí)現(xiàn)。本文通過(guò)調(diào)研部分省份的容災(zāi)技術(shù)選擇，詳細(xì)分析了技術(shù)原理及特點(diǎn)，針對(duì)某省公司現(xiàn)網(wǎng)單中心的現(xiàn)狀提出了雙中心建設(shè)方案。

應(yīng)急保障措施按照由低到高程度主要分為雙機(jī)、集群、備份、應(yīng)急、容災(zāi)幾個(gè)層次。

1、建設(shè)目的

運(yùn)營(yíng)商進(jìn)行容災(zāi)備份建設(shè)主要出于以下目的：

系統(tǒng)安全運(yùn)行需求

單生產(chǎn)環(huán)境做到的應(yīng)急保障程度有限，一旦發(fā)生自然災(zāi)害，大面積且長(zhǎng)時(shí)間停電等不可抗拒因素會(huì)造成系統(tǒng)癱瘓，影響公司整體收入，造成嚴(yán)重社會(huì)影響。

運(yùn)營(yíng)、運(yùn)維連續(xù)性需求

單生產(chǎn)環(huán)境進(jìn)行業(yè)務(wù)升級(jí)時(shí)為避免可能造成的日常營(yíng)業(yè)影響，通常會(huì)采用較短的上線窗口，造成上線范圍有限，此外部分升級(jí)還需中斷業(yè)務(wù)，影響業(yè)務(wù)連續(xù)性。對(duì)于系統(tǒng)的升級(jí)無(wú)法快速響應(yīng)，難以滿(mǎn)足市場(chǎng)快速支撐響應(yīng)。

此模式下的升級(jí)多采用夜間上線升級(jí)，以人工操作為主，效率不高且易出錯(cuò)，不具備可視化運(yùn)維能力，對(duì)支撐人員造成嚴(yán)重壓力。

系統(tǒng)架構(gòu)演進(jìn)需求

云化時(shí)代，工程投資精細(xì)化，投入產(chǎn)出數(shù)字化，保持系統(tǒng)的穩(wěn)定、安全、可擴(kuò)展性顯得至關(guān)重要，容災(zāi)建設(shè)模式架構(gòu)合理，符合演進(jìn)趨勢(shì)，正常狀態(tài)負(fù)荷分擔(dān)，資源復(fù)用，降低系統(tǒng)壓力，提高設(shè)備利用率；發(fā)生系統(tǒng)重大故障或?yàn)?zāi)難時(shí)實(shí)現(xiàn)應(yīng)用接管，起到容災(zāi)作用。

2、應(yīng)急保障分類(lèi)

應(yīng)急保障措施按照由低到高程度主要分為雙機(jī)、集群、備份、應(yīng)急、容災(zāi)幾個(gè)層次。雙機(jī)、集群涉及范圍最小，主要為單個(gè)業(yè)務(wù)或應(yīng)用模塊的保障，其中雙機(jī)又分為雙機(jī)HA，負(fù)載均衡模式，集群主要指集群主機(jī)共同完成某項(xiàng)任務(wù)并能自動(dòng)化實(shí)現(xiàn)宕機(jī)的業(yè)務(wù)接管。

備份保障直接面向基礎(chǔ)數(shù)據(jù)，主要是在單個(gè)數(shù)據(jù)中心內(nèi)實(shí)現(xiàn)關(guān)鍵數(shù)據(jù)的備份，承載介質(zhì)多為帶庫(kù)，虛擬帶庫(kù)以及各類(lèi)分布式存儲(chǔ)等，備份為粒度最小的應(yīng)急保障，也是最易實(shí)現(xiàn)、投資最少的方式，常用的備份工具有Networker、NBU等商業(yè)備份軟件等。

應(yīng)急面向?qū)ο鬄橄到y(tǒng)級(jí)或平臺(tái)級(jí)，目的在于故障發(fā)生時(shí)通過(guò)主備系統(tǒng)快速切換，實(shí)現(xiàn)業(yè)務(wù)的連續(xù)性保障、達(dá)到客戶(hù)無(wú)感知的目的，應(yīng)急的范圍一般局限于單個(gè)數(shù)據(jù)中心內(nèi)的核心系統(tǒng)，覆蓋底層數(shù)據(jù)庫(kù)至應(yīng)用層，需單獨(dú)的設(shè)備物理隔離部署，應(yīng)充分考慮與生產(chǎn)設(shè)備在機(jī)房、供電等配套資源的區(qū)分，以實(shí)現(xiàn)保障程度的最大化。

容災(zāi)為最高級(jí)的應(yīng)急保障機(jī)制，也是投資最高的建設(shè)模式。容災(zāi)建設(shè)在物理格局上可分為多地多中心模式、同城多中心模式，運(yùn)營(yíng)模式上有冷備、熱備、雙活、多活等方式，功能架構(gòu)上劃分全量和降級(jí)容災(zāi)模式建設(shè)，進(jìn)行容災(zāi)建設(shè)最為關(guān)鍵的是解決了風(fēng)、火、雷、電等自然災(zāi)害帶來(lái)的風(fēng)險(xiǎn)，在災(zāi)難發(fā)生時(shí)實(shí)現(xiàn)業(yè)務(wù)的快速切換，并盡量縮短RPO和RTO，以保證業(yè)務(wù)連續(xù)性、減少經(jīng)濟(jì)損失、保障客戶(hù)利益為最終目的。本文僅就保障級(jí)別最高的容災(zāi)技術(shù)進(jìn)行研究分析，并以雙中心雙活模式進(jìn)行說(shuō)明。

3、建設(shè)模式

進(jìn)行雙中心容災(zāi)建設(shè)首先考慮第二中心的配套問(wèn)題，具備數(shù)據(jù)中心機(jī)房的各類(lèi)資源保障條件，具備良好的擴(kuò)展性，連續(xù)的空調(diào)制冷環(huán)境，獨(dú)立冗余的電力保障以及中心間可靠的傳輸條件等。除物理配套因素外，系統(tǒng)的技術(shù)選型、業(yè)務(wù)邏輯也至關(guān)重要，目前雙中心建設(shè)功能上存在兩種分類(lèi)：

垂直劃分

垂直劃分是以業(yè)務(wù)功能為單位進(jìn)行劃分，根據(jù)業(yè)務(wù)功能的特性，按業(yè)務(wù)耦合程度在生產(chǎn)中心和容災(zāi)中心分別運(yùn)行不同的應(yīng)用，同時(shí)向另一中心同步數(shù)據(jù)，如圖1、圖2所示。

在實(shí)現(xiàn)數(shù)據(jù)級(jí)容災(zāi)的基礎(chǔ)上，任一中心出現(xiàn)災(zāi)難時(shí)，另一個(gè)中心接管全部業(yè)務(wù)，相應(yīng)的雙中心數(shù)據(jù)復(fù)制以應(yīng)用維度進(jìn)行復(fù)制。

水平劃分

水平劃分是以地域?yàn)閱挝贿M(jìn)行劃分，根據(jù)用戶(hù)歸屬，分別在生產(chǎn)中心和容災(zāi)中心運(yùn)行完整的系統(tǒng)，正常情況下某一中心只負(fù)責(zé)處理歸屬用戶(hù)的業(yè)務(wù)（跨地區(qū)業(yè)務(wù)除外），同時(shí)向另一中心同步數(shù)據(jù)，如圖3、圖4所示。

當(dāng)任一中心出現(xiàn)災(zāi)難時(shí)，另一個(gè)中心接管全部業(yè)務(wù)，相應(yīng)的雙中心數(shù)據(jù)復(fù)制以地市維度進(jìn)行復(fù)制。

4、關(guān)鍵技術(shù)研究

應(yīng)急保障是一個(gè)系統(tǒng)工程，需要雙中心接入層、應(yīng)用層、數(shù)據(jù)層、存儲(chǔ)層分別設(shè)置訪問(wèn)策略及切換機(jī)制，同時(shí)保證數(shù)據(jù)的安全備份機(jī)制。

接入層、應(yīng)用層主要依賴(lài)IP地址、DNS域名等配置解決，而涉及應(yīng)用層以下則需要專(zhuān)門(mén)的同步復(fù)制工具，目前主流方向有三種：基于存儲(chǔ)復(fù)制、基于數(shù)據(jù)庫(kù)日志復(fù)制、基于數(shù)據(jù)庫(kù)的復(fù)制，如圖5所示。

圖1 垂直劃分模式

圖3 水平劃分模式

圖2 垂直劃分同步

圖4 水平劃分同步

圖5 雙中心總體架構(gòu)

存儲(chǔ)復(fù)制：通過(guò)存儲(chǔ)控制或者虛擬卷控制實(shí)現(xiàn)數(shù)據(jù)在存儲(chǔ)設(shè)備之間的復(fù)制；所有的數(shù)據(jù)變化在兩個(gè)站點(diǎn)進(jìn)行鏡像。

數(shù)據(jù)庫(kù)日志復(fù)制：由數(shù)據(jù)庫(kù)系統(tǒng)的輔助程序或第三方工具，逆向解析數(shù)據(jù)庫(kù)交易日志并施行于遠(yuǎn)端數(shù)據(jù)庫(kù)完成數(shù)據(jù)復(fù)制。

應(yīng)急保障是一個(gè)系統(tǒng)工程，需要雙中心接入層、應(yīng)用層、數(shù)據(jù)層、存儲(chǔ)層分別設(shè)置訪問(wèn)策略及切換機(jī)制，同時(shí)保證數(shù)據(jù)的安全備份機(jī)制。

數(shù)據(jù)庫(kù)復(fù)制：由數(shù)據(jù)庫(kù)系統(tǒng)軟件完成數(shù)據(jù)復(fù)制，復(fù)制的粒度是數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)操縱動(dòng)作，復(fù)制涉及的范圍為單個(gè)數(shù)據(jù)庫(kù)。

“’互動(dòng)性’存在于口語(yǔ)交際的各個(gè)環(huán)節(jié)和話(huà)語(yǔ)理解的各個(gè)層面”，是指參與語(yǔ)言交流的雙方在口語(yǔ)交際中形成聽(tīng)和說(shuō)的交互作用。

為實(shí)現(xiàn)某省公司的容災(zāi)建設(shè)，充分考慮了兄弟省份的建設(shè)經(jīng)驗(yàn)，調(diào)研了部分省份的在用技術(shù)，結(jié)果如表1所示：

針對(duì)上述省份的技術(shù)選型，對(duì)三類(lèi)流派技術(shù)從以下維度進(jìn)行了分析，如表2所示：

各類(lèi)同步復(fù)制產(chǎn)品特點(diǎn)差距較大，對(duì)現(xiàn)網(wǎng)環(huán)境依賴(lài)性也不同，而大多數(shù)省份已考慮了應(yīng)急保障的建設(shè)，但近年來(lái)新的數(shù)據(jù)中心啟用則需要各個(gè)省公司情根據(jù)現(xiàn)網(wǎng)實(shí)際情況及業(yè)務(wù)讀寫(xiě)要求選擇適合的同步產(chǎn)品，以下針對(duì)各產(chǎn)品的進(jìn)行了總結(jié)建議，如表3所示。

表1 部分省份同步復(fù)制技術(shù)選擇

表2 同步復(fù)制技術(shù)對(duì)比

表3 技術(shù)使用場(chǎng)景分析

圖6 整體架構(gòu)圖

5、兩地雙中心建設(shè)方案

針對(duì)某運(yùn)營(yíng)商目前單數(shù)據(jù)中心的實(shí)際情況以及迫切建設(shè)第二中心的需求，結(jié)合在網(wǎng)在用數(shù)據(jù)庫(kù)產(chǎn)品及存儲(chǔ)產(chǎn)品，采用基于數(shù)據(jù)庫(kù)的同步復(fù)制技術(shù)進(jìn)行雙中心雙活容災(zāi)建設(shè)，對(duì)各層的配置分析如下，如圖6所示。

自頂而下劃分渠道層、接入層、應(yīng)用中心層及數(shù)據(jù)層，分別設(shè)置不同的接入方式和切換機(jī)制，雙中心間提供網(wǎng)絡(luò)層、存儲(chǔ)網(wǎng)絡(luò)層的雙鏈路、高帶寬保障。

主機(jī)按等量部署在雙中心，單中心內(nèi)根據(jù)不同外部訪問(wèn)入口劃分多個(gè)集群，在WEB層設(shè)置DNS，根據(jù)請(qǐng)求源地址與兩個(gè)中心IP的對(duì)應(yīng)關(guān)系，將不同地市的訪問(wèn)請(qǐng)求轉(zhuǎn)發(fā)到不同的中心進(jìn)而訪問(wèn)對(duì)應(yīng)中心的WEB集群。

當(dāng)WEB集群組1內(nèi)的一臺(tái)主機(jī)發(fā)生故障時(shí)，由集群機(jī)制保障WEB集群組1內(nèi)的其他主機(jī)承擔(dān)其負(fù)載的訪問(wèn)請(qǐng)求；當(dāng)WEB集群組1內(nèi)的主機(jī)大面積發(fā)生故障時(shí)，通過(guò)策略調(diào)整DNS解析配置，使所有請(qǐng)求切換到第二中心內(nèi)，確保業(yè)務(wù)不間斷。

應(yīng)用層

物理上兩個(gè)機(jī)房分別部署主機(jī)，應(yīng)用邏輯上跨機(jī)房集群部署形成統(tǒng)一的應(yīng)用支撐中心。

WEB層通過(guò)解析用戶(hù)屬性與歸屬地市映射關(guān)系，歸屬路由請(qǐng)求通過(guò)客戶(hù)端訪問(wèn)控制機(jī)制，執(zhí)行客戶(hù)分組的訪問(wèn)策略，將WEB請(qǐng)求指向?qū)?yīng)應(yīng)用中心集群。

原則上客戶(hù)端訪問(wèn)應(yīng)用中心集群組采取就近策略訪問(wèn)本局應(yīng)用中心，當(dāng)應(yīng)用集群組內(nèi)的服務(wù)器發(fā)生故障時(shí)，由集群機(jī)制保障應(yīng)用集群組內(nèi)的其他服務(wù)器能夠承擔(dān)其負(fù)載的請(qǐng)求量，當(dāng)本中心獲取不到較近的應(yīng)用服務(wù)器地址，自動(dòng)將請(qǐng)求指向?qū)Χ藨?yīng)用中心集群組，確保業(yè)務(wù)連續(xù)性。

數(shù)據(jù)層

現(xiàn)網(wǎng)一中心某核心系統(tǒng)采用的是Oracle數(shù)據(jù)庫(kù)，由于第二中心所購(gòu)設(shè)備按照第一中心同構(gòu)等量考慮，按照全量1:1考慮全量災(zāi)備建設(shè)，優(yōu)先考慮數(shù)據(jù)庫(kù)性能影響及數(shù)據(jù)壞塊的處理機(jī)制，選用Oracle ADG技術(shù)進(jìn)行雙中心同步技術(shù)，雙中心數(shù)據(jù)庫(kù)主備庫(kù)跨機(jī)房交叉部署，一中心部署A主庫(kù)、B備庫(kù)，二中心部署A備庫(kù)、B主庫(kù)。

每個(gè)業(yè)務(wù)應(yīng)用存在兩個(gè)或多個(gè)數(shù)據(jù)庫(kù)連接。根據(jù)訪問(wèn)主備庫(kù)要求，設(shè)定數(shù)據(jù)庫(kù)DNS可解析的IP地址；用于優(yōu)先訪問(wèn)備庫(kù)的連接將備庫(kù)IP地址設(shè)為首選，用于優(yōu)先訪問(wèn)主庫(kù)的連接將主庫(kù)IP地址設(shè)為首選。注冊(cè)服務(wù)與主備優(yōu)先連接設(shè)定關(guān)聯(lián)關(guān)系，按照對(duì)應(yīng)策略從對(duì)應(yīng)的連接池中獲取數(shù)據(jù)庫(kù)連接。數(shù)據(jù)主庫(kù)出現(xiàn)故障，可通過(guò)人工干預(yù)或根據(jù)策略進(jìn)行自動(dòng)切換。

單中心數(shù)據(jù)庫(kù)通過(guò)RAC實(shí)現(xiàn)高可用，雙中心通過(guò)第三方數(shù)據(jù)同步軟件保障主庫(kù)與備庫(kù)的數(shù)據(jù)一致性。雙中心的數(shù)據(jù)同時(shí)可讀寫(xiě)，數(shù)據(jù)相互備份，并且在其中一個(gè)中心出現(xiàn)異常的時(shí)候，對(duì)端中心可以馬上接管。

雙活模式下的應(yīng)用升級(jí)：基于分布式中心架構(gòu)，只要不涉及數(shù)據(jù)庫(kù)變更，應(yīng)用變更或升級(jí)可以通過(guò)在線方式升級(jí)，保證業(yè)務(wù)不中斷。利用雙中心的在線切換機(jī)制，即便涉及數(shù)據(jù)庫(kù)變更的升級(jí)，也可以做到在線升級(jí)，保障業(yè)務(wù)不中斷。

6、結(jié)束語(yǔ)

本文針對(duì)業(yè)界主流的容災(zāi)建設(shè)模式做出來(lái)詳細(xì)分析，歸納總結(jié)了技術(shù)對(duì)比分析，并針對(duì)某公司提出了兩地雙中心的具體實(shí)現(xiàn)方案。當(dāng)今時(shí)代運(yùn)營(yíng)商既面臨機(jī)遇，又面臨挑戰(zhàn)，只要把握自身優(yōu)勢(shì)地位，充分保障系統(tǒng)穩(wěn)定，保持架構(gòu)先進(jìn)，不斷優(yōu)化業(yè)務(wù)能力、提高客戶(hù)感知，才能在互聯(lián)網(wǎng)的前進(jìn)大潮中立于不敗之地?！?/p>