吳杏平，李子乾，李 瑋，王 雷

(國(guó)家電網(wǎng)公司客戶服務(wù)中心，天津 300000)

0 引 言

近年來(lái)，在云計(jì)算、大數(shù)據(jù)等新興技術(shù)不斷涌現(xiàn)的新形勢(shì)下，傳統(tǒng)的單數(shù)據(jù)中心已經(jīng)無(wú)法滿足日益增長(zhǎng)的數(shù)據(jù)需求[1-2]，信息系統(tǒng)壓力日益增大，尤其具有高可用、高性能、持續(xù)可靠等要求的重要信息系統(tǒng)所面臨的挑戰(zhàn)很大。因此越來(lái)越多的行業(yè)開(kāi)始建立多數(shù)據(jù)中心的運(yùn)行模式，來(lái)確保信息系統(tǒng)的安全、穩(wěn)定和高效運(yùn)行[3-4]。

國(guó)家電網(wǎng)客戶服務(wù)中心95598的供電服務(wù)面向千家萬(wàn)戶，對(duì)社會(huì)的影響大，故其服務(wù)要求極高，是公司形象展示的重要窗口。客戶服務(wù)中心作為國(guó)家電網(wǎng)公司的窗口部門，其信息系統(tǒng)的安全性、可靠性將直接關(guān)系到國(guó)家電網(wǎng)公司的社會(huì)形象，其中尤為重要的是95598核心業(yè)務(wù)系統(tǒng)的業(yè)務(wù)連續(xù)性保障體系建設(shè)。結(jié)合客服中心應(yīng)用特點(diǎn)，以及業(yè)界多種應(yīng)用雙/多活的成熟經(jīng)驗(yàn)和先進(jìn)案例，將異地雙活模式應(yīng)用于95598客服系統(tǒng)。建設(shè)客服中心95598異地雙活核心業(yè)務(wù)災(zāi)備系統(tǒng)，將最大限度降低核心業(yè)務(wù)系統(tǒng)的單點(diǎn)異常對(duì)整體業(yè)務(wù)功能連續(xù)性的影響；災(zāi)備系統(tǒng)建成后，兩個(gè)數(shù)據(jù)中心將分別對(duì)各省市遠(yuǎn)程用戶提供訪問(wèn)服務(wù)；在災(zāi)難發(fā)生時(shí)，可將故障中心的用戶訪問(wèn)流量全部轉(zhuǎn)發(fā)到另一個(gè)數(shù)據(jù)中心處理。而遠(yuǎn)距離異地雙活的難點(diǎn)在于如何將以省為單元的異地營(yíng)銷數(shù)據(jù)集成，儲(chǔ)存到總部的公共庫(kù)，以滿足兩個(gè)中心數(shù)據(jù)一致性的要求[5]。

基于95598異地雙活災(zāi)備模型，設(shè)計(jì)了一個(gè)跨庫(kù)數(shù)據(jù)集成系統(tǒng)。該系統(tǒng)由數(shù)據(jù)復(fù)制、數(shù)據(jù)集成和數(shù)據(jù)提供三部分構(gòu)成，完成了各省(市)異地營(yíng)銷數(shù)據(jù)到總部系統(tǒng)公共庫(kù)的集成，并有效保證了雙活中心數(shù)據(jù)的一致性，滿足了異地雙活的需要。

1 異地雙活數(shù)據(jù)集成系統(tǒng)設(shè)計(jì)

雙活數(shù)據(jù)中心的搭建要求建立兩個(gè)數(shù)據(jù)中心[6-7]，二者能夠?qū)崿F(xiàn)數(shù)據(jù)的互通和互備，其中一個(gè)數(shù)據(jù)中心作為主數(shù)據(jù)中心，另一個(gè)數(shù)據(jù)中心作為備份數(shù)據(jù)中心，主數(shù)據(jù)中心可以調(diào)用備份數(shù)據(jù)中心數(shù)據(jù)為用戶提供應(yīng)用。當(dāng)主數(shù)據(jù)中心出現(xiàn)故障時(shí)，備份數(shù)據(jù)中心可作為主數(shù)據(jù)中心應(yīng)用，并且能夠通過(guò)數(shù)據(jù)通道，將主數(shù)據(jù)中心存儲(chǔ)的數(shù)據(jù)調(diào)用到備份數(shù)據(jù)中心進(jìn)行應(yīng)用。數(shù)據(jù)的調(diào)用要保證即時(shí)性、流暢性、無(wú)障礙，數(shù)據(jù)中心的轉(zhuǎn)換不會(huì)給用戶應(yīng)用數(shù)據(jù)中心平臺(tái)造成影響，并且要保證數(shù)據(jù)接口的安全，防止數(shù)據(jù)被竊取或者掉包。

1.1 需求分析

(1)整合27省(市)電力公司客戶數(shù)據(jù)，構(gòu)建公司級(jí)客戶檔案統(tǒng)一視圖，以支撐3.6億客戶信息的快速檢索和無(wú)差異查詢。

(2)無(wú)論客服中心核心業(yè)務(wù)系統(tǒng)是從生產(chǎn)環(huán)境切換到災(zāi)備環(huán)境還是從災(zāi)備環(huán)境切換到生產(chǎn)環(huán)境，數(shù)據(jù)都不能出現(xiàn)混亂或丟失(例如有重復(fù)數(shù)據(jù)或是邏輯上不一致的數(shù)據(jù))。

(3)恢復(fù)點(diǎn)目標(biāo)RPO<2分鐘，恢復(fù)時(shí)間目標(biāo)RTO<30分鐘。根據(jù)系統(tǒng)的組成，針對(duì)災(zāi)備數(shù)據(jù)，災(zāi)備系統(tǒng)具有2個(gè)重要的指標(biāo)，即恢復(fù)點(diǎn)目標(biāo)(recovery point object，RPO)和恢復(fù)時(shí)間目標(biāo)(recovery time object，RTO)。RPO是指業(yè)務(wù)系統(tǒng)所允許的災(zāi)難過(guò)程中的最大數(shù)據(jù)丟失量；RTO是將信息系統(tǒng)“從災(zāi)難造成的故障或癱瘓狀態(tài)恢復(fù)到可正常運(yùn)行狀態(tài)，并將其支持的業(yè)務(wù)功能從災(zāi)難造成的不正常狀態(tài)恢復(fù)到可接受狀態(tài)”所需時(shí)間，由備份數(shù)據(jù)恢復(fù)到可用狀態(tài)所需時(shí)間、數(shù)據(jù)處理系統(tǒng)切換時(shí)間、備用網(wǎng)絡(luò)切換時(shí)間等組成。RPO與RTO越小，災(zāi)備數(shù)據(jù)的狀態(tài)越好，表示系統(tǒng)的可用性越高。

(4)數(shù)據(jù)一致性、完整性保障，同時(shí)實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)本地保護(hù)。

1.2 系統(tǒng)設(shè)計(jì)

異地雙活環(huán)境下跨庫(kù)數(shù)據(jù)集成系統(tǒng)面向使用頻度高，引用密度高，數(shù)據(jù)及時(shí)性要求高，變化緩慢，重復(fù)使用度高的信息。例如客戶檔案信息、客戶電源及接入信息、客戶計(jì)量信息等，在總部建立集中統(tǒng)一的存貯，不但可以避免頻繁通過(guò)遠(yuǎn)程網(wǎng)絡(luò)訪問(wèn)省(市)系統(tǒng)，而且可以有效提高總部系統(tǒng)處理效率。

數(shù)據(jù)集成范圍包括客戶檔案、電費(fèi)管理、業(yè)務(wù)費(fèi)用、電量電費(fèi)計(jì)算結(jié)果數(shù)據(jù)等業(yè)務(wù)分類。整合這些數(shù)據(jù)，構(gòu)建公司級(jí)客戶檔案統(tǒng)一數(shù)據(jù)模型，如圖1所示。

圖1 統(tǒng)一數(shù)據(jù)模型

其數(shù)據(jù)統(tǒng)一模型由組織域、客戶域、服務(wù)域、電網(wǎng)域、營(yíng)銷設(shè)備域、支撐域和公共數(shù)據(jù)等七個(gè)數(shù)據(jù)域組成。為滿足客戶服務(wù)中心各業(yè)務(wù)應(yīng)用的數(shù)據(jù)集成需求，27個(gè)省(市)的營(yíng)銷數(shù)據(jù)分別通過(guò)數(shù)據(jù)復(fù)制工具復(fù)制到基礎(chǔ)支撐平臺(tái)對(duì)應(yīng)的27個(gè)查詢庫(kù)，數(shù)據(jù)實(shí)時(shí)同步更新?；A(chǔ)支撐平臺(tái)按業(yè)務(wù)類型將查詢庫(kù)中的數(shù)據(jù)進(jìn)行整合，存儲(chǔ)到公共庫(kù)以提供統(tǒng)一數(shù)據(jù)服務(wù)?；?5598的特點(diǎn)及數(shù)據(jù)集成需求，設(shè)計(jì)并構(gòu)建的異地雙活環(huán)境下跨庫(kù)數(shù)據(jù)集成系統(tǒng)如圖2所示。

圖2 數(shù)據(jù)集成系統(tǒng)

異地雙活環(huán)境下跨庫(kù)數(shù)據(jù)集成系統(tǒng)由數(shù)據(jù)復(fù)制、數(shù)據(jù)集成和數(shù)據(jù)提供三個(gè)模塊構(gòu)成，數(shù)據(jù)復(fù)制通過(guò)復(fù)制軟件將省(市)公司系統(tǒng)檔案等變化緩慢且復(fù)用度高的數(shù)據(jù)分別復(fù)制到總部對(duì)應(yīng)省(市)公司的查詢庫(kù)。數(shù)據(jù)集成是由各省市獨(dú)立的查詢數(shù)據(jù)庫(kù)集成為公共數(shù)據(jù)庫(kù)的過(guò)程，依靠ETL軟件完成。數(shù)據(jù)提供則是以統(tǒng)一接口統(tǒng)一對(duì)外提供服務(wù)。

2 數(shù)據(jù)復(fù)制

數(shù)據(jù)復(fù)制通過(guò)數(shù)據(jù)復(fù)制軟件將省(市)公司系統(tǒng)檔案等變化緩慢且復(fù)用度高的應(yīng)用庫(kù)數(shù)據(jù)，以電力通信網(wǎng)為媒介，分別復(fù)制到總部對(duì)應(yīng)省(市)公司的查詢庫(kù)。

異地雙活選擇復(fù)制方式時(shí)需要對(duì)各自的系統(tǒng)進(jìn)行IO讀寫實(shí)現(xiàn)復(fù)制，不能獨(dú)占文件，要求可以與應(yīng)用的服務(wù)并存，以滿足雙活災(zāi)備的要求。同時(shí)，由于異地?cái)?shù)據(jù)傳輸距離較長(zhǎng)，如果采用同步方式進(jìn)行數(shù)據(jù)復(fù)制，那么就會(huì)造成系統(tǒng)的業(yè)務(wù)操作延時(shí)過(guò)長(zhǎng)，導(dǎo)致系統(tǒng)性能和服務(wù)能力下降。綜合考慮各種復(fù)制方式的特征，如表1所示，所以必須選擇應(yīng)用層異步復(fù)制的方式，文中選擇應(yīng)用層異步邏輯復(fù)制方法中的OGG(oracle golden gate)[8-9]復(fù)制方法。同時(shí)，為了解決系統(tǒng)的數(shù)據(jù)復(fù)制和業(yè)務(wù)操作同時(shí)更新同一條數(shù)據(jù)而造成沖突的問(wèn)題，需要對(duì)數(shù)據(jù)進(jìn)行邏輯隔離，即：雙活兩端同時(shí)寫入操作的數(shù)據(jù)必須保證不同。對(duì)于公共數(shù)據(jù)限制用戶在單邊維護(hù)操作，防止發(fā)生沖突。采用邏輯隔離的策略，例如不同的單位或者不同模塊的數(shù)據(jù)，可讓雙活系統(tǒng)兩端操作的數(shù)據(jù)完全無(wú)關(guān)。通過(guò)對(duì)用戶按區(qū)域進(jìn)行劃分的隔離方式可以滿足這一要求。對(duì)復(fù)制過(guò)程描述如下。

表1 復(fù)制方式及特征

2.1 源端、目的端數(shù)據(jù)域

數(shù)據(jù)集成將省(市)營(yíng)銷庫(kù)的核心基礎(chǔ)數(shù)據(jù)，如用電客戶繳費(fèi)賬戶、賬戶信息、歷史用電數(shù)據(jù)等分別復(fù)制到支撐平臺(tái)相應(yīng)的查詢庫(kù)中。源端的數(shù)據(jù)域包括：組織域、客戶域、服務(wù)域、電網(wǎng)域、營(yíng)銷設(shè)備域、支撐域、公共數(shù)據(jù)。目標(biāo)端的數(shù)據(jù)域與源端保持一致。

2.2 復(fù)制過(guò)程

復(fù)制過(guò)程如圖3所示。

圖3 復(fù)制過(guò)程

步驟1：按客服中心查詢庫(kù)標(biāo)準(zhǔn)數(shù)據(jù)模型構(gòu)建數(shù)據(jù)準(zhǔn)備區(qū)；

步驟2：將營(yíng)銷數(shù)據(jù)轉(zhuǎn)換并實(shí)時(shí)同步到數(shù)據(jù)準(zhǔn)備區(qū)；

步驟3：開(kāi)通省(市)營(yíng)銷防火墻數(shù)據(jù)復(fù)制相關(guān)端口；

步驟4：開(kāi)通客服中心測(cè)試設(shè)備區(qū)防火墻數(shù)據(jù)復(fù)制相關(guān)端口；

步驟5：利用數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)庫(kù)導(dǎo)出的dmp文件初始化查詢庫(kù)，并啟動(dòng)OGG數(shù)據(jù)復(fù)制進(jìn)程。

2.3 復(fù)制策略

復(fù)制策略描述如下：

步驟1：利用捕捉進(jìn)程(capture process)在源系統(tǒng)端讀取Online Redo Log或Archive Log，解析之后對(duì)數(shù)據(jù)的增、刪、改等變化進(jìn)行提取，將提取的相關(guān)信息以GoldenGate TDM自定義的中間格式存儲(chǔ)于隊(duì)列文件；

步驟2：將隊(duì)列文件通過(guò)TCP/IP傳送進(jìn)程傳送到目標(biāo)系統(tǒng)。利用捕捉進(jìn)程捕捉log中的數(shù)據(jù)變化，再讀取、傳送到目標(biāo)系統(tǒng)后的檢查點(diǎn)，并記錄該檢查點(diǎn)的位置。檢查點(diǎn)是捕捉進(jìn)程終止后恢復(fù)的起始點(diǎn)，避免了進(jìn)程從頭開(kāi)始造成的資源浪費(fèi)；

步驟3：目標(biāo)系統(tǒng)接受數(shù)據(jù)變化并緩存到Golden-Gate TDM的臨時(shí)存儲(chǔ)隊(duì)列當(dāng)中，等待投遞進(jìn)程讀取數(shù)據(jù)；

步驟4：GoldenGate投遞進(jìn)程讀取數(shù)據(jù)變化并創(chuàng)建對(duì)應(yīng)的SQL語(yǔ)句。這一過(guò)程通過(guò)數(shù)據(jù)庫(kù)的本地接口執(zhí)行，數(shù)據(jù)提交數(shù)據(jù)庫(kù)成功后檢查點(diǎn)自動(dòng)更新為已完成復(fù)制的位置，復(fù)制過(guò)程至此結(jié)束。

數(shù)據(jù)庫(kù)成功后更新自己的檢查點(diǎn)，記錄已經(jīng)完成復(fù)制的位置，數(shù)據(jù)的復(fù)制過(guò)程最終完成。

3 數(shù)據(jù)集成

數(shù)據(jù)集成是利用ETL工具，將27個(gè)查詢庫(kù)向?yàn)?zāi)備中心公共庫(kù)的數(shù)據(jù)整合過(guò)程。ETL是數(shù)據(jù)抽取、轉(zhuǎn)換和裝載(extraction，transformation，loading)的英文簡(jiǎn)稱[10]。ETL數(shù)據(jù)集成過(guò)程可以分為三步：數(shù)據(jù)抽取、轉(zhuǎn)換和清洗、加載[11]。其中，數(shù)據(jù)轉(zhuǎn)換與清洗在95598異地雙活災(zāi)備系統(tǒng)中并未涉及。

數(shù)據(jù)抽取就是從數(shù)據(jù)源的數(shù)據(jù)項(xiàng)中抽取數(shù)據(jù)，主要工作包括確認(rèn)數(shù)據(jù)的來(lái)源和確認(rèn)合理的數(shù)據(jù)抽取技術(shù)。數(shù)據(jù)抽取可以分為數(shù)據(jù)全量抽取和數(shù)據(jù)增量抽取。全量抽取類似于數(shù)據(jù)遷移或數(shù)據(jù)復(fù)制，它將數(shù)據(jù)源中的全部表項(xiàng)數(shù)據(jù)都抽取出來(lái)，加工轉(zhuǎn)換后加載到數(shù)據(jù)庫(kù)中。增量抽取主要指在全量抽取的基礎(chǔ)上，按需對(duì)新增或修改等變化的數(shù)據(jù)進(jìn)行抽取。根據(jù)95598異地雙活系統(tǒng)的特點(diǎn)，該方法選擇全量抽取方式。

數(shù)據(jù)加載是ETL過(guò)程的最終環(huán)節(jié)，是將數(shù)據(jù)從數(shù)據(jù)臨時(shí)表或文件中加載到指定數(shù)據(jù)倉(cāng)庫(kù)中的過(guò)程。裝載數(shù)據(jù)的最佳方法取決于所執(zhí)行操作的類型以及加載的數(shù)據(jù)量。一般來(lái)說(shuō)有兩種裝載方式：直接SQL語(yǔ)句操作或采用關(guān)系數(shù)據(jù)庫(kù)特有的裝載工具批量裝載。此外，為了提高加載效率，也可以采用多程序并行處理方式。

4 一致性校驗(yàn)

應(yīng)用層異步復(fù)制將系統(tǒng)中不同的數(shù)據(jù)采用各自的復(fù)制策略進(jìn)行復(fù)制。Mongodb日志數(shù)據(jù)、Oracle關(guān)系型數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)等多種數(shù)據(jù)的獨(dú)立異步復(fù)制存在時(shí)間差異，這將會(huì)導(dǎo)致系統(tǒng)數(shù)據(jù)不一致的問(wèn)題，需要采用有針對(duì)性的策略解決系統(tǒng)數(shù)據(jù)一致性問(wèn)題[12-14]。

目前情況下，業(yè)界針對(duì)OGG的數(shù)據(jù)一致性校驗(yàn)方法[15-16]一般有基于業(yè)務(wù)邏輯的數(shù)據(jù)一致性校驗(yàn)、忽略時(shí)間延遲直接進(jìn)行數(shù)據(jù)一致性校驗(yàn)和基于Golden Gate Veridata的數(shù)據(jù)一致性校驗(yàn)三種方式。

4.1 基于業(yè)務(wù)邏輯的數(shù)據(jù)一致性校驗(yàn)方法

這種方法需要業(yè)務(wù)系統(tǒng)的運(yùn)維或者開(kāi)發(fā)人員配置，根據(jù)業(yè)務(wù)邏輯，查詢到一到多個(gè)表生成靜態(tài)的結(jié)果集，然后再比較靜態(tài)結(jié)果的數(shù)據(jù)一致性。比較方法如下：

步驟1：簡(jiǎn)單地通過(guò)聚合函數(shù)、記錄數(shù)等確認(rèn)；

步驟2：通過(guò)minus運(yùn)算確認(rèn)；

步驟3：通過(guò)表記錄哈希值總和以及記錄數(shù)記錄；

步驟4：通過(guò)Golden Gate Veridata進(jìn)行校驗(yàn)。

該方法的瓶頸在于靜態(tài)結(jié)果集的生成，需要應(yīng)用人員進(jìn)行配合，實(shí)際操作中容易出現(xiàn)責(zé)任不清晰等管理問(wèn)題。

4.2 忽略時(shí)間延遲直接進(jìn)行數(shù)據(jù)一致性校驗(yàn)方法

這種方法簡(jiǎn)單地確認(rèn)OGG運(yùn)行狀態(tài)正常以及不存在大的時(shí)間延遲后，直接進(jìn)行數(shù)據(jù)一致性校驗(yàn)，校驗(yàn)方法如下：

步驟1：通過(guò)minus對(duì)比，然后分析差異記錄；

步驟2：簡(jiǎn)單地通過(guò)聚合函數(shù)、記錄數(shù)等確認(rèn)。

該方法存在如下瓶頸：很容易出現(xiàn)由于時(shí)間延遲而導(dǎo)致的差異，差異記錄需進(jìn)一步判斷，以確定同步是否存在異常；需要進(jìn)行2次minus操作校驗(yàn)，性能消耗較大，通常僅能用于校驗(yàn)數(shù)據(jù)量較小的表；要求創(chuàng)建數(shù)據(jù)庫(kù)dblink，部分生產(chǎn)環(huán)境管理規(guī)范不允許。

4.3 基于Golden Gate Veridata的數(shù)據(jù)一致性校驗(yàn)方法

OGG是Oracle官方的數(shù)據(jù)一致性校驗(yàn)工具，這種工具自動(dòng)對(duì)初次校驗(yàn)記錄不一致的表進(jìn)行二次校驗(yàn)。直接利用Golden Gate Veridata進(jìn)行校驗(yàn)則是Oracle官方的一種說(shuō)法，這種方法的瓶頸在于：①對(duì)于初次對(duì)比后發(fā)現(xiàn)的不一致記錄，采用再次校驗(yàn)單條記錄一致性的方法進(jìn)行，如果單條記錄在校驗(yàn)期間多次變更，則僅能識(shí)別為變化中的數(shù)據(jù)；②校驗(yàn)的精度較細(xì)，但為此付出了較大的資源消耗及時(shí)間；③無(wú)主鍵或者唯一鍵的表校驗(yàn)效率低下，且消耗大量的臨時(shí)表空間或者文件系統(tǒng)目錄。

基于此，文中采用的數(shù)據(jù)一致性校驗(yàn)方法的步驟如下：

步驟1：暫停Oracle數(shù)據(jù)庫(kù)復(fù)制進(jìn)程，使得Oracle數(shù)據(jù)庫(kù)提交所有事務(wù)；

步驟2：獲取源端數(shù)據(jù)庫(kù)的時(shí)間戳信息SCN；

步驟3：查詢目標(biāo)端數(shù)據(jù)庫(kù)并獲取當(dāng)前時(shí)間戳信息SCN后，重啟暫停的Oracle數(shù)據(jù)庫(kù)復(fù)制進(jìn)程，恢復(fù)Oracle數(shù)據(jù)庫(kù)同步；

步驟4：在源端數(shù)據(jù)庫(kù)與目標(biāo)端數(shù)據(jù)庫(kù)的時(shí)間戳信息SCN相一致的情況下，再對(duì)對(duì)應(yīng)表做數(shù)據(jù)一致性校驗(yàn)。

該方法在獲取匹配的時(shí)間戳信息之后再進(jìn)行數(shù)據(jù)一致性校驗(yàn)，從而能夠順利處理變更頻繁的記錄，不依賴任何業(yè)務(wù)邏輯與主鍵，且校驗(yàn)速率更快，配置簡(jiǎn)單易用。

5 結(jié)束語(yǔ)

為了保證數(shù)字資源的可靠應(yīng)用，搭建95598客服系統(tǒng)異地雙活中心具有良好的可行性。文中基于客服中心的應(yīng)用特點(diǎn)，以及業(yè)界多種應(yīng)用雙/多活的成熟經(jīng)驗(yàn)和先進(jìn)案例，設(shè)計(jì)了一種異地雙活環(huán)境下跨庫(kù)數(shù)據(jù)集成方法。通過(guò)數(shù)據(jù)復(fù)制、數(shù)據(jù)集成及數(shù)據(jù)的一致性校驗(yàn)，設(shè)計(jì)的數(shù)據(jù)集成方法實(shí)現(xiàn)了南北中心各省查詢庫(kù)到公共庫(kù)的集成，滿足了兩個(gè)中心數(shù)據(jù)一致性的要求，提升了數(shù)據(jù)中心數(shù)據(jù)應(yīng)用的連續(xù)性、可靠性，降低了災(zāi)難風(fēng)險(xiǎn)，提高了設(shè)備利用效率，具有良好的實(shí)用性。