中國人民銀行福州中心支行科技處 吳楚坤

央行省級分支行數(shù)據(jù)中心雙活探索

中國人民銀行福州中心支行科技處 吳楚坤

1.背景

當(dāng)前人民銀行省級分支行數(shù)據(jù)中心采用“雙中心”模式，即生產(chǎn)中心、同城轉(zhuǎn)接中心模式提供了完備的災(zāi)備保障體系，但也存在一些問題。一是設(shè)備利用率較低。同城轉(zhuǎn)接中心設(shè)備在日常運(yùn)行中很難得到充分利用，投資回報(bào)率低。二是可用性有限。同城轉(zhuǎn)接中心一般只作備份使用不能接管應(yīng)用，且切換時間比較長。三是對于同城轉(zhuǎn)接中心運(yùn)維人員而言，參與日常生產(chǎn)較少，不利于技術(shù)和業(yè)務(wù)能力的長期培養(yǎng)。為解決上述問題，人民銀行省級分支行于2015年7月份利用路由動態(tài)選路實(shí)現(xiàn)雙中心三層互聯(lián)“雙活”改造。但在數(shù)據(jù)中心互聯(lián)時，為了實(shí)現(xiàn)跨數(shù)據(jù)中心的資源調(diào)度、業(yè)務(wù)集群和虛擬機(jī)遷移，還要求網(wǎng)絡(luò)層保證不同數(shù)據(jù)中心之間VLAN二層互通，即構(gòu)建一個跨數(shù)據(jù)中心的大二層網(wǎng)絡(luò)。本文從人民銀行省級數(shù)據(jù)中心與同城轉(zhuǎn)接中心間二層互聯(lián)展開討論。

2.雙活定義

2.1 何為雙活

雙活中心是指兩個數(shù)據(jù)中心之間并沒有明確的主備之分，每個中心都有生產(chǎn)、互為災(zāi)備的任務(wù)。雙活中心具備4個優(yōu)勢：一是實(shí)現(xiàn)最高級別的可用性。雙活中心可以實(shí)現(xiàn)數(shù)據(jù)零丟失、實(shí)時切換。二是提高設(shè)備利用率。雙活中心不再設(shè)置專用的災(zāi)備資源，不同中心的資源同時承擔(dān)生產(chǎn)和災(zāi)備。三是保障資源的災(zāi)備接管能力。由于日常雙活中心的運(yùn)維資源都在進(jìn)行生產(chǎn)，當(dāng)一個中心發(fā)生災(zāi)難時，另一個中心所有流程、職責(zé)、設(shè)備資源、系統(tǒng)資源都不需做大的改動即可接管，只是運(yùn)維工作量有所增加。四是雙活中心的技術(shù)要求比“兩地三中心”等傳統(tǒng)模式高很多。傳統(tǒng)模式一般只做數(shù)據(jù)層面的同步、異步復(fù)制，在其他技術(shù)層面不需要互聯(lián)太多，而雙活中心要求在信息系統(tǒng)的各個層面都要緊密互聯(lián)、互動。

2.2 互聯(lián)方式

雙活數(shù)據(jù)中心間通常部署三種互聯(lián)鏈路，每種互聯(lián)鏈路所承載的數(shù)據(jù)不同，實(shí)現(xiàn)的功能不同。一是三層互聯(lián)，也稱為數(shù)據(jù)中心前端網(wǎng)絡(luò)互聯(lián)，即數(shù)據(jù)中心與轉(zhuǎn)接中心的前端網(wǎng)絡(luò)通過IP技術(shù)實(shí)現(xiàn)互聯(lián)，業(yè)務(wù)網(wǎng)與金融網(wǎng)用戶通過前端網(wǎng)絡(luò)訪問數(shù)據(jù)中心，當(dāng)數(shù)據(jù)中心發(fā)生災(zāi)難時，前端網(wǎng)絡(luò)將實(shí)現(xiàn)快速收斂，用戶通過訪問轉(zhuǎn)接中心以保障業(yè)務(wù)連續(xù)性。二是二層互聯(lián)，也稱為數(shù)據(jù)中心服務(wù)器網(wǎng)絡(luò)互聯(lián)。在數(shù)據(jù)中心與轉(zhuǎn)接中心服務(wù)器網(wǎng)絡(luò)接入層，構(gòu)建一個跨數(shù)據(jù)中心的大二層網(wǎng)絡(luò)，以滿足服務(wù)器集群或虛擬機(jī)動態(tài)遷移等場景對二層網(wǎng)絡(luò)接入的需求。三是SAN互聯(lián)，也稱為后端存儲網(wǎng)絡(luò)互聯(lián)。借助DWDM、SDH等實(shí)現(xiàn)主中心與轉(zhuǎn)接中心磁盤陣列的數(shù)據(jù)復(fù)制。

2.3 二層互聯(lián)必要性

服務(wù)器高可用集群技術(shù)和虛擬服務(wù)器動態(tài)遷移技術(shù)在數(shù)據(jù)中心容災(zāi)及計(jì)算資源調(diào)配方面已在人民銀行得以廣泛應(yīng)用，在雙活數(shù)據(jù)中心采用這種方式則要求數(shù)據(jù)中心與轉(zhuǎn)接中心間實(shí)現(xiàn)大二層互聯(lián)擴(kuò)展。

（1）服務(wù)器高可用集群（Cluster）。借助集群軟件將網(wǎng)絡(luò)上的多臺服務(wù)器關(guān)聯(lián)一起，提供一致的服務(wù)，對外表現(xiàn)為一臺邏輯服務(wù)器。多數(shù)廠商（HP、IBM、微軟等）的集群軟件需要各服務(wù)器間采用二層網(wǎng)絡(luò)互聯(lián)。要將集群中的服務(wù)器部署于不同數(shù)據(jù)中心，可實(shí)現(xiàn)跨數(shù)據(jù)中心的應(yīng)用系統(tǒng)容災(zāi)。

（2）服務(wù)器搬遷和虛擬機(jī)動態(tài)遷移。當(dāng)服務(wù)器由數(shù)據(jù)中心搬遷至轉(zhuǎn)接中心，如未構(gòu)建中心之間二層互聯(lián)網(wǎng)絡(luò)，則面臨重新規(guī)劃新中心服務(wù)器IP地址問題，修改DNS或用戶端應(yīng)用程序配置的服務(wù)器IP。因此，構(gòu)建跨中心二層互聯(lián)網(wǎng)絡(luò)可保留遷移服務(wù)器的IP地址，進(jìn)而簡化遷移過程。對于虛擬機(jī)遷移也是類似的情況。

3.技術(shù)方案

本文從實(shí)現(xiàn)復(fù)雜性、可靠性、前瞻性、經(jīng)濟(jì)性四個方面考慮，制定了3個二層擴(kuò)展實(shí)現(xiàn)方案，現(xiàn)將方案分析如下：

3.1 基于虛擬化技術(shù)與VRRP技術(shù)

利用虛擬化技術(shù)，將數(shù)據(jù)中心主備核心交換機(jī)、同城轉(zhuǎn)接中心核心交換機(jī)分別虛擬成一臺邏輯設(shè)備，在同一個數(shù)據(jù)中心內(nèi)不再使用VRRP等支持設(shè)備冗余和網(wǎng)關(guān)備份的協(xié)議；利用數(shù)據(jù)中心與轉(zhuǎn)接中心之間波分復(fù)用設(shè)備，實(shí)現(xiàn)2套已虛擬化的核心交換機(jī)組互聯(lián)；對VLAN網(wǎng)關(guān)已下沉至匯聚交換機(jī)的，需把欲共享給轉(zhuǎn)接中心使用的VLAN網(wǎng)關(guān)上移至核心交換機(jī)，在2套核心交換機(jī)組之間啟用VRRP協(xié)議，實(shí)現(xiàn)數(shù)據(jù)中心與轉(zhuǎn)接中心的跨二層部署，此時兩個中心可以共用一套IP地址，從而實(shí)現(xiàn)虛擬機(jī)在轉(zhuǎn)接中心遷移或單獨(dú)部署。

優(yōu)點(diǎn)：對現(xiàn)有網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)改動較小，實(shí)現(xiàn)簡單；VRRP是標(biāo)準(zhǔn)協(xié)議，不要求兩中心核心交換機(jī)為同一品牌；通過核心網(wǎng)絡(luò)設(shè)備虛擬化技術(shù)大大提高省級數(shù)據(jù)中心兩節(jié)點(diǎn)網(wǎng)絡(luò)的可用性、安全性、可靠性、可擴(kuò)展性，便于生產(chǎn)區(qū)、DMZ區(qū)應(yīng)用系統(tǒng)向同城通信轉(zhuǎn)接中心部署，符合同城災(zāi)備業(yè)務(wù)擴(kuò)展要求。

缺點(diǎn)：當(dāng)數(shù)據(jù)中心“活”時，主網(wǎng)關(guān)在數(shù)據(jù)中心核心交換機(jī)組上，訪問部署在轉(zhuǎn)接中心服務(wù)器的流量需繞行至數(shù)據(jù)中心；對已實(shí)現(xiàn)匯聚層的中支需將數(shù)據(jù)中心與轉(zhuǎn)接中心共用的VLAN網(wǎng)關(guān)重新上移至核心交換機(jī)，破壞原來核心-匯聚-接入的三層結(jié)構(gòu)。

3.2 基于四框虛擬化技術(shù)

兩中心業(yè)務(wù)網(wǎng)各部署2臺核心交換機(jī)形成2個核心交換機(jī)組，2核心交換機(jī)組通過波分復(fù)用設(shè)備的4條萬兆鏈路進(jìn)行全連接，以四框虛擬化方式組成一臺業(yè)務(wù)網(wǎng)虛擬化核心交換機(jī)，MASTER優(yōu)先級由高往低位分別設(shè)置為數(shù)據(jù)中心主核心、數(shù)據(jù)中心備核心、轉(zhuǎn)接中心主核心、轉(zhuǎn)接中心備核心，并配置以LACP MAD作為虛擬化分裂檢測。

兩中心網(wǎng)絡(luò)同時在線運(yùn)行、互為備份；當(dāng)數(shù)據(jù)中心主核心不可用時，四框虛擬化產(chǎn)生分裂，LACP MAD會優(yōu)先比較分裂后的兩個單元中成員較多的即數(shù)據(jù)中心備核心、轉(zhuǎn)接中心主核心、轉(zhuǎn)接中心備核心一組繼續(xù)工作，并選擇數(shù)據(jù)中心備核心作為MASTER，接管工作，數(shù)據(jù)中心繼續(xù)提供服務(wù)；當(dāng)數(shù)據(jù)中心主、備核心同時不可用時，轉(zhuǎn)接中心核心負(fù)責(zé)接管網(wǎng)絡(luò),虛擬機(jī)或備份服務(wù)器可以遷移至轉(zhuǎn)接中心，無需修改網(wǎng)絡(luò)配置立即恢復(fù)對外服務(wù)（需要實(shí)現(xiàn)存儲雙活）。

優(yōu)點(diǎn)：網(wǎng)絡(luò)結(jié)構(gòu)簡單、清晰，各區(qū)域功能明確，通過核心網(wǎng)絡(luò)設(shè)備虛擬化技術(shù)大大提高省級數(shù)據(jù)中心兩節(jié)點(diǎn)網(wǎng)絡(luò)的可用性、安全性、可靠性、可擴(kuò)展性，便于生產(chǎn)區(qū)、DMZ區(qū)應(yīng)用系統(tǒng)向同城通信轉(zhuǎn)接中心部署，符合同城災(zāi)備業(yè)務(wù)擴(kuò)展要求。

缺點(diǎn)：四框虛擬化對核心交換機(jī)各廠商實(shí)現(xiàn)協(xié)議不同，因此4臺必須為同一品牌，雙中心必須使用4條萬兆波分鏈路才能實(shí)現(xiàn)虛擬化，對裸光纖資源占用較大；四框虛擬化實(shí)現(xiàn)案例較少，對于四框虛擬化的穩(wěn)定性尚待評估。

3.3 基于SDN架構(gòu)

保持原來網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)不變化，保證雙中心網(wǎng)絡(luò)IP可達(dá)。在雙中心網(wǎng)絡(luò)中分別部署2套SDN Controller，將網(wǎng)絡(luò)設(shè)備的控制平面集中上收到Controller上，通過Controller實(shí)現(xiàn)網(wǎng)絡(luò)統(tǒng)一部署和網(wǎng)絡(luò)自動化。在雙中心部署支持VxLAN三層網(wǎng)關(guān)功能的核心交換機(jī)，以便VxLAN跨數(shù)據(jù)中心透傳。升級服務(wù)器接入交換機(jī)上為支持VxLAN的接入交換機(jī)或在虛擬平臺上安裝vSwitch虛擬交換機(jī)軟件，以實(shí)現(xiàn)VxLAN封裝。目前，還需在轉(zhuǎn)接中心部署支持VxLAN功能的核心交換機(jī)、在雙中心部署SDN控制器及支持二層VxLAN的接入交換機(jī)等。

兩中心網(wǎng)絡(luò)同時在線運(yùn)行、互為備份；當(dāng)數(shù)據(jù)中心不可用時，轉(zhuǎn)接中心核心交換機(jī)負(fù)責(zé)接管網(wǎng)絡(luò)；轉(zhuǎn)接中心也可支持服務(wù)器部署，并支持虛擬機(jī)無縫遷移，無需修改網(wǎng)絡(luò)配置立即恢復(fù)對外服務(wù)（需要實(shí)現(xiàn)存儲雙活）。

優(yōu)點(diǎn)：保持現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)不變化，通過VxLAN隧道技術(shù)連接，促使業(yè)務(wù)應(yīng)用與網(wǎng)絡(luò)解耦合，實(shí)現(xiàn)主備中心的大二層打通；更有效利用轉(zhuǎn)接中心設(shè)備資源，為進(jìn)一步發(fā)展數(shù)據(jù)中心資源池化打下網(wǎng)絡(luò)基礎(chǔ)；只需要在SDN控制上作相關(guān)網(wǎng)絡(luò)資源配置，大幅減少網(wǎng)絡(luò)配置工作量。網(wǎng)絡(luò)在可用性、安全性、可靠性、可擴(kuò)展性均有大的提升，符合同城災(zāi)備業(yè)務(wù)擴(kuò)展要求。

缺點(diǎn)：VxLAN雖為公有協(xié)議，但各廠商仍有自定義字段，因此不同廠商設(shè)備不能共用實(shí)現(xiàn)。需要增加4臺SDN控制器、支持VxLAN的轉(zhuǎn)接中心核心交換機(jī)和相應(yīng)板卡、支持二層VxLAN的接入交換機(jī)等，投入巨大；SDN技術(shù)更為前沿，應(yīng)用案例少。

4.結(jié)論

綜合以上對比分析，基于虛擬化技術(shù)與VRRP技術(shù)實(shí)現(xiàn)復(fù)雜度小，技術(shù)儲備最為成熟，但保留著VRRP單邊流量問題，不能有效利用備中心設(shè)備資源；基于四框虛擬化實(shí)現(xiàn)復(fù)雜度中等，技術(shù)儲備較為成熟，可有效利用備中心設(shè)備資源，但對波分復(fù)用設(shè)備依賴較大，需同時升級支持萬兆鏈路的波分復(fù)用設(shè)備；基于SDN架構(gòu)實(shí)現(xiàn)復(fù)雜度高，技術(shù)儲備暫不成熟，還需采購SDN控制器、三層VxLAN、二層VxLAN等大量設(shè)備，投資較大。從省級數(shù)據(jù)中心建設(shè)和同城災(zāi)備業(yè)務(wù)發(fā)展目標(biāo)出發(fā)，結(jié)合人民銀行省級機(jī)構(gòu)網(wǎng)絡(luò)現(xiàn)狀與當(dāng)前結(jié)構(gòu)兼容性及網(wǎng)絡(luò)設(shè)備國產(chǎn)化要求，應(yīng)采用分階段逐步演進(jìn)的解決思路，短期以虛擬化技術(shù)與VRRP技術(shù)實(shí)現(xiàn)，中期逐漸轉(zhuǎn)向四款虛擬化技術(shù)，遠(yuǎn)期以實(shí)現(xiàn)全網(wǎng)SDN為最終目標(biāo)。