王端

摘 要：隨著越來越多企業(yè)單位的合并或園區(qū)數(shù)量的增加，虛擬化系統(tǒng)平臺(tái)需要整合管理，并建立相應(yīng)的容災(zāi)保護(hù)，以確保業(yè)務(wù)系統(tǒng)可提供高穩(wěn)定性的服務(wù)。本文以本單位雙園區(qū)信息中心融合為藍(lán)本，設(shè)計(jì)并實(shí)現(xiàn)了雙活數(shù)據(jù)中心的超融合容災(zāi)體系。在實(shí)際運(yùn)行中得到良好的驗(yàn)證。

一、超融合設(shè)計(jì)方案

為實(shí)兩園區(qū)所涉及業(yè)務(wù)對接，統(tǒng)一管理，設(shè)計(jì)使用超融合組網(wǎng)方式實(shí)現(xiàn)兩園區(qū)的虛擬系統(tǒng)融合，考慮現(xiàn)網(wǎng)中已經(jīng)部署了融合系統(tǒng)，如果原有系統(tǒng)支持?jǐn)U容便可以利用原系統(tǒng)實(shí)現(xiàn)兩地資源整合。如果兩地均不支持?jǐn)U充的情況下，可布署城域雙活容災(zāi)方案實(shí)施，在兩個(gè)園區(qū)建立兩個(gè)數(shù)據(jù)中心站點(diǎn)，兩站點(diǎn)間使用存儲(chǔ)的特性，配合云系統(tǒng)的虛擬機(jī)HA功能和DRS功能實(shí)現(xiàn)的容災(zāi)方案。城域雙活容災(zāi)方案中，兩個(gè)站點(diǎn)可同時(shí)對外提供業(yè)務(wù)，同時(shí)作為對端站點(diǎn)的容災(zāi)站點(diǎn)實(shí)現(xiàn)自動(dòng)災(zāi)難倒換。

管理層與業(yè)務(wù)層通過以太交換機(jī)堆疊方式實(shí)現(xiàn)冗余連接必須主備或多路冗余。兩園區(qū)均可采用相應(yīng)的存儲(chǔ)平面，采用兩臺(tái)FC匯聚交換機(jī)獨(dú)立部署，形成FC雙平面冗余（一般情況下，F(xiàn)C交換機(jī)無需進(jìn)行堆疊。如果FC端口不足，可通過堆疊來擴(kuò)展FC端口。）兩園區(qū)存儲(chǔ)平面FC匯聚交換機(jī)通過專線互聯(lián)，至少兩路FC專線冗余。為保證雙活性能，存儲(chǔ)雙活特性對站點(diǎn)間雙活鏈路的網(wǎng)絡(luò)要求如下：誤碼率小于等于10-12e，時(shí)延RTT小于等于1ms，無抖動(dòng)，無丟包，鏈路帶寬大于業(yè)務(wù)峰值帶寬，最低要求2Gbps。為了減少時(shí)延和保證性能，主機(jī)和存儲(chǔ)平面通過光纖連接。主機(jī)需要配置FC HBA卡，存儲(chǔ)平面交換機(jī)需要使用FC交換機(jī)。兩園區(qū)間需要租賃運(yùn)營商專線，至少兩路FC專線冗余。主機(jī)與存儲(chǔ)采用FC連接，部署在生產(chǎn)站點(diǎn)和容災(zāi)站點(diǎn)的FC SAN的型號、配置需要保持一致。

城域雙活容災(zāi)方案要求，城域雙活容災(zāi)方案對RPO和RTO要求較高，F(xiàn)C光纖交換機(jī)互聯(lián)端口規(guī)則：需要根據(jù)傳輸帶寬、傳輸距離規(guī)劃FC匯聚交換機(jī)站點(diǎn)間互連所需的端口數(shù)量。以2Gbit/s帶寬，傳輸距離100km為例，交換機(jī)一個(gè)站點(diǎn)間互連端口需要使用7個(gè)Donor Ports。

二、雙活數(shù)據(jù)中心標(biāo)準(zhǔn)架構(gòu)：

由于部分廠商的云操作系統(tǒng)支持配置一個(gè)網(wǎng)關(guān)，所以生產(chǎn)站點(diǎn)和容災(zāi)站點(diǎn)中作為網(wǎng)關(guān)的匯聚（核心）交換機(jī)，需要配置為主備網(wǎng)關(guān)模式。主網(wǎng)關(guān)優(yōu)選生產(chǎn)站點(diǎn)側(cè)的交換機(jī)。

三、標(biāo)準(zhǔn)架構(gòu)說明：

主機(jī)集群：獨(dú)立的、可以進(jìn)行雙活容災(zāi)的主機(jī)系統(tǒng)的集合，在同一個(gè)主機(jī)集群內(nèi)，虛擬機(jī)可實(shí)現(xiàn)HA。在本容災(zāi)方案中，需要將同一個(gè)主機(jī)集群中的主機(jī)分別部署在生產(chǎn)站點(diǎn)和容災(zāi)站點(diǎn)。

容災(zāi)主機(jī)：對應(yīng)云系統(tǒng) DRS調(diào)度規(guī)則中的主機(jī)組。

容災(zāi)虛擬機(jī)組：對應(yīng)云系統(tǒng) DRS調(diào)度規(guī)則中的虛擬機(jī)組。

云系統(tǒng) DRS調(diào)度規(guī)則可指定容災(zāi)虛擬機(jī)可遷移的主機(jī)范圍（即主機(jī)組）

仲裁服務(wù)器：仲裁服務(wù)器部署到第三地。系列存儲(chǔ)仲裁端口需要通過以太網(wǎng)口連接到第三地仲裁服務(wù)器，保證IP可達(dá)。

大二層組網(wǎng)：為滿足虛擬機(jī)遷移等業(yè)務(wù)，在相隔較遠(yuǎn)的兩地依賴特定的大二層網(wǎng)絡(luò)技術(shù)建立的同屬于一個(gè)二層網(wǎng)絡(luò)的系統(tǒng)。

虛擬機(jī)容災(zāi)：通過大二層組網(wǎng)實(shí)現(xiàn)跨站點(diǎn)的主機(jī)同集群部署，進(jìn)而使用云系統(tǒng)的虛擬機(jī)HA功能和DRS功能，實(shí)現(xiàn)虛擬機(jī)的跨站點(diǎn)容災(zāi)。

四、容災(zāi)原理：

當(dāng)發(fā)生容災(zāi)時(shí)，虛擬機(jī)短時(shí)間內(nèi)不可用（依賴于VRM節(jié)點(diǎn)主備倒換的時(shí)間和虛擬機(jī)HA時(shí)間），數(shù)據(jù)無丟失。系統(tǒng)管理員在云系統(tǒng)可觀察到VRM主備間節(jié)點(diǎn)心跳故障告警、生產(chǎn)站點(diǎn)主機(jī)故障告警，及虛擬機(jī)HA的記錄。同時(shí)，維護(hù)人員可觀察到網(wǎng)關(guān)備升主告警。

容災(zāi)后，系統(tǒng)管理員需要停用容災(zāi)集群資源調(diào)度規(guī)則，避免生產(chǎn)站點(diǎn)未完全恢復(fù)時(shí)虛擬機(jī)切回。為了減少容災(zāi)站點(diǎn)虛擬機(jī)訪問存儲(chǔ)的時(shí)延，需要在存儲(chǔ)上切換災(zāi)備站點(diǎn)為優(yōu)先站點(diǎn)。

生產(chǎn)站點(diǎn)修復(fù)后，可啟用容災(zāi)集群資源調(diào)度規(guī)則，使虛擬機(jī)自動(dòng)遷移回生產(chǎn)站點(diǎn)，也可手工批量遷移虛擬機(jī)到生產(chǎn)站點(diǎn)。虛擬機(jī)遷移回生產(chǎn)站點(diǎn)后，需要在存儲(chǔ)上切換生產(chǎn)站點(diǎn)為優(yōu)先站點(diǎn)。

五、雙活容災(zāi)方案的劣勢分析：

1、只支持兩個(gè)數(shù)據(jù)中心間雙活容災(zāi)，不支持多個(gè)數(shù)據(jù)中心間同時(shí)進(jìn)行雙活容災(zāi)。2、不支持發(fā)放的虛擬機(jī)容災(zāi)。3、生產(chǎn)站點(diǎn)與容災(zāi)站點(diǎn)間距離要在100公里以內(nèi)，站點(diǎn)間需要租賃L1專線，兩個(gè)站點(diǎn)間環(huán)回時(shí)延≤1ms。4、城域雙活容災(zāi)方案依賴于云系統(tǒng)的HA和DRS功能，遵循HA和DRS功能的相關(guān)約束。5、城域雙活容災(zāi)方案中，需要啟用DRS特性進(jìn)行虛擬機(jī)本地優(yōu)先啟動(dòng)和HA，因此如果用戶配置了其他DRS規(guī)則，則不能與容災(zāi)DRS規(guī)則沖突，否則無法保證虛擬機(jī)本地優(yōu)先啟動(dòng)和HA。6、由于在虛擬機(jī)故障時(shí)，其部分緩存數(shù)據(jù)可能未及時(shí)寫入存儲(chǔ)設(shè)備上，因此，虛擬機(jī)可能會(huì)概率性HA失敗，即虛擬機(jī)可能會(huì)概率性容災(zāi)失敗。7、考慮性能因素，主機(jī)與存儲(chǔ)采用FC連接，支持存儲(chǔ)類型為虛擬化SAN存儲(chǔ)的數(shù)據(jù)存儲(chǔ)。8、生產(chǎn)站點(diǎn)和容災(zāi)站點(diǎn)的業(yè)務(wù)均通過主網(wǎng)關(guān)提供，規(guī)劃生產(chǎn)站點(diǎn)和容災(zāi)站點(diǎn)的業(yè)務(wù)網(wǎng)絡(luò)帶寬時(shí)需要同時(shí)考慮該部分的業(yè)務(wù)需求。9、部署在生產(chǎn)站點(diǎn)和容災(zāi)站點(diǎn)的FC SAN的型號、配置需要保持一致，否則會(huì)影響存儲(chǔ)訪問性能。10、超融合方案數(shù)據(jù)中心業(yè)務(wù)負(fù)荷分擔(dān)，業(yè)務(wù)零中斷地調(diào)度資源時(shí)。站點(diǎn)中部分或全部業(yè)務(wù)（網(wǎng)絡(luò)、存儲(chǔ)、主機(jī)）故障，都需要盡快恢復(fù)業(yè)務(wù)時(shí)。所以容災(zāi)的兩個(gè)數(shù)據(jù)中心必須擁有滿足要求的高速、低時(shí)延的鏈路條件。兩園區(qū)間需要租賃運(yùn)營商專線，至少兩路FC專線冗余。鏈路帶寬大于業(yè)務(wù)峰值帶寬，最低要求2Gbps。兩端的網(wǎng)絡(luò)拓?fù)?、性能、參?shù)要求一致，相當(dāng)于兩個(gè)園區(qū)要搭建相同環(huán)境、網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器主機(jī)來實(shí)現(xiàn)超融合方案，資金支出較其它方案比較大。

六、總結(jié)

雙活數(shù)據(jù)中心解決方案是端到端的雙活方案，可實(shí)現(xiàn)跨數(shù)據(jù)中心的數(shù)據(jù)零丟失，業(yè)務(wù)零中斷。雙活數(shù)據(jù)中心解決方案具有高可靠架構(gòu)、業(yè)務(wù)穩(wěn)定和擴(kuò)展靈活等特點(diǎn)、可全面實(shí)現(xiàn)兩園區(qū)多業(yè)務(wù)統(tǒng)一管理、數(shù)據(jù)安全可靠傳輸、存儲(chǔ)備份。

參考文獻(xiàn)

[1] Dean J，Ghemawat S. MapReduce： simplified data processing on large clusters[J].Communications of the ACM， 2008， 51（1）： 107-113.

[2] Chen Y，Alspaugh S， Katz R. Interactive analytical processing in big data systems： Across-industry study of MapReduce workloads[J]. PVLDB， 2012， 5（12）： 1802-1813.