李富強(qiáng)

（四川航空股份有限公司，四川 成都 610000）

隨著信息技術(shù)的發(fā)展，數(shù)據(jù)安全和企業(yè)安全緊密相連。各種存儲(chǔ)技術(shù)以及云計(jì)算的發(fā)展又使得數(shù)據(jù)存儲(chǔ)越來(lái)越集中，云平臺(tái)存儲(chǔ)的安全已經(jīng)直接關(guān)系企業(yè)數(shù)據(jù)安全。因此，對(duì)于云平臺(tái)存儲(chǔ)技術(shù)的選型變得至關(guān)重要。本文將在DRBD存儲(chǔ)技術(shù)的基礎(chǔ)上，通過(guò)高可用改造，將其應(yīng)用于川航生產(chǎn)云平臺(tái)，有力保障企業(yè)云平臺(tái)的數(shù)據(jù)安全。

1 研究背景及現(xiàn)狀需求分析

1.1 背景介紹

紅帽企業(yè)虛擬化[1]（RHEV）是一款針對(duì)服務(wù)器和桌面虛擬化的完整虛擬化管理解決方案，它以強(qiáng)大的基于內(nèi)核的虛擬機(jī)（KVM）系統(tǒng)管理程序和oVirt開(kāi)源虛擬化管理平臺(tái)為基礎(chǔ)，是一個(gè)成熟、完全開(kāi)源的企業(yè)虛擬化平臺(tái)。川航RHEV云平臺(tái)項(xiàng)目整個(gè)系統(tǒng)架構(gòu)如圖1所示。

圖1 RHEV云平臺(tái)系統(tǒng)架構(gòu)

存儲(chǔ)部分，采用4臺(tái)X86存儲(chǔ)服務(wù)器，分2組提供服務(wù)。第一組DRBD存儲(chǔ)客戶機(jī)鏡像，第二組存儲(chǔ)客戶機(jī)應(yīng)用數(shù)據(jù)，每組均配置為DRBD主/備模式。該模式下，主節(jié)點(diǎn)（Master）讀寫時(shí)備節(jié)點(diǎn)（Slave）只能接收數(shù)據(jù)和監(jiān)控主節(jié)點(diǎn)，不能主動(dòng)發(fā)起讀寫操作。在物理層面，每臺(tái)服務(wù)器對(duì)本地磁盤進(jìn)行RAID配置，而后在RHEL操作系統(tǒng)中對(duì)1組（2臺(tái)）服務(wù)器上RAID后的磁盤進(jìn)行DRBD主/備創(chuàng)建及同步，最后通過(guò)iSCSI服務(wù)及2組存儲(chǔ)網(wǎng)絡(luò)提供給RHEV使用。

1.2 現(xiàn)狀及需求分析

川航RHEV的存儲(chǔ)架構(gòu)能夠滿足對(duì)數(shù)據(jù)冗余備份的要求，同時(shí)還有其他一系列優(yōu)點(diǎn)，如LUN實(shí)時(shí)同步數(shù)據(jù)，多鏈路冗余；多個(gè)存儲(chǔ)節(jié)點(diǎn)可以大幅度降低池化中存儲(chǔ)節(jié)點(diǎn)故障的耦合度；某個(gè)存儲(chǔ)節(jié)點(diǎn)故障，可以手動(dòng)切換到備用節(jié)點(diǎn)實(shí)現(xiàn)對(duì)存儲(chǔ)的訪問(wèn)。但是，主/備模式的采用也帶來(lái)另一個(gè)問(wèn)題，當(dāng)主節(jié)點(diǎn)發(fā)生故障，如果沒(méi)有及時(shí)恢復(fù)或手動(dòng)切換到備節(jié)點(diǎn)，雖數(shù)據(jù)的完整性會(huì)得到保證，但存儲(chǔ)將無(wú)法提供對(duì)外訪問(wèn)，使得云平臺(tái)上運(yùn)行的虛擬機(jī)都將無(wú)法正常工作。目前主/備節(jié)點(diǎn)采用不同的IP地址，對(duì)RHEV平臺(tái)來(lái)說(shuō)，即使通過(guò)手動(dòng)切換，iSCSI從主節(jié)點(diǎn)卸載到備節(jié)點(diǎn)掛載也需要一定的時(shí)間，這個(gè)時(shí)間在幾分鐘到十多分鐘不等，如此長(zhǎng)時(shí)間的切換是實(shí)際生產(chǎn)運(yùn)行無(wú)法接受的。

因此，如何實(shí)現(xiàn)存儲(chǔ)節(jié)點(diǎn)故障時(shí)主/備自動(dòng)、快速地切換，進(jìn)而保證存儲(chǔ)的高可用是目前需要解決的問(wèn)題。

2 方案設(shè)計(jì)及實(shí)現(xiàn)

2.1 方案設(shè)計(jì)

基于平臺(tái)現(xiàn)有配置，DRBD實(shí)現(xiàn)主/備節(jié)點(diǎn)的數(shù)據(jù)實(shí)時(shí)同步，iSCSI協(xié)議向平臺(tái)計(jì)算節(jié)點(diǎn)提供存儲(chǔ)數(shù)據(jù)訪問(wèn)。如何實(shí)現(xiàn)對(duì)主/備節(jié)點(diǎn)的心跳檢測(cè)及現(xiàn)有DRBD、iSCSI資源的調(diào)度是實(shí)現(xiàn)存儲(chǔ)故障后自動(dòng)切換的關(guān)鍵點(diǎn)。

被廣泛使用的Corosync+Pacemaker開(kāi)源方案即能滿足以上對(duì)于存儲(chǔ)高可用的需求，其中Corosync用于檢測(cè)傳送主/備節(jié)點(diǎn)的心跳信息，當(dāng)節(jié)點(diǎn)故障時(shí)能及時(shí)檢測(cè)到并傳送給Pacemaker處理。Pacemaker負(fù)責(zé)需要切換的資源（如存儲(chǔ)、VIP）調(diào)度，當(dāng)主節(jié)點(diǎn)確認(rèn)故障后能將其占用的資源轉(zhuǎn)交給備節(jié)點(diǎn)。對(duì)外提供存儲(chǔ)訪問(wèn)通過(guò)虛擬VIP實(shí)現(xiàn)，對(duì)RHEV云平臺(tái)來(lái)說(shuō)，訪問(wèn)的存儲(chǔ)地址并沒(méi)有改變，不存在iSCSI的卸載掛載環(huán)節(jié)，從而實(shí)現(xiàn)主/備節(jié)點(diǎn)及其資源的自動(dòng)高效切換[2]。其主/備模式工作架構(gòu)如圖2所示。

圖2 Corosync+Pacemaker主/備模式

該方案無(wú)需對(duì)現(xiàn)有云平臺(tái)存儲(chǔ)做大的改動(dòng)，只需在原有基礎(chǔ)之上增加相應(yīng)的軟件和配置，實(shí)施難度小，可行性高。

2.2 環(huán)境準(zhǔn)備

IP地址為172.18.19.12/24（VIP），172.18.19.13/24（主節(jié)點(diǎn)），172.18.19.32/24（備節(jié)點(diǎn)）；2臺(tái)X86存儲(chǔ)服務(wù)器；川航RHEV云平臺(tái)。

2.3 基本環(huán)境配置

RHEV云平臺(tái)配置無(wú)需做任何更改，只需要在2臺(tái)X86存儲(chǔ)服務(wù)器做配置即可。具體如下：（2個(gè)節(jié)點(diǎn)）安裝操作系統(tǒng)，配置NTP時(shí)鐘同步，關(guān)閉iptables和selinux；（2個(gè)節(jié)點(diǎn)）增加yum鏡像源用于安裝corosync、pacemaker；（2個(gè)節(jié)點(diǎn)）yum安裝drbd、tgt、corosync、pacemaker及相關(guān)組件；（2個(gè)節(jié)點(diǎn)）編輯/etc/hosts配置主機(jī)名并驗(yàn)證主機(jī)名配置是否成功；（2個(gè)節(jié)點(diǎn)）配置雙機(jī)互信并驗(yàn)證ssh互相登錄是否需密碼。

2.4 DRBD配置

（2個(gè)節(jié)點(diǎn)）編輯/etc/lvm/lvm.conf，配置激活本地LVM。（2個(gè)節(jié)點(diǎn)）編輯DRBD配置文件/etc/drbd.d/global_common.conf。（2個(gè)節(jié)點(diǎn)）編輯/etc/drbd.d/vhost.res，創(chuàng)建DRBD資源配置文件，文件具體如下：

（2個(gè)節(jié)點(diǎn)）初始化，啟動(dòng)DRBD：#drbdadm create-md vhost && service drbd start。（任意節(jié)點(diǎn)）命令查看DRBD同步狀態(tài)，此時(shí)輸出狀態(tài)secondary/secondary為正常。（主節(jié)點(diǎn)）使用drbdadm primary vhost命令提升主節(jié)點(diǎn)，并檢查狀態(tài)，此時(shí)輸出狀態(tài)primary/secondary為正常。（2個(gè)節(jié)點(diǎn)）使用命令chkconfig drbd on設(shè)置DRBD開(kāi)機(jī)自動(dòng)啟動(dòng)。

2.5 tgt服務(wù)配置

（主節(jié)點(diǎn)）啟動(dòng)tgt服務(wù)并查看tgt提供服務(wù)狀態(tài)是否正常；（2個(gè)節(jié)點(diǎn)）使用命令chkconfig tgtd on設(shè)置tgt服務(wù)為開(kāi)機(jī)自動(dòng)啟動(dòng)。

2.6 corosync服務(wù)配置

（主節(jié)點(diǎn)）配置corosync通信認(rèn)證文件并拷貝到備節(jié)點(diǎn)。（2個(gè)節(jié)點(diǎn)）編輯corosync配置文件。（2個(gè)節(jié)點(diǎn)）修改日志文件屬主為hacluster。（2個(gè)節(jié)點(diǎn)）啟動(dòng)corosync并設(shè)置為開(kāi)機(jī)自動(dòng)啟動(dòng)。

2.7 pacemaker服務(wù)配置

（2個(gè)節(jié)點(diǎn)）下載iSCSITarget的pacemaker腳本，添加可執(zhí)行權(quán)限，保存到usr/lib/ocf/resource.d/heartbeat/。（2個(gè)節(jié)點(diǎn)）啟動(dòng)pacemaker并設(shè)置為開(kāi)機(jī)自動(dòng)啟動(dòng)。（任意節(jié)點(diǎn)）配置集群修改并提交：

3 驗(yàn)證測(cè)試

（任意節(jié)點(diǎn)）現(xiàn)在所有資源均配置在node2.scal.com.cn，我們測(cè)試將該節(jié)點(diǎn)standby，看資源是否能夠自動(dòng)切換到node1。

（任意節(jié)點(diǎn)）登錄任意節(jié)點(diǎn)查詢DRBD，tgt服務(wù)實(shí)際運(yùn)行情況是否和pacemaker顯示結(jié)果一致,如果以上2項(xiàng)資源均運(yùn)行在node1則說(shuō)明正常。

登錄RHEV WEB管理界面，添加新的存儲(chǔ)域。測(cè)試能否成功添加，能否在該域成功運(yùn)行虛擬機(jī)，將運(yùn)行的主節(jié)點(diǎn)standby后能否成功自動(dòng)切換，切換后虛擬機(jī)運(yùn)行是否正常。

4 結(jié)論

RHEV云平臺(tái)存儲(chǔ)高可用可以有效解決當(dāng)前云平臺(tái)中存在的存儲(chǔ)主/備模式帶來(lái)的存儲(chǔ)節(jié)點(diǎn)故障后無(wú)法自動(dòng)高效切換的問(wèn)題，所采用是成熟且應(yīng)用廣泛的開(kāi)源技術(shù)方案。經(jīng)驗(yàn)證，基于當(dāng)前環(huán)境進(jìn)行簡(jiǎn)單配置即可滿足運(yùn)行要求，成本低廉，效果良好。