【摘? 要】某數(shù)據(jù)中心中由ESXI主機(jī)（PC服務(wù)器）+存儲(chǔ)構(gòu)成的vSphere HA集群存在兩個(gè)問(wèn)題：一是存儲(chǔ)資源消耗較大;二是PC服務(wù)器內(nèi)置硬盤(pán)利用率不高。分布式文件系統(tǒng)軟件的出現(xiàn)為開(kāi)發(fā)和利用集群內(nèi)置硬盤(pán)資源提供了一個(gè)新的方向，論文對(duì)此方面進(jìn)行了一些有益的探索和實(shí)驗(yàn)。

【Abstract】There are two problems existing in the vSphere HA cluster composed of ESXI host （PC server） + storage in a data center： one is the large consumption of storage resources; the other is the low utilization of built-in hard disk of PC server. The emergence of distributed file system software provides a new direction for the development and utilization of cluster built-in hard disk resources. This paper makes some beneficial explorations and experiments on this aspect.

【關(guān)鍵詞】GlusterFS Linux Vmware;分布式文件系統(tǒng);應(yīng)用場(chǎng)景

【Keywords】GlusterFS Linux Vmware; distributed file system; application scenario

【中圖分類(lèi)號(hào)】TP333? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文獻(xiàn)標(biāo)志碼】A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文章編號(hào)】1673-1069（2020）06-0160-02

1 案例實(shí)施背景

當(dāng)前，某數(shù)據(jù)中心PC服務(wù)器數(shù)量已達(dá)上百臺(tái)，按部署架構(gòu)大致可分為兩類(lèi)：

①少量PC服務(wù)器作為實(shí)體機(jī)使用，主要承載管理類(lèi)數(shù)據(jù)庫(kù)等對(duì)運(yùn)算資源要求較高的應(yīng)用，一般外接存儲(chǔ)和NAS，內(nèi)置硬盤(pán)中只需2塊作RAID1用以部署操作系統(tǒng)，其余硬盤(pán)沒(méi)有明確用途。

②其余大部分PC服務(wù)器用作虛擬資源池?；跇I(yè)務(wù)連續(xù)性等方面的考慮，重要應(yīng)用系統(tǒng)所用的虛擬機(jī)主要部署在vSphere HA集群。vSphere HA集群由若干ESXI主機(jī)（PC服務(wù)器）+存儲(chǔ)構(gòu)成，一般情況下，業(yè)務(wù)數(shù)據(jù)放置于存儲(chǔ)，主機(jī)內(nèi)置硬盤(pán)僅用于安裝ESXI操作系統(tǒng)。

上述部署架構(gòu)存在兩個(gè)問(wèn)題：第一，存儲(chǔ)資源消耗量較大;第二，PC服務(wù)器內(nèi)置硬盤(pán)資源實(shí)際大量閑置，利用率較低。分布式文件系統(tǒng)軟件的出現(xiàn)為該情況的改善提供了契機(jī)，為集群內(nèi)置硬盤(pán)資源的使用提供了一個(gè)新的方向，在此方面，本文進(jìn)行了一些積極的探索和實(shí)驗(yàn)。

2 案例實(shí)施方案

2.1 準(zhǔn)備工作

2.1.1 軟件選型

①商用軟件FusionStorage

商用軟件FusionStorage的優(yōu)點(diǎn)是相對(duì)成熟且易獲得技術(shù)支持;缺點(diǎn)是對(duì)硬件要求較高，與現(xiàn)有虛擬資源池架構(gòu)契合度不好，主要表現(xiàn)為：基于虛擬機(jī)的融合部署時(shí)，需要將硬盤(pán)和RAID卡都直通給CVM，但RAID卡直通給CVM后，安裝ESXI的硬盤(pán)就無(wú)法被系統(tǒng)識(shí)別，導(dǎo)致ESXI無(wú)法啟動(dòng)。融合部署有一規(guī)避方法就是將RH2288H后置面板上的2塊硬盤(pán)直接接到主板的SATA口上，不通過(guò)RAID卡，但此方法只能將ESXI安裝在單盤(pán)上，無(wú)法組RAID，因此，存在風(fēng)險(xiǎn)。

②開(kāi)源軟件

常見(jiàn)的開(kāi)源軟件包括MooseFS（MFS）、Ceph、GlusterFS、Lustre、Hadoop等。經(jīng)調(diào)研，上述軟件中GlusterFS的安裝相對(duì)簡(jiǎn)單，無(wú)Metadata Server節(jié)點(diǎn)，且具有易擴(kuò)展、適合存儲(chǔ)大文件等特點(diǎn)，因此，本文采用了該軟件作為實(shí)驗(yàn)對(duì)象。

2.1.2 軟件安裝

實(shí)驗(yàn)環(huán)境搭建于專(zhuān)用測(cè)試網(wǎng)段，使用13臺(tái)Linux服務(wù)器，1臺(tái)作為Client，其余12臺(tái)作為GlusterFS Server。共測(cè)試兩個(gè)版本：Suse11 sp3 + GlusterFS 3.6.5和Suse 12 sp2 + GlusterFS 3.10.0rc0。

2.1.3 配置

①先建立虛擬機(jī)模板，在模板的/etc/hosts文件中加入所有Server和Client的地址和主機(jī)名，按照RUNBOOK設(shè)置相關(guān)參數(shù)。

②使用模板克隆和部署12臺(tái)Server虛擬機(jī)和1臺(tái)Client虛擬機(jī)，并為各虛擬機(jī)設(shè)置主機(jī)名、地址。虛擬機(jī)部署于各ESXI主機(jī)的內(nèi)置硬盤(pán)datastore。每臺(tái)主機(jī)上只部署1臺(tái)虛擬機(jī)，并要確保各ESXI主機(jī)連接相同的2臺(tái)交換機(jī)，且虛擬機(jī)使用專(zhuān)門(mén)的1～2塊網(wǎng)卡，以減少跨交換機(jī)流量和降低對(duì)其他虛擬機(jī)的影響。

③使用內(nèi)置硬盤(pán)為各虛擬機(jī)增加虛擬硬盤(pán)，建立文件系統(tǒng)，在該文件系統(tǒng)下建立data目錄（此處名稱(chēng)任意），并在fstab中加入相關(guān)信息。

④清除/var/lib/glusterd/下的文件，設(shè)置Glusterd為自動(dòng)啟動(dòng)，重啟操作系統(tǒng)。

⑤配置volume

在任一Server虛擬機(jī)內(nèi)執(zhí)行：

gluster peer prob? HEBTVL-GFSS-A01

gluster peer prob? HEBTVL-GFSS-A02

……

gluster peer prob? HEBTVL-GFSS-A12

gluster volume create VOL_LUN0_C1 transport tcp HEBTVL-GFSS-A01：/brick/LUN0/data #可根據(jù)需要設(shè)置volume類(lèi)型

gluster volume add-brick VOL_LUN0_C1 HEBTVL-GFSS-A02：/brick/LUN0/data

……

Gluster volume add-brick VOL_LUN0_C1HEBTVL-GFSS-A07：/brick/LUN0/data

gluster volume? VOL_LUN0_C1 start

gluster volume set LUN0_C1 performance.readdir-ahead off

⑥配置客戶(hù)端

#mount 文件系統(tǒng)（使用fuse）

mount -t glusterfs -o backupvolfile-Server=HEBTVL-GFSS-A01，backupvolfile-Server=HEBTVL-GFSS-A02? HEBTVL-GFSS- A03：/VOL_LUN0_C1 /gfs? ||? ? mkdir /gfs/nfs

#export nfs? ? ?echo"/gfs/nfs? 10.59.12.0/255.255.255.0（fsid=0，rw，root_squash，sync，no_subtree_check，crossmnt）" >> /etc/exports

exportfs -av

值得注意的是，除fuse外，GlusterFS還支持iscsi方式共享volume。

2.2 分布式文件系統(tǒng)的使用

2.2.1 虛擬機(jī)備份

以Client虛擬機(jī)為中繼，將GlusterFS volume掛載到ESXI主機(jī)，掛載成功后即可作為ESXI主機(jī)的datastore使用，替代NAS。

2.2.2 IQ庫(kù)備份文件的恢復(fù)驗(yàn)證

某數(shù)據(jù)中心的IDFB系統(tǒng)IQ庫(kù)USER空間已近7T，每次備份需6T存儲(chǔ)空間，且備份期間I/O消耗較大。針對(duì)這一難題，本文使用GlusterFS 3.6.7新建了一個(gè)striped 4（4個(gè)節(jié)點(diǎn)一組作條帶化）的volume用于IQ庫(kù)備份和稍后的恢復(fù)驗(yàn)證：

gluster volume create VOL_LUN1_C1S4 stripe 4? transport tcp xxxTVL-GFSS-A01：/brick/LUN0/data xxxTVL-GFSS-A02：/brick/LUN0/data xxxTVL-GFSS-A03：/brick/LUN0/data xxxTVL-GFSS-A04：/brick/LUN0/data xxxTVL-GFSS-A05：/brick/LUN0/data xxxTVL-GFSS-A06：/brick/LUN0/data xxxTVL-GFSS-A07：/brick/LUN0/data HEBTVL-GFSS-A08：/brick/LUN0/data

經(jīng)測(cè)試，在4節(jié)點(diǎn)作條帶化情況下，IDFB使用千兆網(wǎng)卡訪(fǎng)問(wèn)GlusterFS volume時(shí)寫(xiě)入速度可穩(wěn)定達(dá)到117MB/s（網(wǎng)卡傳輸速率的上限），單個(gè)節(jié)點(diǎn)寫(xiě)入速度最高為29.3MB/s（volume寫(xiě)入速度的1/4）。

3 經(jīng)驗(yàn)與收獲

①PC服務(wù)器安裝前應(yīng)提前調(diào)整硬盤(pán)分布，將硬盤(pán)集中到部署分布式文件系統(tǒng)的機(jī)器上，必要時(shí)提前劃好RAID。

②ESXI主機(jī)應(yīng)具備3塊以上物理網(wǎng)卡，實(shí)現(xiàn)聯(lián)機(jī)（online）請(qǐng)求與文件傳輸（offline）的網(wǎng)絡(luò)分離。

③GlusterFS Server虛擬機(jī)和客戶(hù)端對(duì)應(yīng)的ESXI主機(jī)應(yīng)盡可能連接相同IP交換機(jī)，以減少跨交換機(jī)的網(wǎng)絡(luò)流量。

【參考文獻(xiàn)】

【1】楊靖煒.服務(wù)器虛擬化在醫(yī)院信息系統(tǒng)中的應(yīng)用[J].計(jì)算機(jī)產(chǎn)品與流通，2020（4）.

【作者簡(jiǎn)介】劉嘉奕（1998-），男，河北石家莊人，本科在讀，從事軟件工程研究。