張 穎，林 洋

(四川省地震局，四川 成都 610041)

四川省地震局依托汶川8.0級特大地震災后恢復重建項目，基于VMware虛擬化軟件搭建了服務(wù)器虛擬化平臺(林洋和張穎，2015)，整合了信息、應(yīng)急、GPS、市縣綜合服務(wù)等業(yè)務(wù)系統(tǒng)。目前運行的虛擬機共計169臺，服務(wù)器虛擬化程度達90%，極大地提升了應(yīng)用部署、服務(wù)上線效率；顯著提高了應(yīng)用系統(tǒng)的可靠性和故障恢復速度；實現(xiàn)了業(yè)務(wù)系統(tǒng)的快速遷移和備份功能。隨著業(yè)務(wù)需求的不斷增加，各業(yè)務(wù)系統(tǒng)的服務(wù)功能不斷升級、服務(wù)范圍進一步擴大，對服務(wù)器虛擬化平臺的計算資源、存儲資源均提出了更大的需求，虛擬化平臺的資源已經(jīng)接近飽和狀態(tài)。為保證虛擬化平臺的穩(wěn)定運行，持續(xù)為各業(yè)務(wù)系統(tǒng)提供可靠支撐，對虛擬化平臺的計算資源和存儲資源進行了擴容。

1 虛擬化平臺擴容

1.1 虛擬化平臺架構(gòu)

數(shù)據(jù)中心虛擬化平臺擴容沿用之前的系統(tǒng)架構(gòu)，由承載虛擬機的宿主機、磁盤陣列、管理服務(wù)器、管理終端、網(wǎng)絡(luò)設(shè)備等構(gòu)成，擴容增加宿主機、磁盤陣列、管理服務(wù)器、遷移服務(wù)器。宿主機通過SAN網(wǎng)絡(luò)連接磁盤陣列，通過IP網(wǎng)絡(luò)進行管理、提供網(wǎng)絡(luò)連接及服務(wù)。虛擬化平臺架構(gòu)如圖1所示。

圖1 虛擬化平臺架構(gòu)

虛擬化軟件依然選用了VMware，原虛擬化平臺采用的是VMware vSphere 4.1，與原宿主機的CPU版本具有良好的兼容性，在6年的連續(xù)運行中未出現(xiàn)任何軟故障，但在管理功能及支持的虛擬機硬件版本上與新版本存在較大的差距。綜合考慮不同版本軟硬件兼容性、運行的穩(wěn)定性、管理的便捷性及應(yīng)用需求等多種因素，最后采用最新版本VMware vSphere 6.0搭建了新的虛擬化計算資源池，新資源池的多臺主機通過FC SAN(光纖存儲網(wǎng))與原資源池共享磁盤存儲空間，通過主機的網(wǎng)絡(luò)接口接入與原資源池相同的三個業(yè)務(wù)網(wǎng)段。計劃兩個資源池并行運行一段時間，隨著原資源池的宿主機逐漸淘汰，新資源池宿主機不斷增加，最終整合成一個資源池運行。因VMware vSphere 4.1與VMware vSphere 6.0的軟件版本跨度過大，不能采用同一管理服務(wù)器進行管理，新增管理服務(wù)器部署vCenter Server 6.0，管理員需通過終端部署的vSphere Client 4.1及vSphere Client 6.0分別對虛擬化平臺兩個資源池進行管理，并通過部署遷移服務(wù)器，實現(xiàn)虛擬化資源池間的虛擬機遷移。

1.2 設(shè)備配置

數(shù)據(jù)中心虛擬化平臺主要設(shè)備及配置如表1所示。

表1 主要設(shè)備及配置

1.3 擴容流程

虛擬化平臺擴容主要包括資源規(guī)劃、新計算資源池搭建、應(yīng)用遷移三個重要階段，虛擬化平臺擴容流程如圖2所示。

圖2 虛擬化平臺擴容流程

1.3.1 資源規(guī)劃

資源規(guī)劃是虛擬化平臺擴容的重要步驟之一，做好資源規(guī)劃才能有條不紊地進行后續(xù)步驟，主要包括設(shè)備安裝位置規(guī)劃、存儲規(guī)劃、網(wǎng)絡(luò)規(guī)劃、SAN網(wǎng)絡(luò)規(guī)劃、虛擬機資源規(guī)劃等。存儲規(guī)劃:服務(wù)器本地存儲，做RAID5，用于安裝ESXi；磁盤陣列，用于存放鏡像、模板、虛擬機及備份。網(wǎng)絡(luò)規(guī)劃:每臺服務(wù)器作為宿主機連接到四臺不同VLAN的交換機，其中VLAN101、VLAN102和VLAN103用于虛擬機的網(wǎng)絡(luò)接入和服務(wù)，VLAN100用于虛擬化平臺的管理。每臺宿主機采用2個物理網(wǎng)卡連接同一個VLAN，起到網(wǎng)絡(luò)流量分擔和線路備份的作用。規(guī)劃好宿主機物理網(wǎng)口及以太網(wǎng)交換機接口之間的對應(yīng)連接關(guān)系，并分配管理IP。SAN網(wǎng)絡(luò)規(guī)劃: 每臺宿主機分別連接兩臺SAN交換機，保證設(shè)備冗余、鏈路冗余，定義好宿主機物理光口及SAN交換機接口之間的對應(yīng)連接關(guān)系。虛擬機資源規(guī)劃：綜合考慮當前應(yīng)用服務(wù)處于高峰時段的CPU、內(nèi)存、磁盤使用情況，預估應(yīng)用將增加的資源需求量，尤其是對磁盤空間的需求以及應(yīng)用系統(tǒng)計劃升級所需的資源，做好資源的合理分配和預留。虛擬化平臺擴容組網(wǎng)及設(shè)備連接拓撲見圖3。

圖3 設(shè)備連接拓撲

1.3.2 新計算資源池搭建

新計算資源池搭建包括宿主機的安裝配置、 線纜連接、管理服務(wù)器安裝配置、配置數(shù)據(jù)中心及集群、網(wǎng)絡(luò)配置、SAN交換機及存儲配置等步驟。(1)宿主機的安裝配置。根據(jù)資源規(guī)劃，將服務(wù)器按照規(guī)劃位置進行上架，加電。將每臺服務(wù)器本地磁盤做RAID5，以降低因磁盤故障導致的宿主機故障，安裝虛擬化軟件vSphere Client 6.0 server，并對主機名、IP、DNS與密碼等進行必要的配置以滿足實際需求。(2)連接線纜。根據(jù)資源規(guī)劃中對以太網(wǎng)絡(luò)及光纖網(wǎng)絡(luò)以及接口的規(guī)劃，進行線纜的連接，包括服務(wù)器到各業(yè)務(wù)網(wǎng)段交換機的網(wǎng)絡(luò)連接，以及服務(wù)器到光纖交換機之間的SAN網(wǎng)絡(luò)連接。按規(guī)范進行電源線、網(wǎng)線、光纖跳線等標注，在不影響線纜工作狀態(tài)與性能的前提下做到整潔與美觀。(3)管理服務(wù)器安裝配置。安裝vCenter服務(wù)器操作系統(tǒng)suse 11(64位)，配置vCenter數(shù)據(jù)庫，部署vCenter server管理軟件。(4)配置數(shù)據(jù)中心及集群。通過vSphere Client連接vCenter server，建立數(shù)據(jù)中心，創(chuàng)建并配置集群，設(shè)置HA、DRS、DPM、EVC等參數(shù)；連接主機，將主機添加到適當?shù)募海⒏鶕?jù)規(guī)劃配置主機的網(wǎng)絡(luò)、NTP等參數(shù)；根據(jù)業(yè)務(wù)需求等建立適當?shù)臉I(yè)務(wù)資源池，配置資源保留與限額等。(5)網(wǎng)絡(luò)配置。通過vSphere Client連接vCenter server，配置每臺主機的管理網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò)，創(chuàng)建VMkernel 網(wǎng)絡(luò)用于VMware Vmotion，創(chuàng)建Management Network，用于主機管理，分別建立vSphere Distributed Switch對應(yīng)不同的vlan，并定義相應(yīng)的網(wǎng)卡適配器。(6)SAN交換機及存儲配置。分別配置兩臺SAN交換機，將每一臺新增服務(wù)器與磁盤陣列在SAN交換機上的接口配置成一個zone，完成5個zone的創(chuàng)建后將其全部加入同一個zoneset，最后激活zoneset生效，完成新增服務(wù)器到磁盤陣列的連接。

根據(jù)資源規(guī)劃，對存儲進行LUN劃分，定義新增主機組并映射。通過vSphere Client連接vCenter server，在其中一臺主機上添加存儲器，將從磁盤陣列映射的存儲LUN添加給服務(wù)器并進行掛載、命名，添加完成后新建的數(shù)據(jù)存儲會自動添加到集群內(nèi)的所有主機。因VMware ESX Server 6.0支持的最大LUN已達62 TB，較VMware ESX Server 4.1支持最大LUN 2 TB已有極大的提高，為新虛擬化平臺在磁盤的分配及使用上提供了更大的便利，也在一定程度上降低了磁盤碎片產(chǎn)生，提高了利用率。

1.3.3 虛擬機跨資源池遷移

由于兩個計算資源池采用的虛擬化軟件VMware ESX Server 6.0和VMware ESX Server 4.1存在較大的版本跨度，資源池之間無法直接跨平臺管理，在此利用配有FC HBA卡的服務(wù)器通過安裝ESXi6.0虛擬化軟件、接入共享磁盤陣列，搭建了遷移服務(wù)器。通過遷移服務(wù)器將原計算資源池的業(yè)務(wù)系統(tǒng)遷移到新資源池中運行，解決了虛擬機及模板跨資源池遷移問題，為之后虛擬化平臺間的平滑過渡提供了解決方案。具體的實現(xiàn)方法如下：(1)將配有FC HBA卡的服務(wù)器安裝EXSi6.0虛擬化軟件，作為遷移服務(wù)器，通過SAN網(wǎng)絡(luò)連接磁盤陣列。管理新資源池的數(shù)據(jù)中心，新建一個集群vCluster-Transport，添加遷移服務(wù)器。(2)配置磁盤陣列的映射主機組，將新部署的遷移服務(wù)器添加至ESXi4.1的主機組中。重新劃分一個臨時中轉(zhuǎn)LUN，LUN空間需滿足待遷移虛擬機的磁盤空間需求，將LUN映射給VMware ESXi4.1主機組，并通過在ESXi4.1的主機上創(chuàng)建中轉(zhuǎn)存儲LUN,使遷移服務(wù)器和原資源池都能看到此中轉(zhuǎn)LUN。(3)在原資源池中，使用VMware Storage VMotion功能將需要遷移的虛擬機及模板從原數(shù)據(jù)存儲克隆或者遷移到中轉(zhuǎn)存儲LUN上，完成后關(guān)閉需要遷移的虛擬機并從清單中移除。(4)在新資源池中，使用VMware Storeage VMotion功能將需要遷移的虛擬機從中轉(zhuǎn)LUN克隆或者遷移到新資源池的數(shù)據(jù)存儲上。將發(fā)生遷移的虛擬機從新資源池的數(shù)據(jù)存儲中找出并添加到清單并啟動運行，完成遷移。

2 應(yīng)用經(jīng)驗

2.1 應(yīng)用規(guī)劃

服務(wù)器虛擬化平臺擴容是虛擬化平臺運維的重要內(nèi)容，擴容方案既要滿足當前及未來幾年業(yè)務(wù)系統(tǒng)的運行需求，也要兼顧平臺進一步擴展的可行性。并非所有的應(yīng)用都適合被虛擬化，在虛擬化之前需要做好規(guī)劃，哪些應(yīng)用適合被虛擬化，哪些不適合。不適合被虛擬化的應(yīng)用包含：附加有特殊硬件才能運行的應(yīng)用，對內(nèi)存、CPU、磁盤空間有極高要求的應(yīng)用，極重要但未在虛擬化平臺上成功測試的應(yīng)用，對時間同步有高精準度要求的應(yīng)用，存在涉密或敏感數(shù)據(jù)的高安全級應(yīng)用等。

2.2 遷移

已經(jīng)陳舊且混亂無序的應(yīng)用，如果通過P2V直接遷移至虛擬機的話，很容易造成未來更多兼容性上的問題，所以最好還是全新安裝虛擬機系統(tǒng)(楊帆，2015)。無論是P2V遷移還是從原虛擬化平臺遷移至新平臺，發(fā)生遷移后，一定要保留原應(yīng)用版本并行運行一段時間，確認沒有任何問題后再清除原應(yīng)用版本；如果是極其重要的應(yīng)用，建議保留原應(yīng)用版本作為備用，一旦出現(xiàn)故障，方便切換恢復。

2.3 資源規(guī)劃

雖然虛擬化給資源增減提供了便利，但如果管理員毫無規(guī)劃地進行空間的分配會導致物理磁盤產(chǎn)生大量的磁盤碎片。如果沒有做好資源管理和規(guī)劃，供需就會失衡，導致資源浪費或資源不夠用，直接影響虛擬化平臺上虛擬機應(yīng)用的運行效果及正常擴容需求，做好資源規(guī)劃可以避免成本浪費、更好地保障虛擬化平臺及虛擬機應(yīng)用穩(wěn)定運行。

2.4 虛擬機的生命周期管理

隨著虛擬化程度的進一步提高，業(yè)務(wù)應(yīng)用對虛擬化平臺的依賴程度進一步加強，虛擬化平臺起到了越來越重要的信息支撐平臺作用，因此更要重視和加強日常的監(jiān)控和運維管理。虛擬化平臺管理員應(yīng)做好虛擬機整個生命周期的管理，即從虛擬機的創(chuàng)建、資源擴容、配置修改、應(yīng)用下線后移除等。加強管理有助于資源的合理利用，對分配的過剩資源及時回收，對資源不足的虛擬機及時增加資源，為各應(yīng)用系統(tǒng)提供更穩(wěn)定的平臺。

3 結(jié)語

通過對虛擬化平臺的計算資源及存儲資源進行擴容，將CPU核心數(shù)由原來的192顆擴展至432顆，內(nèi)存由原來的256 GB擴展至1536 GB，存儲由原來的80 TB擴展至160 TB，解決了擴容前出現(xiàn)的內(nèi)存瓶頸、存儲容量無法滿足業(yè)務(wù)系統(tǒng)擴容需求以及因資源不足造成的可靠性降低等問題。擴容后對業(yè)務(wù)系統(tǒng)在虛擬化平臺上的分布做了進一步的優(yōu)化，實現(xiàn)了在任意兩臺物理主機出現(xiàn)宕機的情況下，平臺上的業(yè)務(wù)系統(tǒng)不受影響，仍然可以正常運行。虛擬化平臺的擴容進一步提高了平臺的服務(wù)能力及穩(wěn)定性，為各業(yè)務(wù)系統(tǒng)的安全可靠運行、功能升級和新業(yè)務(wù)上線提供了有力保障。