羅堃 傅彰凱

四川大學(xué)華西第二醫(yī)院 四川 成都 610041

1 系統(tǒng)概況

1.1 VMWARE5.5現(xiàn)狀

四川大學(xué)華西第二醫(yī)院信息中心原有虛擬化環(huán)境如下： VMWARE 5.5 集群由 6 臺 DELL R720 PC 服務(wù)器組成，HDS 及 IBM V3700 存儲接入 EMC 存儲虛擬化設(shè)備 VPLEX 后接入 VMWARE 5.5 集群。

1.2 虛擬化升級目標(biāo)

目前5.5版本較低，很多功能受限，兼容性不夠，需要升級到目前常用版本6.0。同時(shí)集中存儲EMC VPLEX已使用七年，設(shè)備老舊需要更換。由于醫(yī)療生產(chǎn)系統(tǒng)已經(jīng)在老環(huán)境運(yùn)行了5年并且還要繼續(xù)使用，升級必須最大可能的保證生產(chǎn)系統(tǒng)的穩(wěn)定運(yùn)行，保證數(shù)據(jù)零丟失，停機(jī)時(shí)間盡量短。

2 升級方案

2.1 VMVARE vMotion原理[1]

VMware VMotion能夠在兩臺正在運(yùn)行的服務(wù)器之間進(jìn)行實(shí)時(shí)遷移，具有零停機(jī)性能，能夠大幅度提高了服務(wù)器的可用性，保證交易數(shù)據(jù)的完整性。用戶可以手工遷移服務(wù)器上的虛擬機(jī)至另外一臺服務(wù)器，從而在不間斷服務(wù)的情況下，升級和維護(hù)原來的服務(wù)器。

VMotion從一臺物理服務(wù)器將虛擬機(jī)遷移到另外一臺虛擬機(jī)要用到下述三項(xiàng)技術(shù)：

2.1.1 虛擬機(jī)的全部狀態(tài)信息被壓縮在一套存儲于共享存儲器的文件中。作為載體的存儲器類型可以是光纖通道（Fibre Channel），iSCSI存儲區(qū)域網(wǎng)絡(luò)（iSCSI Storage Area Network，SAN）或者網(wǎng)絡(luò)附加存儲器（Network Attached Storage，NAS）。VMware的群集虛擬機(jī)系統(tǒng)（VMFS）允許多臺ESX服務(wù)器同時(shí)訪問同一個(gè)虛擬機(jī)文件。

2.1.2 虛擬機(jī)的動態(tài)內(nèi)存和執(zhí)行狀態(tài)在一個(gè)高速的網(wǎng)絡(luò)上進(jìn)行快速傳輸，允許虛擬機(jī)即時(shí)地在源ESX服務(wù)器和目標(biāo)ESX服務(wù)器之間進(jìn)行信息交換。在遷移過程中，VMotion只是在點(diǎn)陣圖里對信息交換進(jìn)行監(jiān)控，所以整個(gè)轉(zhuǎn)移過程對用戶來說是透明的。一旦整個(gè)內(nèi)存和系統(tǒng)狀態(tài)全部復(fù)制到目標(biāo)ESX服務(wù)器中，VMotion就會自動終止源虛擬機(jī)，同時(shí)將點(diǎn)陣圖轉(zhuǎn)移到目標(biāo)ESX服務(wù)器中，并在目標(biāo)ESX服務(wù)器中重新啟動虛擬機(jī)。上述整個(gè)操作假如是在一個(gè)千兆以太網(wǎng)絡(luò)中進(jìn)行，那么不用兩秒的時(shí)間就可以完成。

2.1.3 虛擬機(jī)使用的網(wǎng)絡(luò)同樣也會被目標(biāo)ESX服務(wù)器虛擬化，確保在實(shí)時(shí)遷移之后，虛擬機(jī)的網(wǎng)絡(luò)身份和連接能夠得到保留。VMotion將MAC地址作為進(jìn)程的一部分來進(jìn)行管理。一旦目標(biāo)機(jī)被激活，VMotion會檢查網(wǎng)絡(luò)路由器來確保它能識別虛擬機(jī)MAC地址新的物理位置。由于虛擬機(jī)使用VMotion來進(jìn)行實(shí)時(shí)遷移，它的執(zhí)行狀態(tài)，網(wǎng)絡(luò)身份和動態(tài)鏈接都能夠得到保護(hù)，所以對于用戶來說，整個(gè)遷移過程并沒有引起服務(wù)器停機(jī)或者網(wǎng)絡(luò)中斷。

2.2 VMVARE Storage vMotion原理[2]

移動磁盤文件之前，Storage vMotion會在目標(biāo)數(shù)據(jù)存儲中為虛擬機(jī)創(chuàng)建一個(gè)新的虛擬機(jī)主目錄。接著，將會創(chuàng)建一個(gè)新的虛擬機(jī)實(shí)例，其配置保留在新的數(shù)據(jù)存儲中。然后，Storage vMotion 會為每個(gè)所移動的虛擬機(jī)磁盤創(chuàng)建一個(gè)子磁盤，用于在父磁盤處于只讀模式的同時(shí)捕獲寫活動的副本。將原始父磁盤復(fù)制到新的存儲位置。子磁盤重新成為新位置中新復(fù)制的父磁盤的父磁盤。完成到新虛擬機(jī)副本的轉(zhuǎn)移后，原始實(shí)例將關(guān)閉。然后從 VMware vStorage VMFS 中刪除源位置的原始虛擬機(jī)主目錄。

2.3 遷移方案及操作

首先，對現(xiàn)有VMWARE的一臺物理主機(jī)進(jìn)行升級，升級之前，需要在線遷移改物理主機(jī)中的所有虛擬機(jī)到其他物理主機(jī)。

遷移完成后將該物理機(jī)從VMWARE集群中刪除，在該物理機(jī)上重新安裝EXSI6.0系統(tǒng)。EXSI6.0安裝完成后，在該物理機(jī)上新建虛擬機(jī)，搭建vcenter6.0。

在虛擬化管理網(wǎng)絡(luò)中無DNS，VMware建議主機(jī)全名規(guī)則如下：服務(wù)器品牌標(biāo)識-型號-IP地址其中：操作系統(tǒng)類型；服務(wù)器品牌標(biāo)識：DELL代表是戴爾；型號：服務(wù)器的型號。

使用IP地址來標(biāo)識主機(jī)。注意：ESXi主機(jī)名不得超過26個(gè)字符，否則配置HA將失敗，另外需要加域則不得超過15個(gè)字符。最終，主機(jī)命名如下ESX-DELL-R720-203。

vCenter 6.0 U2可支持Oracle或SQL Server數(shù)據(jù)庫。從華西附二醫(yī)院的IT環(huán)境以及管理員的數(shù)據(jù)庫使用習(xí)慣來看，本次采用SQL Server數(shù)據(jù)庫。

華西附二醫(yī)院使用VMware企業(yè)版License授權(quán)，只支持虛擬標(biāo)準(zhǔn)交換機(jī)。

2.3.1 “虛擬交換機(jī)”命名規(guī)則如下: 類型：標(biāo)準(zhǔn)交換機(jī)(vSS)、分布式交換機(jī)(vDS)；序號：系統(tǒng)自動生成。

2.3.2 “端口組”命名規(guī)則如下：網(wǎng)絡(luò)端口組命名

<交換機(jī)類型>-<網(wǎng)絡(luò)區(qū)域>-<功能>-<網(wǎng)絡(luò)地址段>-

其中：交換機(jī)類型：vSS（標(biāo)準(zhǔn)交換機(jī)）、vDS(分布式交換機(jī))；功能：管理(MGT)、vMotion(vMotion)、網(wǎng)絡(luò)區(qū)域（專

線[Pri]/內(nèi)網(wǎng)[Int]/外網(wǎng)[Ext]）、業(yè)務(wù)(VM)。物理網(wǎng)絡(luò)交換機(jī)端口配置：

esxi主機(jī)上行鏈路vmnic(主)和上行鏈路vmnic(備)所連接的2個(gè)物理交換機(jī)之間必須確保有級聯(lián)；

esxi主機(jī)上行鏈路連接的物理交換機(jī)端口，必須關(guān)閉 STP 生成樹協(xié)議；

esxi主機(jī)上行鏈路連接的物理交換機(jī)端口，開啟fastport功能；

四臺物理交換機(jī)之間（即物理交換機(jī)與物理交換機(jī)）的級聯(lián)，要開啟STP生成樹協(xié)議（Use “bpduguard” to enforce STP boundary），并且trunk放通所有vlan。

數(shù)據(jù)存儲命名規(guī)范：根據(jù)數(shù)據(jù)存儲是本地存儲還是共享存儲的不同，本次采用不同的命名規(guī)范。本地?cái)?shù)據(jù)存儲命名規(guī)范可以采用LocalDisk-的命名規(guī)范，例如LocalDisk-203。

本地存儲LocalDatastore命名如下：

主機(jī)名 RAID 存儲命名ESX-DELL-R720-203 Raid 1 LocalDisk- 203

共享數(shù)據(jù)存儲命名規(guī)范：<存儲品牌簡稱>-<型號>-< -<存儲編號>-<存儲類型>-<功能>-<序號>，其中：

存儲品牌：IBM、HDS；型號：存儲的具體型號；設(shè)備類型：表示提供存儲的類型：NFS、ISCSI、SAN；功能：承載的虛擬機(jī)還是其他類型的文件，如VM、ISO；LUN：數(shù)據(jù)存儲大?。籐UN ID：從數(shù)據(jù)存儲映射的LUN ID。本次共享存儲DataStore配置如下：

數(shù)據(jù)存儲名稱 功能IBM-V3700-SAN-VM-2T-Lun0 放置VM IBM-V3700- SAN-VM-2T-Lun1 放置VM IBM-V3700- SAN-VM-2T-Lun2 放置VM HDS-SAN-VM-2T-Lun3 放置VM HDS-SAN-ISO-2T-Lun4 放置ISO及模版

Vcenter6.0搭建完成后，創(chuàng)建VMWARE6.0集群，將該主機(jī)加入此集群，配置網(wǎng)絡(luò)，使其與5.5集群的網(wǎng)絡(luò)配置完全一樣。

將另一臺物理機(jī)從VMWARE5.5集群脫離，主機(jī)脫離集群并不會影響主機(jī)上的虛擬機(jī)運(yùn)行。將此主機(jī)加入VMWARE6.0集群。

遷移此臺主機(jī)上所有虛擬機(jī)到6.0主機(jī)上，由于跨了版本，不支持在線遷移，需要先關(guān)閉虛擬機(jī)，再遷移。關(guān)機(jī)時(shí)間需與業(yè)務(wù)對接，在業(yè)務(wù)低峰進(jìn)行關(guān)機(jī)操作，每臺虛擬機(jī)停機(jī)時(shí)間約為2~5分鐘。

此臺物理機(jī)上的虛擬機(jī)遷移全部完成后，將此臺物理機(jī)從VMWARE集群中刪除，在該物理機(jī)上重新安裝EXSI6.0系統(tǒng)。

安裝EXSI6.0系統(tǒng)完成后將此臺主機(jī)加入VMWARE6.0集群，并配置網(wǎng)絡(luò)，使其與本集群的其他主機(jī)網(wǎng)絡(luò)配置完全一樣。將另一臺物理機(jī)從VMWARE5.5集群脫離，重復(fù)之前的操作。當(dāng)所有虛擬機(jī)遷移到VMWARE6.0集群后，WMWARE版本升級完成。

由于已升級到vmware6.0，存儲部分可以通過VMWARE的Storage vMotion功能在線完成，將新購存儲接入vmware6.0集群后，可以開始在線遷移存儲。

3 風(fēng)險(xiǎn)及風(fēng)險(xiǎn)控制

3.1 兼容性風(fēng)險(xiǎn)

Storage vMotion 要求和限制[2]，VMWARE 官方手冊解釋如下：

虛擬機(jī)及主機(jī)必須滿足資源和配置要求，才能通過Storage vMotion 遷移虛擬機(jī)磁盤。

Storage vMotion應(yīng)遵循以下要求和限制：

3.1.1 虛擬機(jī)磁盤必須處于持久模式或者必須是裸設(shè)備映射（RDM）。對于虛擬兼容性模式RDM，只要目標(biāo)不是NFS數(shù)據(jù)存儲，就可以遷移映射文件或在遷移期間將磁盤轉(zhuǎn)換為厚置備或精簡置備磁盤。如果轉(zhuǎn)換映射文件，則會創(chuàng)建新的虛擬磁盤，并將映射的LUN的內(nèi)容復(fù)制到此磁盤。對于物理兼容性模式RDM，則只能遷移映射文件。

3.1.2 不支持在Vmware Tools安裝期間進(jìn)行虛擬機(jī)遷移。

3.1.3 由于VMFS3數(shù)據(jù)存儲不支持大容量虛擬磁盤，因此，您無法將大于2TB的虛擬磁盤從VMFS5數(shù)據(jù)存儲移至VMFS3數(shù)據(jù)存儲。

3.1.4 虛擬機(jī)正在其上運(yùn)行的主機(jī)必須包括Storage vMotion的許可證。

3.1.5 ESXI5.0和更高版本的主機(jī)不需要vMotion配置即可通過Storage vMotion執(zhí)行遷移。

3.1.6 運(yùn)行虛擬機(jī)的主機(jī)必須能夠訪問數(shù)據(jù)存儲和目標(biāo)存儲。

3.1.7 通過vMotion和Storage vMotion進(jìn)行的同時(shí)遷移數(shù)有限制。

3.2 網(wǎng)絡(luò)風(fēng)險(xiǎn)

無線系統(tǒng)操作平臺應(yīng)有基于用戶身份角色的狀態(tài)防火墻和用戶策略管理功能，針對每個(gè)用戶創(chuàng)建獨(dú)特的角色并實(shí)現(xiàn)基于用戶身份角色的網(wǎng)絡(luò)安全策略控制、帶寬管理、端到端QoS等功能。支持將違反策略的客戶端列入黑名單，從而終止他們的會話并拒絕他們進(jìn)一步連接網(wǎng)絡(luò)[3]。

3.3 數(shù)據(jù)安全風(fēng)險(xiǎn)

風(fēng)險(xiǎn)點(diǎn)：虛擬機(jī)在存儲遷移過程中出現(xiàn)故障，導(dǎo)致虛擬機(jī)文件丟失或損壞。

應(yīng)對方案：在虛擬機(jī)進(jìn)行存儲遷移操作之前，以虛擬機(jī)克隆方式完全備份虛擬機(jī)。