宮魯沙 孫紅偉 于 艷/大連船舶重工集團有限公司

當(dāng)前，云計算發(fā)展十分迅速，在信息化建設(shè)領(lǐng)域的應(yīng)用越來越廣。云計算是一種新的計算模式，它以服務(wù)的形式為用戶提供各種計算資源、如硬件資源、存儲資源和應(yīng)用程序等。實現(xiàn)云計算的關(guān)鍵技術(shù)是虛擬化，虛擬化技術(shù)在資源的有效利用、動態(tài)調(diào)配和高可靠性方面有巨大的優(yōu)勢。通過在物理多路服務(wù)器上創(chuàng)建多個虛擬服務(wù)器的方式，來替代傳統(tǒng)物理服務(wù)器模式。建立基于虛擬化服務(wù)器的運行環(huán)境，為Pro-CIMS服務(wù)平臺及各個支持系統(tǒng)提供計算和存儲資源。

1.虛擬化技術(shù)

虛擬化技術(shù)就是把一個物理單元虛擬成多個邏輯單元，供多個應(yīng)用一起使用。是一個為了簡化管理、優(yōu)化資源的解決方案。虛擬化將技術(shù)細節(jié)進行了封裝，對實際的資源進行了虛擬，使得用戶可以在虛擬環(huán)境中使用真實環(huán)境中的若干功能。與傳統(tǒng)模式不同的是，虛擬化環(huán)境下的資源調(diào)度、管理監(jiān)控、服務(wù)部署和性能配置有著很大不同。

虛擬化技術(shù)主要體現(xiàn)為服務(wù)器虛擬化和桌面虛擬化。服務(wù)器虛擬化是指把一臺或多臺服務(wù)器的硬件資源整合起來，利用虛擬化技術(shù)，建立一個或多個虛擬機（即虛擬的服務(wù)器），統(tǒng)一調(diào)配這些物理硬件資源，以提供系統(tǒng)和應(yīng)用服務(wù)。虛擬化技術(shù)分為全虛擬化、半虛擬化和硬件輔助虛擬化，其通過運行在服務(wù)器硬件和操作系統(tǒng)中間的Hypervisor來實現(xiàn)的。Hypervisor分為兩種類型，第一種被稱為TypeⅠ型，虛擬機直接運行在硬件上，能直接被管理這些硬件的操作系統(tǒng)支持。TypeⅠ能直接調(diào)用計算機硬件，最大化的使用系統(tǒng)資源，鑒于此，它主要應(yīng)用在服務(wù)器虛擬化中，例如VMware ESX Server、IBM System z PR/SM，微軟的Hyper-V、Xen和KVM(基于Linux內(nèi)核)。第二種稱為TypeⅡ型，需要部署在傳統(tǒng)操作系統(tǒng)之上，該Hypervisor也被稱為宿主型，主要成為桌面虛擬化的應(yīng)用技術(shù)。

本次采用TypeⅠ型VMware vSphere虛擬化技術(shù)將數(shù)據(jù)中心轉(zhuǎn)換為簡化的云計算基礎(chǔ)架構(gòu)，并匯總多個系統(tǒng)間的基礎(chǔ)物理硬件資源，同時為數(shù)據(jù)中心提供大量虛擬資源。通過ESXiServer安裝到服務(wù)器后提供虛擬化服務(wù)器功能。同時通過Vmware VCenter服務(wù)器對虛擬化資源進行統(tǒng)一管理。

2.VMware vSphere基礎(chǔ)架構(gòu)

與基于Linux平臺開放源代碼的Xen半虛擬化技術(shù)不同，Vmware ESX采用全虛擬化（Full Virtualization）技術(shù)，主要是在客戶操作系統(tǒng)和硬件之間捕捉和處理那些對虛擬化敏感的特權(quán)指令，使客戶操作系統(tǒng)無需修改就能運行。Hypervisor為全虛擬化技術(shù)的核心，它直接將真實的物理硬件設(shè)備隱藏起來，通過仿真硬件層仿真出一個具備常用硬件設(shè)備的服務(wù)器給每個虛擬機，虛擬機則通過特權(quán)指令來控制這些仿真硬件設(shè)備，這些指令無需進行修改就可在不支持IntelVT/AMD-V的CPU上運行。

VMware vSphere所 使 用Monolithic Hypervisor架構(gòu)，如圖1所示，在Monolithic設(shè)計中，驅(qū)動被作為Hypervisor的一部分包括在內(nèi)，所以說運行ESXi主機之上的虛擬機能夠與物理硬件直接通信，不再依賴中間設(shè)備。第一層為硬件層，各個虛擬機共享的底層物理硬件，包括服務(wù)器內(nèi)存、物理網(wǎng)絡(luò)、存儲設(shè)備、AMD-V、Intel VT等硬件支持。第二層為中間軟件層，運行在服務(wù)器物理硬件和操作系統(tǒng)之間，虛擬機通過它被創(chuàng)建、相互通信和獲得物理資源，該軟件被稱為虛擬機監(jiān)視器（Virtual Machine Monitor）或者Hypervisor層。VMware vSphere在本層管理其組件，包括資源調(diào)度，分布式文件系統(tǒng)、用于部署VMware網(wǎng)絡(luò)的網(wǎng)絡(luò)協(xié)議棧組件和存儲堆棧組件。第三層為控制層，用于部署虛擬機和相關(guān)應(yīng)用，系統(tǒng)管理員通過該層完成對虛機日常管理操作。

圖1 虛擬化架構(gòu)圖

圖2 嵌入式部署策略

ESXi是VMware vSphere虛擬架構(gòu)中基礎(chǔ)組成部分，是被生產(chǎn)驗證的高性能虛擬化層。ESXi直接部署在物理服務(wù)器的硬件之上，將物理服務(wù)器的硬件資源通過共享方式直接抽象提供給各個虛擬機。共享資源使得硬件利用率大大提高，所需運行成本也大大降低。

從vSphere 6.0開始，引入了具有嵌入式 Platform Services Controller的vCenter Server部署策略和具有外部Platform Services Controller 的 vCenter Server的部署策略。Platform Services Controller 包含vSphere組件之間進行通信所需的全部服務(wù)，其中包括vCenter SingleSign-On、VMware 證書頒發(fā)機構(gòu)、VMware Lookup Service以及許可服務(wù)。

嵌入式部署將vCenter Server、vCenter Server服務(wù)組件和Platform Services Controller部署在一臺虛擬機或物理機服務(wù)器上，如圖2所示。此模型適用于8個以內(nèi)（包括8個）的實例的部署。優(yōu)點是：小型環(huán)境管理方便、需要較少的Windows許可、無需負載均衡器就能實現(xiàn)負載均衡。

分布式部署將Platform Services Controller和vCenter Server分隔開來，并將它們安裝在不同的虛擬機或物理服務(wù)器上。首先安裝Platform Services Controller，然后在另一臺虛擬機或物理機上安裝vCenter Server和vCenter Server組件，并將vCenter Server連接到Platform Services Controller?？梢詫⒃S多vCenter Server實例連接到一個Platform Services Controller， 如 圖 3 所示。此模型適用于8個以上的實例部署。與上一個方式相比，其優(yōu)越性在于：適用于多個vCenter Server實例的大型環(huán)境、消耗的資源和內(nèi)存占用量少于第一種方式。

2.1 硬件平臺選型和資源分配設(shè)計

建設(shè)基于虛擬化服務(wù)器集群作為Pro-CIMS服務(wù)平臺的主要服務(wù)器資源供給方式，能在滿足業(yè)務(wù)應(yīng)用壓力需要的前提下，最大限度的提高設(shè)備的利用效率，提供最大程度的服務(wù)器高可用性。預(yù)計平均處理器利用率可以達到40—60%，通過HA配置可實現(xiàn)主要業(yè)務(wù)系統(tǒng)3—5分鐘恢復(fù)應(yīng)用。虛擬化服務(wù)器集群的建設(shè)從虛擬機、存儲、網(wǎng)絡(luò)、主機、資源池等幾個方面考慮：

（1）虛擬機：主要從虛擬機數(shù)量和規(guī)模兩方面考慮。

①虛擬機數(shù)量：總計約50個左右虛擬機，其中包括vCenter Server服務(wù)器、Pro-CIMS服務(wù)平臺應(yīng)用服務(wù)器、Pro-CIMS數(shù)據(jù)庫服務(wù)器、數(shù)據(jù)備份服務(wù)器、存儲控制服務(wù)器。

②虛擬機規(guī)模：按照業(yè)務(wù)不同的設(shè)置相應(yīng)規(guī)模的虛擬機，如2路CPU，4GB內(nèi)存，適用于較小規(guī)模業(yè)務(wù)；4路CPU，8GB內(nèi)存，使用與中等規(guī)模業(yè)務(wù)；8路CPU，16GB內(nèi)存，適用于較大業(yè)務(wù)壓力業(yè)務(wù)，核心業(yè)務(wù)；16路 CPU，32GB內(nèi)存和32v路 CPU，64GB內(nèi)存，適用于重業(yè)務(wù)壓力業(yè)務(wù)，如核心數(shù)據(jù)庫。

（2）虛擬機存儲：由于大量使用虛擬機運行業(yè)務(wù)系統(tǒng)，且虛擬機文件都存儲在集中存儲上，需要對集中存儲的容量進行詳細規(guī)劃。整個虛擬化集群初期設(shè)計的50個虛擬機操作系統(tǒng)平均按照80GB容量需求計算，總共需要4TB容量，由于按照精簡配置方式使用存儲，可以大量節(jié)約存儲容量，初步估計實際使用約2TB左右。

（3）虛擬交換機：為不同功能不同業(yè)務(wù)配置單獨的虛擬交換機，每個虛擬交換機至少分配兩個千兆以太網(wǎng)端口分別連接到2臺接入網(wǎng)絡(luò)交換機上。目前的虛擬網(wǎng)絡(luò)規(guī)劃3虛擬交換機，具體如下：

①集群內(nèi)部通信網(wǎng)絡(luò)：包括集群心跳、Vmotion流量、FT流量等；

②對外提供服務(wù)的網(wǎng)絡(luò)：用于IT基礎(chǔ)管理、客戶端通訊、數(shù)據(jù)傳輸?shù)龋?/p>

③虛擬化平臺管理；

（4）物理主機：根據(jù)上述的資源要求，選擇3臺HP DL580 Gen9服務(wù)器作為虛擬化集群的計算資源。每臺服務(wù)器配置：

① 4顆12核心Xeon E7-4830 v3@2.1GHz處理器，每臺服務(wù)器48個處理器核心，支持最大48vCPU 的虛擬機；

②512GB內(nèi)存，最大可以支持8個64GB內(nèi)存的虛擬機；2塊單端口16Gb光纖通道卡，不同業(yè)務(wù)的虛擬機通過FC-SAN網(wǎng)絡(luò)訪問存儲LUN；

③8個千兆以太網(wǎng)端口，2個用于集群內(nèi)部通信網(wǎng)絡(luò)，用于控制臺、集群心跳、Vmotion流量（虛擬機的在線遷移組件），2個用于虛擬機業(yè)務(wù)網(wǎng)絡(luò)，2塊用于網(wǎng)絡(luò)管理，其余根據(jù)需要靈活調(diào)配；

④本地磁盤配置2塊300GB容量SAS磁盤，RAID0配置，冗余電源。

（5）資源池：建設(shè)一個處理能力總計331.2GHz，1.5TB內(nèi)存，虛擬機需要和業(yè)務(wù)需求總計超過40TB存儲，占用6個16GB光纖通道端口，24個千兆以太網(wǎng)端口的資源池。

2.2 VMware vSphere 6.0虛擬化方案

本方案的物理硬件平臺為三臺HP DL580 Gen9四路服務(wù)器，部署VMware vSphere 6.0，虛擬化架構(gòu)連接方式如圖4所示，這里我們以兩臺服務(wù)器為例進行說明。安裝EXi的物理主機按照業(yè)務(wù)不同設(shè)置3臺相應(yīng)功能的虛擬交換機，完成管理、生產(chǎn)實際和虛擬化Vmotion等業(yè)務(wù)。虛擬交換機與物理交換機之間的連接通過物理網(wǎng)卡（上行鏈路適配器）實現(xiàn)互聯(lián)。虛擬交換機中按照業(yè)務(wù)不同劃分VLAN，通過上行鏈路適配器連接到物理交換機的Trunk端口，讓虛擬機劃分到所屬網(wǎng)絡(luò)中的不同VLAN中。

為對所創(chuàng)建的虛擬服務(wù)器進行管理，我們配置一臺vCenter服務(wù)器作為該系統(tǒng)的管理和監(jiān)控中心，提供集中化的管理。配置方式為VMware vCenter Appliance， 利 用vCenter實現(xiàn)資源優(yōu)化和高可用性，實現(xiàn)HA、DRS和VMotion等服務(wù)。★

圖3 外部式的部署策略

圖4 虛擬化架構(gòu)內(nèi)部連接圖