■ 濟南 張雨

編者按：信息孤島、共享困難等問題，嚴重阻礙了企業(yè)信息化向更高階段發(fā)展，因此企業(yè)云戰(zhàn)略應(yīng)運而生。本文將介紹私有云建設(shè)的具體方案，希望能對大家有所啟示。

虛擬化技術(shù)是企業(yè)私有云建設(shè)的主流技術(shù)，它可以有效提高資源利用效率、系統(tǒng)部署的靈活性和可靠性也會得到很大提高。

圖1 總體方案結(jié)構(gòu)圖

總體方案

虛擬化環(huán)境提供了一個功能完整的、標(biāo)準(zhǔn)開放的、方便集成的IaaS層，本層是整個云計算服務(wù)的基礎(chǔ)支撐，其核心部分是用虛擬化軟件構(gòu)建的云計算服務(wù)基礎(chǔ)架構(gòu)。通過部署虛擬化軟件、服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備等搭建虛擬化環(huán)境，形成統(tǒng)一的云計算平臺。總體方案如圖1所示。

計算資源池規(guī)劃

通過虛擬化技術(shù)構(gòu)建的資源池，可以實現(xiàn)對硬件和軟件資源的靈活、有效利用。虛擬化技術(shù)將標(biāo)準(zhǔn)服務(wù)器及其處理器、內(nèi)存、磁盤形成一個邏輯計算資源池中。操作系統(tǒng)及其應(yīng)用程序被隔離到安全、可移植的虛擬機中?；A(chǔ)架構(gòu)會根據(jù)每個虛擬機的需要和優(yōu)先級，將系統(tǒng)資源動態(tài)地分配給它們，從而實現(xiàn)主機級容量分配，以及對服務(wù)器資源的控制。虛擬機可動態(tài)、自動地分配給資源池中最合適的主機，從而確保軟件應(yīng)用程序的服務(wù)級別。

通過將硬件資源聚合到資源池，使IT環(huán)境可得到優(yōu)化，從而動態(tài)支持不斷變化的業(yè)務(wù)需求，同時確保靈活有效地利用硬件資源。

大型的應(yīng)用系統(tǒng)需求超過單臺服務(wù)器的性能時，采用RAC集群等虛擬化整合技術(shù)，將多臺服務(wù)器整合為服務(wù)器集群同時承擔(dān)。當(dāng)應(yīng)用需要單臺服務(wù)器處理多個業(yè)務(wù)和應(yīng)對大并發(fā)需求時，可采用虛擬化拆分技術(shù)，將單臺服務(wù)器拆分成多個虛擬機器滿足應(yīng)用的需求，有效提高了硬件資源的利用率和系統(tǒng)的高可用性。

主機集群系統(tǒng)（Cluster），通過虛擬化平臺HA、DRS等技術(shù)，實現(xiàn)任何一個主機系統(tǒng)出現(xiàn)故障，都可以自動將該主機的負載轉(zhuǎn)移至系統(tǒng)內(nèi)的其他成員。配置的磁盤陣列采用雙冗余控制器，可在很大程度上避免單點故障，提高整個業(yè)務(wù)系統(tǒng)的可用性。

為了對數(shù)據(jù)進行快速備份和恢復(fù)，虛擬化平臺采用自帶的快照軟件對業(yè)務(wù)數(shù)據(jù)做快照，按照時間計劃自動將數(shù)據(jù)進行快照，實現(xiàn)短時間點數(shù)據(jù)保護。

虛擬化技術(shù)應(yīng)用大大減少物理服務(wù)器的部署數(shù)量，并且具備智能電源管理技術(shù)，當(dāng)集群中的虛擬機所需資源較少時，會將工作負載整合到較少的服務(wù)器上，并關(guān)閉其余物理服務(wù)器以減少能耗。當(dāng)虛擬機資源需求增加時，會讓關(guān)閉的主機恢復(fù)聯(lián)機，以確保達到服務(wù)級別要求。

在現(xiàn)有網(wǎng)絡(luò)資源的基礎(chǔ)上，對服務(wù)器虛擬化資源統(tǒng)一整合后，將年久過保服務(wù)器上的核心應(yīng)用逐步遷移至性能更高的服務(wù)器上，保證業(yè)務(wù)正常運行和具有充足的計算資源。虛擬化后CPU每核平均使用率提升至70%，考慮虛擬化資源占用及其它資源的復(fù)合增長，初期部署規(guī)模7臺24核128GB內(nèi)存四路服務(wù)器。

考慮當(dāng)前網(wǎng)管中心有6臺近年采購的浪潮NF8460M3服務(wù)器，可對其中4臺進行內(nèi)存升級至256GB，以滿足新增業(yè)務(wù)的需求，并新增一臺服務(wù)器。考慮初期并非所有業(yè)務(wù)一次性全部遷移至虛擬化平臺，按照“測試→部分遷移→測試、驗證→全部遷移”的策略進行遷移。

存儲資源池規(guī)劃

在網(wǎng)絡(luò)中心SAN架構(gòu)設(shè)計方面，采用Core-edge核心-邊緣的架構(gòu)方式。用2臺導(dǎo)向器級別的SAN交換機組成的冗余模式架構(gòu)，作為整個系統(tǒng)的核心，整合所有的業(yè)務(wù)主機、存儲系統(tǒng)并添加備份陣列。整合后的系統(tǒng)結(jié)構(gòu)簡單，集中度更高，可減少管理的復(fù)雜度并提升業(yè)務(wù)的運行水平。在架構(gòu)設(shè)計方面要求所有的部件都是冗余的，包括交換機、服務(wù)器FC HBA卡、存儲陣列的前后端控制器、磁盤、磁帶庫驅(qū)動器、光纖鏈路等。

在本項目中使用中高端存儲、交換、備份設(shè)備，要求每臺設(shè)備自身的可用性達到99.99%，以達到整個SAN網(wǎng)絡(luò)架構(gòu)的高可用性。

當(dāng)前數(shù)據(jù)中心無存儲設(shè)備，正在運行的服務(wù)器數(shù)據(jù)空間為25.17TB，按40%的使用率計算，按年復(fù)合增長率10%計算，配置不少于24TB的存儲空間，考慮業(yè)務(wù)的遷移需要一個過程，暫購置一臺存儲設(shè)備，將來再增加一臺同等配置的存儲組成同步鏡像，部署主、從存儲，通過數(shù)據(jù)鏡像的方式實現(xiàn)主、從存儲的數(shù)據(jù)同步以及存儲故障時的設(shè)備切換，避免單臺故障、保證數(shù)據(jù)的高度可靠性和穩(wěn)定性。

虛擬化平臺的選擇

1.虛擬化的優(yōu)勢

（1）高效的云平臺

對于虛擬化平臺承接的眾多普通應(yīng)用，需要有大量低成本的服務(wù)器，來滿足綠色、低碳的應(yīng)用需求。傳統(tǒng)機架式服務(wù)器，密度有限，在空間上造成很大浪費，不能滿足云計算、虛擬化工作的深入需求。而高密度刀片，由于刀片缺乏統(tǒng)一標(biāo)準(zhǔn)，各大廠商的產(chǎn)品缺乏通用性，成本居高不下。因而，高密度、低成本的通用型Rack服務(wù)器產(chǎn)品是虛擬化平臺的理想選擇。

（2）支持異構(gòu)的虛擬化

同構(gòu)與異構(gòu)并存；

對異構(gòu)系統(tǒng)統(tǒng)一分類，統(tǒng)一標(biāo)識，與同構(gòu)系統(tǒng)加以區(qū)分；

同構(gòu)系統(tǒng)資源池來滿足高級功能-實時遷移，動態(tài)負載均衡，容災(zāi)；

異構(gòu)系統(tǒng)資源池，可以實現(xiàn)基礎(chǔ)功能-靜態(tài)遷移，靜態(tài)負載均衡；

（3）按需部署和調(diào)度

根據(jù)用途進行分類，虛擬化平臺針對不同類型的硬件設(shè)備加以標(biāo)識區(qū)分。

根據(jù)不同的應(yīng)用類型，將資源劃分到不同的業(yè)務(wù)資源池中，部署業(yè)務(wù)時根據(jù)相應(yīng)類型的資源進行部署。

（4）權(quán)限分級管理

平臺使用者可以根據(jù)其目的和角色進行詳細的劃分。

運營部門：管理整個平臺。

管理層：關(guān)心平臺資源的利用情況。

查詢性能指標(biāo)：事件出發(fā)提醒，以此作為購買硬件資源的依據(jù)。

業(yè)務(wù)管理部門：業(yè)務(wù)環(huán)境的搭建，業(yè)務(wù)部署，業(yè)務(wù)日常管理。

2.虛擬化平臺的對比

云計算平臺需要有資源池為其提供能力輸出，這種能力包括計算能力、存儲能力和網(wǎng)絡(luò)能力，為了將這些能力調(diào)度到其所需要的地方，云計算平臺還需要對能力進行調(diào)度管理，這些能力均是由虛擬化資源池提供的。云計算離不開底層的虛擬化技術(shù)支持。

當(dāng)前虛擬化技術(shù)有超過60種，基于X86體系的超過50種，其中有4種虛擬化技術(shù)是當(dāng)前最為成熟而且應(yīng)用最為廣泛的，分別是：VMWARE的ESX、微軟的Hyper-V、開源的XEN和KVM。從虛擬化的實現(xiàn)方式來看，虛擬化架構(gòu)主要有兩種形式：宿主架構(gòu)和裸金屬架構(gòu)。

目前虛擬化軟件分為兩類：以Vmware、微軟、思杰等為代表的商用套裝軟件和以KVM、VirtualBox、OpenVZ等為代表的開源軟件。

從架構(gòu)上來看，各種虛擬化技術(shù)沒有明顯的性能差距，穩(wěn)定性也越來越接近，各自有著自身的優(yōu)勢場景和市場群體。因此，我們在進行虛擬化技術(shù)選型時，沒有局限于某一種虛擬化技術(shù)，而應(yīng)該有一套綜合管理平臺實現(xiàn)對各種虛擬化技術(shù)的兼容并蓄，實現(xiàn)不同技術(shù)架構(gòu)的統(tǒng)一管理及跨技術(shù)架構(gòu)的資源調(diào)度，最終達到云計算可運營的目的。但考慮到企業(yè)業(yè)務(wù)非常關(guān)鍵，需要一個健壯、成熟的平臺，在選型上以商業(yè)版虛擬化軟件為主，并 通 過VMware、Hyper-V、Citrix三種平臺功能、技術(shù)、市場等多方對比，最終選擇使用廣泛的VMware。

業(yè)務(wù)遷移

1.遷移規(guī)劃

（1）遷移的目標(biāo)是最小化整體遷移的時間和停機時間，對業(yè)務(wù)的影響降至最低。虛擬機遷移的性能指標(biāo)包括以下三個方面：

①整體遷移時間：從源主機開始遷移到遷移結(jié)束的時間。

②停機時間：遷移過程中，源主機、目的主機同時不可用的時間。

③對應(yīng)用程序的性能影響：遷移對于被遷移主機上運行服務(wù)性能的影響程度。

（2）項目實施過程

①物理設(shè)備到貨上架，一般在5天之內(nèi)；

②新系統(tǒng)主機、網(wǎng)絡(luò)和存儲整個系統(tǒng)的規(guī)劃，一般在3天之內(nèi)；

③虛擬化平臺搭建，一般在3-5天之內(nèi)；

④虛擬化平臺配置，一般在1-3天之內(nèi)；

⑤虛擬平臺應(yīng)用系統(tǒng)和數(shù)據(jù)庫創(chuàng)建，一般在2-5天之內(nèi)；

⑥應(yīng)用物理平臺數(shù)據(jù)庫建設(shè)，一般在3天之內(nèi)；

⑦其他應(yīng)用遷移，一般在10-20天之內(nèi)；

⑧管理系統(tǒng)創(chuàng)建，一般在3天之內(nèi)。

考慮到實施過程中需要進行多方面的溝通交流，以及實施過程可能出現(xiàn)的技術(shù)難題等因素，預(yù)留3天時間機動時間，全部工期在1個月左右完成。

2.遷移前準(zhǔn)備工作

遷移之前需要考慮的環(huán)境因素：

（1）對源物理機器進行一次數(shù)據(jù)全備份；

（2）校驗源物理機器的Hostname、網(wǎng)絡(luò)配置情況以及源物理機器的OS和Patch，確認硬件平臺和模塊；

（3）校驗源物理機器的硬件的設(shè)備，包括NIC、CPU、存儲卡以及其他的設(shè)備；

（4）獲取管理員的密碼；

（5）記錄源物理機器的IP/GateWay/DNS/WINS等設(shè)置；

（6）確認與P2V的工具運行的機器網(wǎng)絡(luò)連接是否正常，與目標(biāo)虛擬服務(wù)器之間的網(wǎng)絡(luò)連接是否正常；

（7）記錄源端的分區(qū)的情況和盤符；

（8）檢查是否有LIC和源端特定的硬件有關(guān)，比如MAC地址綁定；

（9）確認是否有跟硬件相關(guān)的特定的應(yīng)用程序和服務(wù)；

（10）確認目標(biāo)的VMFS是否有足夠大的空間容量。

3.遷移后的測試、驗證和優(yōu)化

（1）移除不再使用的硬件和原硬件管理軟件（比如DELL OpenManage，HP SIM等等）；

（2）安裝VMware Tools工具；

（3）調(diào)整目標(biāo)虛擬機的vCPU個數(shù)和資源預(yù)分配；

（4）遷移后驗證測試：

①確認目標(biāo)虛擬機的名稱，SID值以及目標(biāo)虛擬機的OS和SP級別；

②確認系統(tǒng)硬件是否有兼容性問題，測試硬件配置狀態(tài)，SCSI控制器類型是否正常；

③檢查Boot.ini、Event logs是否異常；

④確認目標(biāo)虛擬機的硬件設(shè)備包括NIC、CPU、RAM和虛擬磁盤的大?。?/p>

⑤確認目標(biāo)虛擬機的網(wǎng)絡(luò)是否可通,測試網(wǎng)絡(luò)訪問，及網(wǎng)絡(luò)速度；

⑥確認目標(biāo)虛擬機的應(yīng)用程序是否能正常運行，并檢測應(yīng)用程序日志是否異常；

⑦檢測一段時間內(nèi)，目標(biāo)虛擬機的資源使用是否異常；

⑧確認目標(biāo)虛擬機的是否可以成功完成VCB備份；

⑨如位于Cluster里的主機，測試Vmotion和HA。

（5）遷移后的優(yōu)化：

在把應(yīng)用和服務(wù)遷移到新平臺上后，要密切關(guān)注業(yè)務(wù)運行情況，這是至關(guān)重要的。應(yīng)當(dāng)建立性能和使用方面的一些準(zhǔn)則及閾值，并評估這些衡量標(biāo)準(zhǔn)對將來的調(diào)整及改進意味著什么。必要時，還要考慮調(diào)整硬件配置、網(wǎng)絡(luò)設(shè)置或者增加帶寬。一旦完成最后的啟動、成功進入虛擬化操作系統(tǒng)，后續(xù)還有很多工作要做。由于物理環(huán)境與虛擬環(huán)境還是存在一定的差異性，運維人員需要不斷監(jiān)控、評估、調(diào)整及改進，來達到最終的遷移效果。

4.基于VMware Converter的P2V遷移

優(yōu)先采用VMware專業(yè)的遷移工具Converter進行遷移，所有遷移過程將不破壞原有的應(yīng)用。遷移后的虛擬系統(tǒng)先工作在獨立的網(wǎng)段中測試一段時間，待工作穩(wěn)定后再逐漸替換原硬件上OA應(yīng)用的工作。這樣做的好處是可以最低限度的降低系統(tǒng)遷移的風(fēng)險。

使用VMware vCenter Converter，可以簡化物理機到虛擬機以及虛擬機格式之間的轉(zhuǎn)換過程。VMware vCenter Converter向?qū)Ы缑嬷庇^、操作方便。

備份系統(tǒng)

備份步驟如下：

在接入SAN的服務(wù)器上安裝備份軟件，則服務(wù)器成為通過SAN網(wǎng)絡(luò)直接向備份設(shè)備直接寫入數(shù)據(jù)的介質(zhì)代理服務(wù)器。

（1）在需要做數(shù)據(jù)備份的服務(wù)器上安裝備份軟件客戶端。

（2）由備份服務(wù)器發(fā)起備份作業(yè)，各服務(wù)器接受備份服務(wù)器的備份指令，從磁盤陣列中提取需要備份的數(shù)據(jù)，并直接通過SAN網(wǎng)絡(luò)將數(shù)據(jù)寫入備份設(shè)備中。

（3）備份作業(yè)結(jié)束后，返回一個成功備份的信息給備份服務(wù)器。

（4）發(fā)起數(shù)據(jù)恢復(fù)操作也是一樣，備份服務(wù)器接受數(shù)據(jù)恢復(fù)指令后，將備份記錄讀取任務(wù)分配給相應(yīng)的介質(zhì)服務(wù)器，然后由介質(zhì)服務(wù)器從備份設(shè)備中提取出來，恢復(fù)到指定的主機上。

（5）恢復(fù)作業(yè)結(jié)束后，也會返回一個成功恢復(fù)的信息給備份主服務(wù)器。

設(shè)備利舊

為高效利用資源，降低成本和管理難度。實際應(yīng)用中，傳統(tǒng)IT設(shè)備包括空調(diào)、交換機、路由器、服務(wù)器、存儲、機柜、供電、網(wǎng)絡(luò)等，都會碰到設(shè)備如何利舊的問題。

1.如何整合利用這些舊資源，需綜合考慮以下原則：

（1）設(shè)備是否在服務(wù)期內(nèi)，硬件廠商能否供應(yīng)配件。

（2）確保硬件與虛擬化軟件相兼容。（3）確保硬件具有足夠的擴展能力。按目前虛擬化技術(shù)，虛擬機無法同時使用兩臺物理主機上的資源，服務(wù)器的硬件擴展能力將決定它承載虛擬機的能力，也決定整合比，影響最終的總體擁有成本（TCO）與投資回報率（ROI）。塔式PC服務(wù)器、1U的機架式服務(wù)器，通常擴展能力有限，不適合利舊。

（4）權(quán)衡利舊所減少的采購成本與低密度整合所增加的運維成本。

2.據(jù)此確定利舊方案：

（1）對使用期在3年以內(nèi)的部分設(shè)備依據(jù)設(shè)備實際配置情況投入基礎(chǔ)設(shè)施資源池虛擬化平臺應(yīng)用。

（2）對使用期在3年以內(nèi)的部分設(shè)備，依據(jù)設(shè)備實際配置情況，不能作為虛擬化平臺應(yīng)用的設(shè)備作為管理、備份、測試、運維等節(jié)點。

（3）對使用期在5至7年仍正常運轉(zhuǎn)的部分設(shè)備，以搭建實驗測試環(huán)境為主，服務(wù)于測試平臺。

（4）對使用期在8年以上的，考慮到原廠已不再供應(yīng)零件，設(shè)備不再利用。