鄔延輝，陳 征，龔松春

（寧波大學信息科學與工程學院 寧波 315211）

1 引言

服務器的虛擬化給分布式數(shù)據(jù)管理帶來了巨大的、革命性的改變。通過虛擬化手段集成服務器能夠有效減少空間和動力的消耗，提高信息服務的連續(xù)性，也能夠簡化硬件設備的管理工作。從信息服務的連續(xù)性角度分析，服務器虛擬化平臺提供了一個有效的解決方案。當前90%的服務器關機操作是計劃內的關機，目的是進行服務器設備維護。通過使用虛擬化平臺的動態(tài)遷移技術，計劃內的服務器關機次數(shù)能夠顯著減少，動態(tài)負載平衡使得服務器虛擬化更加強有力，將一些低負載的服務器進行合并，可以使用更少的服務器來工作，從而節(jié)省電能的消耗。

近年來，服務器虛擬化獲得快速發(fā)展。在硬件方面，服務器CPU的一項基本功能就是支持虛擬化技術[1]，存儲設備和網(wǎng)絡設備同樣提供服務器虛擬化的支持。在軟件方面，服務器虛擬化軟件的解決方案已經(jīng)成熟。目前被廣泛使用的企業(yè)服務器虛擬化產(chǎn)品包括VMware Server[2]、Citrix XenServer[3]、Microsoft Hyper-V Server[4]以及開放源代碼的KVM(kernel-based virtual machine)[5～7]。VMware是服務器虛擬化領域的領跑者，它的虛擬服務器管理軟件提供了許多有用的功能，但同時它的價格非常高。Citrix的XenServer系統(tǒng)是VMware強有力的競爭者，其市場占有率成長速率很快。微軟的Hyper-V也在快速發(fā)展中，Hyper-V虛擬機管理程序被包含在了Windows Server 2008操作系統(tǒng)中。

與這些昂貴的商業(yè)軟件相比，Linux下的開源服務器虛擬化軟件XEN hypervisor[8]和KVM是免費使用的。出現(xiàn)于2007年的KVM是虛擬化市場的后來者，依靠CPU對虛擬化的支持和現(xiàn)存的Linux kernel來提供一個集成的虛擬化方法。被KVM控制的虛擬機器可以被看作一個進程，它能夠在任何時候打開或者關閉，并且響應時間非常短。通過使用KVM解決方案，當服務器休眠時，虛擬機能夠進入休眠狀態(tài)。這是因為KVM虛擬機作為一個進程，接受Linux的電源管理。KVM將Linux的內核包含在內，它能夠有效地工作在Linux操作系統(tǒng)之上，沒有兼容性問題。隨著KVM逐漸成熟，它被越來越多地用在分布式數(shù)據(jù)管理中。

通過比較服務器虛擬化的解決方案，選擇開源的KVM來構建服務器虛擬化環(huán)境，在Linux中很容易配置KVM的虛擬化解決方案[9]。但是，隨著服務器數(shù)量的增加，在服務器上安裝和配置虛擬化軟件的工作量隨之增加。在分布式數(shù)據(jù)中心的服務器虛擬化配置過程中，如何快速啟動多個服務器的操作系統(tǒng)并配置它們，是一個很大的難題。為了快速完成虛擬化環(huán)境的配置工作，并且減少服務器的管理工作量，通過網(wǎng)絡來配置是一個最好的解決方案。

在服務器虛擬化應用中，動態(tài)遷移作為一個重要特征，需要共享存儲器的支持。通常，網(wǎng)絡文件系統(tǒng)（NFS）被配置用來共享存儲區(qū)域，這些存儲區(qū)域是Linux的服務器提供的。網(wǎng)絡文件系統(tǒng)服務器成了分布式數(shù)據(jù)中心的I/O瓶頸，因為有大量的主機需要訪問網(wǎng)絡文件系統(tǒng)服務器。這些虛擬服務器的虛擬磁盤映像存儲在網(wǎng)絡文件系統(tǒng)中，導致了性能低下的輸入輸出操作。所以，需要一個高性能的文件系統(tǒng)來滿足輸入輸出的需求。

本文的創(chuàng)新之處在于：使用開源的KVM虛擬化解決方案和集群文件系統(tǒng)Lustre[10]構建服務器虛擬化環(huán)境，極大地減少了服務器虛擬化環(huán)境的配置時間，并解決了共享存儲設備的輸入輸出瓶頸，提高文件并行化讀寫速度。

2 網(wǎng)絡啟動定制的Linux

分布式數(shù)據(jù)環(huán)境中，在多個服務器上安裝操作系統(tǒng)并進行配置是一項很艱巨的任務。采用網(wǎng)絡來啟動服務器操作系統(tǒng)的方法，能夠加速這些服務器的部署和調度，并減少服務器操作系統(tǒng)的配置和管理難度。從網(wǎng)絡上啟動服務器的Linux操作系統(tǒng)，可以采用PXE(pre-boot execution environment)協(xié)議來實現(xiàn)，PXE協(xié)議分為客戶端和服務器端，PXE客戶端在網(wǎng)卡的ROM中，當計算機引導時，BIOS把PXE客戶端調入內存執(zhí)行，并顯示出命令菜單，經(jīng)用戶選擇后，PXE客戶端將放置在遠端服務器上的操作系統(tǒng)通過網(wǎng)絡下載到本地運行。

PXE協(xié)議成功運行，需要在計算機啟動時，通過DHCP(dynamic host configuration protocol)服務器配置計算機的IP地址，由于是給PXE客戶端分配IP地址，所以在配置DHCP服務器時，需要增加相應的PXE特有配置。PXE客戶端所在的ROM中，已經(jīng)存在了TFTP客戶端。PXE客戶端使用TFTP客戶端，通過TFTP到TFTP服務器上下載所需的Linux內核和根文件系統(tǒng)。

PXE工作過程如圖1所示。

PXE客戶端是需要安裝Linux的計算機，TFTP服務器和DHCP服務器運行在PXE服務器上，bootstrap文件、配置文件、Linux內核以及Linux根文件系統(tǒng)都放置在PXE服務器上TFTP服務器的根目錄下。PXE客戶端在工作過程中，需要3個二進制文件：bootstrap、Linux內核和Linux根文件系統(tǒng)。bootstrap文件是可執(zhí)行程序，它向用戶提供簡單的控制界面，并根據(jù)用戶的選擇，下載合適的Linux內核以及Linux根文件系統(tǒng)。

用于網(wǎng)絡啟動的Linux內核需要被定制，被定制的內核包含3部分內容：

·內核必須包含服務器網(wǎng)絡接口卡驅動。

·內核必須支持DHCP，內核需要從DHCP服務器獲取一個IP地址。

·當內核根據(jù)PXE服務器傳遞的參數(shù)，需要掛載網(wǎng)絡文件系統(tǒng)（NFS）根目錄時，內核必須支持根文件系統(tǒng)?？梢酝ㄟ^配置和編譯Linux內核源代碼來產(chǎn)生被定制的內核。

在使用KVM虛擬化解決方案來構建服務器虛擬環(huán)境時，需要用到網(wǎng)橋功能，但是，通過傳統(tǒng)方法從網(wǎng)絡啟動Linux操作系統(tǒng)不支持網(wǎng)橋功能，而網(wǎng)橋功能是為虛擬機器分配虛擬網(wǎng)絡接口的基本方法。網(wǎng)絡接口控制器（NIC）作為一個網(wǎng)橋設備，它必須被設定為混雜模式才能夠作為網(wǎng)橋設備來工作。通過網(wǎng)絡啟動Linux操作系統(tǒng)之后，NIC工作在正常模式下，在NIC從正常模式轉換到混雜模式的過程中，會有一個暫時的網(wǎng)絡中斷，這個網(wǎng)絡中斷將引起網(wǎng)絡文件系統(tǒng)（NFS）根文件系統(tǒng)失效，將導致Linux操作系統(tǒng)的崩潰。

為了使從網(wǎng)絡啟動的Linux操作系統(tǒng)具有網(wǎng)橋功能，在操作系統(tǒng)啟動過程中需要使用初始RAM磁盤，即initrd。初始RAM磁盤是在實際根文件系統(tǒng)可用之前掛載到系統(tǒng)中的一個初始根文件系統(tǒng)。initrd與內核綁定在一起，并作為內核引導過程的一部分進行加載。內核會將這個initrd文件作為其兩階段引導過程的一部分來加載模塊，這樣才能稍后使用真正的文件系統(tǒng)，并掛載實際的根文件系統(tǒng)。initrd映像包含了實現(xiàn)這個目標所需要的目錄和可執(zhí)行程序的最小集合，這些可執(zhí)行程序和系統(tǒng)文件用來創(chuàng)建網(wǎng)橋，并且引導Linux系統(tǒng)第二階段的啟動工作。在桌面或服務器Linux系統(tǒng)中，initrd是一個臨時的文件系統(tǒng)。其生存周期很短，只會用作為到真實文件系統(tǒng)的一個橋梁。根據(jù)不同的Linux版本，創(chuàng)建初始RAM磁盤的方法不相同。使用initrd進行網(wǎng)絡啟動的步驟如圖2所示。

為了驗證這種方法的可行性，針對Fedora和Centos操作系統(tǒng)進行了測試，這兩個Linux操作系統(tǒng)都能夠以網(wǎng)橋模式從網(wǎng)絡引導并啟動。KVM軟件工作穩(wěn)定。

3 使用Lustre集群文件系統(tǒng)

Lustre是工作在Linux操作系統(tǒng)之上的一個開源并行文件系統(tǒng)，它由Linux和 Clusters演化而來，為解決海量存儲問題而設計的全新文件系統(tǒng)，是下一代的集群文件系統(tǒng)，可支持10 000個結點，能夠達到PB級的存儲量，100 Gbit/s的傳輸速度以及完美的安全性和可管理性。Lustre提供共享訪問數(shù)據(jù)，在I/O級和數(shù)據(jù)吞吐率方面能滿足成百上千臺規(guī)模的Linux集群服務器聚合訪問的需求，數(shù)據(jù)不需要從一個文件系統(tǒng)復制到另一個文件系統(tǒng)，通過集群系統(tǒng)共享應用和數(shù)據(jù)的任務，執(zhí)行起來要比在單獨的設備上執(zhí)行快得多，虛擬機可以在多個服務器之間進行動態(tài)遷移。使用Lustre文件系統(tǒng)的服務器需要安裝客戶端軟件，并且掛載Lustre文件系統(tǒng)，KVM的多個客戶映像可以存儲在Lustre文件系統(tǒng)中，在KVM主機之間共享虛擬服務器映像，虛擬服務器磁盤的輸入輸出被重定向為讀寫映像文件。隨著映像文件數(shù)量的增多，傳統(tǒng)的網(wǎng)絡分布式文件系統(tǒng)輸入輸出性能成為瓶頸，而采用Lustre高性能并行文件系統(tǒng)恰好可以很好地消除此瓶頸。

由于Lustre集群文件系統(tǒng)需要修改Linux內核，所以Lustre源碼在編譯前必須進行修訂。對于前面提到的從網(wǎng)絡啟動的服務器，它的內核必須包含Lustre的修訂內容。在成功掛載Lustre文件系統(tǒng)后，作為Lustre客戶端的服務器能夠透明地使用共享并行文件系統(tǒng)來存儲主機映像。圖3表示出了KVM虛擬環(huán)境的系統(tǒng)結構。

4 實驗與分析

在使用KVM和Lustre集群文件系統(tǒng)的服務器虛擬環(huán)境中，針對輸入輸出性能進行了測試，包括普通映像文件讀寫、多用戶大文件的讀寫操作。表1顯示了包含5個主機的集群文件系統(tǒng)的文件讀寫測試結果。當使用單一的網(wǎng)絡文件系統(tǒng)服務器作為共享存儲設備時，整個虛擬環(huán)境的輸入輸出性能表現(xiàn)被單一網(wǎng)絡文件系統(tǒng)服務器性能所限制；當使用Lustre集群文件系統(tǒng)作為共享存儲設備時，虛擬環(huán)境的輸入輸出性能得到了大幅提升。使用Lustre集群文件系統(tǒng)可以解決共享存儲設備的輸入輸出瓶頸問題。使用Lustre集群文件系統(tǒng)，20 GB映像文件的讀寫時間大大減少，同時并行讀寫大文件的速度提高了7～8倍，其中，讀寫文件的速度為55.1 Mbyte/s。

表2顯示使用Lustre集群文件系統(tǒng)時，不同的結點數(shù)量情況下的各自輸入輸出性能對比。在集群文件系統(tǒng)中，結點數(shù)增長時，雖然并行讀寫文件的速度有所增加，性能提高1.2～1.3倍，但是并沒有達到線性增長。

表1 5個主機的集群文件系統(tǒng)的文件讀寫測試結果

表2 集群文件系統(tǒng)不同結點數(shù)的測試結果

5 結束語

在網(wǎng)絡中啟動定制的Linux操作系統(tǒng)，快速地對服務器虛擬環(huán)境進行配置，可以方便地進行服務器虛擬集成，建立服務器虛擬環(huán)境。通過網(wǎng)絡啟動KVM主機，可以簡化Linux操作系統(tǒng)的安裝和配置，減少針對多個服務器的大規(guī)模管理工作。將KVM服務器虛擬化解決方案和Lustre集群文件系統(tǒng)相結合，構建開源的服務器虛擬環(huán)境，可以實現(xiàn)服務器的動態(tài)遷移特性，虛擬環(huán)境的輸入輸出性能得到大幅提升，同時使得創(chuàng)建KVM用戶的耗費時間明顯縮短。從實驗結果看出，構建的KVM和Lustre虛擬環(huán)境在讀寫映像文件和并行讀寫大文件時，性能有了顯著提高。當集群文件系統(tǒng)結點數(shù)規(guī)模增加時，性能并沒有達到線性增長，在將來的工作中，可以對集群文件系統(tǒng)性能達到峰值時的結點數(shù)規(guī)模開展測試工作。

1 NeigerG,SantoniA,LeungF,etal.Intelvirtualization technology:hardware support for efficient processor virtualization.Intel Technology Journal,2006,10(3):167～177

2 Barr K,Bungale P,Newell C,et al.The VMware mobile virtualization platform:is that a hypervisor in your pocket.Operating Systems Review(ACM),2010,44(4):124～135

3 趙華茗，李春旺，周強.基于XENServer的數(shù)字圖書館云服務平臺實現(xiàn)研究.電信科學，2010(S1):39～44

4 Sun Y Q,Lin J C,Qian W,et al.Hyper-V micro kernel architecture security analysis.Journal of Wuhan University of Technology,2010,32(15):130～132

5 Kivity A,Kamay Y,Laor D,et al.Kvm:the linux virtual machine monitor.Proceedings of the Linux Symposium,Ottawa,Ontario,Canada,2007:225～230

6 崔澤永，趙會群.基于KVM的虛擬化研究及應用.計算機技術與發(fā)展，2011，21(6):108～111

7 Adams K,Agesen O.A comparison of software and hardware techniquesforx86 virtualization.Proceedingsofthe 12th International Conference on Architectural Support for Programming Languages and Operating Systems,San Jose,CA,USA,2006

8 Dahlin M,Johnson R,Krug R B,et al.Toward the verification ofa simple hypervisor.Proceedings of10th International Workshop on the ACL2 Theorem Prover and Its Applications(EPTCS 70),2011:28～45

9 Zhang H,Wu K,Li J,et al.Parallel file system-supported server virtual environment in data center.Proceedings of the First International Conference on Networking and Distributed Computing,Hangzhou,China,October 2010

10 Zhao T,March V,Dong S,et al.Evaluation of a performance model of luster file system.Proceedings of 5th Annual ChinaGrid Conference(ChinaGrid 2010),Guangzhou,Guangdong,China,July 2010:191～196