鄭臣明，姚宣霞?，周 芳，鄭雪峰，楊曉君，戴 榮

1) 北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院，北京 100083

2) 海光信息技術(shù)股份有限公司，北京 100193

3) 中科曙光信息產(chǎn)業(yè)成都有限公司，成都 610041

云計(jì)算、大數(shù)據(jù)和人工智能被稱為當(dāng)前技術(shù)領(lǐng)域的三架馬車，其中云計(jì)算[1]被看作繼個(gè)人計(jì)算機(jī)變革、互聯(lián)網(wǎng)變革之后第三次IT 浪潮，已經(jīng)深入到眾多的技術(shù)領(lǐng)域中，逐漸影響人們生活的各個(gè)方面，出現(xiàn)了公有云、私有云、城市云、企業(yè)云、政務(wù)云、國(guó)資云、移動(dòng)云計(jì)算等眾多應(yīng)用形式[2-3].云計(jì)算具有異構(gòu)性、資源動(dòng)態(tài)擴(kuò)展、按需分配、資源池化等特點(diǎn)[4].

云計(jì)算正處于快速發(fā)展階段，云計(jì)算的軟硬件生態(tài)體系還在持續(xù)完善中，數(shù)據(jù)中心、云計(jì)算中心、互聯(lián)網(wǎng)信息服務(wù)中心的云平臺(tái)大多數(shù)呈現(xiàn)以高性能服務(wù)器為主體的構(gòu)建特點(diǎn)，以高性能服務(wù)器[5]為物理節(jié)點(diǎn)，采用網(wǎng)絡(luò)互聯(lián)，通過在物理節(jié)點(diǎn)上構(gòu)建虛擬機(jī)的方式提供云計(jì)算服務(wù)[6-9].這些物理節(jié)點(diǎn)一般都擁有自己的硬件資源，包括處理器、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)、I/O、供電、散熱、管理等系統(tǒng).這種構(gòu)建方式的特點(diǎn)是服務(wù)器的硬件資源利用率較低，空閑物理節(jié)點(diǎn)的硬件資源不能高效地釋放給其他對(duì)硬件資源需求旺盛的物理節(jié)點(diǎn)，造成系統(tǒng)資源的浪費(fèi)，如果集群系統(tǒng)上一定規(guī)模，那么這種資源浪費(fèi)的現(xiàn)象就會(huì)更加嚴(yán)重.統(tǒng)計(jì)報(bào)告顯示，在沒有采用虛擬化技術(shù)的系統(tǒng)中大部分服務(wù)器的CPU 平均利用率只有5%～25%.因此，如果能將服務(wù)器的全部硬件資源或部分硬件資源實(shí)現(xiàn)共享，通過負(fù)載均衡系統(tǒng)實(shí)現(xiàn)按需分配[10]，提高服務(wù)器的硬件資源利用率，那么就可以在不增加服務(wù)器數(shù)量或不增加服務(wù)器硬件資源的情況下，使系統(tǒng)整體服務(wù)能力得到顯著提高，同時(shí)使系統(tǒng)整體功耗顯著降低，從而顯著提高系統(tǒng)性能功耗比.

云計(jì)算發(fā)展之初，重點(diǎn)是在滿足應(yīng)用需求，沒有仔細(xì)考慮實(shí)際效能問題，但隨著云計(jì)算逐步的發(fā)展成熟，不得不面對(duì)云計(jì)算的資源彈性、按需簡(jiǎn)約問題[11-12].為了解決這個(gè)問題有兩種技術(shù)方向，一種是不斷地設(shè)計(jì)或改進(jìn)軟件虛擬化技術(shù)[13-15]，另一種是設(shè)計(jì)或優(yōu)化硬件資源虛擬化技術(shù).KVM（Kernel-based virtual machine）、Xen、VMware、Hyper-V 是目前常用的軟件虛擬化軟件，基本原理是在物理裸機(jī)上運(yùn)行相應(yīng)的虛擬化軟件從而模擬或虛擬出多個(gè)虛擬機(jī)，每個(gè)虛擬機(jī)在使用過程中就像真實(shí)地運(yùn)行在物理機(jī)上一樣.利用多個(gè)虛擬機(jī)能夠充分有效地利用和動(dòng)態(tài)配置各種有限的硬件資源從而提高資源的利用率.軟件虛擬化技術(shù)發(fā)展得比較成熟，目前在進(jìn)一步地提高云計(jì)算的資源利用率和性能上遇見了瓶頸，因?yàn)樘摂M軟件自身的運(yùn)行畢竟會(huì)占用物理機(jī)的一部分資源.在另一個(gè)技術(shù)方向硬件資源虛擬化技術(shù)方面，許多服務(wù)器公司已在自身產(chǎn)品的研發(fā)上或多或少實(shí)現(xiàn)了部分硬件資源按需簡(jiǎn)約[16]的功能.這些服務(wù)器可概括為以下幾類.SuperMicro 公司于1997 年發(fā)布了Twin 服務(wù)器，在1 U 空間內(nèi)放入了兩臺(tái)所有部件完全獨(dú)立的雙路服務(wù)器.后續(xù)又出現(xiàn)了2 U 4節(jié)點(diǎn)、4 U 8 節(jié)點(diǎn)等多種形態(tài)，逐步采用了共享電源模塊的方式來降低總體能耗，提升冗余性.此類服務(wù)器提升了部署密度，但能耗下降有限.在2000 年出現(xiàn)了刀片服務(wù)器，在一個(gè)統(tǒng)一的機(jī)箱內(nèi)，可以插入多個(gè)計(jì)算刀片，一個(gè)計(jì)算刀片就是一臺(tái)服務(wù)器，同時(shí)所有服務(wù)器可以共享風(fēng)扇、電源、網(wǎng)絡(luò)交換、管理監(jiān)控等模塊，因此計(jì)算刀片上可以僅有處理器、內(nèi)存和硬盤部件，設(shè)計(jì)上可以得到很大的簡(jiǎn)化.刀片服務(wù)器具有管理比較方便、密度較高、能耗較低的特點(diǎn).在2009 年，Intel 公司提出了一個(gè)微服務(wù)器概念，它是一種單插槽、可擴(kuò)展、低功耗的入門級(jí)服務(wù)器，具有高密度以及更高效的資源模塊共享的特點(diǎn)[17].微服務(wù)器大多采用Atom、ARM 等低功耗處理器[18]，當(dāng)然也有時(shí)為了均衡計(jì)算性能，會(huì)混合使用高性能處理器或者專用處理器[19].在2011 年，由阿里巴巴、百度、騰訊三方合作發(fā)起天蝎計(jì)劃，并在同年年底確立了最初的技術(shù)規(guī)范天蝎1.0.在2019 年發(fā)展到天蝎3.0，天蝎計(jì)劃旨在通過提出一種統(tǒng)一標(biāo)準(zhǔn)的設(shè)計(jì)規(guī)范，實(shí)現(xiàn)低成本的可靠的靈活擴(kuò)展，目前對(duì)機(jī)柜子系統(tǒng)、節(jié)點(diǎn)子系統(tǒng)、供電子系統(tǒng)、散熱子系統(tǒng)進(jìn)行標(biāo)準(zhǔn)規(guī)范.

近些年來，在云計(jì)算中出現(xiàn)了裸金屬服務(wù)器（Bare metal server，BMS）的概念[20]，這是為了解決一些對(duì)計(jì)算和I/O 性能要求高、數(shù)據(jù)處理量大的業(yè)務(wù)而提出的一種服務(wù)器，利用它可使云計(jì)算能夠應(yīng)用于核心數(shù)據(jù)庫(kù)、關(guān)鍵業(yè)務(wù)應(yīng)用系統(tǒng)、高性能計(jì)算等場(chǎng)景.裸金屬服務(wù)器是硬件和軟件優(yōu)勢(shì)相結(jié)合的產(chǎn)物，本質(zhì)上仍是一臺(tái)傳統(tǒng)的物理服務(wù)器，但同時(shí)又具備云計(jì)算技術(shù)的虛擬化服務(wù)功能.它是在只靠傳統(tǒng)的軟件虛擬化技術(shù)無法滿足一些業(yè)務(wù)需求的情況下，采用硬件資源獨(dú)占的方式分配給這些業(yè)務(wù)使用來解決性能瓶頸[21]問題，其實(shí)這種做法與云計(jì)算所追求的資源共享、按需分配的特點(diǎn)相悖.為此，阿里云對(duì)裸金屬服務(wù)器進(jìn)行了改進(jìn)優(yōu)化，推出了彈性裸金屬服務(wù)器，即神龍?jiān)品?wù)器[22].神龍?jiān)品?wù)器兼具了物理機(jī)和云服務(wù)器的優(yōu)點(diǎn)，本質(zhì)上仍是一臺(tái)裸金屬物理機(jī)，即具有物理機(jī)的高性能、安全物理隔離的特點(diǎn)，另一方面采用獨(dú)立于物理機(jī)CPU 的額外專用芯片[23]（如FPGA、Intel Xeon CPU）分擔(dān)原物理機(jī)CPU 的一些虛擬化任務(wù)，如虛擬機(jī)監(jiān)視器（hypervisor）所承擔(dān)的管理調(diào)度、設(shè)備軟件模擬等方面的任務(wù).神龍服務(wù)器同時(shí)利用額外的專用芯片橋接存儲(chǔ)、網(wǎng)絡(luò)等I/O設(shè)備，協(xié)助物理機(jī)CPU 實(shí)現(xiàn)I/O 設(shè)備硬件虛擬化.專用芯片能夠運(yùn)行阿里云的特有管理軟件，可有效地整合進(jìn)阿里云已有的管理系統(tǒng)中，實(shí)現(xiàn)快速的交付能力和實(shí)時(shí)的業(yè)務(wù)響應(yīng)能力.神龍?jiān)品?wù)器架構(gòu)有三個(gè)模塊組成：計(jì)算子板，I/O-Bond 橋接板，BM-hypervisor 底座.BM-hypervisor 底座作為基礎(chǔ)物理服務(wù)器，采用Intel E5 系列CPU 擴(kuò)展出16個(gè)PCIe（Peripheral component interconnect express）槽，每個(gè)槽對(duì)應(yīng)一個(gè)計(jì)算子板，每個(gè)計(jì)算子板帶有一個(gè)用FPGA 設(shè)計(jì)的I/O-Bond 橋接板用來連接計(jì)算子板和BM-Hypervisor 底座.每個(gè)計(jì)算子板就是一個(gè)獨(dú)立的物理機(jī)，上面有CPU、內(nèi)存、PCIe 總線和I/O-Bond 橋接板.I/O-Bond 橋接板是用FPGA實(shí)現(xiàn)的硬件接口，模擬實(shí)現(xiàn)I/O 設(shè)備，實(shí)現(xiàn)硬件虛擬化.BM-hypervisor 底座上的CPU 負(fù)責(zé)16 個(gè)計(jì)算子板的hypervisor 功能，并運(yùn)行阿里云的管理軟件.神龍?jiān)品?wù)器的架構(gòu)特點(diǎn)決定了比傳統(tǒng)的云服務(wù)器具有更高的計(jì)算能力、更高的虛擬化效率，但其優(yōu)勢(shì)只能在阿里云體系下才能得到發(fā)揮，離開了阿里云體系其架構(gòu)缺點(diǎn)也十分的明顯.為了提高神龍?jiān)品?wù)器的計(jì)算能力、虛擬化效率，采用16 個(gè)FPGA 芯片和一個(gè)Intel E5 CPU 作為專用的加速芯片，用大量專用芯片換性能所付出的成本比較高，對(duì)于小規(guī)模的云計(jì)算來說性價(jià)比不高，只有在像阿里云這樣成千上萬規(guī)模節(jié)點(diǎn)的云計(jì)算中才能體現(xiàn)性價(jià)比的優(yōu)勢(shì).神龍服務(wù)器受限于BM-hypervisor 底座上CPU 的PCIe 擴(kuò)展能力不能容納較多的計(jì)算子板，單臺(tái)神龍服務(wù)器能容納16 個(gè)低端Xeon E3-1240 v6 計(jì)算子板，或者8 個(gè)中端Xeon E5-2682 v4 計(jì)算子板，或者1 個(gè)高端Xeon E5-8163 計(jì)算子板，16 個(gè)計(jì)算子板幾乎已是上限，彈性的拓展能力受限.計(jì)算子板的異構(gòu)性是神龍服務(wù)器的一大特點(diǎn)，但在單臺(tái)神龍服務(wù)器內(nèi)部同時(shí)只能使用一種規(guī)格的計(jì)算子板，如更換需要同時(shí)更換.

針對(duì)如上云服務(wù)器的不足之處，本文著眼于云計(jì)算系統(tǒng)內(nèi)計(jì)算、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)以及其他I/O 資源研究一種基于硬件資源的虛擬化、共享池化技術(shù)，設(shè)計(jì)一種云服務(wù)器系統(tǒng)架構(gòu)，分別形成計(jì)算池、內(nèi)存池、存儲(chǔ)池、網(wǎng)絡(luò)池以及I/O 池，每種池中的資源既可同構(gòu)、又可異構(gòu).根據(jù)本文提出的云服務(wù)器系統(tǒng)架構(gòu)，設(shè)計(jì)云服務(wù)器原型機(jī)，并測(cè)試和評(píng)估網(wǎng)絡(luò)池化性能、存儲(chǔ)池化性能.此系統(tǒng)能夠根據(jù)實(shí)際負(fù)載要求動(dòng)態(tài)從資源池中申領(lǐng)資源、釋放資源，使系統(tǒng)資源達(dá)到最大化的利用.

1 云服務(wù)器系統(tǒng)的架構(gòu)設(shè)計(jì)

1.1 云服務(wù)器硬件資源池化方法

在傳統(tǒng)的云平臺(tái)架構(gòu)中，每個(gè)物理節(jié)點(diǎn)都是一個(gè)獨(dú)立的服務(wù)器，如圖1 所示，物理節(jié)點(diǎn)擁有自己的硬件資源，包括處理器、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)、I/O、供電、散熱等系統(tǒng)，這些硬件資源無法被其他物理節(jié)點(diǎn)所共享使用，致使虛擬機(jī)(Virtual machine，VM)只能建立在自己的物理節(jié)點(diǎn)上，而不能跨物理節(jié)點(diǎn)資源建立，在負(fù)載不均勻的情況下會(huì)造成不同的服務(wù)器忙閑不均，造成資源的極大浪費(fèi).

圖1 傳統(tǒng)的云平臺(tái)架構(gòu)Fig.1 Traditional cloud computing platform

云服務(wù)器所追求的一大特點(diǎn)是要構(gòu)建計(jì)算、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)和I/O 的共享架構(gòu).服務(wù)器硬件資源共享的前提是將系統(tǒng)的計(jì)算、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)以及其他I/O 資源聚合在一起，分別形成計(jì)算池、內(nèi)存池、存儲(chǔ)池、網(wǎng)絡(luò)池以及I/O 池，如圖2 所示.每種池中的資源既可同構(gòu)、又可異構(gòu).

圖2 云服務(wù)器硬件資源池化示意圖Fig.2 Diagram of server pooling hardware resources

為了實(shí)現(xiàn)服務(wù)器資源池化的目的，服務(wù)器硬件資源接入一個(gè)高性能互聯(lián)網(wǎng)絡(luò)，如圖3 所示.一方面，通過管理系統(tǒng)按照應(yīng)用負(fù)載的需求，有效地組織該物理節(jié)點(diǎn)的計(jì)算、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)和I/O 按需配置，另一方面，要確保按需構(gòu)建的物理節(jié)點(diǎn)的高效能.客觀上講，資源共享會(huì)存在一定的共享開銷，需要建立一種平衡的體系結(jié)構(gòu)將各類資源的共享開銷降到最低.

圖3 基于高性能互聯(lián)網(wǎng)絡(luò)的硬件資源池化方法Fig.3 Hardware resource pooling approach based on a high-performance interconnection network

高效能的云服務(wù)器可以采用多級(jí)的高性能互聯(lián)網(wǎng)絡(luò)構(gòu)建云服務(wù)器系統(tǒng)，硬件資源根據(jù)不同的需求（如與處理器的耦合程度、性能要求）分布在互聯(lián)網(wǎng)絡(luò)的不同層，這些硬件資源可以有本地宿主，也可跨層協(xié)調(diào)給遠(yuǎn)程宿主.

如圖4 所示，本文設(shè)計(jì)的云服務(wù)器高性能互聯(lián)網(wǎng)絡(luò)由三級(jí)構(gòu)成，以一級(jí)互聯(lián)為單元構(gòu)成二級(jí)互聯(lián)系統(tǒng)，再以二級(jí)互聯(lián)為單元構(gòu)成三級(jí)互聯(lián)系統(tǒng)，即全系統(tǒng).

圖4 分布式云服務(wù)器結(jié)構(gòu)Fig.4 Distributed cloud server architecture

一級(jí)互聯(lián)：對(duì)應(yīng)一個(gè)物理節(jié)點(diǎn)，物理節(jié)點(diǎn)上可以有多顆CPU 和多組內(nèi)存，主要實(shí)現(xiàn)CPU 資源和內(nèi)存資源的池化.由于CPU 和內(nèi)存對(duì)物理節(jié)點(diǎn)性能有很大影響，內(nèi)存僅作為處理器的私有資源，兩者之間的連接必須是緊耦合關(guān)系，采用專門的總線互聯(lián)，例如第四代雙倍數(shù)據(jù)速率(Double data rate 4，DDR4)內(nèi)存總線.同一物理節(jié)點(diǎn)采用對(duì)稱多處理 (Symmetric multi-processor，SMP)等方式組成多路CPU 的內(nèi)存共享，CPU 之間通過超路徑互聯(lián)(Ultra path interconnect，UPI)總線、超級(jí)傳輸 (Hyper transport，HT)等類型的高速互聯(lián)總線連接，采用高速緩存相關(guān)的非一致性內(nèi)存訪問 (Cache coherent non-uniform memory access，CCNUMA)、非一致性內(nèi)存訪問(Non-uniform memory access，NUMA)等架構(gòu)/協(xié)議來實(shí)現(xiàn)內(nèi)存資源的池化.此互聯(lián)域內(nèi)資源非常適用于對(duì)計(jì)算性能敏感性的業(yè)務(wù)場(chǎng)景.

二級(jí)互聯(lián)：以一級(jí)互聯(lián)域?qū)?yīng)的物理節(jié)點(diǎn)為單元建立二級(jí)互聯(lián)網(wǎng)絡(luò)，這是針對(duì)一定數(shù)量的處理器彼此共享同一物理資源的互聯(lián)架構(gòu).該級(jí)互聯(lián)雖對(duì)互聯(lián)的擴(kuò)展性無特殊要求但對(duì)性能要求卻很高，以降低因共享帶來的開銷.該級(jí)互聯(lián)一般采用Crossbar 拓?fù)?，在性能和吞吐量上滿足共享要求.此級(jí)互聯(lián)主要是針對(duì)存儲(chǔ)、網(wǎng)絡(luò)、I/O 資源的池化，為一級(jí)互聯(lián)上的不同物理節(jié)點(diǎn)提供共享存儲(chǔ)、網(wǎng)絡(luò)、I/O 資源.二級(jí)互聯(lián)避免了為每個(gè)物理節(jié)點(diǎn)單獨(dú)設(shè)計(jì)私有資源而帶來成本浪費(fèi)的問題.與一級(jí)互聯(lián)域配合使用，可解決需要大量處理器且對(duì)計(jì)算性能敏感的業(yè)務(wù)場(chǎng)景，如事務(wù)型數(shù)據(jù)庫(kù)、企業(yè)資源計(jì)劃（Enterprise resource planning，ERP）系統(tǒng).

三級(jí)互聯(lián)：以二級(jí)互聯(lián)域作為單元進(jìn)行三級(jí)互聯(lián)，在二級(jí)互聯(lián)的基礎(chǔ)上解決共享資源系統(tǒng)可擴(kuò)展性問題.網(wǎng)絡(luò)拓?fù)淇刹捎肕esh、Torus 等方式，網(wǎng)絡(luò)協(xié)議可以采用公開協(xié)議，或者自定義的私有協(xié)議.通過該網(wǎng)絡(luò)，一方面一個(gè)物理節(jié)點(diǎn)上處理器可以訪問、共享三級(jí)互聯(lián)域上任何一個(gè)節(jié)點(diǎn)的共享資源，實(shí)現(xiàn)全網(wǎng)區(qū)域的資源池化；另一方面根據(jù)系統(tǒng)的負(fù)載情況可以彈性的、無縫地減少或者添加三級(jí)互聯(lián)的節(jié)點(diǎn)，以最小的代價(jià)縮小或者擴(kuò)大云服務(wù)器的規(guī)模.此互聯(lián)域非常適用于需要大量虛擬機(jī)平臺(tái)、對(duì)計(jì)算性能要求不高、追求高性價(jià)比的業(yè)務(wù)場(chǎng)景.

1.2 云服務(wù)器體系結(jié)構(gòu)的設(shè)計(jì)方法

根據(jù)如上所述三級(jí)互聯(lián)資源的池化方法設(shè)計(jì)了一種分級(jí)硬件資源共享云服務(wù)器系統(tǒng)，如圖5所示.

圖5 一種分級(jí)硬件資源共享云服務(wù)器系統(tǒng)Fig.5 Cloud server based on a classified pooling hardware resource structure

因?yàn)镃PU 和內(nèi)存的配合對(duì)服務(wù)器性能的影響至關(guān)重要，現(xiàn)在的計(jì)算機(jī)體系結(jié)構(gòu)一般把內(nèi)存作為CPU 的私有資源，與CPU 一對(duì)一配置，所以把CPU 和對(duì)應(yīng)的內(nèi)存組成一個(gè)物理節(jié)點(diǎn)放在一級(jí)互聯(lián)域里.物理節(jié)點(diǎn)可以是單路CPU，也可以是通過SMP、NUMA 等形式組合成的多路CPU.CPU可為x86 處理器、ARM 處理器、專用處理器以及其他架構(gòu)處理器，可為高性能通用處理器（如Intel 的 Xeon，AMD 的Opteron），也可為輕量級(jí)處理器（如Intel Atom），還可為一些專用處理器（如AMD APU）.輕量級(jí)處理器的應(yīng)用可使云服務(wù)器獲得高的性能成本比、高的性能功耗比和高密度.

多個(gè)物理節(jié)點(diǎn)組成一個(gè)計(jì)算模組，對(duì)應(yīng)一個(gè)二級(jí)互聯(lián)域.物理節(jié)點(diǎn)具有異構(gòu)性，不同的物理節(jié)點(diǎn)之間可以配置不同類型的CPU，既可以使用追求高性能的通用處理器又可以使用追求高性價(jià)比的輕量級(jí)處理器，可根據(jù)云服務(wù)器使用的業(yè)務(wù)領(lǐng)域靈活配置.在具體實(shí)現(xiàn)上，可以把每個(gè)物理節(jié)點(diǎn)的存儲(chǔ)總線（如SATA(Serial advanced technology attachment)總線)、網(wǎng)絡(luò)總線（如千兆、萬兆總線）、I/O 總線（如PCIe 總線、USB(Universal serial bus)總線、IIC(Inter-integrated circuit)總線）連接到互聯(lián)架構(gòu)控制器（Interconnection fabric controller，IFC）上，共享IFC 上連接的存儲(chǔ)資源、網(wǎng)絡(luò)資源、I/O 資源，從而實(shí)現(xiàn)硬件資源的池化.

作為云服務(wù)器系統(tǒng)核心的IFC 設(shè)有以下三類互聯(lián)通道：

（1）上行.連接計(jì)算模組，聚合不同物理節(jié)點(diǎn)的資源總線，匯總連接到IFC 相應(yīng)的Crossbar 總線上，如存儲(chǔ)、網(wǎng)絡(luò)、I/O 等總線.

（2）下行.連接網(wǎng)絡(luò)、存儲(chǔ)和I/O 等物理設(shè)備，為本地的計(jì)算模組和遠(yuǎn)端的計(jì)算模組提供共享資源.

（3）橫向.連接其他IFC，實(shí)現(xiàn)互聯(lián)規(guī)模擴(kuò)展，互聯(lián)協(xié)議可以采用公開的高速協(xié)議，例如萬兆以太網(wǎng)協(xié)議、IB（InfiniBand）協(xié)議，或者自定義協(xié)議.網(wǎng)絡(luò)拓?fù)淇梢圆捎?D Mesh、3D Torus 等架構(gòu)，任意物理節(jié)點(diǎn)上的CPU 可以訪問此網(wǎng)絡(luò)上的共享資源.

2 云服務(wù)器原型系統(tǒng)的設(shè)計(jì)

根據(jù)上述提出的分布式硬件資源共享云服務(wù)器體系架構(gòu)，構(gòu)建了如圖6 所示的云服務(wù)器原型系統(tǒng)架構(gòu)，用于云服務(wù)器概念與關(guān)鍵技術(shù)的驗(yàn)證.此系統(tǒng)共有16 個(gè)物理節(jié)點(diǎn)，每4 個(gè)物理節(jié)點(diǎn)組成一個(gè)計(jì)算模組，計(jì)算模組之間采用2D Mesh 網(wǎng)絡(luò)拓?fù)浠ヂ?lián).圖中M0 表示標(biāo)號(hào)為0 的內(nèi)存條；M1表示標(biāo)號(hào)為1 的內(nèi)存條；N0～N3 表示標(biāo)號(hào)為0～3 的節(jié)點(diǎn)；Eth 表示以太網(wǎng)絡(luò).

圖6 16 顆處理器云服務(wù)器原型系統(tǒng)架構(gòu)Fig.6 Architecture of the 16-processor cloud server prototyping system

原型系統(tǒng)的架構(gòu)分為三級(jí)互聯(lián)，第一級(jí)互聯(lián)域是一個(gè)物理節(jié)點(diǎn)，采用一顆海光信息技術(shù)股份有限公司型號(hào)為3235 CPU，配置兩條DDR4 內(nèi)存條.

第二級(jí)互聯(lián)域是一個(gè)計(jì)算模組，包含四個(gè)物理節(jié)點(diǎn)，每個(gè)物理節(jié)點(diǎn)通過萬兆、SATA、USB 總線采用星型拓?fù)浣Y(jié)構(gòu)聚合連接在IFC Crossbar 總線上，共享IFC 所連接的一個(gè)SATA SSD（Solid state disk）硬盤和100 G 以太網(wǎng)絡(luò).

第三級(jí)互聯(lián)為四個(gè)IFC 采用2×2 Full Mesh 拓?fù)溥M(jìn)一步互聯(lián)，構(gòu)建起4 個(gè)計(jì)算模組共16 顆CPU的云服務(wù)器原型系統(tǒng).IFC 之間采用100 G 以太網(wǎng)絡(luò)協(xié)議進(jìn)行互聯(lián).

IFC 采用FPGA 芯片，F(xiàn)PGA[24-26]具有靈活編程的特點(diǎn)，能模擬出各種物理接口和各種總線協(xié)議，為云服務(wù)器原型系統(tǒng)調(diào)試和驗(yàn)證提供便利.

按照?qǐng)D6 所示的原型系統(tǒng)架構(gòu)設(shè)計(jì)研發(fā)的云服務(wù)器原型系統(tǒng)樣機(jī)如圖7 所示，樣機(jī)主要由如下部分構(gòu)成：

圖7 16 顆處理器的云服務(wù)器原型系統(tǒng)樣品Fig.7 Sample of the 16-processor cloud server prototyping system

（1）四個(gè)計(jì)算模組：每個(gè)計(jì)算模組由四個(gè)物理節(jié)點(diǎn)組成，每個(gè)物理節(jié)點(diǎn)由一顆海光3235 CPU 組成和2 條DDR4 內(nèi)存組成；海光3235 CPU 規(guī)格是4 核、8 線程，主頻3.0 GHz，熱設(shè)計(jì)功耗 (Thermal design power，TDP)為75 W；內(nèi)存型號(hào)為Samsung M393A4K40BB2，容量是32 GB.整個(gè)云服務(wù)原型系統(tǒng)共有16 個(gè)物理節(jié)點(diǎn)，16 顆CPU、32 條內(nèi)存條、共1 TB 內(nèi)存容量.計(jì)算模組運(yùn)行的OS 采用統(tǒng)信軟件公司UOS 桌面版，即UOS-desktop-20-1031.

（2）物理節(jié)點(diǎn)：有一顆海光3235 CPU，通過內(nèi)存總線連接2 條DDR4 內(nèi)存條；從CPU 直接引出一個(gè)萬兆以太網(wǎng)接口、一個(gè)SATA3.0 總線、一個(gè)USB2.0 總線連接IFC 模塊.為了與IFC 上共享資源的性能進(jìn)行對(duì)比分析，在第一個(gè)物理節(jié)點(diǎn)，即CPU0 直接連接私有的網(wǎng)卡和SSD 硬盤進(jìn)行性能測(cè)試，所測(cè)得值作為對(duì)比分析的基準(zhǔn)，其他物理節(jié)點(diǎn)不用引出.

（3）四個(gè)IFC 模塊：每個(gè)IFC 模塊基于一顆FPGA 設(shè)計(jì)實(shí)現(xiàn).IFC 有三個(gè)互聯(lián)通道，上行連接物理節(jié)點(diǎn)的萬兆以太接口、SATA 和USB 總線，下行連接為計(jì)算模組提供共享的100 G 以太網(wǎng)絡(luò)接口和SATA SSD 硬盤；橫向通過100 G 以太網(wǎng)絡(luò)和其他IFC 互聯(lián).FPGA 采用Intel Stratix 10 GX 2800系列（簡(jiǎn)稱GX 2800），具體型號(hào)為1SG280HU2F 50E2LG，具有93.3 萬個(gè)可編程邏輯單元、32 對(duì)可達(dá)17.4 Gbps 的全雙工高速串行信號(hào)線和64 對(duì)可達(dá)28.3 Gbps 的全雙工高速串行信號(hào)線，完全可以滿足本設(shè)計(jì)的資源要求.例如對(duì)于一個(gè)100 G 以太接口大約需要4.2 萬個(gè)可編程邏輯單元模擬實(shí)現(xiàn)網(wǎng)卡控制器，需要6 對(duì)28.3 Gbps 全雙工高速串行信號(hào)線，其中4 對(duì)運(yùn)行在25 Gbps 來傳輸網(wǎng)絡(luò)數(shù)據(jù)，另外2 對(duì)作鎖相環(huán)（Phase locked loop，PLL）使用.SATA 硬盤為Samsung 公司的6.0 Gbps 1.92 T SSD 硬盤，型號(hào)為 PM883-MZ7LH1T9HMLT.

（4）一個(gè)互聯(lián)背板：支撐IFC 模塊2×2 Full Mesh 互聯(lián).

云服務(wù)器原型系統(tǒng)實(shí)現(xiàn)了分布式硬件資源虛擬化共享模式，物理節(jié)點(diǎn)上的每個(gè)CPU 可按需配置IFC 上的存儲(chǔ)資源和網(wǎng)絡(luò)資源.每個(gè)物理節(jié)點(diǎn)的SATA 總線對(duì)應(yīng)IFC 內(nèi)一個(gè)虛擬硬盤代理模塊，硬盤代理模塊利用FPGA 的可編程邏輯單元模擬實(shí)現(xiàn).虛擬硬盤代理模塊通過XBAR 總線共享硬盤控制器.IFC 上掛接的SATA SSD 硬盤劃分為一個(gè)共享分區(qū)和16 個(gè)私有分區(qū)，如圖8 所示，在共享分區(qū)中部署操作系統(tǒng)、應(yīng)用軟件，可被16 個(gè)CPU共享，16 個(gè)CPU 在啟動(dòng)或者運(yùn)行中可從共享分區(qū)中讀取操作系統(tǒng)或應(yīng)用軟件的鏡像，各自加載在本地內(nèi)存中獨(dú)自運(yùn)行，并把運(yùn)行產(chǎn)生的數(shù)據(jù)寫入到共享分區(qū)內(nèi)，從而達(dá)到冗余資源減少、軟件維護(hù)簡(jiǎn)便高效的目的.私有分區(qū)為不同CPU 私有，存取經(jīng)不同的硬件虛擬化通道一一對(duì)應(yīng)，數(shù)據(jù)安全性高.共享分區(qū)和私有分區(qū)可按需分配、按需簡(jiǎn)約地靈活設(shè)計(jì)分區(qū)大小、所存數(shù)據(jù)的種類.虛擬硬盤代理模塊通過IIC 總線與系統(tǒng)的管理芯片進(jìn)行連接，一方面可以接收管理芯片的配置命令，對(duì)分區(qū)、數(shù)據(jù)包格式等參數(shù)進(jìn)行設(shè)置；另一方面接受管理芯片的監(jiān)控，反饋其運(yùn)行的健康狀態(tài).對(duì)于網(wǎng)絡(luò)資源的共享模式，在IFC 內(nèi)部利用FPGA 的可編程邏輯單元模擬實(shí)現(xiàn)每個(gè)物理節(jié)點(diǎn)的網(wǎng)卡控制器和一個(gè)網(wǎng)絡(luò)交換機(jī)來實(shí)現(xiàn)每個(gè)物理節(jié)點(diǎn)和下行設(shè)備的網(wǎng)絡(luò)互聯(lián).IFC 上掛接的一個(gè)100 G 以太網(wǎng)絡(luò)接口作為下行接口，可被所有的CPU 節(jié)點(diǎn)共享使用，可根據(jù)實(shí)際的網(wǎng)絡(luò)需求靈活地調(diào)節(jié)對(duì)應(yīng)物理節(jié)點(diǎn)的帶寬.

圖8 SATA 硬盤共享架構(gòu)Fig.8 Architecture of a SATA disk in shared mode

云服務(wù)器原型系統(tǒng)靈活地、低成本地實(shí)現(xiàn)了在存儲(chǔ)、網(wǎng)絡(luò)I/O 等方面的硬件資源虛擬化，達(dá)到了按需分配、按需簡(jiǎn)約的目的.

3 云服務(wù)器原型系統(tǒng)的性能評(píng)估

對(duì)云服務(wù)器原型系統(tǒng)的網(wǎng)絡(luò)性能、存儲(chǔ)性能進(jìn)行測(cè)試分析，評(píng)估分析硬件虛擬化性能和共享資源在三級(jí)互聯(lián)系統(tǒng)中的性能損耗.

3.1 網(wǎng)絡(luò)性能分析

從四個(gè)方面對(duì)云服務(wù)器原型系統(tǒng)的網(wǎng)絡(luò)性能進(jìn)行測(cè)試分析：裸物理機(jī)網(wǎng)絡(luò)性能，硬件虛擬化網(wǎng)絡(luò)性能，純軟件虛擬化網(wǎng)絡(luò)性能，網(wǎng)絡(luò)的聚合性能.測(cè)試軟件采用國(guó)際上公認(rèn)的benchmark 程序Netperf V2.7.0 軟件.

裸物理機(jī)網(wǎng)絡(luò)性能的測(cè)試方法是利用物理節(jié)點(diǎn)0 直連的一塊Intel 82599ES 萬兆網(wǎng)卡連接一個(gè)外部壓力機(jī)來直接測(cè)試物理節(jié)點(diǎn)0 的萬兆網(wǎng)絡(luò)性能.通過Netperf 測(cè)試得到的三次實(shí)測(cè)數(shù)據(jù)的平均值為1172 MBytes·s-1，并以此值作為對(duì)比分析的基準(zhǔn).

硬件虛擬化網(wǎng)絡(luò)性能的測(cè)試方法是物理節(jié)點(diǎn)0 的萬兆網(wǎng)絡(luò)接入IFC，經(jīng)過網(wǎng)絡(luò)的硬件虛擬化后，利用IFC 下行的100 G 網(wǎng)口連接一個(gè)外部的壓力機(jī)進(jìn)行測(cè)試.通過Netperf 測(cè)試得到的三次實(shí)測(cè)數(shù)據(jù)平均值為1168 MBytes·s-1，對(duì)比裸物理機(jī)測(cè)試結(jié)果發(fā)現(xiàn)硬件虛擬化的性能損耗是0.34%.這主要是因?yàn)镮FC 在硬件虛擬化過程中數(shù)據(jù)轉(zhuǎn)換延遲、端口重映射帶來的損耗，可以忽略不計(jì).

純軟件虛擬化網(wǎng)絡(luò)性能測(cè)試是采用和裸物理機(jī)性能測(cè)試相同的硬件環(huán)境，利用統(tǒng)信軟件操作系統(tǒng)UOS-desktop-20-1031 中的KVM 功能創(chuàng)建4 個(gè)物理核、64 GB 內(nèi)存的虛擬機(jī)進(jìn)行測(cè)試.通過Netperf 三次實(shí)測(cè)數(shù)據(jù)得到的平均值為1098 MBytes·s-1，是裸物理機(jī)性能的93.7%，是硬件虛擬化性能的94.0%.因?yàn)閔ypervisor 需要占用CPU 資源運(yùn)行，CPU 必須要在虛擬CPU 環(huán)境與物理CPU 環(huán)境下頻繁地來回切換，所以純軟件虛擬化網(wǎng)絡(luò)性能有較大的損耗，大約是6%.

對(duì)于網(wǎng)絡(luò)的聚合性能測(cè)試，采用原型系統(tǒng)中1～16 個(gè)物理節(jié)點(diǎn)通過IFC 同時(shí)與下行100 G 以太網(wǎng)口所連接的壓力機(jī)傳輸數(shù)據(jù)進(jìn)行測(cè)試.為了分析在不同物理節(jié)點(diǎn)數(shù)量情況下100 G 帶寬的利用率，需要選擇一個(gè)基準(zhǔn)，利用CPU0 直連一塊Mellanox 公司型號(hào)為MCX556A 100G 網(wǎng)卡，通過Netperf 三次實(shí)測(cè)數(shù)據(jù)得到的平均值11.7 GBytes·s-1GBytes/s（即11981 MBytes·s-1）作為對(duì)比分析的標(biāo)準(zhǔn).1～16 個(gè)節(jié)點(diǎn)下行鏈路的帶寬使用情況如圖9所示，從1 個(gè)節(jié)點(diǎn)到10 個(gè)節(jié)點(diǎn)，下行鏈路帶寬隨著物理節(jié)點(diǎn)數(shù)量的增加幾乎線性增長(zhǎng)，一直到11485 MBytes·s-1，此時(shí)帶寬利用率為95.9%，然后隨著物理節(jié)點(diǎn)數(shù)量的增加帶寬出現(xiàn)輕微下降，在16 個(gè)物理節(jié)點(diǎn)時(shí)，帶寬為11279 MBytes·s-1，利用率為94.1%.這說明在1～10 個(gè)物理節(jié)點(diǎn)之間下行的100 G 網(wǎng)絡(luò)帶寬足夠?qū)捲?，一直?0 個(gè)物理節(jié)點(diǎn)時(shí)才被用滿.超過10 個(gè)物理節(jié)點(diǎn)，由于下行帶寬不足，不同節(jié)點(diǎn)之間存在競(jìng)爭(zhēng)造成了內(nèi)部損耗，所以帶寬出現(xiàn)了下降，但下降比較緩慢.

圖9 共享網(wǎng)絡(luò)下行帶寬Fig.9 Bandwidth of the downlink when host accessing

因?yàn)镹etperf 被用來測(cè)試網(wǎng)絡(luò)帶寬的極限性能值，在平常使用過程中物理節(jié)點(diǎn)極少出現(xiàn)滿負(fù)荷運(yùn)行的情況，所以從以上分析可以看出，100 G 下行網(wǎng)絡(luò)可有效支撐多個(gè)物理節(jié)點(diǎn)的網(wǎng)絡(luò)共享，從10 個(gè)到16 個(gè)物理節(jié)點(diǎn)的帶寬性能損失為1.8%，損耗比較小.可利用本原型系統(tǒng)的彈性擴(kuò)展能力，在同一個(gè)IFC 上，即在第二級(jí)互聯(lián)域上繼續(xù)增加多個(gè)物理節(jié)點(diǎn)也不會(huì)引起太多的損耗，可進(jìn)一步降低系統(tǒng)的成本.這表明本文設(shè)計(jì)的云服務(wù)器原型系統(tǒng)的網(wǎng)絡(luò)池化設(shè)計(jì)工作正常，可以有效地降低了系統(tǒng)的復(fù)雜度.對(duì)比常規(guī)集群的搭建模式，此原型系統(tǒng)直接在IFC 內(nèi)實(shí)現(xiàn)網(wǎng)卡控制器和交換機(jī)功能，可不用再為每個(gè)物理節(jié)點(diǎn)設(shè)計(jì)單獨(dú)的網(wǎng)卡控制器、互聯(lián)的交換機(jī)和復(fù)雜的網(wǎng)線連接拓?fù)?，系統(tǒng)簡(jiǎn)潔，節(jié)省了成本，提高了計(jì)算密度.此網(wǎng)絡(luò)池化的架構(gòu)，一方面根據(jù)每個(gè)節(jié)點(diǎn)帶寬需求及優(yōu)先級(jí)可配置不同的帶寬，達(dá)到自動(dòng)的負(fù)載均衡，充分地最大程度地利用已有網(wǎng)絡(luò)資源避免浪費(fèi)；另一方面，此架構(gòu)具有彈性、可無縫拓展系統(tǒng)規(guī)模的優(yōu)勢(shì)，不但可以升級(jí)IFC 下行網(wǎng)絡(luò)，可采用更高速率的網(wǎng)絡(luò)，而且也可以改變IFC 橫向互聯(lián)的網(wǎng)絡(luò)拓?fù)?，可靈活采用更高維數(shù)、更多種類的網(wǎng)絡(luò)拓?fù)溥B接更多的物理節(jié)點(diǎn)，實(shí)現(xiàn)真正的按需分配、按需簡(jiǎn)約的目的，非常適合云計(jì)算應(yīng)用的特點(diǎn).

3.2 存儲(chǔ)性能分析

云服務(wù)器原型系統(tǒng)中16 個(gè)物理節(jié)點(diǎn)共享IFC連接的一個(gè)2.5 英寸SATA 6.0 Gbps 1.92T SSD 固態(tài)硬盤，型號(hào)為Samsung 公司的PM883-MZ7LH1T 9HMLT，采用國(guó)際上公認(rèn)的benchmark 程序FIO V3.12.2 測(cè)試存儲(chǔ)性能.

從四個(gè)方面對(duì)云服務(wù)器原型系統(tǒng)的存儲(chǔ)性能進(jìn)行測(cè)試分析：裸物理機(jī)存儲(chǔ)性能，硬件虛擬化存儲(chǔ)性能，純軟件虛擬化存儲(chǔ)性能，存儲(chǔ)的聚合性能.

為了測(cè)試裸物理機(jī)存儲(chǔ)性能，選擇物理節(jié)點(diǎn)0 直連的SSD 硬盤進(jìn)行測(cè)試，每項(xiàng)性能測(cè)試三次取平均值，得出4 K 隨機(jī)讀IOPS (Input/Output operations per second)性能為80832、4 K 隨機(jī)寫IOPS 性能為31873，并以此值作為對(duì)比分析的基準(zhǔn).

硬件虛擬化存儲(chǔ)性能的測(cè)試方法是物理節(jié)點(diǎn)0 的SATA 總線接入IFC，經(jīng)IFC 的硬件虛擬化后，利用IFC 下行的SATA 總線掛接SSD 硬盤進(jìn)行測(cè)試.通過FIO 測(cè)試三次計(jì)算平均值，得出4 K 隨機(jī)讀IOPS 性能為80387、4 K 隨機(jī)寫IOPS 性能為31616，分別是裸物理機(jī)性能的99.4%和99.2%，對(duì)比裸物理機(jī)測(cè)試結(jié)果發(fā)現(xiàn)硬件虛擬化存儲(chǔ)的性能損耗是大約0.7%.這主要是因?yàn)镮FC 在硬件虛擬化過程中數(shù)據(jù)轉(zhuǎn)換帶來的損耗，對(duì)比真正的裸物理機(jī)性能，可忽略不計(jì).

純軟件虛擬化存儲(chǔ)性能測(cè)試是采用和裸物理機(jī)性能測(cè)試相同的硬件環(huán)境，在統(tǒng)信軟件操作系統(tǒng)上創(chuàng)建4 個(gè)物理核、64 GB 內(nèi)存的虛擬機(jī)進(jìn)行測(cè)試.通過FIO 測(cè)試三次計(jì)算平均值，得出4 K 隨機(jī)讀IOPS 性能為73476、4 K 隨機(jī)寫IOPS 性能為28206，分別是裸物理機(jī)存儲(chǔ)性能的90.9%和88.5%，是硬件虛擬化存儲(chǔ)性能的91.4%和89.2%.性能損失的原因同樣是因?yàn)閔ypervisor 占用了一部分CPU資源運(yùn)行所致.

在存儲(chǔ)的聚合性能測(cè)試中，原型系統(tǒng)中1～16 個(gè)物理節(jié)點(diǎn)通過IFC 同時(shí)與其下行接口所連接的SATA SSD 硬盤進(jìn)行FIO 壓力測(cè)試.選取上面的裸物理機(jī)的存儲(chǔ)性能作為對(duì)比參考的標(biāo)準(zhǔn).

圖10 為16 個(gè)物理節(jié)點(diǎn)共享IFC 上SSD 硬盤4 K 隨機(jī)讀、隨機(jī)寫的IOPS 聚合性能，每項(xiàng)性能都測(cè)試三次取其平均值.

圖10 共享存儲(chǔ)系統(tǒng)IOPS 性能分析Fig.10 Shared storage IOPS performance analysis

從圖10 中可以看出，對(duì)于隨機(jī)讀寫性能來說，在1 個(gè)節(jié)點(diǎn)時(shí)性能最高，4 K 隨機(jī)讀IOPS 性能為80387、4 K 隨機(jī)寫IOPS 性能為31616，隨著節(jié)點(diǎn)數(shù)量的增加隨機(jī)讀寫的性能緩慢地下降.在16 個(gè)節(jié)點(diǎn)時(shí)隨機(jī)讀IOPS 性能為77247、利用率為95.6%，隨機(jī)寫IOPS 性能為30253、利用率為94.9%，也即16 個(gè)節(jié)點(diǎn)IOPS 聚合性能比裸物理機(jī)隨機(jī)讀寫性能分別損失了4.4%和5.1%的性能，性能損失的原因是隨著節(jié)點(diǎn)數(shù)量的增長(zhǎng)，共享資源的調(diào)度管理?yè)p耗了一部分性能.

從以上隨機(jī)讀和隨機(jī)寫的性能分析看，在1～16 節(jié)點(diǎn)下云服務(wù)器原型系統(tǒng)都能最大限度地發(fā)揮IFC 上SSD 硬盤性能，存儲(chǔ)聚合性能損失在5%左右.總的來說，存儲(chǔ)的池化性能比較高、損耗可以忽略不計(jì).普通服務(wù)器配置的一塊SATA HDD（Hard disk drive）硬盤（如Western Digital 公司型號(hào)為 HUS722T2TALA604 硬盤）的4 K 隨機(jī)讀IOPS 性能為325、4 K 隨機(jī)寫IOPS 性能為303，由此可以得出云服務(wù)器原型機(jī)的SATA SDD 硬盤共享存儲(chǔ)性能可完全滿足近百個(gè)帶有一塊SATA HDD 硬盤普通服務(wù)器節(jié)點(diǎn)的使用需求.另外因?yàn)榇鎯?chǔ)性能的測(cè)試是用FIO 程序來測(cè)試極限性能值，在平時(shí)使用過程中很少出現(xiàn)性能用滿的情況，所以IFC 共享存儲(chǔ)資源完全可以滿足16 個(gè)物理節(jié)點(diǎn)的使用需求，并且可以根據(jù)物理節(jié)點(diǎn)的業(yè)務(wù)需求動(dòng)態(tài)地分配存儲(chǔ)容量和帶寬，達(dá)到按需簡(jiǎn)約、按需分配的云服務(wù)器設(shè)計(jì)要求.

從云服務(wù)器原型系統(tǒng)的網(wǎng)絡(luò)性能和存儲(chǔ)性能分析來看，本文采用分布式硬件資源共享體系結(jié)構(gòu)設(shè)計(jì)的云服務(wù)器原型系統(tǒng)一方面遵循按需簡(jiǎn)約、按需分配的設(shè)計(jì)理念，真正實(shí)現(xiàn)了服務(wù)器硬件資源的池化、虛擬化，可簡(jiǎn)易快捷地構(gòu)建每個(gè)物理節(jié)點(diǎn)；另一方面，共享網(wǎng)絡(luò)、存儲(chǔ)的聚合性能損耗在5%左右，該損耗對(duì)大部分應(yīng)用來說是可接受的，而且該原型系統(tǒng)的IFC 還是基于FPGA 器件來實(shí)現(xiàn)的，未來如采用ASIC 先進(jìn)工藝實(shí)現(xiàn)，共享?yè)p耗還會(huì)進(jìn)一步的降低.

4 結(jié)論

（1）不同于軟件虛擬化技術(shù)，提出一種基于硬件虛擬化的云服務(wù)器系統(tǒng)架構(gòu)，此架構(gòu)優(yōu)點(diǎn)是能夠?qū)崿F(xiàn)系統(tǒng)硬件資源的共享，硬件虛擬化速度比軟件虛擬化速度更快，占用的系統(tǒng)花銷更少，可以更加簡(jiǎn)潔地實(shí)現(xiàn)系統(tǒng)資源的虛擬化、池化，做到按需分配、按需簡(jiǎn)約的目的，與傳統(tǒng)服務(wù)器相比最大限度提升服務(wù)器資源的使用效能.

（2）不同于常規(guī)的只能在單節(jié)點(diǎn)內(nèi)進(jìn)行資源的共享，本文設(shè)計(jì)的云服務(wù)器架構(gòu)將服務(wù)器的硬件資源按照三級(jí)互聯(lián)的方式分別設(shè)計(jì)了計(jì)算池、內(nèi)存池、存儲(chǔ)池、網(wǎng)絡(luò)池，每級(jí)實(shí)現(xiàn)不同層次硬件資源的虛擬化，可實(shí)現(xiàn)單節(jié)點(diǎn)、跨節(jié)點(diǎn)進(jìn)而實(shí)現(xiàn)全區(qū)域的資源池化.

（3）本文設(shè)計(jì)的云服務(wù)器采用三級(jí)分層互聯(lián)域，對(duì)計(jì)算性能要求高的業(yè)務(wù)可在一級(jí)和二級(jí)互聯(lián)域內(nèi)運(yùn)行，對(duì)于追求虛擬機(jī)數(shù)量、性價(jià)比高的業(yè)務(wù)可在三級(jí)互聯(lián)域內(nèi)運(yùn)行.三級(jí)分層架構(gòu)有效地?cái)U(kuò)展云服務(wù)器的適用范圍.

（4）設(shè)計(jì)的云服務(wù)器架構(gòu)具有異構(gòu)性、可伸縮性.不同種類的CPU、存儲(chǔ)、網(wǎng)絡(luò)都可以無縫地融入到此云服務(wù)器內(nèi)；根據(jù)云計(jì)算需求規(guī)模的大小，借助于此架構(gòu)可以無縫地實(shí)現(xiàn)規(guī)模的變大或變小，具有較好的彈性，而不影響原先的架構(gòu)和業(yè)務(wù).

（5）研制了云服務(wù)器原型機(jī)，為產(chǎn)品化提供了參考；并實(shí)際測(cè)試了原型機(jī)的網(wǎng)絡(luò)池化、存儲(chǔ)池化的性能，硬件虛擬化的損耗可忽略不計(jì)，網(wǎng)絡(luò)、存儲(chǔ)的聚合性能損耗在5%左右，證明本文設(shè)計(jì)的云服務(wù)器架構(gòu)可顯著地提高云計(jì)算的性價(jià)比.