肖桂榮，肖榮生

(福州大學(xué)福建省空間信息工程研究中心，福建 福州 350116)

0 引言

隨著大數(shù)據(jù)迅猛發(fā)展，數(shù)據(jù)規(guī)模越來(lái)越大，數(shù)據(jù)種類(lèi)越來(lái)越多，依托于云平臺(tái)的各種應(yīng)用呈現(xiàn)出種類(lèi)繁多這一特征[1]. 各種云平臺(tái)應(yīng)用所依賴(lài)的生產(chǎn)環(huán)境千差萬(wàn)別，云平臺(tái)應(yīng)用對(duì)云平臺(tái)中的資源利用率、隔離性和快速部署性提出了要求. 為統(tǒng)一管理云應(yīng)用和集群資源，出現(xiàn)了集群復(fù)用技術(shù)，它可以提高資源利用率，實(shí)現(xiàn)平臺(tái)應(yīng)用的統(tǒng)一管理以及平臺(tái)資源的共享. 傳統(tǒng)的虛擬化技術(shù)已經(jīng)不能滿足PaaS(platform as a service)平臺(tái)這種場(chǎng)景的需求，而輕量級(jí)虛擬化在高效性、隔離性和快速性方面非常適合PaaS平臺(tái)這種要求[2-3]，所以輕量級(jí)虛擬化在各大互聯(lián)網(wǎng)公司得到廣泛的應(yīng)用. 例如百度基于Docker[4]開(kāi)發(fā)了Matrix，Google在Kubernetes[5]集群管理系統(tǒng)中用Docker或Rkt[6]作為底層容器.

目前主流輕量級(jí)虛擬化技術(shù)主要有Docker、OpenVZ[7]和Rkt，它們?cè)趯?shí)現(xiàn)高效性、隔離性和快速性方面有共性也有異性. 不同云平臺(tái)應(yīng)用，對(duì)PaaS場(chǎng)景中高效性、隔離性和快速性要求不一樣，因此對(duì)輕量級(jí)虛擬化技術(shù)進(jìn)行技術(shù)分析和性能評(píng)測(cè)顯得十分重要. 目前輕量級(jí)虛擬化技術(shù)沒(méi)有標(biāo)準(zhǔn)的性能評(píng)測(cè)標(biāo)準(zhǔn)，F(xiàn)elter等[8]對(duì)Docker和Kvm(kernel-based virtual machine)[9]在CPU、內(nèi)存等方面進(jìn)行了性能比較，中國(guó)存儲(chǔ)網(wǎng)對(duì)Docker、Rkt、OpenVZ利弊進(jìn)行對(duì)比分析[10]. 本文對(duì)Docker、OpenVZ和Rkt在資源控制、隔離性方面進(jìn)行技術(shù)實(shí)現(xiàn)分析，對(duì)它們?cè)诟咝?、隔離性和快速性上進(jìn)行性能評(píng)測(cè)，并選取Kvm進(jìn)行實(shí)驗(yàn)對(duì)比，為PaaS云平臺(tái)虛擬化技術(shù)的選型提供依據(jù)和參考指標(biāo).

1 主流輕量級(jí)虛擬化技術(shù)分析

1) OpenVZ. OpenVZ是Linux平臺(tái)下操作系統(tǒng)級(jí)的服務(wù)器虛擬化解決方案. 在資源控制方面，OpenVZ通過(guò)User Beancounters限制各種內(nèi)核對(duì)象使用，F(xiàn)air CPU Scheduling實(shí)現(xiàn)容器內(nèi)處理器資源和進(jìn)程調(diào)度，VCPU Affinity控制容器CPU個(gè)數(shù)，Disk Quotas控制磁盤(pán)使用比例，I/O Scheduling實(shí)現(xiàn)對(duì)I/O分配.

OpenVZ通過(guò)Namespaces實(shí)現(xiàn)對(duì)容器資源隔離，使用PID(proportion integration differentiation)、IPC(inter-process communication)、Mount、Network、UTS(unix timesharing system)以及USER等Namespaces實(shí)現(xiàn)資源的隔離，使OpenVZ的容器運(yùn)行環(huán)境相對(duì)獨(dú)立，擁有獨(dú)立的進(jìn)程ID、內(nèi)存段、文件系統(tǒng)、網(wǎng)絡(luò)和唯一標(biāo)識(shí)的Hostname.

2) Docker. Docker是dotCloud 開(kāi)源的高級(jí)容器引擎. Docker通過(guò)Libcontainer中Cgroups實(shí)現(xiàn)對(duì)資源的控制. Cgroups是Linux內(nèi)核提供的限制進(jìn)程資源使用的機(jī)制，包含Blkio、CPU、CPUAcct(CPU accounting controller)、CPUSet、Devices、Freezer、Memory、Net_cls(network classid)、Ns(namespace)等控制器，對(duì)Docker容器資源使用進(jìn)行控制.

Docker使用Namespaces實(shí)現(xiàn)容器資源隔離，對(duì)容器PID，IPC，Mount，Network，UTS進(jìn)行隔離，由于USER Namespaces中的復(fù)雜性，Libcontainer沒(méi)有實(shí)現(xiàn)，用戶(hù)可通過(guò)配置Capabilities、Selinux 、Apparmor 等實(shí)現(xiàn)安全隔離.

3) Rkt. Rkt是CoreOS開(kāi)源的高安全性、高執(zhí)行效率以及強(qiáng)兼容能力的容器引擎. Rkt運(yùn)行模式分為Privileged、Container/Cgroups、Virtual Machine三種[6]，是可插拔的. Rkt默認(rèn)運(yùn)行Container/Cgroups模式，通過(guò)Cgroups做資源控制，控制Rkt中Pod對(duì)CPU、內(nèi)存、磁盤(pán)I/O等物理機(jī)資源使用. 在Privileged運(yùn)行模式下，Rkt通過(guò)Chroot(change root)實(shí)現(xiàn)對(duì)宿主機(jī)資源特定權(quán)限的控制，控制Pod對(duì)宿主機(jī)資源訪問(wèn). 當(dāng)應(yīng)用程序?qū)\(yùn)行環(huán)境有全虛擬化要求時(shí)，Rkt支持在Virtual Machine運(yùn)行模式下通過(guò)LKVM(lightweight kernel-based virtual machine)技術(shù)實(shí)現(xiàn)以全虛擬化模式運(yùn)行Pod，使其資源控制相對(duì)獨(dú)立.

Rkt在默認(rèn)運(yùn)行模式下，使用Namespaces做資源隔離，使Rkt容器的網(wǎng)絡(luò)、進(jìn)程等運(yùn)行在獨(dú)立的環(huán)境中. 用戶(hù)可選Virtual Machine運(yùn)行模式代替Container/Cgroups，以全虛擬化的方式運(yùn)行Pod，使虛擬機(jī)擁有獨(dú)立內(nèi)核和虛擬機(jī)管理程序.

2 測(cè)試指標(biāo)與方法

2.1 測(cè)試指標(biāo)

本實(shí)驗(yàn)的性能測(cè)試指標(biāo)包括輕量級(jí)虛擬化技術(shù)的高效性、隔離性和快速性. 高效性測(cè)試包括CPU、內(nèi)存、磁盤(pán)I/O、網(wǎng)絡(luò)四個(gè)方面，隔離性測(cè)試包括在CPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)接收、網(wǎng)絡(luò)發(fā)送、Fork Bomb六種壓力程序下對(duì)同宿主機(jī)下其它虛擬機(jī)性能影響，快速性針對(duì)虛擬機(jī)啟動(dòng)速度進(jìn)行測(cè)試. 為了與基于Cgroups和Namespaces技術(shù)實(shí)現(xiàn)的Docker進(jìn)行對(duì)比，實(shí)驗(yàn)中Rkt選擇默認(rèn)Container/Cgroups運(yùn)行模式，并選取Kvm對(duì)比測(cè)試. 為保證數(shù)據(jù)準(zhǔn)確性，宿主機(jī)為同一臺(tái)，宿主機(jī)系統(tǒng)為Centos 6.7，宿主機(jī)CPU、內(nèi)存、硬盤(pán)環(huán)境分別為Intel(R) Xeon(R) CPU E5-2640 v2 @ 2.00GHz、64G/DDR3 1333、1T/7200，具體性能測(cè)試指標(biāo)和標(biāo)準(zhǔn)檢查程序如表1所示.

表1 測(cè)試指標(biāo)與標(biāo)準(zhǔn)檢查程序

2.2 測(cè)試方法

2.2.1 高效性測(cè)試方法

CPU測(cè)試：實(shí)驗(yàn)選取Intel? Optimized LINPACK[11]進(jìn)行CPU性能測(cè)試，該工具采用高斯消元法求解N元一次稠密線性組來(lái)評(píng)價(jià)其CPU處理性能. 該基準(zhǔn)實(shí)驗(yàn)是根據(jù)用戶(hù)指定的參數(shù)生成一個(gè)線性方程組，通過(guò)方程的求解時(shí)間和計(jì)算量來(lái)計(jì)算CPU的浮點(diǎn)性能. 實(shí)驗(yàn)中計(jì)算10 000階的稠密線性代數(shù)方程組來(lái)評(píng)估CPU性能.

內(nèi)存測(cè)試：實(shí)驗(yàn)選取STREAM[12]進(jìn)行內(nèi)存測(cè)試. STREAM是一個(gè)組合的基準(zhǔn)測(cè)試，用來(lái)測(cè)試持續(xù)的內(nèi)存帶寬，包含對(duì)內(nèi)存Add, Copy, Scale和Triad 4種操作測(cè)試.

磁盤(pán)I/O測(cè)試：實(shí)驗(yàn)選取IOzone[13]進(jìn)行磁盤(pán)I/O性能測(cè)試. 通過(guò)IOzone測(cè)試不同模式下磁盤(pán)的讀寫(xiě)性能，包含寫(xiě)、讀、重復(fù)讀、重復(fù)寫(xiě)模式下磁盤(pán)I/O性能測(cè)試. 本實(shí)驗(yàn)測(cè)試1 GB的大文件，其中每條記錄大小為8 KB，對(duì)寫(xiě)、讀、重復(fù)讀、重復(fù)寫(xiě)磁盤(pán)性能進(jìn)行測(cè)試.

網(wǎng)絡(luò)性能測(cè)試：實(shí)驗(yàn)選取Netperf[14]進(jìn)行網(wǎng)絡(luò)性能測(cè)試. Netperf工具以Client/Server方式工作，通過(guò)Netserver端偵聽(tīng)Netperf進(jìn)行網(wǎng)絡(luò)性能測(cè)試. 選取與宿主機(jī)同屬一局域網(wǎng)的一物理機(jī)運(yùn)行Netperf的Server端，在實(shí)驗(yàn)物理機(jī)的Native、Docker、OpenVZ和Rkt上分別運(yùn)行Netperf 的Client端進(jìn)行網(wǎng)絡(luò)性能測(cè)試.

2.2.2 隔離性測(cè)試方法

實(shí)驗(yàn)選取StressTests[15]壓力測(cè)試工具，StressTests包含CPU、內(nèi)存、Fork、磁盤(pán)I/O、網(wǎng)絡(luò)方面的壓力測(cè)試程序. 另外，選取Apache Benchmark[16]模擬PaaS應(yīng)用，根據(jù)ab請(qǐng)求所用時(shí)間進(jìn)行定量分析. 在一臺(tái)物理機(jī)上同時(shí)建立5個(gè)虛擬機(jī)(M1, M2, M3, M4, M5)，當(dāng)M1未運(yùn)行StressTests壓力測(cè)試程序時(shí)，在M2, M3, M4, M5上運(yùn)行Apache Benchmark模擬PaaS應(yīng)用，并獲取其平均消耗時(shí)間t1. 當(dāng)M1運(yùn)行壓力測(cè)試程序時(shí)，在M2, M3, M4, M5上運(yùn)行Apache Benchmark模擬PaaS應(yīng)用，并獲取其平均消耗時(shí)間t2. 通過(guò)將(t2-t1)/t1的值百分化，定量分析和評(píng)估各個(gè)虛擬化技術(shù)的隔離性能.

2.2.3 快速性測(cè)試方法

實(shí)驗(yàn)設(shè)計(jì)一個(gè)DefinitionTime Benchmark程序, 該程序分為Server端，Client端，以及輔助程序Hander腳本. 實(shí)驗(yàn)中Server端一直啟動(dòng)，用于接收Client端和輔助程序Hander的Post請(qǐng)求，并記錄請(qǐng)求時(shí)間. 用戶(hù)通過(guò)Hander腳本啟動(dòng)創(chuàng)建虛擬機(jī)，并給Server端發(fā)送Post請(qǐng)求，記錄Post請(qǐng)求時(shí)間t1. 當(dāng)虛擬機(jī)啟動(dòng)創(chuàng)建好時(shí)執(zhí)行Client端，發(fā)送Post請(qǐng)求給Server端，記錄Post請(qǐng)求時(shí)間為t2，(t2-t1)為啟動(dòng)創(chuàng)建一個(gè)可用虛擬機(jī)所需時(shí)間.

3 測(cè)試結(jié)果

3.1 高效性測(cè)試

1) CPU 性能測(cè)試. 實(shí)驗(yàn)結(jié)果如圖1所示，Rkt和Docker的CPU性能和Native基本相同，OpenVZ性能損耗10%，Kvm虛擬機(jī)性能損耗60%. 因?yàn)镽kt和Docker與宿主機(jī)共享CPU，OpenVZ中FairCPU Scheduling需性能損耗，Kvm中Hypervisor層對(duì)CPU指令進(jìn)行轉(zhuǎn)換，性能開(kāi)銷(xiāo)大.

圖1 CPU測(cè)試Fig.1 CPU test

圖2 內(nèi)存測(cè)試Fig.2 Memory test

2) 內(nèi)存測(cè)試. 實(shí)驗(yàn)結(jié)果如圖2所示，Docker虛擬機(jī)的內(nèi)存性能與Native幾乎一樣，Rkt虛擬機(jī)內(nèi)存性能與Native相近，OpenVZ內(nèi)存性能比Kvm略高，Kvm內(nèi)存性能損耗17%. 因?yàn)榛谌萜鞯奶摂M化技術(shù)能返回未使用的內(nèi)存給主機(jī)或其它容器，使得高效地利用內(nèi)存，而基于管理程序的虛擬化層執(zhí)行內(nèi)存訪問(wèn)指令的轉(zhuǎn)換消耗，造成性能損失.

3) 磁盤(pán)I/O測(cè)試. 實(shí)驗(yàn)結(jié)果如圖3所示，Rkt磁盤(pán)性能與本地最接近，Docker磁盤(pán)性能與OpenVZ磁盤(pán)性能相似，但是在Read時(shí)Docker與OpenVZ性能消耗較多，Kvm性能最差. 因?yàn)镽kt文件系統(tǒng)是基于Pod創(chuàng)建，Docker基于AUFS文件系統(tǒng)，實(shí)現(xiàn)鏡像的寫(xiě)時(shí)復(fù)制，OpenVZ中Disk Quotas需性能損耗，Kvm在管理層需對(duì)磁盤(pán)I/O命令進(jìn)行轉(zhuǎn)換，性能消耗大.

4) 網(wǎng)絡(luò)性能測(cè)試. 實(shí)驗(yàn)結(jié)果如圖4所示，Docker，OpenVZ和Rkt在網(wǎng)絡(luò)TCP方面的性能與本地接近，因?yàn)檩p量級(jí)虛擬化在網(wǎng)絡(luò)方面支持都不強(qiáng)，基本都是使用本地I/O. Kvm在網(wǎng)絡(luò)方面的性能開(kāi)銷(xiāo)較大，由于Kvm中獨(dú)立于主機(jī)的網(wǎng)絡(luò)I/O，設(shè)備驅(qū)動(dòng)需要基于硬件的虛擬化層提供支持，訪問(wèn)網(wǎng)絡(luò)I/O需要經(jīng)過(guò)一系列轉(zhuǎn)換才能執(zhí)行.

圖3 磁盤(pán)I/O測(cè)試Fig.3 Disk I/O test

圖4 網(wǎng)絡(luò)性能測(cè)試Fig.4 Network performance test

高效性性能測(cè)試結(jié)果表明，PaaS平臺(tái)應(yīng)用對(duì)CPU性能有高要求時(shí)適合選擇基于Rkt的PaaS云平臺(tái)，對(duì)內(nèi)存性能有高要求時(shí)適合選擇基于Docker的PaaS云平臺(tái)，對(duì)磁盤(pán)I/O有高要求時(shí)可以適合選擇基于Rkt的PaaS平臺(tái)，對(duì)TCP發(fā)送性能有高要求時(shí)適合選擇基于Docker的PaaS平臺(tái)，對(duì)TCP接收性能有高要求時(shí)適合選擇基于Rkt的PaaS平臺(tái). 不同輕量級(jí)虛擬化技術(shù)因自身技術(shù)實(shí)現(xiàn)不同，在高效性上的性能測(cè)試表現(xiàn)不同，存在自身的優(yōu)缺點(diǎn)，用戶(hù)可以結(jié)合對(duì)CPU、內(nèi)存、磁盤(pán)I/O、網(wǎng)絡(luò)性能需求，并根據(jù)高效性性能測(cè)試結(jié)果選擇合適PaaS云平臺(tái)解決方案.

3.2 隔離性測(cè)試

表2 壓力測(cè)試結(jié)果

實(shí)驗(yàn)結(jié)果如表2所示，CPU 壓力測(cè)試程序?qū)λ械奶摂M化技術(shù)都沒(méi)有影響，這表明Cgroups下CPU子系統(tǒng)和OpenVZ使用的VCPU Affinity都具有很好的CPU隔離性能. 在內(nèi)存隔離性上，Rkt和Docker都表現(xiàn)不好，而OpenVZ表現(xiàn)較好，說(shuō)明Cgroups下Memory子系統(tǒng)的控制能力沒(méi)有User Beancounters好. 所有輕量級(jí)虛擬化技術(shù)在磁盤(pán)I/O和網(wǎng)絡(luò)I/O壓力測(cè)試程序下都有影響，因?yàn)檩p量級(jí)虛擬化技術(shù)是在操作系統(tǒng)級(jí)別上對(duì)系統(tǒng)內(nèi)核和動(dòng)態(tài)用戶(hù)進(jìn)程進(jìn)行支持的虛擬化技術(shù)，單個(gè)虛擬機(jī)在磁盤(pán)I/O和網(wǎng)絡(luò)I/O壓力下會(huì)對(duì)同宿主機(jī)其它虛擬機(jī)性能表現(xiàn)有影響. Fork Bomb是一個(gè)經(jīng)典的循環(huán)創(chuàng)建子進(jìn)程的測(cè)試程序，它會(huì)一直創(chuàng)建進(jìn)程，直到?jīng)]有可用資源. Fork Bomb的實(shí)驗(yàn)結(jié)果表明Rkt和Docker存在一定的安全問(wèn)題，因?yàn)镃groups不能限制容器中的進(jìn)程總數(shù). 通過(guò)實(shí)驗(yàn)結(jié)果分析可知Kvm的隔離性比較好，因?yàn)镵vm虛擬機(jī)不與主機(jī)共享操作系統(tǒng)內(nèi)核，適合對(duì)內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)隔離性有高要求的應(yīng)用部署.

隔離性測(cè)試結(jié)果表明，OpenVZ是輕量級(jí)虛擬化技術(shù)中隔離性最好的，適合用于對(duì)隔離性有較高要求的PaaS平臺(tái)構(gòu)建. 對(duì)于輕量級(jí)虛擬化技術(shù)在隔離性上的不足，用戶(hù)可以通過(guò)減少宿主機(jī)上虛擬機(jī)的個(gè)數(shù)來(lái)減緩對(duì)隔離性的影響，使用戶(hù)可以利用輕量級(jí)虛擬化技術(shù)的優(yōu)勢(shì)，同時(shí)彌補(bǔ)隔離性方面的不足.

3.3 快速性測(cè)試

表3 快速性測(cè)試結(jié)果

實(shí)驗(yàn)結(jié)果如表3，Docker可以在0.1秒級(jí)啟動(dòng)創(chuàng)建一個(gè)虛擬機(jī)，因?yàn)镈ocker是基于系統(tǒng)內(nèi)核Cgroups和Namespaces實(shí)現(xiàn). Rkt虛擬機(jī)創(chuàng)建時(shí)間比Docker稍慢，因?yàn)镈ocker容器進(jìn)程由Docker Daemon守護(hù)進(jìn)程接收命令工具消息進(jìn)行Fork創(chuàng)建，Rkt容器進(jìn)程由Rkt命令直接Fork創(chuàng)建，Rkt啟動(dòng)的容器進(jìn)程從屬于執(zhí)行Rkt的SSHD進(jìn)程所在的Cgroups，Docker啟動(dòng)的容器進(jìn)程在一個(gè)獨(dú)立的Cgroups內(nèi). OpenVZ能在10秒級(jí)啟動(dòng)創(chuàng)建，Kvm需要超過(guò)20 s的時(shí)間才能完成，因?yàn)镺penVZ創(chuàng)建虛擬機(jī)時(shí)需要鏡像拷貝，而Kvm虛擬機(jī)有獨(dú)立系統(tǒng)內(nèi)核，需要時(shí)間進(jìn)行鏡像加載和系統(tǒng)初始化.

快速性測(cè)試結(jié)果表明，Docker具有最好的快速性，適合用于對(duì)快速性有高要求的PaaS平臺(tái)構(gòu)建. 對(duì)于其它虛擬化技術(shù)在快速性方面的不足，用戶(hù)可以通過(guò)提升宿主機(jī)硬件的方式提升快速性性能.

4 結(jié)語(yǔ)

分析Docker，OpenVZ和Rkt輕量級(jí)虛擬化技術(shù)在資源控制和隔離方面的技術(shù)實(shí)現(xiàn)，并對(duì)它們?cè)诟咝?，隔離性和快速性方面進(jìn)行測(cè)評(píng). 實(shí)驗(yàn)表明，OpenVZ具有較好的高效性，良好的隔離性，但快速性較差，適合對(duì)隔離性有高要求的PaaS場(chǎng)景； Docker具有很好的高效性，隔離性較弱，最好的快速性，適合對(duì)快速性和高效性有高要求的PaaS場(chǎng)景； Rkt具有最好的高效性，隔離性很弱，最好的快速性，適合對(duì)高效性有很高要求的PaaS場(chǎng)景； Kvm具有強(qiáng)隔離性，高效性和快速性表現(xiàn)較差，適合對(duì)隔離性有很高要求的場(chǎng)景. 研究結(jié)果對(duì)PaaS平臺(tái)輕量級(jí)虛擬化技術(shù)選型具有重要參考意義.

隨著基于輕量級(jí)虛擬化的PaaS云平臺(tái)的高速發(fā)展，傳統(tǒng)應(yīng)用部署難、遷移難、維護(hù)難等問(wèn)題的日益突出，越來(lái)越多大數(shù)據(jù)相關(guān)應(yīng)用開(kāi)始部署在基于輕量級(jí)虛擬化技術(shù)構(gòu)建的PaaS平臺(tái)上. 利用本文對(duì)面向PaaS平臺(tái)的輕量級(jí)虛擬化技術(shù)的研究成果，用戶(hù)可以根據(jù)應(yīng)用在高效性、隔離性、快速性上的權(quán)重選擇合適的PaaS平臺(tái). 例如，分布式計(jì)算框架對(duì)高效性和快速性要求高，適合將計(jì)算框架打包成Rkt鏡像，使計(jì)算框架可以在基于Rkt的PaaS平臺(tái)上大規(guī)模快速啟動(dòng)部署與快速停止部署； 企業(yè)門(mén)戶(hù)網(wǎng)站對(duì)穩(wěn)定性要求高，高效性要求弱，為了減少應(yīng)用部署在PaaS平臺(tái)上其它服務(wù)對(duì)其干擾，對(duì)隔離性有一定要求，適合選擇基于OpenVZ構(gòu)建的PaaS平臺(tái)進(jìn)行部署.

未來(lái)工作將研究測(cè)試不同宿主機(jī)操作系統(tǒng)中各輕量級(jí)虛擬化技術(shù)的性能表現(xiàn)，并針對(duì)Docker中不同文件管理系統(tǒng)中的各項(xiàng)性能進(jìn)行評(píng)測(cè)，對(duì)Rkt中不同隔離機(jī)制下的性能表現(xiàn)進(jìn)行對(duì)比分析.

[1] 林闖，蘇文博，孟坤，等． 云計(jì)算安全：架構(gòu)，機(jī)制與模型評(píng)價(jià)[J]. 計(jì)算機(jī)學(xué)報(bào)，2013，36(9)：1 765-1 784.

[2] 王亞玲，李春陽(yáng)，崔蔚，等. 基于 Docker 的 PaaS 平臺(tái)建設(shè)[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2016，25(3)：72-77.

[3] MORABITO R. A performance evaluation of container technologies on Internet of things devices[C]//Computer Communications Workshops. San Francisco ：IEEE，2016：999-1 000.

[4] 于燁，李斌，劉思堯. Docker 技術(shù)的移植性分析研究[J]. 軟件，2015 (7)：57-60.

[5] 龔正，吳治輝，葉伙榮, 等. Kubernetes權(quán)威指南：從Docker到Kubernetes實(shí)踐全接觸[M]. 北京: 電子工業(yè)出版社, 2016.

[6] Rkt 官方幫助文檔[EB/OL]. (2014-11-27)[2016-04-01]. https://www.coreos.com/rkt/.

[7] BABU A，HAREESH M J，MARTIN J P，etal. System performance evaluation of para virtualization, container virtualization, and full virtualization using xen, openvz, and xenserver[C]//Advances in Computing and Communications. Cochin：IEEE，2014：247-250.

[8] FELTER W，F(xiàn)ERREIRA A，RAJAMONY R，etal. An updated performance comparison of virtual machines and linux containers[C]//Performance Analysis of Systems and Software. Philadelphia：IEEE，2015：171-172.

[9] 任永杰. KVM虛擬化技術(shù)實(shí)戰(zhàn)與原理解析[M]. 北京：機(jī)械工業(yè)出版社，2013.

[10] 中國(guó)存儲(chǔ)網(wǎng). 三大容器之戰(zhàn)Docker、Rocket/Rkt 和OpenVZ/Odin[EB/OL]. (2015-08-14)[2016-06-18]. http://www.chinastor.com/a/jishu/docker/0Q41A2H015.html.

[11] Intel? Optimized LINPACK官網(wǎng)[EB/OL]. (2013-09-27)[2016-04-16]. https://www.software.intel.com/zh-cn/articles/intel-mkl-benchmarks-suite.

[12] STREAM官網(wǎng)[EB/OL]. (2016-02-22)[2016-04-17]. http://www.cs.virginia.edu/stream/.

[13] IOzone[EB/OL]. (2016-01-23)[2016-04-26]. http://www.iozone.org/.

[14] Netperf[EB/OL]. (2015-06-21)[2016-05-10]. http://www.netperf.org/netperf/.

[15] StressTests[EB/OL]. (2007-01-14)[2016-05-16]. http://www.web2.clarkson.edu/class/cs644/isolation/index.html.

[16] Apache Benchmark[EB/OL]. (2015-12-20)[2016-05-29]. http://www.httpd.apache.org/.