劉維，楊攀飛，陳玥同

（基礎(chǔ)軟硬件性能與可靠性測(cè)評(píng)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室工業(yè)和信息化部電子第五研究所，廣州 511300）

0 引言

在“互聯(lián)網(wǎng)+”國家戰(zhàn)略的驅(qū)動(dòng)下，云計(jì)算［1］逐漸成為互聯(lián)網(wǎng)領(lǐng)域主流的計(jì)算模式，是信息技術(shù)發(fā)展和服務(wù)模式創(chuàng)新的集中體現(xiàn)。云計(jì)算的核心理念是資源租用、應(yīng)用托管和服務(wù)外包，將硬件基礎(chǔ)設(shè)施、開發(fā)平臺(tái)、應(yīng)用軟件、網(wǎng)絡(luò)帶寬等資源整合在云端服務(wù)器，通過虛擬化技術(shù)［2］將分布的計(jì)算節(jié)點(diǎn)組成一個(gè)共享的虛擬化池，為用戶提供按需租用的計(jì)算資源和可靠穩(wěn)定的云服務(wù)。云計(jì)算已成為承載各類應(yīng)用的關(guān)鍵基礎(chǔ)設(shè)施，為大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等新興領(lǐng)域的發(fā)展提供基礎(chǔ)支撐。

近年來，國內(nèi)外云計(jì)算技術(shù)發(fā)展迅速，很多公司都向云計(jì)算領(lǐng)域投入了資本與技術(shù)力量，向用戶提供虛擬網(wǎng)絡(luò)、云服務(wù)器、云存儲(chǔ)［3］等服務(wù)，主流的云服務(wù)提供商包括亞馬遜、微軟、阿里云、騰訊云等，主流的云服務(wù)形態(tài)包含私有云、公有云、混合云等。在國際上，頗具影響力的公司和組織均已推出了自己的IaaS［4］云平臺(tái)的測(cè)試基準(zhǔn)。不同的測(cè)試基準(zhǔn)各有特色，其測(cè)試指標(biāo)和測(cè)試基準(zhǔn)都不盡相同甚至大相徑庭。極具有代表性的云測(cè)試基準(zhǔn)有：基于BUNGEE Cloud Ealastic?ity Benchmark的虛擬機(jī)測(cè)試基準(zhǔn)［5］、VMmark云平臺(tái)測(cè)評(píng)基準(zhǔn)［6］、SPECvirt_sc 2010［7］、Perfkit Benchmarker（PKB）［8］以及SPEC Cloud Benchmark。

在國內(nèi)，基于Wintel體系的國內(nèi)云計(jì)算廠商大多基于開源成果（如Open Stack［9］）做定制開發(fā)或直接采購商用服務(wù)，將更多精力放在產(chǎn)品的優(yōu)化開發(fā)及市場推廣，缺乏測(cè)試技術(shù)研究及測(cè)評(píng)工具研制，基本依賴國際成果。基于國產(chǎn)基礎(chǔ)軟硬件平臺(tái)的國產(chǎn)云計(jì)算廠商技術(shù)水平與產(chǎn)品質(zhì)量參差不齊，據(jù)調(diào)研，國產(chǎn)服務(wù)器虛擬化軟件廠商約30家、國產(chǎn)容器云平臺(tái)軟件廠商約33家、云管理軟件廠商約39家、云桌面軟件廠商約27家，技術(shù)研究條塊狀、碎片化、重復(fù)化嚴(yán)重，沒有形成產(chǎn)業(yè)創(chuàng)新鏈條，在測(cè)試技術(shù)研究及自主工具研制方面尚未形成研發(fā)合力。再加上，當(dāng)前國產(chǎn)基礎(chǔ)平臺(tái)存在多條不同的技術(shù)路線，且無標(biāo)準(zhǔn)可依、無工具可用，對(duì)基于不同基礎(chǔ)平臺(tái)的IaaS平臺(tái)的服務(wù)能力無法進(jìn)行評(píng)估（如可提供多少用戶并發(fā)、可部署幾套系統(tǒng)等），導(dǎo)致信息化建設(shè)中設(shè)備采購無測(cè)算依據(jù)，國產(chǎn)IaaS云平臺(tái)的選型無有力判據(jù)。

基于上述問題，本文提出了一套基于國產(chǎn)IaaS云平臺(tái)系統(tǒng)的上云/遷云測(cè)試指標(biāo)評(píng)估體系，包含國產(chǎn)虛擬化云平臺(tái)、容器云平臺(tái)、桌面云性能測(cè)評(píng)指標(biāo)體系，實(shí)現(xiàn)對(duì)國產(chǎn)IaaS平臺(tái)計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等資源的性能隔離性測(cè)試，以及可靠性測(cè)試和服務(wù)能力評(píng)估，可有效支撐“信創(chuàng)云”［10］生態(tài)產(chǎn)品質(zhì)量測(cè)評(píng)服務(wù)。

1 測(cè)評(píng)指標(biāo)研究與基準(zhǔn)設(shè)計(jì)

通過研究虛擬化云平臺(tái)、容器云平臺(tái)、桌面云系統(tǒng)的技術(shù)特點(diǎn)，分別制定不同云平臺(tái)下云主機(jī)、云平臺(tái)并發(fā)、云存儲(chǔ)、云網(wǎng)絡(luò)等的性能測(cè)試指標(biāo)體系，涵蓋硬件虛擬化性能指標(biāo)、虛擬化云平臺(tái)性能測(cè)試指標(biāo)、容器云平臺(tái)性能測(cè)試指標(biāo)、桌面云性能測(cè)試指標(biāo)共4個(gè)大類14個(gè)小類140余項(xiàng)指標(biāo)，指標(biāo)基準(zhǔn)大類及具體細(xì)則如表1所示。

表1 指標(biāo)類別及細(xì)則

續(xù)表1

1.1 硬件虛擬化性能測(cè)評(píng)基準(zhǔn)研究及設(shè)計(jì)

虛擬化技術(shù)是云平臺(tái)構(gòu)建的核心，被廣泛用于計(jì)算領(lǐng)域中資源按需分配的配置與管理。虛擬化技術(shù)的基本特點(diǎn)是實(shí)現(xiàn)資源的優(yōu)化分配、虛擬環(huán)境的等價(jià)執(zhí)行、性能效率的明顯提升，以及資源的高可用。由于云平臺(tái)需要各種管理軟件和虛擬化軟件等額外的應(yīng)用，與同等配置的物理機(jī)相比，虛擬機(jī)的性能會(huì)有一定損失，因此需要通過對(duì)相近配置的虛擬機(jī)和物理機(jī)進(jìn)行多項(xiàng)對(duì)比測(cè)試來考察性能損耗，如表2所示。

表2 硬件虛擬化性能指標(biāo)權(quán)重表

根據(jù)業(yè)務(wù)場景靈活設(shè)置每項(xiàng)測(cè)試指標(biāo)的權(quán)重值，拉齊各測(cè)試項(xiàng)單位，硬件虛擬化性能測(cè)評(píng)得分見公式（1）。本文設(shè)置權(quán)重1為45%、權(quán)重2為10%、權(quán)重3為5%、權(quán)重4為25%、權(quán)重5為15%。

1.2 虛擬化云平臺(tái)性能測(cè)評(píng)基準(zhǔn)

云平臺(tái)是由搭載了云平臺(tái)服務(wù)器端軟件的云服務(wù)器、搭載了云平臺(tái)客戶端軟件的云電腦以及網(wǎng)絡(luò)組件所構(gòu)成的，用于提高低配置或老舊計(jì)算機(jī)的綜合性能，使其達(dá)到現(xiàn)有流行速度的效果。在實(shí)際生產(chǎn)環(huán)境中，云平臺(tái)動(dòng)態(tài)管理和調(diào)度虛擬資源，為上層應(yīng)用服務(wù)提供支持，如表3所示。

表3 虛擬云平臺(tái)性能指標(biāo)權(quán)重表

云平臺(tái)基本操作性能反映了云平臺(tái)的基本能力，會(huì)影響云平臺(tái)動(dòng)態(tài)擴(kuò)展、彈性伸縮及故障恢

復(fù)等高級(jí)特性，是實(shí)現(xiàn)云平臺(tái)競爭力的重要基礎(chǔ)；SPEC Cloud ? IaaS 2018是目前最新的SPEC Cloud云計(jì)算平臺(tái)基準(zhǔn)測(cè)試，具有完備的云計(jì)算平臺(tái)級(jí)性能測(cè)試能力，本文選用其作為國產(chǎn)IaaS云平臺(tái)基礎(chǔ)設(shè)施性能測(cè)試指標(biāo)；虛擬機(jī)作為云平臺(tái)提供的主要虛擬資源，其主要性能指標(biāo)為處理器性能、內(nèi)存性能、硬盤性能、網(wǎng)絡(luò)性能以及虛擬機(jī)整體性能五個(gè)方面，需要考慮多個(gè)虛擬機(jī)進(jìn)行共同作業(yè)時(shí)的性能隔離性。

續(xù)表3

根據(jù)業(yè)務(wù)場景靈活設(shè)置每項(xiàng)測(cè)試指標(biāo)的權(quán)重值，拉齊各測(cè)試項(xiàng)單位，虛擬云平臺(tái)性能測(cè)評(píng)得分見公式（2），本文設(shè)置權(quán)重1為15%、權(quán)重2為20%、權(quán)重3為35%、權(quán)重4為5%、權(quán)重5為25%。

1.3 容器云平臺(tái)性能測(cè)評(píng)基準(zhǔn)

根據(jù)容器云的特性，本文選取單個(gè)/多個(gè)容器啟動(dòng)耗時(shí)、單個(gè)/多個(gè)容器關(guān)閉/殺掉耗時(shí)、容器服務(wù)時(shí)效感知時(shí)間作為度量容器云平臺(tái)基本操作性能指標(biāo)；容器鏡像作為云平臺(tái)提供的主要虛擬資源，其主要性能指標(biāo)為處理器性能、內(nèi)存性能、硬盤性能、網(wǎng)絡(luò)性能以及虛擬機(jī)整體性能五個(gè)方面，同樣需要考慮多個(gè)微服務(wù)進(jìn)行共同作業(yè)時(shí)的性能隔離性，如表4所示。

表4 容器云性能指標(biāo)權(quán)重表

根據(jù)業(yè)務(wù)場景靈活設(shè)置每項(xiàng)測(cè)試指標(biāo)的權(quán)重值，拉齊各測(cè)試項(xiàng)單位，容器云性能測(cè)評(píng)得分見公式（3），本文設(shè)置權(quán)重1為20%、權(quán)重2為30%、權(quán)重3為50%。

1.4 桌面云性能測(cè)評(píng)基準(zhǔn)

根據(jù)桌面云的特性，本文選取單個(gè)鏡像發(fā)放擬桌面遷移、虛擬桌面幀率作為用戶體驗(yàn)性能指標(biāo)，如表5所示。一臺(tái)/多臺(tái)虛擬桌面耗時(shí)、單個(gè)/多個(gè)虛擬桌面啟動(dòng)耗時(shí)、虛擬桌面連接耗時(shí)作為度量桌面云平臺(tái)基本操作性能指標(biāo)；主要考量網(wǎng)絡(luò)傳輸帶寬、虛

續(xù)表4

表5 桌面云性能指標(biāo)權(quán)重表

根據(jù)業(yè)務(wù)場景靈活設(shè)置每項(xiàng)測(cè)試指標(biāo)的權(quán)重值，拉齊各測(cè)試項(xiàng)單位，桌面云性能測(cè)評(píng)得分見公式（4），本文設(shè)置權(quán)重1為20%、權(quán)重2為80%。

續(xù)表5

2 應(yīng)用驗(yàn)證

保證測(cè)評(píng)結(jié)果的公平、公正，本文對(duì)測(cè)評(píng)對(duì)象、測(cè)評(píng)范圍、測(cè)評(píng)環(huán)境進(jìn)行約束：

（1）測(cè)評(píng)對(duì)象。本文中描述的信創(chuàng)云測(cè)評(píng)對(duì)象包括虛擬云平臺(tái)、容器云平臺(tái)、桌面云，適用于公用云、私有云、混合云的測(cè)評(píng)。

（2）測(cè)評(píng)范圍。測(cè)評(píng)指標(biāo)體系僅涵蓋IaaS層云平臺(tái)相關(guān)的性能指標(biāo)，尚未涵蓋PaaS層、SaaS層相關(guān)內(nèi)容。

（3）測(cè)評(píng)環(huán)境。已完成國產(chǎn)主流硬件的適配驗(yàn)證，適用于基于龍芯、飛騰、鯤鵬、海光、兆芯等硬件為底座的云平臺(tái)。測(cè)評(píng)環(huán)境如圖1所示。

圖1 國產(chǎn)IaaS云平臺(tái)性能測(cè)評(píng)測(cè)試環(huán)境

2.1 基于靈活可定制負(fù)載模型的國產(chǎn)IaaS平臺(tái)性能隔離性測(cè)試

IaaS云計(jì)算平臺(tái)面對(duì)多種多樣的業(yè)務(wù)，IaaS云服務(wù)商需要對(duì)計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)資源管理進(jìn)行優(yōu)化，而虛擬機(jī)則是多種資源的集合體。虛擬機(jī)性能的優(yōu)劣，體現(xiàn)了IaaS云服務(wù)的水平。因此，在進(jìn)行性能隔離性測(cè)試時(shí)，對(duì)虛擬機(jī)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源進(jìn)行測(cè)試，主要體現(xiàn)是對(duì)CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤的性能進(jìn)行隔離性測(cè)試。

本文基于提出的國產(chǎn)IaaS云平臺(tái)性能測(cè)試基準(zhǔn)，設(shè)計(jì)靈活可定制負(fù)載模型的國產(chǎn)IaaS平臺(tái)性能隔離性測(cè)試，其主要思想是：①從大量虛擬機(jī)中選取一臺(tái)虛擬機(jī)進(jìn)行性能測(cè)試，期間其它虛擬機(jī)不進(jìn)行性能測(cè)試或其它負(fù)載測(cè)試；②大量虛擬機(jī)在同一時(shí)刻進(jìn)行性能測(cè)試，將兩種測(cè)試得到的測(cè)試結(jié)果進(jìn)行對(duì)比分析，分析IaaS性能隔離性的優(yōu)劣。

各類型性能隔離性測(cè)試主要分為兩種情況：一種情況是在不同時(shí)間測(cè)出每臺(tái)虛擬機(jī)的性能（分別為CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤等的性能），期間其他虛擬化不進(jìn)行相關(guān)負(fù)載運(yùn)算；另一種情況是大量虛擬機(jī)在同一時(shí)刻測(cè)試所有虛擬機(jī)的性能（分別為CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤等的性能）。對(duì)CPU性能測(cè)試主要關(guān)注CPU的并行計(jì)算性能、計(jì)算圓周率性能、素?cái)?shù)加法運(yùn)算性能，以及浮點(diǎn)預(yù)算性能等；內(nèi)存測(cè)試主要關(guān)注內(nèi)存帶寬、內(nèi)存延時(shí)等指標(biāo)；磁盤I/O性隔離性測(cè)試主要關(guān)注磁盤讀、寫、隨機(jī)讀、隨機(jī)寫等指標(biāo)；網(wǎng)絡(luò)性能隔離性測(cè)試主要關(guān)注網(wǎng)絡(luò)帶寬及吞吐量、響應(yīng)時(shí)間及延遲等指標(biāo)。

2.2 基于分布式Web系統(tǒng)中間件構(gòu)建典型業(yè)務(wù)負(fù)載場景的國產(chǎn)IaaS平臺(tái)服務(wù)能力評(píng)估

結(jié)合當(dāng)前“信創(chuàng)云”工程實(shí)施特點(diǎn)，本文提出基于分布式Web系統(tǒng)中間件，通過構(gòu)建典型業(yè)務(wù)負(fù)載場景，對(duì)云平臺(tái)的性能進(jìn)行全方位的測(cè)試，通過模擬真實(shí)業(yè)務(wù)場景負(fù)載，評(píng)估國產(chǎn)IaaS平臺(tái)可提供服務(wù)（可支撐的并發(fā)用戶數(shù)、吞吐量、響應(yīng)時(shí)間等）的能力。

基于分布式Web系統(tǒng)中間件的負(fù)載測(cè)試系統(tǒng)主要包括：分布式Web系統(tǒng)中間件、國產(chǎn)關(guān)系型數(shù)據(jù)庫、典型業(yè)務(wù)模型、測(cè)試引擎。其中典型負(fù)載模型選取接近真實(shí)使用場景的交易型業(yè)務(wù)模型。測(cè)試引擎中的測(cè)試負(fù)載的選擇需要根據(jù)實(shí)際業(yè)務(wù)場景為被測(cè)試云平臺(tái)添加多樣化、全方位的工作負(fù)載。測(cè)試負(fù)載模塊提供圖形化測(cè)試管理端，提供測(cè)試條件配置，如：提供測(cè)試連接配置、負(fù)載因子、并發(fā)數(shù)、會(huì)話數(shù)、測(cè)試持續(xù)時(shí)間、預(yù)熱時(shí)間、請(qǐng)求頻次和思考時(shí)間等。測(cè)試負(fù)載模塊用于提供的負(fù)載測(cè)試執(zhí)行計(jì)劃，支持多線程框架，保證多個(gè)線程并發(fā)訪問和取樣能力，提供對(duì)測(cè)試執(zhí)行的訪問結(jié)果回傳測(cè)試管理端的能力，并支持多種協(xié)議的模擬訪問（如HTTP、HTTPS、FTP、Database/JDBC等）。測(cè)試引擎中的測(cè)試結(jié)果分析模塊提供測(cè)試結(jié)果的統(tǒng)計(jì)匯總展示，提供并發(fā)數(shù)、總吞吐量、平均每秒吞吐量、總請(qǐng)求數(shù)、平均每秒請(qǐng)求數(shù)的統(tǒng)計(jì)值，以及提供事務(wù)平均響應(yīng)時(shí)間及通過率。綜上，根據(jù)設(shè)置的負(fù)載模型，以及測(cè)試結(jié)果，即可評(píng)估出該國產(chǎn)IaaS平臺(tái)的服務(wù)能力，為國產(chǎn)IaaS產(chǎn)品的選型及設(shè)備采購提供有力評(píng)判手段。

3 結(jié)語

在政府積極引導(dǎo)和企業(yè)戰(zhàn)略布局的推動(dòng)下，基于國產(chǎn)IaaS平臺(tái)的信息化基礎(chǔ)設(shè)施建設(shè)已成為加快信息化全領(lǐng)域的國產(chǎn)化安全替代優(yōu)選方案。本文提出的一種基于國產(chǎn)IaaS云平臺(tái)的性能測(cè)試基準(zhǔn)，在國產(chǎn)云計(jì)算領(lǐng)域處于不斷完善的時(shí)期，填補(bǔ)了國內(nèi)IaaS云平臺(tái)性能測(cè)評(píng)指標(biāo)體系的空白，通過制定基于靈活可定制負(fù)載模型，實(shí)現(xiàn)對(duì)國產(chǎn)IaaS平臺(tái)計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等資源的性能隔離性測(cè)試；通過采用基于分布式Web系統(tǒng)中間件構(gòu)建典型業(yè)務(wù)負(fù)載場景，實(shí)現(xiàn)對(duì)國產(chǎn)IaaS云平臺(tái)可靠性測(cè)試和服務(wù)能力的評(píng)估，解決了當(dāng)前國產(chǎn)IaaS云平臺(tái)的性能測(cè)試無標(biāo)準(zhǔn)、壓力測(cè)試無工具、上云效果無法評(píng)價(jià)、遷移效果無法對(duì)比的棘手問題，對(duì)于產(chǎn)品質(zhì)量的提升與產(chǎn)業(yè)良性發(fā)展都有一定的積極作用。