孫磊，李帥，郭松輝

（信息工程大學(xué)，河南 鄭州 450001）

1 引言

近年來，云計算憑借其強大的計算和存儲能力逐漸在產(chǎn)業(yè)界得到廣泛應(yīng)用[1]。隨著云計算的快速發(fā)展，其應(yīng)用也逐漸在軍事、電子商務(wù)和電子政務(wù)等領(lǐng)域得到推廣，而同時云計算也面臨為敏感信息提供機密性、完整性和真實性等保護的迫切需求。通過部署密碼服務(wù)器，利用虛擬化技術(shù)為用戶提供密碼運算服務(wù)，是目前廣泛使用的密碼服務(wù)保障模式[2]。

密碼服務(wù)器通過外接密碼設(shè)備為用戶提供密碼運算服務(wù)，密碼設(shè)備處理密碼任務(wù)不僅要求運算的正確性，還要求任務(wù)處理的實時性[3]。在虛擬化環(huán)境下，由虛擬密碼機（VCM，virtual cipher machine）（為用戶提供密碼服務(wù)的虛擬機）[4]發(fā)出的密碼運算請求以中斷的方式通知密碼設(shè)備，然而在整個中斷傳輸?shù)倪^程中存在較大延遲，這是由于虛擬機監(jiān)控器（VMM，virtual machine monitor）會截獲相應(yīng)的中斷，觸發(fā)VM-exit造成的。單根I/O虛擬化技術(shù)（SR-IOV，single-root I/O virtualization）[5]是一種硬件輔助虛擬化技術(shù)，該技術(shù)借鑒Passthrough I/O傳輸方式[6]，在數(shù)據(jù)傳輸過程中繞過VMM，并通過輸入/輸出內(nèi)存管理單元（IOMMU，input/output memory management unit）減少了存儲保護和地址轉(zhuǎn)換的開銷，大大提高了傳輸效率[7]。然而，虛擬中斷請求仍然會被VMM 截獲，其傳輸過程造成多次上下文切換，使在中斷密集時，密碼設(shè)備不能及時處理密碼運算任務(wù)，降低了密碼運算的效率。而且，當(dāng)云中用戶對加密服務(wù)的請求在同一時間過多時會產(chǎn)生大量不可預(yù)測的中斷請求，導(dǎo)致密碼設(shè)備外部中斷請求過多，嚴(yán)重影響了密碼設(shè)備處理密碼運算的能力，增大了系統(tǒng)開銷[8]。

針對SR-IOV設(shè)備中斷的問題，國內(nèi)外學(xué)者進行了大量研究。Dong等[9]在 2010年指出了SR-IOV中斷引起的性能降低問題，在對SR-IOV中斷優(yōu)化的過程中，上海交通大學(xué)管海兵團隊先后提出了中斷聚集方法[10]、基于事件的輪詢方法[11]和一種自適應(yīng)中斷頻率控制方法[12]，這3種方法分別從優(yōu)化中斷頻率和消除VM-exit入手來提高系統(tǒng)性能。然而，中斷聚集方法和自適應(yīng)中斷頻率控制方法需要考慮多方面因素，因為中斷聚集意味著每次中斷帶來的數(shù)據(jù)量較大，可能會導(dǎo)致數(shù)據(jù)丟失，且中斷聚集引起的中斷頻率的減少可能會帶來更高的延遲，這在高速網(wǎng)絡(luò)傳輸過程中是非常嚴(yán)重的問題。而采用基于事件的輪詢方法是以虛擬中斷注入作為輪詢起點，這是一條更長的代碼路徑，會造成額外開銷。國外學(xué)者Gordon等[13]提出了一種更少中斷退出的機制（ELI，exit-less interrupt），該機制采用軟件模擬的方式在客戶虛擬機內(nèi)建立影子中斷描述符表（IDT，interrupt description table），可實現(xiàn)客戶機直接處理中斷，但ELI只允許影子IDT直接處理已經(jīng)分配的設(shè)備中斷，其他中斷仍需要主機的介入，云環(huán)境下中斷請求復(fù)雜多樣，該方法顯然具有一定的局限性。Tu等[14]提出了一種直接中斷傳輸?shù)姆椒ǎ―ID，direct interrupt delivery），該方法通過清除虛擬機控制結(jié)構(gòu)中的外部中斷控制位來禁止VM-exit，可能會導(dǎo)致中斷的錯誤處理。從虛擬密碼設(shè)備的角度來說，這種做法會導(dǎo)致密碼運算錯誤，是不可取的。

研究影響 SR-IOV密碼設(shè)備的性能問題必須要考慮密碼任務(wù)的特點，本文以單臺密碼服務(wù)器為例，針對虛擬化環(huán)境下 SR-IOV密碼設(shè)備頻繁產(chǎn)生中斷影響運算性能的問題，根據(jù)密碼任務(wù)先到先服務(wù)的規(guī)則，利用排隊論的知識建立了M/M/1模型，分析了影響SR-IOV密碼設(shè)備密碼運算性能的關(guān)鍵因素，并通過仿真和實驗對比驗證了模型的有效性，最后對系統(tǒng)性能進行了測試。

2 相關(guān)技術(shù)和關(guān)鍵問題

2.1 相關(guān)技術(shù)

云計算環(huán)境的安全體系主要依托密碼技術(shù)來建立，實現(xiàn)密碼運算的載體是各種密碼設(shè)備，傳統(tǒng)的密碼設(shè)備擴展性差，無法滿足云環(huán)境下海量數(shù)據(jù)的密碼服務(wù)需求，虛擬化技術(shù)的出現(xiàn)解決了資源利用率低的問題，通過在云資源中心部署密碼服務(wù)器集群，采用虛擬化技術(shù)為云用戶提供密碼運算服務(wù)，充分提高了密碼設(shè)備資源的利用率[15]。

為了更高效地為云用戶提供密碼運算服務(wù)，考慮到密碼設(shè)備本身是一種物理硬件設(shè)備，通常采用一種硬件輔助虛擬化技術(shù)——SR-IOV技術(shù)實現(xiàn)密碼設(shè)備的虛擬化。其中，SR-IOV是PCI-SIG組織發(fā)布的PCIe規(guī)范的擴展，它借鑒了Passthrough I/O技術(shù)，在數(shù)據(jù)傳輸過程中繞過了VMM，使用IOMMU在虛擬內(nèi)存中直接尋址，減少了存儲保護和地址轉(zhuǎn)換的開銷?；?PCIe規(guī)范，具有SR-IOV功能的設(shè)備可創(chuàng)建多個虛擬功能（VF，virtual function），并且每個SR-IOV設(shè)備具有一個或多個物理功能（PF，physical function），每個PF都是標(biāo)準(zhǔn)的PCIe 功能，且關(guān)聯(lián)多個VF，這些VF均可共享密碼設(shè)備資源[12]。SR-IOV密碼設(shè)備基本架構(gòu)如圖1所示。每個虛擬密碼機對應(yīng)一個VF，VCM和VF之間通過VFIO驅(qū)動進行通信，并且不受VMM干預(yù)。

圖1 SR-IOV密碼設(shè)備基本架構(gòu)

密碼設(shè)備集成了專用密碼運算單元和 CPU模塊，密碼運算單元中集成了對稱加密、不對稱加密、身份驗證、數(shù)字簽名、公開密鑰加密和DH等加密技術(shù)，用戶可以通過相應(yīng)的接口調(diào)用相應(yīng)的密碼算法來實現(xiàn)加密需求。密碼設(shè)備在執(zhí)行密碼運算時，從用戶發(fā)出密碼運算請求開始到密碼設(shè)備執(zhí)行密碼運算結(jié)束，整個運算過程所用的時間長短直接反映了系統(tǒng)處理密碼運算的效率，即高效的密碼運算要求較短的時間。其中，整個密碼運算過程所消耗的時間主要包括 CPU執(zhí)行密碼運算的時間和請求響應(yīng)時間，而CPU執(zhí)行密碼運算的時間由密碼算法復(fù)雜度和CPU頻率決定，取值相對固定。因此，提高密碼運算效率需從減小請求響應(yīng)時間入手。

密碼設(shè)備的請求響應(yīng)是一種I/O傳輸，I/O傳輸?shù)姆绞接胁樵?、輪詢和中?種方式。其中，查詢方式是一種I/O串行方式，該方式存在很大的空閑期，會造成嚴(yán)重的CPU資源浪費。輪詢方式改進為定期查詢完成信號，提高了 CPU利用率，但系統(tǒng)輪詢頻率設(shè)置的高低又帶來其他不可避免的問題。例如，當(dāng)系統(tǒng)設(shè)置較大的輪詢頻率時，輪詢例程被調(diào)用時若系統(tǒng)沒有可用響應(yīng)，會浪費CPU周期，增加卸載成本；如果系統(tǒng)設(shè)置的輪詢頻率過低，就會增加延遲。中斷進一步提高了CPU的使用效率，當(dāng)系統(tǒng)需要處理設(shè)備接收到的新數(shù)據(jù)時，會中斷當(dāng)前任務(wù)轉(zhuǎn)去處理新接收的數(shù)據(jù)，該做法提高了請求響應(yīng)時間，大大提升了系統(tǒng)的利用效率。而且，設(shè)備發(fā)出中斷處理請求后，中斷方式會立刻通知操作系統(tǒng)，而輪詢方式需要下一次輪詢到該設(shè)備時，才會得知這一請求。所以，相比查詢方式和輪詢方式，中斷方式有較小的延遲?？紤]到密碼任務(wù)的實時性要求，即在一定時間內(nèi)系統(tǒng)必須對高優(yōu)先級的任務(wù)做出及時響應(yīng)，而且大多數(shù)實時任務(wù)是靠中斷驅(qū)動的[3]，密碼設(shè)備采用中斷觸發(fā)方式響應(yīng)用戶請求，可滿足密碼任務(wù)實時性的要求。

2.2 關(guān)鍵問題

由 2.1節(jié)的分析可知，用戶發(fā)出的密碼運算請求以中斷的方式通知密碼設(shè)備上相應(yīng)的寄存器，交由密碼運算單元處理密碼任務(wù)。在虛擬化環(huán)境下，由虛擬密碼機發(fā)出的密碼運算請求同樣以中斷的方式通知密碼設(shè)備，然而在整個中斷傳輸?shù)倪^程中有相應(yīng)的延遲，這是由于VMM會截獲相應(yīng)的中斷，觸發(fā)VM-exit事件造成的。VMM截獲中斷信號之后將中斷注入主機內(nèi)核，主機內(nèi)核調(diào)用相關(guān)的函數(shù)接口將密碼請求任務(wù)交給密碼設(shè)備，密碼設(shè)備執(zhí)行完密碼任務(wù)后生成一個完成信號，該信號返回給虛擬機的過程中再次被VMM截獲，觸發(fā)VM-exit事件，引發(fā)EOI寫操作。整個中斷傳輸?shù)倪^程造成多次上下文切換，當(dāng)中斷頻率過大時，頻繁的上下文切換使 cache污染的概率大大提高[9]，嚴(yán)重影響密碼設(shè)備運算性能。物理環(huán)境下和虛擬環(huán)境下的中斷處理過程如圖2和圖3所示。

圖2 物理環(huán)境下的中斷處理過程

由圖2和圖3對比分析知，物理環(huán)境下的中斷處理過程造成了兩次上下文切換，且不存在虛擬機監(jiān)控器的參與；而虛擬環(huán)境下的中斷處理造成了4次上下文切換，且每次VM-exit事件均被VMM 截獲，開銷比物理環(huán)境下大得多。如果將虛擬環(huán)境下中斷的處理過程分成虛擬機處理中斷和VMM介入兩部分，在運行Netperf工作流下，實驗測得兩部分消耗的CPU周期中，由VMM介入所消耗的 CPU周期高達 86%[16]。而且，密碼算法的操作序列比較長，當(dāng)采用密碼算法對一段數(shù)據(jù)進行加密時，一般具有大量重復(fù)的操作。由于VMM截獲中斷的開銷較大，當(dāng)虛擬化環(huán)境下的中斷頻率過多時，會造成更大的開銷，當(dāng)大量的中斷引發(fā)中斷嵌套時，甚至?xí)咏饷苁。瑖?yán)重影響了密碼設(shè)備處理密碼運算的效率。Intel Corporation DH895XCC Series QAT密碼設(shè)備考慮到虛擬機中斷帶來的巨大開銷，采用基于事件的輪詢模式——“Epoll模式”處理響應(yīng)，但該模式只能在用戶空間中使用，內(nèi)核空間部分依然利用中斷模式，如果內(nèi)核中斷有延遲，則會在向用戶空間交付事件時出現(xiàn)相應(yīng)的延遲[11]。因此，在密碼設(shè)備處理密碼運算任務(wù)的過程中，中斷的發(fā)生是必然的，處理中斷所引起的系統(tǒng)開銷也是不可避免的，而系統(tǒng)開銷的大小取決于中斷帶來的延時。在上述的分析中，造成中斷延時的原因主要是中斷處理過程中 VMM的介入和高中斷頻率。

圖3 虛擬環(huán)境下的I/O中斷處理過程

3 模型建立與分析

3.1 模型建立

在單個服務(wù)器上，SR-IOV密碼設(shè)備中斷傳輸過程如圖4所示，主要包括SR-IOV密碼設(shè)備、虛擬密碼機、VMM 和中斷請求隊列。其中，密碼設(shè)備采用SR-IOV技術(shù)將單個物理設(shè)備呈現(xiàn)為一個PF和若干VF。在實際使用時，把每個VF分配給每一個虛擬密碼機，虛擬密碼機通過 VF獲取密碼設(shè)備資源，完成密碼運算操作。由于VF之間相互隔離，因此每臺虛擬密碼機執(zhí)行密碼運算時互不影響。但由于虛擬密碼機共享硬件資源，當(dāng)同一時間內(nèi)，虛擬密碼機發(fā)出大量中斷請求時，會造成主機不能及時處理中斷請求，從而形成中斷請求隊列。在中斷請求隊列中，密碼運算類中斷請求具有同等優(yōu)先級，因此隊列中的中斷請求按照先到先服務(wù)的規(guī)則進行排序。密碼設(shè)備處理完密碼運算后生成一個 EOI信號交由 VMM 處理，處理完成后注入VCM，最終VCM恢復(fù)正常運行。

在SR-IOV密碼設(shè)備中斷傳輸過程中，兩個相鄰中斷請求的時間間隔具有無記憶性，且每個中斷請求之間相互獨立，實際上，系統(tǒng)中斷請求的到達過程具有馬氏性，且兩個相鄰中斷請求時間間隔服從指數(shù)分布。中斷請求進入排隊系統(tǒng)后，系統(tǒng)處理每個中斷請求的時間是獨立同分布的指數(shù)隨機變量，且服從指數(shù)分布。上述中斷請求時間間隔和系統(tǒng)處理每個中斷請求的時間所滿足的概率分布符合排隊論的基本條件[17]，且隊列中的中斷請求按照先到先服務(wù)的規(guī)則進行排序，則針對單個服務(wù)器，密碼服務(wù)系統(tǒng)中每個虛擬密碼機的中斷請求處理過程構(gòu)成了M/M/1排隊模型。

3.2 模型分析

假設(shè)密碼服務(wù)系統(tǒng)中中斷請求的平均到達率為λ，系統(tǒng)處理每個中斷請求的平均服務(wù)率為μ。考慮到密碼服務(wù)系統(tǒng)中中斷請求的隨機性，取中斷請求時間間隔的平均值為Tb，則系統(tǒng)任務(wù)的平均到達率即系統(tǒng)中斷請求頻率。假設(shè)系統(tǒng)中斷請求頻率為I，則λ=I。取系統(tǒng)處理每個中斷請求的平均處理時間為T，則中斷的平均服務(wù)速率為。假設(shè)N(t)表示t時刻系統(tǒng)中斷請求隊列長度，其中包括正在處理的中斷以及隊列中的中斷。對M/M/1排隊模型來說，是一個時間參數(shù)連續(xù)的馬氏鏈，實際上是一個生滅過程，其Q矩陣為

圖4 SR-IOV密碼設(shè)備中斷傳輸過程

根據(jù)Q矩陣，可畫出的狀態(tài)轉(zhuǎn)移圖，如圖5所示。

圖5 系統(tǒng)中斷請求隊長狀態(tài)轉(zhuǎn)移圖

則系統(tǒng)的穩(wěn)態(tài)隊長的分布為

當(dāng)k=n時

其中，ρ為系統(tǒng)服務(wù)強度，且

當(dāng)k取0時，得出系統(tǒng)處于空閑狀態(tài)的概率為

則系統(tǒng)處于繁忙狀態(tài)的概率為

由little公式[18]，系統(tǒng)的平均任務(wù)數(shù)為

在密碼服務(wù)系統(tǒng)中，系統(tǒng)的平均中斷響應(yīng)時間反映了密碼設(shè)備處理中斷請求的效率，它等于從虛擬密碼機發(fā)出中斷請求開始到SR-IOV密碼設(shè)備接收到中斷請求并進入中斷處理程序的時間。在 SR-IOV密碼設(shè)備中斷傳輸過程中，這個時間可分為兩部分：中斷請求的排隊等待時間和中斷請求在系統(tǒng)中的傳輸時間。假設(shè)Tq為中斷請求的排隊等待時間，tT為中斷請求在系統(tǒng)中的傳輸時間，則系統(tǒng)的平均中斷響應(yīng)時間可表示為

在上述性能參考指標(biāo)中，系統(tǒng)服務(wù)強度ρ一般情況下小于 1，即系統(tǒng)處理每個中斷請求的平均處理時間T小于中斷請求時間間隔Tb；若ρ大于 1，顯然系統(tǒng)不能及時處理中斷請求，且隨著時間的推進，系統(tǒng)中斷請求的隊長將趨于無限；若ρ等于 1，則系統(tǒng)一直處于繁忙狀態(tài)，即系統(tǒng)每接收到一個中斷請求信號就馬上處理，處理完畢后又立即處理下一個中斷請求信號，但中斷響應(yīng)都有相應(yīng)的延時，隨著時間的推進，系統(tǒng)中斷請求的隊長也將趨于無限。顯然，在SR-IOV密碼設(shè)備中斷傳輸過程中，ρ大于等于1的情況是不希望發(fā)生的，那么T一定不能超過Tb，且即控制系統(tǒng)中斷請求頻率I不能過大。

在SR-IOV密碼設(shè)備中斷傳輸過程中，系統(tǒng)的中斷響應(yīng)時間直接體現(xiàn)了密碼設(shè)備處理密碼運算的效率。在上述性能參考指標(biāo)中，系統(tǒng)的平均中斷響應(yīng)時間Tr由中斷請求排隊等待時間Tq和中斷請求傳輸時間tT組成，可通過減少Tq和tT降低系統(tǒng)的中斷響應(yīng)時間。減少Tq的本質(zhì)是增大Tb，即降低I。由第2節(jié)分析可知，減少中斷請求傳輸時間tT要從 VMM 入手，即盡可能避免VMM截獲中斷。因此，要提高 SR-IOV密碼設(shè)備密碼運算性能，需從降低系統(tǒng)中斷請求頻率和減少VMM介入入手。

4 驗證與分析

本文采用軟件仿真和實驗測試兩種方式驗證模型的有效性，并對性能特征進行分析。軟件仿真使用Matlab_2016a建立模型，實驗環(huán)境如下。主機和虛擬密碼機操作系統(tǒng)均為 CentOS-7-x86_64-1511，內(nèi)核版本為Linux 3.10.0-327.e17.x86_64，處理器為 Intel(R) Xeon(R) CPU E5-2620 v3@2.40 GHz，CPU核心數(shù)為12核，內(nèi)存大小為128 GB，支持SR-IOV技術(shù)，每臺虛擬密碼機均分配一個vCPU和2 048 MB內(nèi)存，密碼設(shè)備為Intel Corporation DH895XCC Series QAT。

4.1 模型有效性驗證

SR-IOV密碼設(shè)備的VF自身支持中斷頻率上限的設(shè)置，實驗中本文分別設(shè)置VF中斷頻率上限為 1 000、2 000、3 000、4 000、5 000、6 000、7 000、8 000、9 000和10 000，測試了單個虛擬密碼機在相應(yīng)設(shè)置下的中斷響應(yīng)時間，測試結(jié)果與仿真結(jié)果進行對比，結(jié)果如圖6(a)所示。為了測試整個系統(tǒng)的運行隊列長度，本文分別運行1臺、2臺、4臺、8臺和16臺虛擬密碼機，測試系統(tǒng)運行隊列長度，并對仿真結(jié)果進行對比，結(jié)果如圖6(b)所示。圖6表明，實驗結(jié)果與仿真結(jié)果曲線走勢相同，模型有較高的有效性。

4.2 系統(tǒng)性能測試

本節(jié)選取對稱加密算法AES128作為實驗對象，以密碼算法的加密速度作為虛擬密碼機性能參考指標(biāo)，基于crytodev加密框架[18]發(fā)送和接收相關(guān)指令，實現(xiàn)虛擬密碼機與密碼設(shè)備的通信，獲取相應(yīng)的密碼服務(wù)。該加密框架可以測試虛擬密碼機密碼運算速度，其中包含AES128等加密算法。系統(tǒng)性能的各項指標(biāo)由Linux vmstat 命令獲得，該命令可獲得給定時間間隔內(nèi)系統(tǒng)的狀態(tài)值，包括系統(tǒng)隊列長度、系統(tǒng)中斷頻率、系統(tǒng)上下文切換次數(shù)、系統(tǒng) CPU時間和用戶 CPU時間等。其中，系統(tǒng)隊列長度表示當(dāng)前系統(tǒng)正在運行的進程數(shù)目，系統(tǒng)中斷頻率表示每秒CPU的中斷次數(shù)，系統(tǒng)上下文切換次數(shù)主要反映調(diào)用系統(tǒng)函數(shù)的繁忙程度，系統(tǒng)CPU時間和用戶CPU時間主要反映系統(tǒng)I/O操作的繁忙程度。下面分別對單臺虛擬密碼機和多臺虛擬密碼機進行性能測試。

圖6 模型有效性驗證

首先對一臺虛擬密碼機進行測試，在分別運行1個任務(wù)、2個任務(wù)、4個任務(wù)和8個任務(wù)的狀況下，測試虛擬密碼機在輸入加密數(shù)據(jù)分組大小從64 byte變化到65 536 byte11次的加密速度，反復(fù)測試10次求取平均值，測試結(jié)果如圖7(a)所示。圖 7(a)的測試顯示了虛擬密碼機處理單個密碼任務(wù)時，AES128算法對接收到的不同加密字節(jié)塊大小加密速度的變化趨勢。從實驗結(jié)果中可以看出，加密字節(jié)在16 384之前，虛擬密碼機加密速度一直在增大，當(dāng)加密字節(jié)為16 384時，虛擬密碼機加密速度達到最大，當(dāng)加密字節(jié)繼續(xù)增大時，虛擬密碼機加密速度基本無變化甚至出現(xiàn)降低的趨勢。使用vmstat相關(guān)命令獲取系統(tǒng)實時中斷頻率、上下文切換次數(shù)和系統(tǒng)CPU時間，記錄11次采樣結(jié)果。圖7(b)顯示了虛擬密碼機分別運行1個任務(wù)、2個任務(wù)、4個任務(wù)和8個任務(wù)時的每秒中斷頻率，其平均值分別為1 065、1 126、1 173和1 323，說明隨著任務(wù)量增加，系統(tǒng)中斷頻率不斷增大。圖 7(c)顯示了虛擬密碼機分別運行1個任務(wù)、2個任務(wù)、4個任務(wù)和8個任務(wù)時系統(tǒng)的上下文切換次數(shù)，且系統(tǒng)的平均上下文切換次數(shù)為299、345、391和451，說明系統(tǒng)任務(wù)量越大，系統(tǒng)上下文切換次數(shù)越多。圖7(d)顯示了虛擬密碼機分別運行1個任務(wù)、2個任務(wù)、4個任務(wù)和8個任務(wù)時的系統(tǒng)CPU時間，該值基本保持在 85%以上。其中運用 vmstat命令測試得出的系統(tǒng) CPU時間越長，表明系統(tǒng)調(diào)用時間越長，如頻繁的 I/O操作會導(dǎo)致較高的系統(tǒng) CPU時間，這也說明了AES128加密操作屬于I/O密集型的操作。綜合圖7，對于單臺虛擬密碼機來說，密碼任務(wù)越多，運算性能越低，這不僅是由于每個密碼任務(wù)平分物理硬件資源，任務(wù)增加帶來的中斷頻率增大以及上下文切換次數(shù)增大也是導(dǎo)致運算性能降低的主要因素。因為對于同一類密碼任務(wù)來說，多個任務(wù)的加密速度之和總是小于一個任務(wù)的加密速度，且任務(wù)越多差值越大。

圖7 單臺虛擬密碼機性能測試

圖8 多臺虛擬密碼機性能測試

為了測試多臺相同配置的虛擬密碼機同時工作時帶來的性能開銷，分別對1臺、2臺、4臺、8臺和16臺虛擬密碼機同時循環(huán)執(zhí)行AES128加密運算，用vmstat命令每2 s進行一次采樣，記錄15次采樣結(jié)果，篩選出系統(tǒng)運行隊列長度、系統(tǒng)每秒中斷頻率、系統(tǒng)每秒上下文切換次數(shù)和用戶CPU時間，具體結(jié)果如圖 8所示。由圖 8(a)和圖 8(b)可明顯看出，當(dāng)系統(tǒng)中虛擬密碼機數(shù)量增加時，系統(tǒng)運行隊列長度和系統(tǒng)中斷頻率明顯增大，且當(dāng)系統(tǒng)運行16臺虛擬密碼機時，系統(tǒng)運行隊列長度與系統(tǒng)中斷頻率的比值明顯增大，該比值即為中斷請求的排隊等待時間，該結(jié)果驗證了中斷頻率過大使中斷排隊時間變長的結(jié)論。圖8(c)和圖8(d)所示，系統(tǒng)的上下文切換次數(shù)隨虛擬密碼機數(shù)量的增加而增加，用戶CPU時間也隨虛擬密碼機數(shù)量的增加而急劇增加。當(dāng)運行16臺虛擬密碼機時，用戶CPU時間達到100%，說明系統(tǒng)加解密頻繁，CPU繁忙。

綜合上述測試結(jié)果，不管單臺虛擬密碼機還是多臺虛擬密碼機，密碼運算任務(wù)越多，系統(tǒng)中斷頻率和系統(tǒng)上下文切換次數(shù)越多，更多的CPU資源則用來處理系統(tǒng)調(diào)用，致使系統(tǒng) I/O繁忙，密碼任務(wù)的請求響應(yīng)時間變長，進而影響密碼運算的速度，導(dǎo)致加密字節(jié)達到一定值時密碼運算速度呈現(xiàn)降低的趨勢。要提高虛擬密碼機密碼運算速率，就要保證 I/O傳輸?shù)母咝?，控制系統(tǒng)中斷頻率和系統(tǒng)上下文切換次數(shù)可有效提高I/O傳輸能力，因此，影響SR-IOV密碼設(shè)備系統(tǒng)性能的關(guān)鍵因素是中斷頻率和上下文切換次數(shù)。

5 結(jié)束語

本文從SR-IOV密碼設(shè)備相關(guān)技術(shù)入手，分析了中斷是一種有效滿足密碼任務(wù)實時性要求的通信機制，然而也帶來了嚴(yán)重的開銷問題。首先，虛擬環(huán)境下的中斷傳輸機制相比物理環(huán)境下更復(fù)雜，中斷請求在傳輸過程中被VMM兩次截獲，造成嚴(yán)重的上下文切換，增大了系統(tǒng)開銷；其次，當(dāng)虛擬環(huán)境下中斷請求頻率過高時，會嚴(yán)重降低SR-IOV密碼設(shè)備處理密碼運算的能力。本文針對SR-IOV密碼設(shè)備處理密碼任務(wù)的特點建立了M/M/1排隊模型，分析了影響SR-IOV密碼設(shè)備密碼運算性能的因素，通過仿真和實驗兩種方式，對系統(tǒng)隊列長度、系統(tǒng)中斷頻率、系統(tǒng)上下文切換次數(shù)、系統(tǒng)CPU時間和用戶CPU時間進行了測試和分析，并對模型的有效性進行了驗證。結(jié)果表明，本文建立的模型對SR-IOV密碼設(shè)備中斷傳輸過程的分析具有較高的有效性。

本文關(guān)于SR-IOV密碼設(shè)備中斷傳輸過程模型的建立僅適用于某一類密碼服務(wù)的情況，后續(xù)的研究將拓展到密碼云環(huán)境，對密碼云環(huán)境下不同類和不同優(yōu)先級的密碼服務(wù)進行建模，研究影響SR-IOV密碼設(shè)備密碼運算性能的各項因素。