宋衛(wèi)平 沈磊 佘文魁

摘? 要：為了提升虛擬化環(huán)境中網(wǎng)絡(luò)模塊的性能，本文在KVM虛擬化平臺(tái)上對(duì)OpenvSwitch虛擬網(wǎng)絡(luò)交換技術(shù)和基于DPDK的OpenvSwitch虛擬網(wǎng)絡(luò)交換技術(shù)進(jìn)行了分析，并在自研虛擬化軟件中設(shè)計(jì)并實(shí)現(xiàn)了基于OVS-DPDK的網(wǎng)絡(luò)虛擬化功能，用戶可以通過交互式界面方便地配置和使用基于OVS-DPDK的高性能網(wǎng)卡，達(dá)到了業(yè)務(wù)系統(tǒng)對(duì)虛擬機(jī)高性能網(wǎng)絡(luò)需求的目的，最后通過實(shí)驗(yàn)證實(shí)采用OVS-DPDK技術(shù)后虛擬機(jī)網(wǎng)絡(luò)性能得到了極大提升。

關(guān)鍵詞：KVM? DPDK? OpenvSwitch? 云計(jì)算

中圖分類號(hào)：TP393.01? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? 文章編號(hào)：1674-098X（2020）07（b）-0125-07

Abstract： In order to improve the performance of network modules in a virtualized environment， this article analyzes OpenvSwitch virtual network switching technology and DPDK-based OpenvSwitch virtual network switching technology on the KVM virtualization platform， and designs and implements it in self-developed virtualization software With the network virtualization function based on OVS-DPDK， users can easily configure and use the high-performance network card based on OVS-DPDK through the interactive interface to achieve the purpose of the business system's demand for high-performance network of virtual machines. Finally， the experiment confirmed the adoption After OVS-DPDK technology， virtual machine network performance has been greatly improved.

Key Words： KVM; DPDK; OpenvSwitch; Cloud computing

隨著信息技術(shù)的飛速發(fā)展，各種業(yè)務(wù)應(yīng)用都以云的方式來承載運(yùn)行，云計(jì)算越來越受到重視，企業(yè)數(shù)據(jù)中心建設(shè)過程中虛擬化發(fā)揮著重大作用。隨著網(wǎng)絡(luò)流量劇烈增長，對(duì)虛擬化平臺(tái)的網(wǎng)絡(luò)性能要求越來越高，基礎(chǔ)的虛擬網(wǎng)絡(luò)性能已經(jīng)不能滿足業(yè)務(wù)系統(tǒng)的需求。于是Intel提出了一種數(shù)據(jù)報(bào)文轉(zhuǎn)發(fā)處理技術(shù)DPDK，紅帽團(tuán)隊(duì)結(jié)合OpenvSwitch把該技術(shù)應(yīng)用到了虛擬機(jī)的網(wǎng)絡(luò)中，簡(jiǎn)稱OVS-DPDK技術(shù)，通過目前開源項(xiàng)目實(shí)驗(yàn)表明，OVS-DPDK確實(shí)能極大地提升虛擬機(jī)的網(wǎng)絡(luò)性能。但是，由于開源項(xiàng)目在虛擬化模塊上的差異性，導(dǎo)致該功能的兼容性很差，比如對(duì)Libvirt、Qemu、OpenvSwitch和DPDK的版本都有嚴(yán)格的要求，導(dǎo)致生產(chǎn)項(xiàng)目使用該技術(shù)非常復(fù)雜，而且達(dá)不到理論上的優(yōu)勢(shì)效果。因此，本文在虛擬化軟件中設(shè)計(jì)并實(shí)現(xiàn)了基于OVS-DPDK的網(wǎng)絡(luò)虛擬化功能。

1? 網(wǎng)絡(luò)虛擬化相關(guān)技術(shù)分析

為了更好的實(shí)現(xiàn)基于OVS-DPDK網(wǎng)絡(luò)虛擬化功能，本節(jié)將簡(jiǎn)要的介紹一下OpenvSwitch和DPDK兩種技術(shù)。

1.1 OpenvSwitch虛擬交換技術(shù)

在KVM虛擬化平臺(tái)上[1]，為了保證虛擬機(jī)之間，虛擬機(jī)和外部網(wǎng)絡(luò)之間進(jìn)行通信，是通過網(wǎng)絡(luò)間的橋接技術(shù)來實(shí)現(xiàn)的，應(yīng)用比較廣泛的橋接技術(shù)是OpenvSwitch技術(shù)。

OpenvSwitch是一種支持OpenFlow協(xié)議的多層虛擬交換機(jī)軟件，旨在通過編程擴(kuò)展，實(shí)現(xiàn)大規(guī)模網(wǎng)絡(luò)的自動(dòng)化配置、管理、維護(hù)功能。

OpenvSwitch主要由三大模塊構(gòu)成：內(nèi)核模塊openvswitch.ko、用戶空間守護(hù)進(jìn)程ovs-vswitchd以及輕量級(jí)數(shù)據(jù)庫服務(wù)器ovsdb-server。Open vSwitch軟件架構(gòu)如圖1所示：

其中，ovs-vswitchd是用戶空間的守護(hù)進(jìn)程，通過OpenFlow協(xié)議與本地或遠(yuǎn)端 Controller 通信，負(fù)責(zé)解析協(xié)議、執(zhí)行命令。ovsdb-server 是一個(gè)輕量級(jí)數(shù)據(jù)庫服務(wù)器，用于保存OpenvSwitch相關(guān)的配置信息，如端口、網(wǎng)橋相關(guān)信息，通過JSON-RPC 協(xié)議與ovs-vswitchd通信。openvswitch.ko是一個(gè)支持流交換的linux內(nèi)核模塊，負(fù)責(zé)查找流表項(xiàng)，轉(zhuǎn)發(fā)、修改數(shù)據(jù)包，以及實(shí)現(xiàn)隧道的封裝、解封裝等操作。

每條datapath也就是內(nèi)核中的fastpath，都會(huì)關(guān)聯(lián)多個(gè)端口，當(dāng)端口上接收到數(shù)據(jù)包時(shí)，會(huì)交給datapath模塊進(jìn)行處理，datapath提取報(bào)文頭部信息以及元數(shù)據(jù)信息，通過 hash 函數(shù)產(chǎn)生一個(gè) key 值，通過 key 來查找該datapath所關(guān)聯(lián)的流表，若找到流表項(xiàng)，則根據(jù)流表項(xiàng)所定義的規(guī)則進(jìn)行操作，如轉(zhuǎn)發(fā)、丟棄等，更新數(shù)據(jù)包計(jì)數(shù)器;若沒有查找到相應(yīng)流表項(xiàng)，則將數(shù)據(jù)包傳遞給用戶空間ovs-vswitchd進(jìn)行處理，更新 miss 計(jì)數(shù)器，轉(zhuǎn)發(fā)流程進(jìn)入慢速路徑（slowpath）。ovs-vswitchd重新根據(jù)報(bào)文頭部信息、元數(shù)據(jù)信息計(jì)算 key值，然后根據(jù) key值查找ovs-vswitchd所關(guān)聯(lián)的OpenFlow流表。若找到流表項(xiàng)，則將流表項(xiàng)下發(fā)給內(nèi)核中的datapath，datapath按照流表項(xiàng)定義的規(guī)則處理該數(shù)據(jù)包，若沒有找到流表項(xiàng)，則用OpenFlow協(xié)議封裝報(bào)文發(fā)送給OpenFlow Controller，由 controller 決定如何處理該數(shù)據(jù)包。

虛擬化控制系統(tǒng)雖然完成對(duì)網(wǎng)絡(luò)XML文件的組裝，但實(shí)際上Centos7.1系統(tǒng)并不支持DPDK模式，因此需要對(duì)Libvirt、Qemu、OpenvSwitch及DPDK模塊進(jìn)行開發(fā)和移植。

2.2.2 在Centos7.1系統(tǒng)上完成對(duì)虛擬機(jī)DPDK網(wǎng)卡的支持

由于OVS-DPDK對(duì)OpenvSiwtch、Qemu的版本要求比較高，因此，本文采用在Centos7.1上升級(jí)OpenvSwitch和Qemu的方式，而對(duì)于Libvirt來說開源還不支持該模式，因此，需要在Libvirt上設(shè)計(jì)并實(shí)現(xiàn)虛擬機(jī)網(wǎng)卡對(duì)DPDK的支持。具體實(shí)現(xiàn)流程如圖9所示。

（1）組合各個(gè)設(shè)備的XML信息，如果選擇使用OVS-DPDK網(wǎng)卡，則需要按照給定的兩種XML配置方式進(jìn)行配置;

（2）調(diào)用virsh模塊的cmdCreate（）接口來接收用戶輸入，調(diào)用libvirt模塊中的virDomainCreateXML接口進(jìn)行各虛擬化平臺(tái)分發(fā);

（3）libvirt會(huì)依據(jù)當(dāng)前的虛擬化平臺(tái)調(diào)用到具體實(shí)現(xiàn)的qemu-driver模塊中，在qemu-driver模塊中調(diào)用qemuDomainCreateXML（）接口進(jìn)行具體實(shí)現(xiàn)。

（4）將傳入的配置文件信息進(jìn)行解析，將各設(shè)備信息組合成qemu可執(zhí)行命令，將qemu可執(zhí)行命令發(fā)送到kvm模塊執(zhí)行，此時(shí)，基于OVS-DPDK網(wǎng)卡的虛擬機(jī)啟動(dòng)完成。

3? 測(cè)試結(jié)果分析

上一節(jié)在Centos7.1系統(tǒng)上實(shí)現(xiàn)了對(duì)虛擬機(jī)DPDK網(wǎng)卡的支持，本節(jié)將通過實(shí)驗(yàn)測(cè)試采用DPDK網(wǎng)卡的虛擬機(jī)與普通Virtio網(wǎng)卡虛擬機(jī)的性能區(qū)別，主要在網(wǎng)絡(luò)的吞吐量和延遲兩個(gè)方面進(jìn)行比較。

下面將詳細(xì)闡述實(shí)驗(yàn)過程。

3.1 實(shí)驗(yàn)平臺(tái)配置

戴爾R720服務(wù)器構(gòu)成實(shí)驗(yàn)的硬件平臺(tái)，該服務(wù)器包含兩個(gè)intel萬兆以太網(wǎng)口，服務(wù)上安裝Centos 7.1操作系統(tǒng)支持KVM虛擬化平臺(tái)，在服務(wù)器上創(chuàng)建兩臺(tái)Centos 7.1虛擬機(jī)。虛擬機(jī)配置信息為4CPU、4G內(nèi)存。服務(wù)器詳細(xì)配置信息如表1所示，虛擬機(jī)詳細(xì)配置信息如表2所示。

3.2 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)環(huán)境一如圖10所示，兩臺(tái)虛擬機(jī)Vm1和Vm2運(yùn)行在同一臺(tái)物理主機(jī)上，使用OVS的普通網(wǎng)橋方式將虛擬機(jī)之間的網(wǎng)絡(luò)進(jìn)行連接。

實(shí)驗(yàn)環(huán)境二如圖11所示，兩臺(tái)虛擬機(jī)Vm1和Vm2運(yùn)行在同一臺(tái)物理主機(jī)上，使用OVS-DPDK的網(wǎng)橋方式將虛擬機(jī)之間的網(wǎng)絡(luò)進(jìn)行連接。

本節(jié)使用Iperf工具對(duì)以上兩種環(huán)境的虛擬機(jī)網(wǎng)絡(luò)性能進(jìn)行測(cè)試，Iperf是一個(gè)網(wǎng)絡(luò)性能測(cè)試工具，可以測(cè)試TCP、UDP模式下網(wǎng)絡(luò)帶寬、丟包及延遲?？梢耘浜喜煌膮?shù)進(jìn)行網(wǎng)絡(luò)特性的測(cè)試，主要參數(shù)使用說明如表3所示。

為了全面地驗(yàn)證虛擬機(jī)網(wǎng)卡使用OVS-DPDK后的性能，本節(jié)設(shè)計(jì)了如下兩個(gè)測(cè)試場(chǎng)景。

（1）分別對(duì)使用OVS網(wǎng)絡(luò)的虛擬機(jī)和OVS-DPDK網(wǎng)絡(luò)的虛擬機(jī)進(jìn)行網(wǎng)絡(luò)吞吐量測(cè)試。

（2）分別對(duì)使用OVS網(wǎng)絡(luò)的虛擬機(jī)和OVS-DPDK網(wǎng)絡(luò)的虛擬機(jī)進(jìn)行網(wǎng)絡(luò)丟包率測(cè)試。

3.3 實(shí)驗(yàn)結(jié)果與分析

使用Iperf提供的命令分別對(duì)使用OVS網(wǎng)絡(luò)的虛擬機(jī)和OVS-DPDK網(wǎng)絡(luò)的虛擬機(jī)進(jìn)行網(wǎng)絡(luò)性能測(cè)試，兩個(gè)場(chǎng)景測(cè)試結(jié)果如下所示：

場(chǎng)景一：通過Iperf命令對(duì)OVS網(wǎng)絡(luò)的虛擬機(jī)和OVS-DPDK網(wǎng)絡(luò)的虛擬機(jī)進(jìn)行網(wǎng)絡(luò)吞吐量測(cè)試，測(cè)試結(jié)果如圖12所示。

圖11中，橫軸表示TCP窗口大小分別為1K、2K、4K、8K、64K、512K及1024K字節(jié)的包，縱軸表示網(wǎng)絡(luò)吞吐量單位kbps，從圖14中可以看出虛擬機(jī)采用OVS-DPDK技術(shù)后網(wǎng)卡吞吐量明顯優(yōu)于采用OVS技術(shù)。

場(chǎng)景二：通過Iperf命令，使用UDP方式對(duì)OVS網(wǎng)絡(luò)的虛擬機(jī)和OVS-DPDK網(wǎng)絡(luò)的虛擬機(jī)進(jìn)行網(wǎng)絡(luò)延時(shí)測(cè)試，測(cè)試結(jié)果如圖13所示。

圖12中，橫軸表示緩沖大小分別為512K、1024K、10240K、102400K及1024000K，縱軸表示網(wǎng)絡(luò)延遲情況，單位為毫秒，從圖中可以看到虛擬機(jī)采用OVS-DPDK技術(shù)后網(wǎng)卡延遲明顯優(yōu)于采用OVS技術(shù)。

綜上，實(shí)驗(yàn)表明虛擬機(jī)使用OVS-DPDK的虛擬化網(wǎng)卡技術(shù)后網(wǎng)卡性能提升明顯。因此，通過對(duì)CentOS7.1系統(tǒng)引入OVS-DPDK技術(shù)及對(duì)虛擬化控制系統(tǒng)的改造，可以有效地提升虛擬機(jī)網(wǎng)絡(luò)性能。另外，對(duì)于網(wǎng)絡(luò)要求比較高的虛擬化環(huán)境來說，可以建議用戶采用該方案，這樣可以保證虛擬機(jī)的網(wǎng)絡(luò)性能。

4? 結(jié)語

本文重點(diǎn)研究了OVS-DPDK的網(wǎng)絡(luò)虛擬化技術(shù)，并在現(xiàn)有虛擬化控制系統(tǒng)上設(shè)計(jì)并實(shí)現(xiàn)了該功能，另外基于CentOS7.1系統(tǒng)完成了基于OVS-DPDK網(wǎng)絡(luò)虛擬化技術(shù)設(shè)計(jì)與實(shí)現(xiàn)。通過實(shí)驗(yàn)驗(yàn)證，得到以下結(jié)論：使用OVS-DPDK網(wǎng)絡(luò)虛擬化技術(shù)后，能有效地提升虛擬機(jī)的網(wǎng)絡(luò)性能。

參考文獻(xiàn)

[1] 何佳偉，江舟.基于Intel DPDK的高性能網(wǎng)絡(luò)安全審計(jì)方案設(shè)計(jì)[J].電子測(cè)試，2016（Z1）：87-91.

[2] 余思陽，楊佑君，李長連.基于DPDK的DDoS攻擊防御技術(shù)分析與實(shí)現(xiàn)[J].郵電設(shè)計(jì)技術(shù)，2020（1）：70-74.

[3] 吳克河，王冬冬.基于PF_RING的高速網(wǎng)絡(luò)數(shù)據(jù)捕獲方法[J].計(jì)算機(jī)與數(shù)字工程，2019，47（3）：598-604.

[4] 周末. DPDK結(jié)構(gòu)下類Socket接口研究與設(shè)計(jì)[D].成都：電子科技大學(xué)，2016.

[5] 李凱. 基于DPDK的流量動(dòng)態(tài)負(fù)載均衡技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2017.

[6] 趙寧，謝淑翠.基于dpdk的高效數(shù)據(jù)包捕獲技術(shù)分析與應(yīng)用[J].計(jì)算機(jī)工程與科學(xué)，2016，38（11）：2209-2215.