張 馳, 張 傲

1(武漢郵電科學研究院,武漢 430074)2(烽火信息集成技術有限公司,武漢 430074)

SR-IOV技術在OpenStack中的應用①

張 馳1, 張 傲2

1(武漢郵電科學研究院,武漢 430074)2(烽火信息集成技術有限公司,武漢 430074)

在OpenStack云平臺中,一臺物理服務器上可能同時運行著十幾臺虛擬機,這對于物理服務器的I/O性能要求是非常高的.因此,I/O虛擬化技術的效率對于整個OpenStack云平臺的網(wǎng)絡性能提升都有著至關重要的作用.為了提高系統(tǒng)整體的網(wǎng)絡性能,在OpenStack云平臺中入SR-IOV技術成為了一種可選的方式.本文通過對比實驗測試了SR-IOV技術對于OpenStack云平臺上網(wǎng)絡I/O性能的影響.最終對實驗結(jié)果進行分析可知,在入SRIOV技術后,OpenStack云平臺上的計算節(jié)點I/O虛擬化性能提升了大概50%.

云計算;OpenStack云平臺;I/O虛擬化;網(wǎng)絡性能;SR-IOV技術

隨著云時代的來臨,各種各樣的云計算平臺應運而生,例如亞馬遜公司的AWS云平臺以及微軟公司的Azure云平臺等.而圍繞著開源的優(yōu)勢,OpenStack云平臺在近幾年得到了越來越多的個人開發(fā)者和企業(yè)的支持,成為當今最火的云平臺之一.

而在虛擬化技術中,內(nèi)存虛擬化技術和CPU虛擬化技術發(fā)展都已較為成熟,但是I/O虛擬化技術的發(fā)展卻相對緩慢,遠遠沒有達到業(yè)界的要求.I/O虛擬化技術的落后不僅影響了物理服務器的I/O虛擬化效率,更是影響了虛擬機的整體性能[1].SR-IOV(Single-Root I/O Virtualization,單根I/O虛擬化)技術是一種基于物理硬件的虛擬化解決方案,可以提高物理I/O設備的性能與可擴展性.SR-IOV技術允許在虛擬機之間高效共享PCIe設備,由于該技術是基于硬件實現(xiàn)的,可以使虛擬機獲得與宿主機相似的I/O性能[2].

隨著云環(huán)境里虛擬機(Virtual Machine,VM)的數(shù)量增多,云平臺中虛擬機相互之間的通信,以及虛擬機和互聯(lián)網(wǎng)之間的通信,導致了網(wǎng)絡虛擬化的基本需求.在OpenStack云平臺中,負責網(wǎng)絡功能的組件稱為Neutron組件.Neutron組件具有靈活部署虛擬網(wǎng)絡的能力,但是其性能問題一直是影響OpenStack大規(guī)模應用的瓶頸之一,特別是I/O性能問題更是其中重要的一環(huán).由于Neutron組件需要在物理服務器中創(chuàng)建大量的虛擬設備,例如虛擬端口以及虛擬交換機等,這些虛擬的網(wǎng)絡組件會對所在的物理服務器CPU造成比較大的開銷,并且這些虛擬設備本身具有的一定的性能瓶頸,因此會對整個OpenStack云平臺的網(wǎng)絡I/O性能造成極大的影響.同時,在OpenStack環(huán)境中,一臺物理服務器上必然會同時運行多臺虛擬機,如果所使用的虛擬化I/O方案不支持將單個物理I/O設備同時共享給多臺虛擬機,那么給云平臺中的每臺虛擬機都分配單獨的物理I/O設備顯然是不現(xiàn)實的.考慮到SRIOV技術的特點以及優(yōu)勢,將SR-IOV技術入到OpenStack云平臺便成為了解決OpenStack云平臺中Neutron組件網(wǎng)絡I/O虛擬化性能較差的一種非常合適的方式.

1 OpenStack云平臺介紹

云計算平臺事實上是一種以虛擬化技術為基礎,以提高服務器CPU和網(wǎng)絡資源利用率為后的新型服務系統(tǒng)和運營模式.從云計算所提供的服務層次來劃分,云計算從上層到下層可以分為軟件即服務(SaaS)、平臺即服務(PaaS)和基礎設施即服務(IaaS)[3].OpenStack是一個典型的IaaS層的云計算平臺.

OpenStack誕生于2010年7月,是由美國國家航空航天局和RackSpace公司合作研發(fā)而成,后前由OpenStack社區(qū)進行管理[4].OpenStack社區(qū)每隔幾個月便會發(fā)布一個新的版本,以26個英文字母為首字母按照從A到Z的順序依次命名新的版本,第一個版本的OpenStack被命名為Austin.OpenStack是一個開源的云操作系統(tǒng),最顯著的特點便是體現(xiàn)在開源上,任何公司和個人開發(fā)者都可以參加到該項后中,參與代碼開發(fā)與測試,從而為OpenStack的發(fā)展做出貢獻.

OpenStack為用戶提供了簡單易用的Web操作界面和詳細而全面的API接口.通過瀏覽器訪問OpenStack的Web管理界面,用戶可以以租戶或管理員的身份進行登錄.租戶可以創(chuàng)建自己的私有網(wǎng)絡,以及啟動虛擬機實例進行操作,管理員則可以管理用戶資源的配額和其他控制權限.而通過OpenStack提供的API,開發(fā)者可以輕易地對云平臺進行開發(fā)和學習.OpenStack云平臺內(nèi)的各組件是通過交互模式來提供云服務的,各個組件可以任意分配到不同的物理服務器上,具有非常好的靈活性與擴展性.

2 Neutron組件與虛擬網(wǎng)絡

在OpenStack中負責云平臺虛擬網(wǎng)絡的是Neutron組件.Neutron組件的主要作用是在云環(huán)境下為不同租戶提供建網(wǎng)組網(wǎng)、分配虛擬機IP地址、防火墻、負載均衡等服務.Neutron組件將真實物理網(wǎng)絡世界中的網(wǎng)絡(network)、子網(wǎng)(subnet)和端口(port)等概念抽象化,應用到云環(huán)境的虛擬網(wǎng)絡中,使得云平臺中的虛擬機可以像物理服務器一樣直接連接到虛擬網(wǎng)絡上,從而實現(xiàn)在虛擬網(wǎng)絡中的數(shù)據(jù)通信.雖然云平臺中網(wǎng)絡都是虛擬的,但是這些虛擬的網(wǎng)絡、子網(wǎng)等在OpenStack提供的操作界面Horizon上都是可視化的,用戶可以非常輕易地去部署完成一個虛擬私有網(wǎng)絡.

2.1 Neutron組件原理

云計算中所用到的網(wǎng)絡技術與傳統(tǒng)的網(wǎng)絡技術原理類似,只是將原有的傳統(tǒng)網(wǎng)絡技術運用到了云環(huán)境下的虛擬網(wǎng)絡環(huán)境中.對于Neutron組件來說,為了給OpenStack平臺提供虛擬網(wǎng)絡能力,事實上在底層使用到了非常多Linux系統(tǒng)中的相關技術.

圖1所示為Neutron組件在Vlan網(wǎng)絡環(huán)境下的原理圖.圖的左邊是OpenStack平臺上充當計算節(jié)點的一臺物理服務器,右邊是充當網(wǎng)絡節(jié)點的物理服務器.當租戶創(chuàng)建一臺虛擬機時,Neutron組件會相應地給該虛擬機創(chuàng)建一張?zhí)摂M網(wǎng)卡,該虛擬網(wǎng)卡設備在計算節(jié)點看來類似于Linux中的Tap設備.該Tap設備上包含了Neutron組件提供給該虛擬機的IP以及MAC等信息,虛擬機可以直接通過對Tap設備進行數(shù)據(jù)的讀寫,從而實現(xiàn)數(shù)據(jù)的通信.在圖1中的設備A與設備Q便是分別屬于VM1與VM2的兩個Tap設備.

虛擬機的虛擬網(wǎng)卡Tap設備連接到了一個名為qbr的Linux網(wǎng)橋上.在qbr網(wǎng)橋上,Neutron組件利用了Linux上的Iptables來實現(xiàn)虛擬機的安全組功能,因此qbr也稱之為安全網(wǎng)橋.

Linux網(wǎng)橋設備qbr通過一對Veth設備qvb與qvo直接連接到OVS(Open VSwitch)軟件所創(chuàng)建的虛擬交換機br-int上.OVS是一套可以創(chuàng)建高性能虛擬交換機的軟件,它所創(chuàng)建的虛擬交換機相比于傳統(tǒng)的Linux網(wǎng)橋設備,具有更好的性能以及支持更多的功能.從虛擬交換機br-ethx方向轉(zhuǎn)發(fā)過來的數(shù)據(jù)報文,都需要在虛擬交換機br-int上進行Vlan id的轉(zhuǎn)換.同理,從虛擬交換機br-int傳向虛擬交換機br-ethx的數(shù)據(jù)報文,也需要在虛擬交換機br-ethx上進行Vlan id的轉(zhuǎn)換.這是因為qvo設備所分配到的Vlan id是只屬于云平臺虛擬網(wǎng)絡內(nèi)部的,該Vlan id會對應一個真正能在云平臺業(yè)務網(wǎng)段上進行傳輸?shù)腣lan id.這樣虛擬機所產(chǎn)生的帶有內(nèi)部Vlan id的數(shù)據(jù)報文在通過虛擬交換機br-ethx后,經(jīng)過Vlan id的轉(zhuǎn)換,便可以在云平臺的物理業(yè)務網(wǎng)上進行傳輸.從外界業(yè)務網(wǎng)上發(fā)來的數(shù)據(jù)報文經(jīng)過虛擬交換機br-int后,所帶有的Vlan id會被轉(zhuǎn)換成內(nèi)部的Vlan id,然后發(fā)送給對應的虛擬機,這樣便實現(xiàn)了虛擬網(wǎng)絡與物理網(wǎng)絡的對應.這些Vlan id的映射都是通過虛擬交換機br-int與br-ethx中的流表來控制實現(xiàn)的,而流表的規(guī)則則是由Neutron組件進行下發(fā)的.

圖1 Neutron組件原理圖

2.2 虛擬機流量走向

在OpenStack云環(huán)境中,如果虛擬機需要訪問外網(wǎng)或者進行跨網(wǎng)段的訪問,都需要經(jīng)過網(wǎng)絡節(jié)點上虛擬路由器的配合.而同一租戶里相同網(wǎng)段的兩臺虛擬機進行互訪是不需要經(jīng)過網(wǎng)絡節(jié)點的.由于本文只涉及到計算節(jié)點,因此下面介紹同一租戶下相同網(wǎng)段的兩臺虛擬機進行互訪的情況.

如圖2中所示,虛擬機1存在于計算節(jié)點1上,虛擬機4存在于計算節(jié)點2上,并且虛擬機1和虛擬機4屬于同一個租戶網(wǎng)絡的同一個子網(wǎng)內(nèi),兩者之間的數(shù)據(jù)通信將會經(jīng)過連接到計算機點1與計算節(jié)點2的物理交換機上進行傳輸.當虛擬機1想發(fā)送一個報文給位于不同計算節(jié)點上的虛擬機4時,首先會發(fā)送一個ARP廣播報文來確定虛擬機4的MAC地址.該ARP廣播報文會通過Tap設備以及qbr網(wǎng)橋,然后被計算節(jié)點1上的虛擬交換機br-int轉(zhuǎn)發(fā)到所有與br-int相連的接口上.當廣播報文經(jīng)過計算節(jié)點1上br-ethx時,會被帶上一個外部Vlan id.需要注意的是,同一租戶的相同網(wǎng)絡里所有的虛擬機發(fā)出與接收的報文都會帶有相同的外部Vlan id,因此該ARP報文會被物理交換機轉(zhuǎn)發(fā)到所有其他節(jié)點上.當ARP報文到達計算節(jié)點2上時,該數(shù)據(jù)報文的Vlan id會在虛擬交換機br-int上被轉(zhuǎn)換成對應的內(nèi)部Vlan id,并被廣播到所有與br-int所連的接口上,最后虛擬機4會應答該ARP廣播.當虛擬機1知道虛擬機4的MAC地址后,就可以直接與虛擬機4進行數(shù)據(jù)通信了.

圖2 虛擬機之間互相訪問

2.4 Neutron組件性能瓶頸

通過上面的分析可以看到,為了實現(xiàn)OpenStack中的虛擬網(wǎng)絡,Neutron組件在計算節(jié)點上創(chuàng)建了非常多的虛擬網(wǎng)絡設備.這其中包括虛擬機的虛擬網(wǎng)卡Tap設備、OVS虛擬交換機br-int和br-ethx等.利用這些虛擬網(wǎng)絡設備,Neutron組件不僅完成了云平臺中虛擬網(wǎng)絡的創(chuàng)建,還將整個虛擬網(wǎng)絡與真實物理網(wǎng)絡相連通,實現(xiàn)了對整個服務器集群網(wǎng)絡資源的虛擬化.但是另一方面,這些虛擬網(wǎng)絡設備的建立和運行會給云平臺上的計算節(jié)點帶了很大的CPU開銷,加上這些虛擬網(wǎng)絡設備本身存在一定的缺陷和性能瓶頸,會極大地減少計算節(jié)點上的網(wǎng)絡帶寬.

舉個例子,假如在一臺計算節(jié)點上,使用一般的英特爾82599ES萬兆網(wǎng)卡,那么該計算節(jié)點最大的網(wǎng)絡I/O吞吐量可能只能達到5～6 Gbps左右.考慮到在云計算中心,可能擁有數(shù)以萬計的物理服務器,那么這種程度的I/O性能損耗顯然是一種極大的浪費.因此尋找一種更加優(yōu)秀的I/O虛擬化方案來替代后前Neutron實現(xiàn)虛擬化網(wǎng)絡的方式,有可能解決OpenStack云平臺網(wǎng)絡I/O性能瓶頸問題.

3 SR-IOV技術與Neutron組件

3.1 SR-IOV技術簡介

為提高服務器里虛擬機收發(fā)報文的性能和可伸縮性,解決I/O虛擬化最后一公里的問題,提出了基于硬件的SR-IOV虛擬化解決方案.SR-IOV規(guī)范定義了一種虛擬化PCIe設備的標準機制.該機制能將一個PCIe以太網(wǎng)設備虛擬成多個PCIe設備.用戶可以將每個虛擬的PCIe設備直接分配給虛擬機,繞過虛擬機監(jiān)控層(VMM),從而實現(xiàn)低延時和近線速[5].

SR-IOV中具有兩種功能類型:物理功能(Physical Function,PF)和虛擬功能(Virtual Function,VF),PF用于支持SR-IOV的PCI功能,擁有完全配置或控制PCIe設備資源的能力.而VF是一種輕量級的PCIe功能,與PF相關聯(lián),可以與同一物理功能關聯(lián)的其他VF共享一個或多個物理資源[6].

SR-IOV技術允許將單個物理網(wǎng)絡設備同時共享給多臺虛擬機,這樣不僅可以實現(xiàn)對物理網(wǎng)卡的共享,同時還可以使虛擬機的流量繞過Neutron所創(chuàng)建的虛擬網(wǎng)絡設備,直接到達物理網(wǎng)卡上.虛擬機數(shù)據(jù)處理邏輯跳過了計算節(jié)點的虛擬網(wǎng)絡設備,由物理網(wǎng)卡決定數(shù)據(jù)如何處理,從而釋放了計算節(jié)點的CPU資源.這種方式使得虛擬機達到近線速的性能,并且不需要為每臺虛擬機單獨去分配獨立的物理網(wǎng)卡端口.

3.2 在Neutron中引入SR-IOV技術

將SR-IOV技術入到OpenStack中后,可以將虛擬機的虛擬端口與支持SR-IOV功能的物理網(wǎng)卡上所虛擬出來的虛擬功能VF相關聯(lián),而不再需要Neutron組件額外地去創(chuàng)建Tap設備、qbr網(wǎng)橋以及OVS虛擬交換機了,這樣極大地減少了計算機點上的CPU開銷.

如圖3所示,虛擬機1處于計算節(jié)點1上,虛擬機4處于計算節(jié)點2上,兩臺虛擬機屬于同一租戶下同一網(wǎng)段內(nèi).兩臺計算節(jié)點上均有一張帶有SR-IOV功能的物理網(wǎng)卡,其中虛擬網(wǎng)卡功能VF1是分配給虛擬機1的,虛擬網(wǎng)卡功能VF4是分配給虛擬機4的.虛擬機所發(fā)出的報文會直接發(fā)送到與虛擬機相關聯(lián)的VF上,然后由物理網(wǎng)卡來決定如何對數(shù)據(jù)報文進行處理.在圖3中可以看到,從虛擬機1發(fā)出的報文直接發(fā)送到VF1上,然后此報文經(jīng)過物理網(wǎng)卡的處理后流入到物理交換機上,通過物理交換機到達計算節(jié)點2上,最終到達虛擬機4.與傳統(tǒng)Neutron組件中Linux網(wǎng)橋和OVS虛擬交換機方式相比,在計算節(jié)點內(nèi)部沒有了網(wǎng)橋qbr和虛擬交換機br-int與br-ethx等虛擬設備,虛擬機的數(shù)據(jù)報文直接通過VF傳到了物理網(wǎng)卡上.

圖3 入SR-IOV技術后的流量路徑

4 測試與分析

在之前的章節(jié)中詳細介紹了Neutron組件和SR-IOV技術的原理,在本章節(jié),會對SR-IOV技術在OpenStack云平臺上進行具體的測試,證明之前理論分析的正確性,同時得出實驗結(jié)果.

4.1 測試環(huán)境介紹

在測試實驗中,一共使用了三臺物理服務器組成OpenStack環(huán)境.其中一臺物理服務器用作OpenStack云平臺的控制節(jié)點和網(wǎng)絡節(jié)點,另外兩臺物理服務器用作OpenStack的計算節(jié)點.這三臺物理服務器都運行了Ubuntu 14.04LTS操作系統(tǒng).

在表1中可以看到,作為OpenStack云平臺的控制節(jié)點/網(wǎng)絡節(jié)點,這臺物理服務器使用的是因特爾六核的處理器,其內(nèi)存為64GB.該服務器上存在有三張網(wǎng)卡,其中兩張是博通公司BCM5720千兆網(wǎng)卡,該網(wǎng)卡用于OpenStack平臺的管理網(wǎng)絡與外網(wǎng)網(wǎng)絡.還有一張是因特爾公司的82599ES萬兆光卡,主要用于云平上虛擬機的業(yè)務網(wǎng)絡.計算節(jié)點上的配置信息基本與控制/網(wǎng)絡節(jié)點類似,唯一的區(qū)別是控制/網(wǎng)絡節(jié)點的因特爾82599ES萬兆網(wǎng)卡沒有開啟SR-IOV功能,而計算節(jié)點上是開啟了該功能的.

此次測試環(huán)境中物理網(wǎng)絡布局圖如圖4所示.測試環(huán)境一共包含了三個網(wǎng)絡.第一個網(wǎng)絡為OpenStack云平臺的管理網(wǎng)絡,其網(wǎng)段為192.168.1.0/24,主要提供OpenStack各個組件之間的內(nèi)部通信,以及API訪問端點(Endpoint).第二個網(wǎng)絡為外部網(wǎng)絡,網(wǎng)絡段位10.89.0.0/24,此網(wǎng)絡是實驗環(huán)境的外網(wǎng)網(wǎng)絡,通過這個網(wǎng)絡可以訪問到外界互聯(lián)網(wǎng),從而可在服務器中進行軟件以及各種服務的下載.第三個網(wǎng)絡為虛擬機的業(yè)務網(wǎng)絡.該網(wǎng)絡的作用是提供虛機在計算節(jié)點之間,以及計算節(jié)點和網(wǎng)絡節(jié)點之間的通信.該網(wǎng)絡所連接的網(wǎng)卡均為支持SR-IOV功能的網(wǎng)卡,也就是圖中的eth3設備.

圖4 網(wǎng)絡布局

表1 測試環(huán)境配置信息表

4.2 性能測試

在性能測試中使用Iperf軟件作為測試工具,通過在同一租戶內(nèi)的兩臺虛擬機之間發(fā)送數(shù)據(jù)包來測試計算節(jié)點帶寬.測試實驗一共分為三組場景,分別為同一個網(wǎng)段同一臺物理服務器上的兩臺虛擬機的帶寬測試,同一個網(wǎng)段不同物理服務器上的兩臺虛擬機的帶寬測試,以及不同網(wǎng)段同一物理服務器上的兩臺虛擬機的帶寬測試.每組測試都會使用Iperf工具測試1個網(wǎng)絡連接,3個網(wǎng)絡連接以及5個網(wǎng)絡連接的情況.

虛擬機的IP以及所在節(jié)點的示意圖如圖5所示.第一組測試為處于同一網(wǎng)段內(nèi)同一物理節(jié)點上兩臺VM的帶寬測試,因此對比圖5可知,我們只需要在虛擬機vm1與vm5之間使用Iperf工具進行測試即可.這種場景下,虛擬機的流量是直接被帶有SR-IOV功能的物理網(wǎng)卡進行處理,數(shù)據(jù)包從vm1發(fā)出到達計算節(jié)點1上網(wǎng)卡后便直接到達了vm5上.第二組測試為處于同一網(wǎng)段不同物理節(jié)點兩臺VM的帶寬測試,因此只需要在vm1與vm2之間進行測試即可.數(shù)據(jù)包從vm1出來后到達計算節(jié)點1的網(wǎng)卡,然后經(jīng)過物理交換機到達計算節(jié)點2的網(wǎng)卡上,最終數(shù)據(jù)包流入到vm2上.第三組測試為處于不同網(wǎng)段同一物理節(jié)點上兩臺VM的帶寬測試.因此只需要在vm2與ins2之間進行測試即可.該場景下,數(shù)據(jù)包從vm2發(fā)出后,會先到達網(wǎng)絡節(jié)點的虛擬路由上,然后再回到計算節(jié)點2的網(wǎng)卡上,最終到達ins2上.

最終的測試結(jié)果如圖6所示.在測試結(jié)果柱狀圖中縱坐標表示計算節(jié)點的網(wǎng)絡I/O吞吐量,其單位為Gbit/sec,橫坐標表示一共進行了三組場景的測試,每組測試實驗都有三組數(shù)據(jù),分別為使用Iperf工具進行一個連接、三個連接、五個連接下的測試結(jié)果.其中場景一為同一個網(wǎng)段同一臺物理服務器上的兩臺虛擬機的帶寬測試.場景二為同一個網(wǎng)段不同物理服務器上的兩臺虛擬機的帶寬測試.場景三為不同網(wǎng)段同一物理服務器上的兩臺虛擬機的帶寬測試

圖5 虛擬機所在節(jié)點示意圖

圖6 Iperf工具測試結(jié)果

將此次實驗的測試數(shù)據(jù)做出統(tǒng)計后,與傳統(tǒng)Neutron組件虛擬網(wǎng)橋方式的I/O吞吐量作對比,如圖7所示.可以看出SR-IOV技術對于云平臺上計算節(jié)點的I/O性能有巨大的提升.

圖7 網(wǎng)絡I/O性能對比

4.3 測試結(jié)果分析

在此次實驗中使用的是萬兆以太網(wǎng)卡,因此在單臺物理服務器上網(wǎng)絡帶寬所能達到的理論值應該為10Gbit/sec.第一種測試場景是相同網(wǎng)段同一節(jié)點的兩臺虛擬機互相測試,數(shù)據(jù)包的處理是直接在SRIOV網(wǎng)卡的上進行的,虛擬機的數(shù)據(jù)包發(fā)送到該虛擬機綁定的VF上,經(jīng)網(wǎng)卡處理直接轉(zhuǎn)發(fā)到了另一臺虛擬機所綁定的VF上,在這過程中并沒有真正進行兩張網(wǎng)卡之間的發(fā)包與收包,而是僅僅在一張網(wǎng)卡上對包進行了邏輯處理,因此在物理網(wǎng)卡上對數(shù)據(jù)包的處理速度接近了14Gbit/sec,超過了網(wǎng)卡的理論值10Gbit/sec,這是可以理解的.

而在第二種與第三種測試場景下,數(shù)據(jù)包的路徑經(jīng)過了多個物理服務器節(jié)點,在網(wǎng)卡上有真正的發(fā)包與收包過程,可以看到在一個網(wǎng)絡連接下,帶寬達到了8.3Gbit/sec.由于單個連接較少,并沒有達到帶寬的極限值,當將連接數(shù)增加到3個以及5個時,可以明顯看到,網(wǎng)絡的I/O吞吐量已經(jīng)到達極限值約9.4Gbit/sec,這已經(jīng)與該網(wǎng)卡的理論速率10Gbit/sec非常接近了.基本上可以證明在此次試驗中,SR-IOV技術的用,的確可以讓OpenStack云平臺中虛擬機的I/O吞吐量達到近線速.而在圖7中可以非常清楚的看到,在入了SR-IOV技術后,OpenStack云平臺上計算節(jié)點的最大I/O吞吐量有了非常巨大的提升,提升空間在40%～60%之間.

5 結(jié)語

本文探討了OpenStack云平臺中Neutron組件的原理以及不足,發(fā)現(xiàn)將SR-IOV技術入到OpenStack云平臺是一種可以解決云平臺上計算節(jié)點網(wǎng)絡瓶頸的一種很好的方式.SR-IOV技術入后,通過改變計算節(jié)點上虛擬機的訪問方式,使虛擬機不再去依賴Neutron組件創(chuàng)建的各種虛擬網(wǎng)橋,而是利用物理網(wǎng)絡硬件的SR-IOV功能,使虛擬機的數(shù)據(jù)報文直接到達物理網(wǎng)絡設備上.經(jīng)過測試,這種方式可以使得云平臺的計算節(jié)點最大吞吐量提高約50%左右.

在其他方面,還存在部分問題.第一點,在SRIOV技術入到OpenStack云平臺后,用戶操作界面Horizon暫時不能支持SR-IOV技術,但可以通過命令行調(diào)用API去創(chuàng)建帶有SR-IOV接口的虛擬機,并不會影響正常使用.第二點,后前的SR-IOV技術存在一定的缺陷,例如物理網(wǎng)卡設備最多能虛擬出來的VF數(shù)量有限制,但能滿足當前OpenStack的需求.第三點,SR-IOV技術解決了OpenStack云平臺中計算節(jié)點的網(wǎng)絡I/O問題,但是對網(wǎng)絡節(jié)點的I/O性能瓶頸卻沒有影響.想要解決此問題,需要入DVR技術或者是DPDK等技術才能實現(xiàn).

1 李超.SR-IOV虛擬化技術的研究與優(yōu)化[碩士學位論文].長沙:國防科學技術大學,2010.

2 楊洪波.高性能網(wǎng)絡虛擬化技術研究[博士學位論文].上海:上海交通大學,2012.

3 羅軍舟,金嘉暉,宋愛波,等.云計算:體系架構(gòu)與關鍵技術.通信學報,2011,32(7):3–21.

4 陳陶,顧雙雙,柳鈕滔,等.基于OpenStack Juno版的私有云平臺部署及實踐.物聯(lián)網(wǎng)技術,2015,(6):64–67,69.

5 黃智強.基于SR-IOV的高性能I/O虛擬化研究與優(yōu)化[碩士學位論文].上海:上海交通大學,2013.

6 龔珊珊.基于SR-IOV技術的網(wǎng)卡虛擬化研究與實現(xiàn)[碩士學位論文].北京:中國艦船研究院,2015.

Application of SR-IOV Technology in OpenStack

ZHANG Chi1,ZHANG Ao21(FiberHome Technologies Group,Wuhan 430074,China)2(Wuhan Fiberhome Integration Technologies Co.Ltd.,Wuhan 430074,China)

On an OpenStack cloud platform,a server may simultaneously run more than a dozen virtual machines,which requires high system network I/O performance.Therefore,the efficiency of I/O virtualization is important for the improvement of network performance on OpenStack cloud platform.In order to improve the overall network performance of the system,introducing SR-IOV technology into the OpenStack cloud platform is an option.The influence of SR-IOV technology on network I/O performance of OpenStack cloud platform is tested by contrast experiments.Finally,the experiment results show that,after the introduction of SR-IOV technology,the I/O virtualization performance of computing nodes in OpenStack cloud platform have increased by about 50%.

cloud computing;OpenStack cloud platform;I/O virtualization;network performance;SR-IOV technology

張馳,張傲.SR-IOV技術在OpenStack中的應用.計算機系統(tǒng)應用,2017,26(9):246–252.http://www.c-s-a.org.cn/1003-3254/5925.html

2016-12-20;采用時間:2017-01-09