湯 泳，郭 寧（中訊郵電咨詢設(shè)計(jì)院有限公司，北京 100048）

0 前言

云計(jì)算技術(shù)經(jīng)過十多年發(fā)展已經(jīng)逐漸成熟，由于其能夠給企業(yè)IT 運(yùn)營、業(yè)務(wù)創(chuàng)新等帶來明顯效用，上云已經(jīng)成為企業(yè)常態(tài)。近幾年公有云、私有云、混合云、行業(yè)云的建設(shè)如火如荼，但是隨著云計(jì)算的深入使用，應(yīng)用規(guī)模不斷增加，現(xiàn)有數(shù)據(jù)中心網(wǎng)絡(luò)應(yīng)用在達(dá)到一定規(guī)模后遇到性能瓶頸。

1 網(wǎng)絡(luò)虛擬化技術(shù)

虛擬化技術(shù)將計(jì)算機(jī)物理資源如服務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲等映射為虛擬資源，實(shí)現(xiàn)多用戶共享物理資源。虛擬化是實(shí)現(xiàn)云計(jì)算的基本技術(shù)，目前主流VM 的網(wǎng)絡(luò)虛擬化都是使用虛擬交換機(jī)技術(shù)，借助虛擬交換機(jī)，可以為服務(wù)器上運(yùn)行的VMs 或容器提供邏輯的虛擬以太網(wǎng)接口，這些邏輯接口都連接到虛擬交換機(jī)上。比較流行的虛擬交換機(jī)包括VMware virtual switch、Cisco Nexus 1000V 和Open vSwitch。其中Openvswitch（簡稱OVS）是一個(gè)優(yōu)秀的開源軟件交換機(jī)，支持絕大多數(shù)的交換機(jī)功能如二層交換、網(wǎng)絡(luò)隔離、QoS、流量監(jiān)控、3 層路由控制等，同時(shí)支持多種Linux 虛擬化技術(shù)，包括Xen、KVM 以及VirtualBox，所以在市場上應(yīng)用較為廣泛。一般基于虛擬交換機(jī)技術(shù)的典型的數(shù)據(jù)中心IaaS云計(jì)算網(wǎng)絡(luò)如圖1所示。

圖1 基于虛擬交換機(jī)數(shù)據(jù)中心網(wǎng)絡(luò)組織架構(gòu)圖

數(shù)據(jù)中心云計(jì)算網(wǎng)絡(luò)一般采用分層設(shè)計(jì)，底層網(wǎng)絡(luò)采用Spine-Leaf 兩層扁平化網(wǎng)絡(luò)架構(gòu)，以保證節(jié)點(diǎn)內(nèi)的任意2個(gè)端口之間可提供延遲非常低的無阻塞性能；同時(shí)考慮數(shù)據(jù)中心網(wǎng)絡(luò)的擴(kuò)展性會在數(shù)據(jù)轉(zhuǎn)發(fā)平面引入VxLAN 技術(shù)，在控制層面引入EVPN 技術(shù)以構(gòu)建一個(gè)全互通的大二層的底層網(wǎng)絡(luò)架構(gòu)。

業(yè)務(wù)網(wǎng)絡(luò)則通過虛擬網(wǎng)絡(luò)技術(shù)以O(shè)verlay 底層網(wǎng)絡(luò)的方式來實(shí)現(xiàn)網(wǎng)絡(luò)的部署。從圖1可以看出網(wǎng)絡(luò)業(yè)務(wù)控制主要由計(jì)算資源上部署的軟件虛擬交換機(jī)來實(shí)現(xiàn)。宿主機(jī)除了分配提供虛擬機(jī)外，還需要承擔(dān)虛擬交換機(jī)的任務(wù)。通過開啟虛擬交互機(jī)服務(wù)在服務(wù)器端模擬物理交換機(jī)的功能，在虛擬機(jī)之間、虛擬機(jī)和外部網(wǎng)絡(luò)之間實(shí)現(xiàn)網(wǎng)絡(luò)的連通。

隨著管理節(jié)點(diǎn)的擴(kuò)充，相關(guān)的網(wǎng)絡(luò)管理控制功能會消耗更多的計(jì)算資源，導(dǎo)致整個(gè)平臺的運(yùn)行效率下降。有資料表明當(dāng)管理節(jié)點(diǎn)數(shù)量超過200 個(gè)時(shí)，網(wǎng)絡(luò)性能開始明顯下降，但底層的網(wǎng)絡(luò)利用率卻不是很高，造成資源的浪費(fèi)。經(jīng)過分析網(wǎng)絡(luò)性能下降的原因主要有以下2方面。

a）采用軟件虛擬交換機(jī)方式應(yīng)用部署比較方便，但是軟件的運(yùn)行效率比專用的網(wǎng)絡(luò)設(shè)備差。

b）在傳統(tǒng)網(wǎng)橋模式下，網(wǎng)絡(luò)穩(wěn)定一般是沒有問題的，但網(wǎng)橋模式本身會消耗宿主機(jī)的CPU，在實(shí)際場景下，隨著節(jié)點(diǎn)資源的增加，虛擬化平臺所需的計(jì)算資源也會大幅增加，虛機(jī)交換機(jī)的計(jì)算資源也會增加，當(dāng)宿主機(jī)的CPU 壓力（＞60%）比較大時(shí)，虛擬機(jī)內(nèi)部網(wǎng)卡的發(fā)包率（PPS）會下降，極端情況會出現(xiàn)丟包現(xiàn)象。

為了保證云平臺系統(tǒng)的線性擴(kuò)展能力，將網(wǎng)絡(luò)虛擬化能力從計(jì)算資源中剝離，采用專用的網(wǎng)絡(luò)設(shè)備進(jìn)行替代是一個(gè)思路；如何有效保證網(wǎng)絡(luò)虛擬化帶來的快速靈活部署能力，高效實(shí)現(xiàn)云網(wǎng)結(jié)合涉及到多個(gè)方面的問題，本文主要關(guān)注VM網(wǎng)絡(luò)虛擬化的解決方案。

2 基于硬件的網(wǎng)絡(luò)虛擬化技術(shù)

2.1 SR-IOV技術(shù)介紹

為了解決網(wǎng)絡(luò)性能問題，首先可以考慮網(wǎng)卡直通技術(shù)，這項(xiàng)技術(shù)能讓VM 獨(dú)占物理網(wǎng)卡，以達(dá)到最優(yōu)性能，建議在網(wǎng)卡性能要求非常高的場景中使用。然而一臺服務(wù)器主板上的空間比較有限，允許添加的PCI和PCIe 設(shè)備是有限的，如果一臺宿主機(jī)上的VM 數(shù)量較多，那主機(jī)很難向每臺VM 都分配獨(dú)立網(wǎng)卡。另外，分配大量網(wǎng)卡給客戶機(jī)獨(dú)立使用會增加硬件投資成本。為解決物理網(wǎng)卡數(shù)量和成本問題考慮使用虛擬化網(wǎng)絡(luò)I/O 的硬件技術(shù)方案SR-IOV（Single Root I/O Virtualization）。

SR-IOV 技術(shù)是一種基于硬件的網(wǎng)卡虛擬化解決方案，允許在虛擬機(jī)之間高效共享PCIe 設(shè)備，這樣每個(gè)VM 都可訪問唯一的虛擬資源；因此啟用了SRIOV 并且具有適當(dāng)?shù)挠布蚈S 支持的PCIe 設(shè)備（如網(wǎng)卡）可以顯示為多個(gè)單獨(dú)的物理設(shè)備。SR-IOV 技術(shù)原理如圖2所示。

SR-IOV 技術(shù)引入了以下3 個(gè)功能（function）類型。

a）物理功能（PF——Physical Function）：擁有包含SR-IOV 擴(kuò)展能力在內(nèi)的所有完整的PCIe 功能，簡單說PF 就是一個(gè)普通的PCIe 設(shè)備，可以放在宿主機(jī)中配置和管理其他VF，它本身也可以作為一個(gè)完整獨(dú)立的功能使用。

b）虛擬功能（VF——Virtual Function）：由PF衍生而來的“輕量級”的PCIe 功能，包含數(shù)據(jù)傳送所必需的資源，但是僅擁有最小化的配置資源。簡言之，VF 通過PF的配置之后，可以分配到客戶機(jī)中作為獨(dú)立功能使用。SR-IOV 為VM 中使用的VF 提供了獨(dú)立的內(nèi)存空間、中斷、DMA 流，從而不需要Hypervisor 介入數(shù)據(jù)的傳送過程。SR-IOV 架構(gòu)設(shè)計(jì)的目的是允許一個(gè)設(shè)備支持多個(gè)VF，同時(shí)也盡量減小每個(gè)VF的硬件成本。

圖2 SR-IOV 技術(shù)原理圖

c）交換功能（Layer 2 switch）：交換機(jī)功能其實(shí)是物理網(wǎng)卡內(nèi)置的。流量進(jìn)入物理網(wǎng)卡后，經(jīng)過這個(gè)交換機(jī)后分發(fā)到不同的VF上。

2.2 基于虛擬網(wǎng)卡的網(wǎng)絡(luò)功能

對宿主機(jī)來講，網(wǎng)絡(luò)虛擬化要解決虛擬網(wǎng)絡(luò)在宿主機(jī)內(nèi)/外的隔離和互通2 個(gè)問題。引入SR-IOV 技術(shù)可以使每個(gè)VM 擁有專有網(wǎng)絡(luò)硬件資源，可以使網(wǎng)絡(luò)層面的隔離更徹底。但如何實(shí)現(xiàn)多VM 之間的網(wǎng)絡(luò)控制管理就沒有那么簡單了。

傳統(tǒng)的OVS 只有一個(gè)虛擬交換機(jī)，所以網(wǎng)絡(luò)控制比較容易。由于VM 直接操作專屬網(wǎng)卡，可以通過引入外部的物理交換機(jī)的方式進(jìn)行控制，比如可以為每個(gè)VM 虛擬網(wǎng)卡創(chuàng)建對應(yīng)交換機(jī)的子端口，然后對每個(gè)VM 的流量打上VLAN-ID 標(biāo)識來區(qū)分不同虛擬機(jī)的流量，從而實(shí)現(xiàn)網(wǎng)絡(luò)控制。宿主機(jī)內(nèi)部同網(wǎng)段的VM 的互通可以通過SR-IOV 內(nèi)置的交換功能實(shí)現(xiàn)。虛擬機(jī)網(wǎng)絡(luò)之間的連接如圖3所示。

目前很多主流的中高端網(wǎng)卡都支持SR-IOV，如Intel 82576 網(wǎng)卡、I350 網(wǎng)卡、82599 網(wǎng)卡、X540 網(wǎng)卡等。在宿主機(jī)Linux環(huán)境中，可以通過“l(fā)spci-v-s$BDF”的命令來查看網(wǎng)卡PCI 信息的“Capabilities”項(xiàng)目，以確定設(shè)備是否具備SR-IOV 的能力。同時(shí)主流的虛擬化平臺/方案（如KVM、Xen、VMware、Hyper-V 等）都實(shí)現(xiàn)了對SR-IOV技術(shù)的支持，在平臺中可以將1個(gè)或多個(gè)VF 分配給1 個(gè)客戶機(jī)，客戶機(jī)通過自身的VF 驅(qū)動程序直接操作設(shè)備的VF而不需要Hypervisor的參與。

圖3 虛機(jī)網(wǎng)絡(luò)之間連接模式

SR-IOV技術(shù)有以下優(yōu)點(diǎn)。

a）良好的性能，虛擬機(jī)可以繞過虛擬化層和系統(tǒng)，直接訪問硬件，沒有虛擬化層軟件模擬的開銷。

b）降低成本，減少了設(shè)備數(shù)量，例如網(wǎng)卡的SRIOV 減少了網(wǎng)卡數(shù)量、交換機(jī)端口和網(wǎng)線。既能提高訪問效率，又能提高網(wǎng)卡的利用率。

1 個(gè)設(shè)備可支持多個(gè)VF，PCI-SIG 的SR-IOV 規(guī)范指出每個(gè)PF 最多能擁有256 個(gè)VF，而實(shí)際支持的VF數(shù)量是由設(shè)備的硬件設(shè)計(jì)及其驅(qū)動程序共同決定的。例如使用“igb”驅(qū)動的82576、I350 等千兆以太網(wǎng)卡的每個(gè)PF 最多支持7 個(gè)VF，而使用“ixgbe”驅(qū)動的82599、X540等萬兆以太網(wǎng)卡的每個(gè)PF最多支持63個(gè)VF。目前的服務(wù)器主流配置都是支持63 個(gè)VF 的網(wǎng)卡，基本可以滿足虛擬化平臺創(chuàng)建VM的需求。

3 SR-IOV技術(shù)應(yīng)用示例

在SR-IOV 的實(shí)際應(yīng)用中硬件平臺需要支持Intel VT-x 和VT-d（或AMD 的SVM 和IOMMU），另外還需要支持SR-IOV 規(guī)范的設(shè)備。下面舉例說明如何在Centos7上的KVM 虛擬化環(huán)境中用SR-IOV 技術(shù)為VM綁定虛擬網(wǎng)卡并打上VLAN-ID。需要說明的是后續(xù)配置中使用的網(wǎng)卡是Intel Corporation 82599ES。

3.1 環(huán)境準(zhǔn)備

首先檢查網(wǎng)卡是否支持SR-IOV，然后通過yum命令進(jìn)行KVM 虛擬化環(huán)境的安裝，開啟libvirtd 服務(wù)并設(shè)置為開機(jī)自啟動模式。

3.2 配置SR-IOV創(chuàng)建VF

在BIOS 中啟用英特爾VT-d 功能，重新生成配置文件grub2.cfg；運(yùn)行l(wèi)spci命令進(jìn)行網(wǎng)絡(luò)信息查看，確保對應(yīng)網(wǎng)絡(luò)設(shè)備可以被系統(tǒng)識別。同時(shí)根據(jù)網(wǎng)卡的驅(qū)動參數(shù)在/etc/udev/rules.d/目錄下創(chuàng)建以.rules 為后綴的配置文件，完成VF的創(chuàng)建。

3.3 虛擬機(jī)分配VF

首先需要將VF從宿主機(jī)中解綁，同時(shí)編輯虛擬機(jī)的XML 文件，進(jìn)行參數(shù)配置；使用編輯的XML 文件啟動虛擬機(jī)。經(jīng)過以上步驟，一個(gè)基于SR-IOV 網(wǎng)卡就與對應(yīng)的虛擬機(jī)綁定成功。

其中網(wǎng)卡部分配置示例如下：

3.4 SR-IOV 性能驗(yàn)證

本文對比測試萬兆網(wǎng)絡(luò)中SR-IOV 虛擬機(jī)和OVS虛擬機(jī)在網(wǎng)絡(luò)負(fù)載較高情況下的虛擬網(wǎng)絡(luò)表現(xiàn)，也為后續(xù)SR-IOV 虛擬機(jī)和其他類型的虛擬機(jī)對比給出參考。

3.4.1 測試環(huán)境

宿主機(jī)配置：2 個(gè)Intel（R）Xeon（R）Gold 5218 CPU，內(nèi)存576 G，1 個(gè)Ethernet Connection X722 for 1GbE 網(wǎng)卡用于管理宿主機(jī)，2 塊82599ES 10-Gigabit SFI/SFP+Network Connection 網(wǎng)卡用于流量測試，這2塊網(wǎng)卡都接入到同一臺交換機(jī)上，交換機(jī)配置為CE6855-48S6Q-HI。

3.4.2 網(wǎng)絡(luò)吞吐率性能測試

在宿主機(jī)上創(chuàng)建2 臺VM 分別發(fā)包和收包來進(jìn)行網(wǎng)絡(luò)吞吐的壓力測試。VM 配置均為4 核4G，測試工具為modprobe pktgen，測試包為UDP 包，大小為64 B。測試場景如圖4 所示。場景1 為SR-IOV+VF 直通方式，2臺VM分別使用1塊物理網(wǎng)卡；場景2為SR-IOV+VF 直通方式，2 臺VM 共同使用1 塊物理網(wǎng)卡；場景3為OVS+虛擬網(wǎng)卡方式，2 臺VM 分別使用1 塊物理網(wǎng)卡；場景4 為OVS+虛擬網(wǎng)卡方式，2 臺VM 共同使用1塊物理網(wǎng)卡。

圖4 性能測試場景示意圖

通過測試工具分別統(tǒng)計(jì)不同場景下的發(fā)包性能和收包性能，結(jié)果如表1所示。

表1 網(wǎng)絡(luò)吞吐數(shù)據(jù)統(tǒng)計(jì)表

本次測試得出以下結(jié)論。

a）采用SR-IOV+VF 直通方式可以顯著提升轉(zhuǎn)發(fā)率，相同配置條件下，發(fā)包提升865%，收包提升470%。

b）SR-IOV+VF 直通方式在1 塊物理網(wǎng)卡和2 塊物理網(wǎng)卡的表現(xiàn)基本一致，證明VF性能可以實(shí)現(xiàn)線性增長。

c）OVS+虛擬網(wǎng)卡方式下，同一物理網(wǎng)卡的轉(zhuǎn)發(fā)性能相比于不同物理網(wǎng)卡的轉(zhuǎn)發(fā)性能有略微提升。

4 主機(jī)CPU資源占用測試

對1 臺宿主機(jī)上的1 對或多對VM 進(jìn)行網(wǎng)格吞吐測試，對比SR-IOV 及OVS 方式在主機(jī)CPU 占用率和網(wǎng)絡(luò)吞吐率方面的表現(xiàn)。

在宿主機(jī)上創(chuàng)建12 臺VM（配置均為2 核4G），每臺VM 一塊網(wǎng)卡，2 臺VM 一組共6 組，組內(nèi)分A、B 兩端，其中A 端的VM 發(fā)包，B 端的VM 收包，每組A 端的VM 使用同一塊網(wǎng)卡，每組B 端的VM 使用另一塊網(wǎng)卡。依據(jù)使用的技術(shù)和網(wǎng)卡分配方式不同分以下2個(gè)場景分別進(jìn)行測試。測試包規(guī)格為UDP包256 B。

a）場景1：12 臺VM 都使用SR-IOV+VF 直通方式，第1 次使用1 組VM 收發(fā)包（共涉及VM 2 臺），第2次使用2組VM 收發(fā)包（共涉及VM 4臺），第3次使用3組VM 開始收發(fā)包，依次類推直到6 組VM 都開始收發(fā)包，分別觀察流量及宿主機(jī)CPU使用率。

b）場景2：12 臺VM 都使用OVS+虛擬網(wǎng)卡方式，第1次使用1組VM收發(fā)包（共涉及VM 2臺），第2次使用2 組VM 收發(fā)包（共涉及VM 4 臺），第3 次使用3 組VM 收發(fā)包，依次類推直到6 組VM 都開始收發(fā)包，分別觀察流量及宿主機(jī)CPU使用率。

具體采集數(shù)據(jù)如表2所示。

由表2 可以看出使用SR-IOV+VF 直通方式可以明顯減少CPU 使用率；同時(shí)SR-IOV+VF 直通方式每增加1 組VM，宿主機(jī)CPU 使用率增長9.5%左右，而OVS+虛擬網(wǎng)卡方式每增加1 組VM，宿主機(jī)CPU 使用率增長12%左右。

表2 主機(jī)CPU資源占用率統(tǒng)計(jì)表

同時(shí)采用SR-IOV+VF直通方式網(wǎng)絡(luò)吞吐率更高，1 組VM 時(shí)流量為4 602.5 Mbit/s；在3 組VM 時(shí)流量已達(dá)到9 006 Mbit/s 左右，接近萬兆網(wǎng)卡的最大帶寬，此時(shí)CPU 負(fù)載為28.2%，網(wǎng)卡吞吐能力成為了瓶頸。OVS+虛擬網(wǎng)卡方式1 組VM 時(shí)，流量僅為875 Mbit/s，直到6 組VM 時(shí)，流量為4 643.5 Mbit/s，而此時(shí)宿主機(jī)CPU使用率已達(dá)70.95%。

從以上測試中可以發(fā)現(xiàn)，相比OVS 方式，SR-IOV對網(wǎng)絡(luò)性能的提升更明顯，同時(shí)SR-IOV 方式可以減少對主機(jī)CPU的占用。

5 數(shù)據(jù)中心網(wǎng)絡(luò)方案建議

引入SR-IOV 技術(shù)后可以實(shí)現(xiàn)為每一個(gè)虛機(jī)創(chuàng)建一個(gè)獨(dú)立的網(wǎng)卡，數(shù)據(jù)中心的網(wǎng)絡(luò)初步具備了以傳統(tǒng)網(wǎng)絡(luò)設(shè)備為基礎(chǔ)進(jìn)行整個(gè)IaaS層網(wǎng)絡(luò)管理的條件。數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)可以調(diào)整為如圖5所示的模式。

圖5 基于網(wǎng)絡(luò)設(shè)備數(shù)據(jù)中心網(wǎng)絡(luò)組織架構(gòu)圖

從圖5可以看出，網(wǎng)絡(luò)的組織架構(gòu)變化很小，但是網(wǎng)絡(luò)運(yùn)行發(fā)生了實(shí)質(zhì)的改變。傳統(tǒng)網(wǎng)絡(luò)的具體業(yè)務(wù)處理都是由虛擬化平臺（IT 方式）進(jìn)行處理，有較為成熟的解決方案但I(xiàn)T 方案標(biāo)準(zhǔn)化程度低，多虛擬化平臺網(wǎng)絡(luò)互通一直是困擾數(shù)據(jù)中心建設(shè)的一個(gè)問題。而網(wǎng)絡(luò)設(shè)備的規(guī)范性高，設(shè)備互通性好，通過以網(wǎng)絡(luò)設(shè)備為核心的方式可以徹底解決多個(gè)虛擬化平臺的網(wǎng)絡(luò)互通問題。用專用的網(wǎng)絡(luò)設(shè)備實(shí)現(xiàn)數(shù)據(jù)包的轉(zhuǎn)發(fā)、控制可以進(jìn)一步提高數(shù)據(jù)中心網(wǎng)絡(luò)的效率，同時(shí)可以省去宿主機(jī)的計(jì)算資源，提供給業(yè)務(wù)應(yīng)用，從而進(jìn)行一步提升服務(wù)器資源的利用率。

但以網(wǎng)絡(luò)設(shè)備為核心的架構(gòu)中，需要使用網(wǎng)絡(luò)設(shè)備實(shí)現(xiàn)業(yè)務(wù)網(wǎng)絡(luò)的管理控制，為了保證業(yè)務(wù)開通的靈活性和業(yè)務(wù)開通的效率，必須引入SDN 等技術(shù)。本文提出一個(gè)分層的數(shù)據(jù)中心的整體結(jié)構(gòu)，把計(jì)算資源與網(wǎng)絡(luò)資源分層，云管平臺負(fù)責(zé)管理計(jì)算資源，并且可以通過網(wǎng)絡(luò)接口調(diào)用SDN 網(wǎng)絡(luò)控制器，從而在實(shí)現(xiàn)數(shù)據(jù)中心高效管理的同時(shí)保持網(wǎng)絡(luò)的彈性和性能，具體架構(gòu)如圖6所示。

圖6 數(shù)據(jù)中心分層組織架構(gòu)示意圖

6 結(jié)束語

本文通過對數(shù)據(jù)中心網(wǎng)絡(luò)現(xiàn)狀進(jìn)行分析，總結(jié)數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化在實(shí)際應(yīng)用中所面臨的問題，提出通過SR-IOV 技術(shù)實(shí)現(xiàn)VM 網(wǎng)絡(luò)虛擬化的思路，并給出了SR-IOV 技術(shù)具體應(yīng)用示例及性能測試結(jié)果，驗(yàn)證了SR-IOV 技術(shù)應(yīng)用的效果，最后提出云網(wǎng)一體分層的網(wǎng)絡(luò)構(gòu)建思路。