張學(xué)良 王 穎

（1、南京中興軟件有限責(zé)任公司，江蘇 南京210000 2、南京理工大學(xué)紫金學(xué)院，江蘇 南京210000）

隨著NFV 技術(shù)不斷發(fā)展，建網(wǎng)成本快速下降，國(guó)內(nèi)外運(yùn)營(yíng)商逐漸使用NFV 架構(gòu)來替換傳統(tǒng)設(shè)備部署在電信云數(shù)據(jù)中心上。國(guó)內(nèi)三大運(yùn)營(yíng)商在國(guó)家新基建的號(hào)召下，加快將5G 和4G相關(guān)的核心網(wǎng)部署在電信云上。電信云上承載的是電信基礎(chǔ)設(shè)施的網(wǎng)元。隨著5G、數(shù)字化和智能化的深入，工業(yè)物聯(lián)網(wǎng)的蓬勃發(fā)展，在電信云中會(huì)產(chǎn)生海量數(shù)據(jù)。不僅對(duì)通信基礎(chǔ)設(shè)施網(wǎng)元的可靠性和穩(wěn)定性要求更高；同時(shí)在網(wǎng)元中會(huì)突發(fā)產(chǎn)生超大的流量，巨大流量產(chǎn)生具有隨機(jī)性。為了面對(duì)這些挑戰(zhàn)，大型電信云數(shù)據(jù)中心不僅要有穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu)，還要能基于端到端鏈路的擁塞情況來調(diào)度主機(jī)，從而提升電信云中網(wǎng)絡(luò)設(shè)備效率和可靠性。本文提出一種電信云全局流量自動(dòng)調(diào)度新方法，嘗試解決電信云數(shù)據(jù)中心基于傳統(tǒng)VLAN 組網(wǎng)下突發(fā)的流量擁塞問題。

1 系統(tǒng)架構(gòu)設(shè)計(jì)

NFV 虛擬化后，電信云中硬件、云平臺(tái)和VNF 完全解耦，VNF 充分利用云平臺(tái)的快速遷移和重生等云化重要功能。在電信云中部署處理媒體流、信令和網(wǎng)管的NFV 網(wǎng)元流量具有隨機(jī)性。同時(shí)數(shù)據(jù)中心的南北向和東西向流量中，鏈路上的中間節(jié)點(diǎn)多，在鏈路上的某個(gè)節(jié)點(diǎn)當(dāng)吞吐量超過帶寬時(shí)就會(huì)引起報(bào)文傳輸?shù)妮^大時(shí)延，甚至是丟棄。如果能夠從全局角度出發(fā)感知到端到端鏈路的流量過大，自動(dòng)遷移虛機(jī)到其它計(jì)算節(jié)點(diǎn)上，從而解決VNF 網(wǎng)元鏈路擁塞問題。

參考ETSI 的NFV 架構(gòu)[1]，云平臺(tái)和MANO 中增加組件來感知網(wǎng)絡(luò)鏈路以及執(zhí)行VNF 虛機(jī)調(diào)度組件（圖1）。

網(wǎng)絡(luò)設(shè)備：電信云數(shù)據(jù)中心的交換機(jī)與路由器設(shè)備，具有典型的三層網(wǎng)絡(luò)架構(gòu)，TOR、EOR 和Core 三層架構(gòu)。TOR 交換機(jī)與服務(wù)器相連，負(fù)責(zé)實(shí)現(xiàn)將服務(wù)器上的流量進(jìn)行二層交換以及鏈路綁定功能；EOR 負(fù)責(zé)匯聚TOR 轉(zhuǎn)發(fā)過來的流量，將流量發(fā)送到Core 角色上。Core 角色采用路由器，與VNF 網(wǎng)元建立三層連接，還與數(shù)據(jù)中心外部的CE 建立通信，保證運(yùn)營(yíng)商的核心網(wǎng)網(wǎng)元互相連通，為用戶提供網(wǎng)絡(luò)服務(wù)。

服務(wù)器：高性能的硬件服務(wù)器，具有高速和穩(wěn)定的網(wǎng)卡。作為計(jì)算型服務(wù)器，具有3 對(duì)網(wǎng)卡，分別接入到管理、存儲(chǔ)和業(yè)務(wù)交換機(jī)。作為存儲(chǔ)型服務(wù)器，通常配置2 對(duì)網(wǎng)卡，分別接入到管理和存儲(chǔ)交換機(jī)中。服務(wù)器與網(wǎng)絡(luò)設(shè)備之間采用Co-Ne 接口通信。

云平臺(tái)：在硬件服務(wù)器上安裝云平臺(tái)系統(tǒng)，為VNF 網(wǎng)元提供虛擬的計(jì)算，存儲(chǔ)和網(wǎng)絡(luò)資源。VNF 網(wǎng)元部署在云平臺(tái)上。在電信云中，國(guó)內(nèi)常用的有中興、華為和愛立信云計(jì)算平臺(tái)。這些云平臺(tái)都采用開源的OpenStack 為架構(gòu)開發(fā)而來，系統(tǒng)穩(wěn)定和可靠，滿足電信級(jí)的高可靠性和高穩(wěn)定性。

網(wǎng)絡(luò)感知控制器：作為新引入的組件，它與云平臺(tái)集成在一起，主要作用是構(gòu)建電信云中端到端全局的網(wǎng)絡(luò)拓?fù)湟约版溌返年P(guān)系，同時(shí)感知每條鏈路上的擁塞，對(duì)超出閥值的鏈路上報(bào)給決策器。

決策器：MANO 中新增一個(gè)組件，決策感知器上報(bào)的鏈路擁塞閥值是否執(zhí)行VNF 虛機(jī)調(diào)度。決策器根據(jù)VNF 續(xù)集當(dāng)前業(yè)務(wù)狀態(tài)以及云平臺(tái)資源以及全局流量狀態(tài)來作為決策的依據(jù)。當(dāng)決策器決定遷移主機(jī)時(shí)可以將主機(jī)前往鏈路空閑的計(jì)算節(jié)點(diǎn)。決策器借用Nf-Vi 接口與云平臺(tái)進(jìn)行通信。

VNF：虛擬化網(wǎng)元，在5G 核心網(wǎng)中可以為AMF、SMF、UDM以及PCF 等網(wǎng)元。在4G 網(wǎng)元中，包含PGW 和SGW 等網(wǎng)元。VNF 通過Vn-Fm 接口與MANO 的決策器通信，讓決策器能夠感知到VNF 當(dāng)前業(yè)務(wù)狀態(tài)。業(yè)務(wù)運(yùn)行狀態(tài)以及指標(biāo)能夠及時(shí)傳送到MANO 的決策器中。

2 網(wǎng)絡(luò)感知器設(shè)計(jì)

網(wǎng)絡(luò)感知器是整個(gè)全局流量調(diào)度的核心組件之一，通過采用不同的技術(shù)與方法，構(gòu)建出全局所有網(wǎng)元虛機(jī)中每個(gè)網(wǎng)卡的端到端鏈路流量。監(jiān)測(cè)每個(gè)網(wǎng)卡的東西向流量或者南北向流量，通過對(duì)每條鏈路的流量進(jìn)行特征分析，及時(shí)發(fā)現(xiàn)有較大增加的鏈路。接下來詳細(xì)描述感知器的重要業(yè)務(wù)軟件流程。

2.1 構(gòu)造網(wǎng)絡(luò)拓?fù)?/h3>

自動(dòng)構(gòu)造網(wǎng)元虛機(jī)到匯聚層交換機(jī)EOR 之間端到端全局鏈路拓?fù)浼?，該拓?fù)浣涌诎齻€(gè)層次，如圖2 所示。

虛機(jī)到計(jì)算節(jié)點(diǎn)層：每個(gè)VNF 網(wǎng)元通過MANO 的編排和部署功能，在計(jì)算節(jié)點(diǎn)上創(chuàng)建不同類型的虛機(jī)，在虛機(jī)里面運(yùn)行不同的軟件包，實(shí)現(xiàn)VNF 的業(yè)務(wù)功能。在計(jì)算節(jié)點(diǎn)上有虛擬的端口與每個(gè)VNF 虛機(jī)的虛擬網(wǎng)卡相連接。通常在計(jì)算節(jié)點(diǎn)上有OVS、OVS+DPDK 以及SRIOV 類型的虛擬端口與虛機(jī)的網(wǎng)卡互相通信。不管采用哪種方式，計(jì)算節(jié)點(diǎn)都有對(duì)應(yīng)的方法來查看每個(gè)虛機(jī)的網(wǎng)卡與計(jì)算節(jié)點(diǎn)連接關(guān)系。通過Openstack 云平臺(tái)提供的命令以及OVS 組件的CLI 就能確認(rèn)虛機(jī)與OVS 的拓?fù)湫畔?。感知器及時(shí)收集各個(gè)計(jì)算節(jié)點(diǎn)上的虛擬端口狀態(tài)和流量，清晰構(gòu)造出VNF 網(wǎng)元所有虛擬網(wǎng)卡流量以及連接信息。

計(jì)算節(jié)點(diǎn)到接入層：計(jì)算節(jié)點(diǎn)上安裝Linux 操作系統(tǒng)，在Linux 操作系統(tǒng)上安裝LLDP 軟件包，從而實(shí)現(xiàn)通過LLDP 協(xié)議構(gòu)造計(jì)算節(jié)點(diǎn)與接入層交換機(jī)的拓?fù)洌_定計(jì)算節(jié)點(diǎn)與TOR 端口之間的連接信息。到此能夠夠構(gòu)建出VNF 虛機(jī)網(wǎng)卡、OVS 以及TOR 的鏈路結(jié)構(gòu)信息。

接入層到匯聚層：接口層與匯聚層都屬于交換機(jī)，LLDP 作為交換機(jī)的基礎(chǔ)功能，默認(rèn)都是打開的。通過命令確認(rèn)打開LLDP 功能后，TOR 和EOR 的端口連接關(guān)系通過查看LLDP 拓?fù)湫畔⑻崛〕鲞B接關(guān)系。

最后將三個(gè)層次的端口拓?fù)湫畔⑦B接起來就能構(gòu)造出整個(gè)電信云DC 的全局鏈路拓?fù)浼稀?/p>

2.2 拓?fù)涔?jié)點(diǎn)流量測(cè)量

虛機(jī)網(wǎng)卡測(cè)量：VNF 網(wǎng)元虛擬化后，虛機(jī)內(nèi)部采用linux 系統(tǒng)，通過Linux 查看網(wǎng)卡的流量統(tǒng)計(jì)，就能收集到網(wǎng)卡的流量數(shù)值。網(wǎng)卡的帶寬由業(yè)務(wù)能力的特性來估算一個(gè)數(shù)值。

計(jì)算節(jié)點(diǎn)測(cè)量：在計(jì)算節(jié)點(diǎn)上通過OVS 命令可以查詢到每個(gè)虛機(jī)網(wǎng)卡與計(jì)算節(jié)點(diǎn)上的OVS 的流量。在計(jì)算節(jié)點(diǎn)上直接采用開源的OVS 組件，性能很差，不能夠滿足電信級(jí)別高可靠和高穩(wěn)定性要求。業(yè)界主流的虛擬化加速技術(shù)在OVS 上增加DPDK 組件來加快報(bào)文的轉(zhuǎn)發(fā)，從而使得虛擬機(jī)的流量集合能夠達(dá)到物理網(wǎng)卡的性能。另外，有的運(yùn)營(yíng)商會(huì)采用SRIOV 技術(shù)來加速報(bào)文的轉(zhuǎn)發(fā)。這些虛擬化加速技術(shù)也都有命令可以采集中流量信息。

TOR 和EOR 測(cè)量：TOR 和EOR 屬于傳統(tǒng)的交換機(jī)，有命令可以查詢到每個(gè)端口的流量。既可以采用SSH 登入、SNMP 協(xié)議或者NETCONF 協(xié)議來實(shí)現(xiàn)端口的流量統(tǒng)計(jì)。本文建議采用SNMPv3 和SSH 相結(jié)合方式來獲取交換機(jī)端口流量。兩者能夠更加安全進(jìn)行報(bào)文交互以及能夠獲取設(shè)備的運(yùn)行狀態(tài)以及流量統(tǒng)計(jì)。

測(cè)量標(biāo)定：通過設(shè)置紅色、黃色和綠色閥值與當(dāng)前節(jié)點(diǎn)端口流量比較，標(biāo)記鏈路狀態(tài)為紅色，黃色和綠色。超過帶寬80%定位紅色閥值，超過帶寬60%標(biāo)記為黃色閥值，小于帶寬60%的流量標(biāo)記為綠色閥值。

圖2 電信云全局鏈路拓?fù)浼?/p>

2.3 篩選算法

當(dāng)VNF 虛機(jī)流通鏈路上各個(gè)節(jié)點(diǎn)綠色時(shí)，保持鏈路拓?fù)洳蛔儭?/p>

當(dāng)某個(gè)節(jié)點(diǎn)出現(xiàn)黃色或紅色，選擇上游節(jié)點(diǎn)綠色端口以及相關(guān)的綠色下聯(lián)節(jié)點(diǎn)鏈路。

當(dāng)前某個(gè)節(jié)點(diǎn)上級(jí)節(jié)點(diǎn)沒有綠色端口，保留與上級(jí)節(jié)點(diǎn)的鏈路，再次篩選同節(jié)點(diǎn)的是否存在綠色端口。存在的話，選擇綠色端口。如果不存在綠色端口，此時(shí)整個(gè)DC 處于過負(fù)荷運(yùn)轉(zhuǎn)，強(qiáng)行調(diào)度為可能引起網(wǎng)絡(luò)崩潰，不做處理。

最后，如果篩選算法計(jì)算出調(diào)度目標(biāo)的計(jì)算節(jié)點(diǎn)以及當(dāng)前鏈路擁塞的VNF 虛機(jī)名稱，將這些信息上報(bào)到MANO 中。MANO 收到這些信息后，及時(shí)將信息傳遞到?jīng)Q策器。決策器通過Vn-Fm 接口向流量擁塞的VNF 虛機(jī)發(fā)起業(yè)務(wù)感知，收集VNF虛機(jī)當(dāng)前的業(yè)務(wù)性能統(tǒng)計(jì)。決策器優(yōu)先將VNF 網(wǎng)元擴(kuò)容到新的空閑計(jì)算節(jié)點(diǎn)上，并將流量及時(shí)分擔(dān)到新的計(jì)算節(jié)點(diǎn)上。如果業(yè)務(wù)不支持動(dòng)態(tài)擴(kuò)容業(yè)務(wù)虛機(jī)數(shù)量，還能通過業(yè)務(wù)虛機(jī)熱遷移將流量主機(jī)遷移到新的空閑計(jì)算節(jié)點(diǎn)上，從而能夠充分利用NFV 虛擬化特性來自主調(diào)度虛機(jī)里面的流量。

3 結(jié)論

本文創(chuàng)新提出5G 虛擬核心網(wǎng)電信云中鏈路擁塞自動(dòng)快速調(diào)度主機(jī)的解決方案。在關(guān)鍵技術(shù)中能自動(dòng)構(gòu)造NFV 電信云中VNF 虛機(jī)與EOR 之間的全局拓?fù)滏溌?，自?dòng)測(cè)量鏈路流量，當(dāng)出現(xiàn)擁塞，MANO 能夠快速對(duì)VNF 做出調(diào)度，有效避免電信云中核心網(wǎng)業(yè)務(wù)的過載與中斷。