高群濤　馮巧新

【摘要】? ? 隨著移動(dòng)互聯(lián)網(wǎng)通信技術(shù)的快速發(fā)展，新型網(wǎng)絡(luò)應(yīng)用和業(yè)務(wù)越來(lái)越多，網(wǎng)絡(luò)用戶數(shù)量和網(wǎng)絡(luò)規(guī)模迅速增長(zhǎng)，如何利用現(xiàn)有的網(wǎng)絡(luò)資源和更有效率的路由優(yōu)化方法來(lái)為網(wǎng)絡(luò)業(yè)務(wù)提供更好的服務(wù)質(zhì)量（Quality of Service，QoS），已經(jīng)成為網(wǎng)絡(luò)發(fā)展的難題。網(wǎng)絡(luò)規(guī)模的不斷增大以及網(wǎng)絡(luò)復(fù)雜度的不斷提高，使得傳統(tǒng)的QoS路由優(yōu)化方案都越來(lái)越力不從心。這是由于傳統(tǒng)QoS路由優(yōu)化方案往往是針對(duì)某些具體網(wǎng)絡(luò)場(chǎng)景的，而針對(duì)這些場(chǎng)景的解決方案難以適應(yīng)不斷變化的業(yè)務(wù)需求，因此需要提出一種適用廣泛應(yīng)用場(chǎng)景的QoS路由方案。近幾年隨著人工智能的發(fā)展，深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)都取得巨大進(jìn)步，結(jié)合二者的深度強(qiáng)化學(xué)習(xí)在智能優(yōu)化探索上有著巨大的潛力，與此同時(shí)，軟件定義網(wǎng)絡(luò)（Software-Defined Networking，SDN）的出現(xiàn)使得網(wǎng)絡(luò)的控制變得更加靈活和高效，這些都為實(shí)現(xiàn)更加智能的QoS路由優(yōu)化方案提供了新的機(jī)遇。本文對(duì)QoS多約束路由優(yōu)化的問(wèn)題進(jìn)行了研究，以SDN為基本框架，使用深度強(qiáng)化學(xué)習(xí)進(jìn)行路由策略，提出了一種新型的智能QoS路由優(yōu)化方案。

【關(guān)鍵詞】? ? 軟件定義網(wǎng)絡(luò)? ?QoS? ? 智能路由

一、 相關(guān)技術(shù)

1.1 SDN架構(gòu)

1.SDN具有以下特點(diǎn)：1）與傳統(tǒng)網(wǎng)絡(luò)設(shè)備轉(zhuǎn)發(fā)功能與控制功能是緊密結(jié)合相比，實(shí)現(xiàn)了數(shù)據(jù)平面與控制平面相分離。如果需要對(duì)網(wǎng)絡(luò)應(yīng)用功能進(jìn)行更新，則必須對(duì)所有網(wǎng)絡(luò)設(shè)備重新逐一配置，擴(kuò)展性較差。SDN的出現(xiàn)使得網(wǎng)絡(luò)設(shè)備得到解脫，網(wǎng)絡(luò)設(shè)備只需按照控制層的SDN控制器下發(fā)的流表策略來(lái)執(zhí)行轉(zhuǎn)發(fā)，而不需要在去制定規(guī)則。極大地提高了網(wǎng)絡(luò)設(shè)備的轉(zhuǎn)發(fā)效率。2）集中式的控制，控制器控制著下層的網(wǎng)絡(luò)設(shè)備，也控制著上層的網(wǎng)絡(luò)應(yīng)用，可以為上層應(yīng)用提供不同的網(wǎng)絡(luò)服務(wù)，3）具有可編程的接口，向應(yīng)用層提供可編程的北向接口，開(kāi)發(fā)者可以制定自己需要的網(wǎng)絡(luò)功能。4）實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)流的細(xì)粒度管理，能夠?qū)α鲗?shí)時(shí)監(jiān)控，對(duì)網(wǎng)絡(luò)管理更加靈活和高效。SDN的架構(gòu)主要由應(yīng)用平面、控制平面、數(shù)據(jù)平面這三個(gè)部分組成。

1.2 OpenFlow

在SDN網(wǎng)絡(luò)中，控制平面的控制器與過(guò)數(shù)據(jù)平面的網(wǎng)絡(luò)設(shè)備通過(guò)OpenFlow協(xié)議進(jìn)行通信。SDN控制器負(fù)責(zé)對(duì)控制規(guī)則的制定、流表下發(fā)，交換機(jī)只需按照下發(fā)的流表規(guī)則進(jìn)行轉(zhuǎn)發(fā)。底層設(shè)備支持OpenFlow協(xié)議，稱為OepnFlow交換機(jī)。

1.3 SDN 控制器

SDN控制器是控制層的核心組件，通過(guò)數(shù)據(jù)平面網(wǎng)絡(luò)設(shè)備的運(yùn)行狀態(tài)來(lái)負(fù)責(zé)數(shù)據(jù)流的轉(zhuǎn)發(fā)，并且向上層業(yè)務(wù)提供可編程的業(yè)務(wù)接口。在控制器中寫(xiě)相應(yīng)的路由控制算法，能夠得到滿足QoS需求的路徑。

二、基于SDN和A3C的智能QoS路由算法

2.1 A3C算法模型構(gòu)建

之前在第二小節(jié)分別介紹了基于值（Value）和基于策略（Policy）的二種強(qiáng)化學(xué)習(xí)方法，Actor-Critic算法（AC）就是融合了以值為中心和以策略（動(dòng)作概率）為中心的強(qiáng)化學(xué)習(xí)算法。A3C算法為了提升網(wǎng)絡(luò)訓(xùn)練的速度而采用異步訓(xùn)練的思想，利用多線程的訓(xùn)練方法。每個(gè)線程都相當(dāng)于一個(gè)智能體在同一個(gè)或者不同的環(huán)境中進(jìn)行隨機(jī)探索，多個(gè)智能體共同進(jìn)行探索的過(guò)程，之后收集探索過(guò)程中的狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)等信息，將收集到的信息按照異步的方式交互給中心網(wǎng)絡(luò)進(jìn)行梯度更新和網(wǎng)絡(luò)學(xué)習(xí)，從而完成并行計(jì)算策略梯度的過(guò)程。即同時(shí)啟動(dòng)多個(gè)agent在環(huán)境中進(jìn)行訓(xùn)練，異步進(jìn)行數(shù)據(jù)采樣，并在之后收集采集的樣本進(jìn)行網(wǎng)絡(luò)參數(shù)的訓(xùn)練，在中心網(wǎng)絡(luò)更新網(wǎng)絡(luò)后下發(fā)到各個(gè)agent當(dāng)中，在新的參數(shù)情況下進(jìn)行新的數(shù)據(jù)采樣，并且重復(fù)這個(gè)過(guò)程。

2.2 A3C網(wǎng)絡(luò)設(shè)計(jì)

上節(jié)論述了基于QoS智能路由系統(tǒng)的A3C算法框架，本節(jié)重點(diǎn)論述A3C算法的網(wǎng)絡(luò)設(shè)計(jì)細(xì)節(jié)進(jìn)行闡述，包括輸入狀態(tài)設(shè)計(jì)、輸出動(dòng)作設(shè)計(jì)、獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)以及算法環(huán)境的設(shè)計(jì)，算法的整體設(shè)計(jì)實(shí)現(xiàn)邏輯圖如圖所示：

2.3 QoS路由計(jì)算

根據(jù)網(wǎng)絡(luò)中不同服務(wù)類型流的需求，本文提的QoS多約束路由算法—SDMCQR算法對(duì)不同需求的流提供不同的服務(wù)，如算法1所示。對(duì)于非QoS需求的流使用Dijkstra算法。對(duì)于有QoS需求的業(yè)務(wù)流，考慮有多種QoS參數(shù)要求，通過(guò)A3C深度網(wǎng)絡(luò)模型的訓(xùn)練，會(huì)得到一套鏈路權(quán)值[w1， w2， …， wn]，根據(jù)鏈路的權(quán)重值加權(quán)以及流的優(yōu)先級(jí)來(lái)來(lái)選擇最佳路徑，并能夠?qū)崿F(xiàn)動(dòng)態(tài)路由切換和數(shù)據(jù)流的在線路由功能。

三、系統(tǒng)測(cè)試

31 網(wǎng)絡(luò)連通性測(cè)試

為了保證測(cè)量模塊、網(wǎng)絡(luò)感知模塊、網(wǎng)絡(luò)監(jiān)控模塊、智能路由模塊的正常工作，基于OS3E的基本拓?fù)浣Y(jié)構(gòu)，用Mininet和Ryu控制器之間的連通，來(lái)測(cè)試網(wǎng)絡(luò)環(huán)境的正常使用。首先輸入ryu—manager 命令開(kāi)啟Ryu控制器，在Mininet中通過(guò)運(yùn)行Python編寫(xiě)的OS3E拓?fù)涞耐負(fù)淠_本，使用#sudo mn? --custom os3e.py --topo mytopo --mac --controller remote --Link tc 命令可以開(kāi)啟網(wǎng)絡(luò)感知模塊功能。

3.2 QoS智能路由測(cè)試

路徑發(fā)生變化的原因就是每個(gè)QoS流來(lái)選擇路徑。通過(guò)OS3E 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)中可以看到h11 ping h15 至少有8條候選路徑，通過(guò)對(duì)數(shù)據(jù)層交換機(jī)底層鏈路狀態(tài)信息的搜集，放入到A3C深度強(qiáng)化學(xué)習(xí)訓(xùn)練，智能路由算法會(huì)得到所有的鏈路權(quán)重，經(jīng)過(guò)141次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練后，通過(guò)計(jì)算每個(gè)源地址h11和目的地址h5的候選路徑權(quán)重加權(quán)值來(lái)確定最優(yōu)路徑，即[S11—S8—S7—S14—S5]鏈路加權(quán)值最小，即就是最優(yōu)路徑。

3.3 性能分析

將SA3CR算法、DDPG路由算法（DDPG_R）、NAF路由算法（NAF_R）、ECMP算法、KSP算法這四種算法做了對(duì)比。用Iperf工具發(fā)送數(shù)據(jù)包進(jìn)行測(cè)試，DDPG算法是當(dāng)前最優(yōu)算法進(jìn)行路由優(yōu)化算法之一，NAF是一種連續(xù)的DQN算法，ECMP是一種等價(jià)多路徑負(fù)載均衡算法，KSP算法是一種K條最短路徑算法，A3C_R智能路由算法充分考慮了QoS流的帶寬、時(shí)延、丟包率等主要的QoS指標(biāo)，在連續(xù)的狀態(tài)動(dòng)作空間內(nèi)選擇動(dòng)作，相對(duì)比其他智能算法，使用采用異步訓(xùn)練的思想，利用多線程的訓(xùn)練方法，提升網(wǎng)絡(luò)訓(xùn)練的速度，訓(xùn)練效果良好。

1.平均時(shí)延。用主機(jī)h11 ping h5 、當(dāng)流的請(qǐng)求速率達(dá)到80Mbit/s時(shí)，SA3CR算法最后的平均時(shí)延是43ms，低于DDPG_R算法的平均時(shí)延47ms和NAF_R算法的52ms，低于ECMP算法平均時(shí)延59.4ms，其中KSP的算法平均時(shí)延最高為61.73ms，同樣用主機(jī)h10 ping h4進(jìn)行測(cè)試，效果如圖5-10所示，SA3CR算法在在優(yōu)化QoS路由場(chǎng)景下在時(shí)延性能優(yōu)于其他算法，減少了10%的平均端到端傳輸時(shí)延。

2. 吞吐量。對(duì)于KSP算法來(lái)說(shuō)，有K條候選路徑可能會(huì)公用相同的鏈路，這時(shí)鏈路會(huì)擁塞，網(wǎng)絡(luò)的傳輸能力就會(huì)下降。ECMP主要采用等價(jià)多路徑傳輸，沒(méi)有綜合考慮當(dāng)前網(wǎng)絡(luò)中各個(gè)路徑的帶寬時(shí)延和可靠性，當(dāng)鏈路的網(wǎng)絡(luò)狀態(tài)存在很大差異時(shí)，不能很好的利用帶寬，造成吞吐量較低。

3.平均丟包率。KSP算法比ECMP算法的丟包率稍低，主要是因?yàn)镵SP有多條備選路徑可以進(jìn)行路由，但是比SA3CR、DDPG_R、NAF_R這些強(qiáng)化學(xué)習(xí)算法丟包率高，因?yàn)橹悄軆?yōu)化算法，在生成路徑時(shí)會(huì)盡量減少各路徑共用一條路徑情況的出現(xiàn)，避免了鏈路的過(guò)度擁塞。

四、結(jié)束語(yǔ)

本文利用SDN框架與深度學(xué)習(xí)算法相結(jié)合，設(shè)計(jì)了一套基于SDN的QoS智能路由優(yōu)化方案。基于時(shí)間有限，論文仍然存在以下不足：（1）本文只在Mininet網(wǎng)絡(luò)仿真實(shí)驗(yàn)平臺(tái)使用OS3E拓?fù)錅y(cè)試了基于SDN的QoS智能路由優(yōu)化系統(tǒng)，對(duì)各模塊的功能進(jìn)行了驗(yàn)證，由于時(shí)間和精力有限，并未在真實(shí)的網(wǎng)絡(luò)環(huán)境中進(jìn)行部署，因此后續(xù)的研究應(yīng)盡力在真實(shí)的更大規(guī)模的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)中部署。才能更加體現(xiàn)QoS智能路由系統(tǒng)的有效性。（2）結(jié)合GNN圖神經(jīng)網(wǎng)絡(luò)的拓?fù)湫畔⒏兄芰蜕疃葟?qiáng)化學(xué)習(xí)的自我探索學(xué)習(xí)能力，將是未來(lái)提升網(wǎng)絡(luò)智能路由策略性的一個(gè)重要研究方向。

參? 考? 文? 獻(xiàn)

[1] Z. Shan，“Integrated service adaptation，”in 2010 6th World Congress on Services，pp.140-143， Miami， FL， USA， July 2010.

[2] Y. Wang， X. Wang， H. Li， Y. Dong， Q. Liu， and X. Shi，“A multi-service differentiation traffic management strategy in SDN cloud data center，” Computer Networks， vol. 171， article 107143， 2020.

[3] Z. Al-Qudah， I. Jomhawy， M. Alsarayreh， and M. Rabinovich，“On the stability and diversity of Internet routes in the MPLS era，”P(pán)erformance Evaluation， vol. 138， article 102084， 2020.

[4] Szymanski， Ted H.，et al. Provisioning Mission-Critical Telerobotic Control Systems over Internet Backbone Networks with Essentially-Perfect QoS. IEEE Journal on Selected Areas in Communications， 2010， 630-643.

[5]李丹，陳貴海，任豐原，蔣長(zhǎng)林，徐明偉.數(shù)據(jù)中心網(wǎng)絡(luò)的研究進(jìn)展與趨勢(shì)[J].計(jì)算機(jī)學(xué)報(bào)，2014，37（02）：259-274.

[6]張朝昆，崔勇，唐翯翯，吳建平.軟件定義網(wǎng)絡(luò)（SDN）研究進(jìn)展[J].軟件學(xué)報(bào)，2015，26（01）：62-81.

[7]左青云，陳鳴，趙廣松，邢長(zhǎng)友，張國(guó)敏，蔣培成.基于OpenFlow的SDN技術(shù)研究[J].軟件學(xué)報(bào)，2013，24（05）：1078-1097.

[8]金勇，劉亦星，王欣欣.基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)多路徑流量調(diào)度算法[J].計(jì)算機(jī)科學(xué)，2019，46（06）：90-94.

[9] Pang J ， Xu G ， Fu X ， et al. Horizon： a QoS management framework for SDN-based data center networks[J]. Annales des Telecommunications， 2017， 72（9-10）：597-605.

[10]高陽(yáng)，陳世福，陸鑫.強(qiáng)化學(xué)習(xí)研究綜述[J].自動(dòng)化學(xué)報(bào)，2004（01）：86-100.

[11] Yu H ， Bertsekas D P . On Boundedness of Q-Learning Iterates for Stochastic Shortest Path Problems[J].? athematics of Operations Research， 2013， 38（2）：209-227.

[12] Juluri P ， Tamarapalli V ， Medhi D . SARA： Segment aware rate adaptation algorithm for dynamic adaptive streaming over HTTP[C]// IEEE International Conference on Communication Workshop. IEEE， 2015：1765-1770.

[13]劉全，翟建偉，章宗長(zhǎng)，鐘珊，周倩，章鵬，徐進(jìn).深度強(qiáng)化學(xué)習(xí)綜述[J].計(jì)算機(jī)學(xué)報(bào)，2018，41（01）：1-27.

[14] Silver D ， Schrittwieser J ， Simonyan K ， et al. Mastering the game of Go without human knowledge[J]. Nature， 2017， 550（7676）：354-359.

[15]朱慧玲，杭大明，馬正新，曹志剛，李安國(guó).QoS路由選擇：?jiǎn)栴}與解決方法綜述[J].電子學(xué)報(bào)，2003（01）：109-116.