蘭巨龍，張學(xué)帥，胡宇翔，孫鵬浩

（國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州 450001）

1 引言

近年來(lái)，互聯(lián)網(wǎng)規(guī)模越來(lái)越大，網(wǎng)絡(luò)應(yīng)用越來(lái)越多，網(wǎng)絡(luò)流量呈爆炸式增長(zhǎng)。Cisco公司的《思科視覺(jué)網(wǎng)絡(luò)索引：預(yù)測(cè)和趨勢(shì)》白皮書(shū)指出，2022年全球網(wǎng)絡(luò)總流量將達(dá)4.8 ZB。面對(duì)如此龐大的網(wǎng)絡(luò)需求，現(xiàn)有有限的網(wǎng)絡(luò)資源正面臨重大挑戰(zhàn)。當(dāng)前，以軟件定義網(wǎng)絡(luò)（SDN,software-defined networking）為代表的新型網(wǎng)絡(luò)結(jié)構(gòu)正促進(jìn)互聯(lián)網(wǎng)領(lǐng)域的重大變革。SDN將原來(lái)高度耦合的控制邏輯與轉(zhuǎn)發(fā)行為解耦，通過(guò)控制平面的開(kāi)放接口獲得全局網(wǎng)絡(luò)視圖，并提供給上層網(wǎng)絡(luò)服務(wù)程序，實(shí)現(xiàn)了對(duì)全網(wǎng)的集中統(tǒng)一控制[1]。由于其在簡(jiǎn)化網(wǎng)絡(luò)管理、降低運(yùn)營(yíng)成本、促進(jìn)網(wǎng)絡(luò)創(chuàng)新方面的卓越表現(xiàn)，SDN架構(gòu)現(xiàn)已被包括Google、微軟、Facebook在內(nèi)的世界著名互聯(lián)網(wǎng)公司應(yīng)用在內(nèi)部網(wǎng)絡(luò)建設(shè)中[2]。

因此，結(jié)合SDN的優(yōu)勢(shì)，充分發(fā)揮現(xiàn)有網(wǎng)絡(luò)潛能，提高網(wǎng)絡(luò)資源利用率，改善網(wǎng)絡(luò)傳輸性能，對(duì)保證網(wǎng)絡(luò)的服務(wù)質(zhì)量有重要意義[3]。但Hartman等[4]指出在帶寬受限的網(wǎng)絡(luò)架構(gòu)中尋找傳輸最大流量的鏈路集是NP完全問(wèn)題，啟發(fā)式算法仍是研究人員的首選思路。當(dāng)前廣泛采用的開(kāi)路最短路徑優(yōu)先（OSPF,open shortest path first）算法和負(fù)載均衡（VLB,valiant load balancing）算法[5]，將所有流請(qǐng)求單一地路由到最短路徑上或平均地路由到若干可用路徑上，忽視了瓶頸鏈路的傳輸能力，難以取得最優(yōu)結(jié)果。此外，在人工智能領(lǐng)域，深度強(qiáng)化學(xué)習(xí)（DRL,deep reinforcement learning）算法[6]借助深層神經(jīng)網(wǎng)絡(luò)[7]取得了突破性進(jìn)展，而且已經(jīng)有部分研究人員將DRL應(yīng)用到網(wǎng)絡(luò)控制場(chǎng)景中[8-9]?；诖?，本文將長(zhǎng)短期記憶（LSTM,long short-term memory）網(wǎng)絡(luò)與DRL相結(jié)合，設(shè)計(jì)了軟件定義網(wǎng)絡(luò)的QoS優(yōu)化機(jī)制，從而使SDN能夠在滿(mǎn)足QoS目標(biāo)的基礎(chǔ)上完成數(shù)據(jù)流調(diào)度。

具體而言，本文主要貢獻(xiàn)包括以下3個(gè)方面。

1)架構(gòu)層面，提出了針對(duì)網(wǎng)絡(luò)數(shù)據(jù)流的自動(dòng)控制架構(gòu)，實(shí)現(xiàn)了對(duì)數(shù)據(jù)流的自動(dòng)化控制與調(diào)度。

2)建模層面，通過(guò)建立軟件定義網(wǎng)絡(luò)QoS優(yōu)化模型，引入經(jīng)改進(jìn)的深度強(qiáng)化學(xué)習(xí)算法對(duì)問(wèn)題進(jìn)行求解。

3)實(shí)現(xiàn)層面，搭建了軟件定義網(wǎng)絡(luò)QoS優(yōu)化實(shí)驗(yàn)環(huán)境，通過(guò)測(cè)試驗(yàn)證了算法的有效性。

2 相關(guān)工作

在QoS優(yōu)化問(wèn)題研究方面，現(xiàn)有主流方法可以分為啟發(fā)式算法和機(jī)器學(xué)習(xí)算法2種，現(xiàn)對(duì)這2種方法總結(jié)概括如下。

2.1 啟發(fā)式算法

Chen等[10]為提高SDN云數(shù)據(jù)中心內(nèi)部混合流的調(diào)度效率，設(shè)計(jì)了Karuna算法，在保證時(shí)延敏感性高的流傳輸?shù)耐瑫r(shí)提高其他流的吞吐率；針對(duì)含有交叉節(jié)點(diǎn)和鏈路的網(wǎng)絡(luò)流量QoS保障問(wèn)題，Ongaro等[11]設(shè)計(jì)提出了MCFCSP（multi-commodity flow and constrained shortest path）算法，該算法先為多個(gè)流選擇合適的路徑，而后在滿(mǎn)足鏈路帶寬約束下將各流分到不同的路徑中；Alizadeh等[12]將擁塞控制和負(fù)載均衡聯(lián)合考慮，針對(duì)網(wǎng)絡(luò)流量的分層控制響應(yīng)機(jī)制慢問(wèn)題設(shè)計(jì)擁塞感知（CONGA,congestion aware）模型，將數(shù)據(jù)中心網(wǎng)絡(luò)對(duì)擁塞問(wèn)題的響應(yīng)縮短到毫秒級(jí)。

以上算法主要通過(guò)建模來(lái)近似擬合當(dāng)前的網(wǎng)絡(luò)狀態(tài)，并采用啟發(fā)式方法為數(shù)據(jù)流請(qǐng)求實(shí)時(shí)計(jì)算路由配置，因此此類(lèi)算法有嚴(yán)格的適用場(chǎng)景，鏈路帶寬和長(zhǎng)度的變化都可能導(dǎo)致?tīng)顟B(tài)擬合算法出現(xiàn)較大誤差，進(jìn)而對(duì)算法的整體性能產(chǎn)生顯著影響。

2.2 機(jī)器學(xué)習(xí)算法

Xu等[13]結(jié)合SDN架構(gòu)和深度強(qiáng)化學(xué)習(xí)算法提出模型無(wú)關(guān)的流調(diào)度算法，利用網(wǎng)絡(luò)自身的數(shù)據(jù)通過(guò)自學(xué)習(xí)的方式產(chǎn)生流控制邏輯，將一條數(shù)據(jù)流按照權(quán)重比例分配在選定的多條流通路上，避免建模過(guò)程中因近似處理帶來(lái)的誤差，具備良好的性能。但是本文分流（flow splitting）時(shí)采用的路徑仍由k路最短路徑（KSP,k-shortest path）算法產(chǎn)生，數(shù)據(jù)流仍會(huì)被分配在前k條較短路徑上，難以避免鏈路瓶頸問(wèn)題。在網(wǎng)絡(luò)的擁塞控制方面，Xu等[14]結(jié)合多路徑傳輸控制協(xié)議（MPTCP,multi-path transmission control protocol）引入深度強(qiáng)化學(xué)習(xí)算法，以最大化網(wǎng)絡(luò)利用率為目標(biāo)，通過(guò)自學(xué)習(xí)實(shí)現(xiàn)了對(duì)MPTCP流的自動(dòng)化擁塞控制。但是此算法只是在只有一臺(tái)交換機(jī)的簡(jiǎn)單拓?fù)渖线M(jìn)行了可行性驗(yàn)證，將算法擴(kuò)展到較為復(fù)雜的網(wǎng)絡(luò)拓?fù)渲羞€有待進(jìn)一步研究。

3 QoS優(yōu)化架構(gòu)與建模

本節(jié)對(duì)基于深度強(qiáng)化學(xué)習(xí)的軟件定義網(wǎng)絡(luò)QoS優(yōu)化算法中的具體元素進(jìn)行闡述，并依據(jù)優(yōu)化目標(biāo)建立數(shù)學(xué)模型。

3.1 優(yōu)化架構(gòu)

本文提出的軟件定義網(wǎng)絡(luò)QoS優(yōu)化架構(gòu)的主要結(jié)構(gòu)如圖1所示，其中，各平面的具體介紹如下。

1)數(shù)據(jù)平面。主要由一系列可編程交換機(jī)組成，接收控制器經(jīng)南向接口發(fā)送控制策略并完成對(duì)數(shù)據(jù)分組的監(jiān)測(cè)、處理和轉(zhuǎn)發(fā)等操作，具體地，控制策略的載體可以是OpenFlow流表[15]或P4程序[16]。

2)控制平面。負(fù)責(zé)連接應(yīng)用平面與數(shù)據(jù)平面，維護(hù)全網(wǎng)視圖，向下傳遞控制策略，向上將底層網(wǎng)絡(luò)資源信息通過(guò)北向接口提供給應(yīng)用平面。在北向接口選取上，基于REST架構(gòu)的RESTful[17]在響應(yīng)時(shí)間方面表現(xiàn)出了特有優(yōu)勢(shì)，因此架構(gòu)中采用RESTful作為控制平面與應(yīng)用平面的通信接口，以保證兩平面間的通信效率。

圖1 基于深度強(qiáng)化學(xué)習(xí)的軟件定義網(wǎng)絡(luò)QoS優(yōu)化架構(gòu)

3)應(yīng)用平面。運(yùn)行負(fù)責(zé)網(wǎng)絡(luò)QoS優(yōu)化的強(qiáng)化學(xué)習(xí)智能體，智能體通過(guò)控制平面提供的全網(wǎng)邏輯視圖和數(shù)據(jù)平面網(wǎng)絡(luò)資源信息生成控制策略，而后將控制策略經(jīng)北向接口向控制平面下發(fā)。

3.2 QoS優(yōu)化模型

1)鏈路資源

SDN拓?fù)淠Ｐ陀洖闊o(wú)向圖G=(V,E)，V為圖G的節(jié)點(diǎn)集，代表實(shí)際網(wǎng)絡(luò)中交換機(jī)集合；E為圖G的邊集，代表實(shí)際網(wǎng)絡(luò)中物理鏈路；網(wǎng)絡(luò)鏈路用e表示，則e∈E。系統(tǒng)中的每條網(wǎng)絡(luò)鏈路的傳輸能力不盡相同，記SDN中鏈路e的帶寬為ce。

2)流量傳輸

節(jié)點(diǎn)集V中任意2個(gè)節(jié)點(diǎn)稱(chēng)作一組節(jié)點(diǎn)對(duì)，記K為所有節(jié)點(diǎn)對(duì)組成的集合。節(jié)點(diǎn)對(duì)間的一條路徑記為一條轉(zhuǎn)發(fā)路徑p，圖G中所有節(jié)點(diǎn)對(duì)之間的所有轉(zhuǎn)發(fā)路徑組成的集合記為P，節(jié)點(diǎn)對(duì)k間所有轉(zhuǎn)發(fā)路徑組成的集合記為Pk。網(wǎng)絡(luò)中所有節(jié)點(diǎn)對(duì)間的流請(qǐng)求矩陣記為D，對(duì)應(yīng)的節(jié)點(diǎn)對(duì)k間的流請(qǐng)求記為dk。定義變量表示節(jié)點(diǎn)對(duì)k間的流請(qǐng)求分配至路徑p上的比重，變量lk表示節(jié)點(diǎn)對(duì)k間的鏈路時(shí)延。

定義1鏈路利用率ue。鏈路利用率表示分配在鏈路e上的流量大小與鏈路帶寬的比值，反映了鏈路的負(fù)載程度，如式(1)所示。

定義2網(wǎng)絡(luò)使用率U。網(wǎng)絡(luò)使用率定義為各鏈路利用率的最大值，如式(2)所示。

定義3負(fù)載均衡程度σ。用所有鏈路中鏈路利用率的最大值和最小值之差表示鏈路的負(fù)載均衡程度，可以表示為式(3)，因此σ越小，鏈路負(fù)載越均衡。

基于以上分析，軟件定義網(wǎng)絡(luò)QoS優(yōu)化問(wèn)題可以建模為

其中，式(4)為優(yōu)化目標(biāo)，即最小化網(wǎng)絡(luò)利用率U；式(5)表示網(wǎng)絡(luò)節(jié)點(diǎn)對(duì)間的所有流請(qǐng)求都分配到節(jié)點(diǎn)對(duì)間的轉(zhuǎn)發(fā)路徑上；式(6)確保任意鏈路的鏈路利用率不超過(guò)網(wǎng)絡(luò)使用率；式(7)表示分配至各轉(zhuǎn)發(fā)路徑上的流不能為負(fù)值。

4 算法設(shè)計(jì)

為解決上述NP完全問(wèn)題，本節(jié)將引入基于深度強(qiáng)化學(xué)習(xí)的QoS優(yōu)化算法，利用神經(jīng)網(wǎng)絡(luò)感知網(wǎng)絡(luò)狀態(tài)，并通過(guò)自學(xué)習(xí)的方法做出滿(mǎn)足優(yōu)化目標(biāo)的分流決策。

4.1 強(qiáng)化學(xué)習(xí)算法

在一個(gè)典型的強(qiáng)化學(xué)習(xí)模型中，智能體與環(huán)境彼此交互狀態(tài)（state）、動(dòng)作（action）、獎(jiǎng)賞（reward）信息，通過(guò)訓(xùn)練逐步取得優(yōu)化目標(biāo)。具體來(lái)說(shuō)，每一個(gè)步長(zhǎng)t，強(qiáng)化學(xué)習(xí)智能體獲得當(dāng)前環(huán)境的狀態(tài)st，并根據(jù)策略函數(shù)π生成動(dòng)作at，環(huán)境在執(zhí)行動(dòng)作at后，將自身狀態(tài)st轉(zhuǎn)變?yōu)閟t+1，同時(shí)將動(dòng)作的獎(jiǎng)賞rt反饋給智能體。在這個(gè)過(guò)程中，四元組數(shù)據(jù)(st,at,rt,st+1)將作為經(jīng)驗(yàn)保存在Q表[6]中，訓(xùn)練的目標(biāo)就是利用Q表不斷優(yōu)化策略函數(shù)π的參數(shù)來(lái)最大化未來(lái)累積折扣獎(jiǎng)賞Rt的期望E(Rt)。E(Rt)可以表示為

其中，T為迭代次數(shù)，γ是折扣因子，反映了當(dāng)前動(dòng)作對(duì)后續(xù)決策的影響程度。

在軟件定義網(wǎng)絡(luò)QoS優(yōu)化問(wèn)題中，狀態(tài)、動(dòng)作、獎(jiǎng)賞的具體含義如下所示。

狀態(tài)（state）。在此模型中，狀態(tài)是指某一次網(wǎng)絡(luò)測(cè)量[18]時(shí)網(wǎng)絡(luò)中的流請(qǐng)求信息和所有鏈路的時(shí)延和利用率信息，用向量st表示，則st=[Dt,lt,ut]，其中Dt表示t時(shí)刻的流請(qǐng)求矩陣，lt表示t時(shí)刻各節(jié)點(diǎn)對(duì)之間的傳輸時(shí)延，ut示t時(shí)刻網(wǎng)絡(luò)中各鏈路的鏈路利用率。

動(dòng)作（action）。動(dòng)作是指強(qiáng)化學(xué)習(xí)智能體根據(jù)QoS策略函數(shù)和網(wǎng)絡(luò)狀態(tài)信息st生成的上述優(yōu)化問(wèn)題的解，也就是各節(jié)點(diǎn)對(duì)之間可用轉(zhuǎn)發(fā)路徑的分流比重。若QoS策略函數(shù)用變量π表示，動(dòng)作向量at可由式(9)表示，其中at中各分量的關(guān)系滿(mǎn)足式(5)。

獎(jiǎng)賞（reward）。獎(jiǎng)賞是對(duì)上一次動(dòng)作所獲收益的QoS評(píng)價(jià)。本模型中，軟件定義網(wǎng)絡(luò)QoS優(yōu)化模型的優(yōu)化目標(biāo)是最小化網(wǎng)絡(luò)使用率U，為最大化獎(jiǎng)賞符合優(yōu)化目標(biāo)，定義獎(jiǎng)賞為U的相反數(shù)。當(dāng)前t的獎(jiǎng)賞rt如式(10)所示，Ut表示t時(shí)刻的網(wǎng)絡(luò)利用率。

4.2 QoS優(yōu)化算法

深度強(qiáng)化學(xué)習(xí)是深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)結(jié)合的產(chǎn)物，它綜合了深層神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)的優(yōu)勢(shì)，利用神經(jīng)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)Q表，具有更優(yōu)的性能。將基于A(yíng)ctor-Critic架構(gòu)的強(qiáng)化學(xué)習(xí)算法與神經(jīng)網(wǎng)絡(luò)相結(jié)合生成的DDPG（deep deterministic policy gradient）算法[19]表現(xiàn)出優(yōu)越的模型無(wú)關(guān)（model-free）特性，為強(qiáng)化學(xué)習(xí)在SDN的QoS優(yōu)化問(wèn)題中的應(yīng)用提供了可能。在DDPG算法中共包含4個(gè)神經(jīng)網(wǎng)絡(luò)，即在線(xiàn)Q網(wǎng)絡(luò)Q(s,a|θQ)、在線(xiàn)策略網(wǎng)絡(luò)μ(s|θμ)、目標(biāo)Q網(wǎng)絡(luò)和目標(biāo)策略網(wǎng)絡(luò)。DDPG算法把環(huán)境與智能體交互產(chǎn)生的四元組(st,at,rt,st+1)作為訓(xùn)練數(shù)據(jù)訓(xùn)練各Q網(wǎng)絡(luò)和策略網(wǎng)絡(luò)。為避免訓(xùn)練階段的在線(xiàn)神經(jīng)網(wǎng)絡(luò)的參數(shù)θQ和θμ變化幅度過(guò)大使無(wú)法收斂，DDPG算法更新目標(biāo)Q和目標(biāo)策略網(wǎng)絡(luò)的參數(shù)θQ'和θμ'時(shí)采取平穩(wěn)更新方法。

注意到，在網(wǎng)絡(luò)場(chǎng)景中，網(wǎng)絡(luò)狀態(tài)常常隨時(shí)間變化，具有明顯的時(shí)間相關(guān)性，LSTM在處理和預(yù)測(cè)表現(xiàn)出明顯時(shí)間相關(guān)性的數(shù)據(jù)中取得了優(yōu)良的成果[14]。本文在DDPG的基礎(chǔ)上，引入LSTM層提出R-DRL算法，如圖2所示。

在訓(xùn)練過(guò)程中，LSTM網(wǎng)絡(luò)負(fù)責(zé)對(duì)網(wǎng)絡(luò)狀態(tài)信息s進(jìn)行預(yù)處理生成隱含狀態(tài)h，并將該隱含狀態(tài)傳輸給Actor和Critic架構(gòu)中的神經(jīng)網(wǎng)絡(luò)，提高神經(jīng)網(wǎng)絡(luò)的決策的效率和準(zhǔn)確性；Actor和Critic架構(gòu)中的神經(jīng)網(wǎng)絡(luò)依據(jù)LSTM網(wǎng)絡(luò)提供的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)生成動(dòng)作，并更新內(nèi)部網(wǎng)絡(luò)參數(shù)。具體來(lái)看，目標(biāo)策略網(wǎng)絡(luò)μ'(s|θμ')將參數(shù)θμ'傳遞給目標(biāo)Q網(wǎng)絡(luò)Q'(s,a|θQ')用于函數(shù)評(píng)估，在線(xiàn)Q網(wǎng)絡(luò)Q(s,a|θQ)將參數(shù)θQ傳遞給在線(xiàn)策略網(wǎng)絡(luò)μ(s|θμ)用于該網(wǎng)絡(luò)的梯度計(jì)算，R-DRL算法的訓(xùn)練過(guò)程如算法1所示。

算法1R-DRL算法訓(xùn)練過(guò)程

圖2 R-DRL算法架構(gòu)

5 仿真評(píng)估

為驗(yàn)證R-DRL算法的性能，本節(jié)將通過(guò)實(shí)驗(yàn)仿真與其他方案進(jìn)行對(duì)比，評(píng)價(jià)指標(biāo)包括時(shí)延、分組丟失率和負(fù)載均衡程度3個(gè)方面。

5.1 實(shí)驗(yàn)方案

本文實(shí)驗(yàn)利用Mininet網(wǎng)絡(luò)仿真平臺(tái)來(lái)搭建虛擬SDN，并采用開(kāi)源Ryu控制器作為整個(gè)網(wǎng)絡(luò)的控制器。采用Iperf流生成工具模擬真實(shí)網(wǎng)絡(luò)流量，R-DRL算法基于Keras+TensorFlow框架實(shí)現(xiàn)，算法和Mininet運(yùn)行在一臺(tái)服務(wù)器上，服務(wù)器具體配置如表1所示。

表1 配置信息

實(shí)驗(yàn)中，SDN的拓?fù)錇檎J(rèn)可度較高的GEANT網(wǎng)絡(luò)，該網(wǎng)絡(luò)中包含22個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)和36條鏈路，每條鏈路的傳輸能力各不相同。網(wǎng)絡(luò)數(shù)據(jù)采用由UPC大學(xué)提供的基于GEANT拓?fù)涫占臄?shù)據(jù)集，取85%作訓(xùn)練集，15%作測(cè)試集。任意節(jié)點(diǎn)對(duì)之間的路由路徑由生成樹(shù)方法[20]生成，每個(gè)節(jié)點(diǎn)對(duì)之間采用4條備選轉(zhuǎn)發(fā)路徑。

5.2 對(duì)比方案

DDPG：DDPG方案中不采用LSTM層，其余神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置與本文所提R-DRL算法一致，用來(lái)驗(yàn)證LSTM層對(duì)DDPG算法改進(jìn)效果。

OSPF：OSPF即開(kāi)路最短路徑優(yōu)先，依據(jù)該規(guī)則，網(wǎng)絡(luò)會(huì)把數(shù)據(jù)流轉(zhuǎn)發(fā)在長(zhǎng)度最短的路徑上，由于沒(méi)有考慮鏈路的傳輸能力，個(gè)別鏈路容易陷入擁塞。

MCFCSP：多物網(wǎng)絡(luò)流流約束最短路徑方案將鏈路的傳輸能力作為約束條件，在保證網(wǎng)絡(luò)不出現(xiàn)擁塞的條件下傳輸數(shù)據(jù)流。

KSP：k路最短路徑方案會(huì)在兩節(jié)點(diǎn)對(duì)間選擇前k條最短的路徑作為路由路徑對(duì)數(shù)據(jù)流完成轉(zhuǎn)發(fā)操作，本次實(shí)驗(yàn)中取k=4。

5.3 實(shí)驗(yàn)結(jié)果

首先分析改變LSTM網(wǎng)絡(luò)層數(shù)對(duì)R-DRL性能的影響，分別用R1、R2、R3表示層數(shù)為1、2、3層的LSTM網(wǎng)絡(luò)，R0表示不含LSTM層，即為DDPG算法。圖3展示了訓(xùn)練過(guò)程中不同LSTM網(wǎng)絡(luò)層數(shù)對(duì)R-DRL算法獎(jiǎng)賞值rt相對(duì)變化的影響。通過(guò)對(duì)比可知，使用LSTM可以明顯提高算法的獎(jiǎng)賞值，但不同的LSTM層數(shù)對(duì)rt值的變化無(wú)明顯影響。圖4是不同LSTM層數(shù)的R-DRL算法的運(yùn)行時(shí)間對(duì)比。當(dāng)LSTM網(wǎng)絡(luò)層數(shù)增加時(shí)，R-DRL算法的所需的運(yùn)行時(shí)間明顯增加。結(jié)合圖3，為保證R-DRL算法的性能，以下實(shí)驗(yàn)取LSTM層數(shù)為1。

圖3 不同LSTM層數(shù)時(shí)獎(jiǎng)賞rt變化

圖5(a)展示了在軟件定義網(wǎng)絡(luò)QoS優(yōu)化場(chǎng)景中不同數(shù)據(jù)流調(diào)度算法在時(shí)延方面的性能對(duì)比。從圖5(a)中可以看出，R-DRL算法可以滿(mǎn)足在流請(qǐng)求速率增長(zhǎng)時(shí)網(wǎng)絡(luò)的低時(shí)延需求，而且在時(shí)延方面的優(yōu)化效果優(yōu)于其他算法。DDPG算法缺少LSTM網(wǎng)絡(luò)層，對(duì)網(wǎng)絡(luò)狀態(tài)表現(xiàn)出的時(shí)間相關(guān)性無(wú)法有效感知，因此DDPG算法生成的優(yōu)化策略不能準(zhǔn)確反映網(wǎng)絡(luò)的具體狀態(tài)，陷入次優(yōu)解；KSP算法將數(shù)據(jù)流轉(zhuǎn)發(fā)至較短的前k條路徑上，因此這k條路徑可能共用一條至多條較短的路徑，由于傳輸能力限制，因此出現(xiàn)擁塞導(dǎo)致時(shí)延增加；MCFCSP、OSPF算法和KSP情況一致，容易出現(xiàn)鏈路瓶頸問(wèn)題。

圖4 R-DRL算法時(shí)運(yùn)行時(shí)間對(duì)比

圖5(b)展示了在軟件定義網(wǎng)絡(luò)QoS優(yōu)化場(chǎng)景中不同數(shù)據(jù)流調(diào)度算法在鏈路負(fù)載均衡方面的性能對(duì)比。從圖5(b)中可以看出，OSPF、MCFCSP和KSP算法中衡量鏈路負(fù)載均衡程度的參數(shù)σ逐漸增大，相對(duì)于R-DRL和DDPG鏈路負(fù)載更不均衡，還可以注意到應(yīng)用R-DRL算法的鏈路負(fù)載均衡程度總體要優(yōu)于DDPG算法約22.7%。

圖5(c)展示了不同數(shù)據(jù)流調(diào)度算法在分組丟失率方面的性能對(duì)比。從圖5(c)中可以看出，MCFCSP以降低鏈路傳輸能力為代價(jià)保證各路徑上的數(shù)據(jù)流不出現(xiàn)擁塞，分組丟失率最低，但R-DRL算法取得了接近于MCFCSP的性能。

圖6聯(lián)合采用箱線(xiàn)圖和折線(xiàn)圖展示了路由算法R-DRL和KSP對(duì)網(wǎng)絡(luò)吞吐率的影響程度。其中折線(xiàn)圖的連接點(diǎn)表示不同流請(qǐng)求速率條件下吞吐量數(shù)據(jù)的平均值，箱線(xiàn)圖表示吞吐量數(shù)據(jù)的分布情況，箱線(xiàn)圖的上下短橫線(xiàn)表示箱線(xiàn)圖上下限，叉號(hào)表示異常值。由于DDPG、MCFCSP和OSPF算法的吞吐率效果整體都沒(méi)有超過(guò)KSP，圖6中省去了這3種算法的對(duì)比。通過(guò)圖6可知，相對(duì)于KSP算法，R-DRL將網(wǎng)絡(luò)吞吐率提高了約8.2%，這是因?yàn)樯蓸?shù)算法在生成路由路徑時(shí)盡量減少各路徑共用一條鏈路的情況出現(xiàn)，避免了瓶頸鏈路的產(chǎn)生，提高了網(wǎng)絡(luò)的傳輸能力。

6 結(jié)束語(yǔ)

圖5 不同算法在軟件定義網(wǎng)絡(luò)QoS優(yōu)化方面的性能對(duì)比

圖6 不同算法對(duì)SDN網(wǎng)絡(luò)吞吐率的影響

軟件定義網(wǎng)絡(luò)的QoS優(yōu)化問(wèn)題本質(zhì)上是NP完全問(wèn)題，為了實(shí)現(xiàn)QoS的自動(dòng)化優(yōu)化，國(guó)內(nèi)外相關(guān)研究人員已經(jīng)進(jìn)行了深入研究，然而當(dāng)前主流的啟發(fā)式解決方案存在算法參數(shù)與場(chǎng)景綁定，應(yīng)用場(chǎng)景受限問(wèn)題，而在嘗試應(yīng)用深度強(qiáng)化學(xué)習(xí)的方案中，仍然采用KSP算法生成路由路徑，難免出現(xiàn)鏈路瓶頸問(wèn)題?；诖耍疚慕柚L(zhǎng)短期記憶網(wǎng)絡(luò)和DDPG提出了用于軟件定義網(wǎng)絡(luò)QoS優(yōu)化的R-DRL算法，通過(guò)將網(wǎng)絡(luò)資源和狀態(tài)信息統(tǒng)一到網(wǎng)絡(luò)模型中，借助深層神經(jīng)網(wǎng)絡(luò)生成滿(mǎn)足QoS優(yōu)化的目標(biāo)的動(dòng)態(tài)流量調(diào)度策略。在網(wǎng)絡(luò)拓?fù)銰EANT上的仿真實(shí)驗(yàn)說(shuō)明，結(jié)合長(zhǎng)短期記憶網(wǎng)絡(luò)設(shè)計(jì)的R-DRL算法提升了深度強(qiáng)化學(xué)習(xí)算法的流量感知能力，表現(xiàn)出比原有算法更好的性能。與其他算法相比，R-DRL保證了傳輸時(shí)延和分組丟失率，提高了約22.7%的網(wǎng)絡(luò)的負(fù)載均衡程度和約8.2%網(wǎng)絡(luò)吞吐率，對(duì)解決SDN中的QoS優(yōu)化問(wèn)題有一定實(shí)用價(jià)值。