胡道允，齊進(jìn)，陸錢(qián)春，李鋒，房紅強(qiáng)

研究與開(kāi)發(fā)

基于深度學(xué)習(xí)的流量工程算法研究與應(yīng)用

胡道允1，齊進(jìn)1，陸錢(qián)春1，李鋒1，房紅強(qiáng)2

（1. 移動(dòng)網(wǎng)絡(luò)和移動(dòng)多媒體技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518057； 2. 中國(guó)科學(xué)技術(shù)大學(xué)，安徽 合肥 230026）

隨著5G網(wǎng)絡(luò)的發(fā)展和應(yīng)用，網(wǎng)絡(luò)中的業(yè)務(wù)數(shù)量呈現(xiàn)出爆發(fā)式增長(zhǎng)，網(wǎng)絡(luò)中的帶寬資源日趨緊張。為了提高網(wǎng)絡(luò)資源利用率，并滿(mǎn)足用戶(hù)日益提高的業(yè)務(wù)服務(wù)質(zhì)量要求，基于軟件定義網(wǎng)絡(luò)（SDN）提出了一種基于深度學(xué)習(xí)的流量工程算法（DL-TEA）。通過(guò)仿真證明該算法不僅能夠?qū)崟r(shí)地為業(yè)務(wù)計(jì)算一條高效的路徑，同時(shí)還能夠提升業(yè)務(wù)的QoS、網(wǎng)絡(luò)資源利用率，降低網(wǎng)絡(luò)阻塞率。

軟件定義網(wǎng)絡(luò)；流量工程；深度學(xué)習(xí)；服務(wù)質(zhì)量

1 引言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，尤其隨著5G網(wǎng)絡(luò)的部署和應(yīng)用，網(wǎng)絡(luò)中需要傳輸?shù)臄?shù)據(jù)量呈現(xiàn)出爆發(fā)式的增長(zhǎng)，網(wǎng)絡(luò)資源日趨緊張。而用戶(hù)對(duì)業(yè)務(wù)QoS（quality of service，服務(wù)質(zhì)量）的要求卻在不斷提高，這給傳統(tǒng)的網(wǎng)絡(luò)管理系統(tǒng)帶來(lái)了巨大的挑戰(zhàn)。近年來(lái)，SDN（software defined networking，軟件定義網(wǎng)絡(luò)）的概念被廣泛關(guān)注，它通過(guò)解耦傳統(tǒng)路由器中的控制和轉(zhuǎn)發(fā)功能，形成一個(gè)統(tǒng)一的集中式控制平面[1]?？刂破矫婵梢詫?shí)時(shí)地獲得網(wǎng)絡(luò)的全局視野和流量信息，實(shí)現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)流量的精細(xì)化管理，從而提升網(wǎng)絡(luò)資源利用率[2-3]。然而，網(wǎng)絡(luò)中業(yè)務(wù)流量的突發(fā)性和動(dòng)態(tài)性特點(diǎn)越來(lái)越明顯，傳統(tǒng)的最短路由算法極有可能使網(wǎng)絡(luò)發(fā)生網(wǎng)絡(luò)擁塞或者帶寬閑置，這會(huì)造成業(yè)務(wù)QoS下降或者網(wǎng)絡(luò)資源浪費(fèi)[4]。傳統(tǒng)的基于全局業(yè)務(wù)的網(wǎng)絡(luò)資源優(yōu)化算法，雖然能夠提升網(wǎng)絡(luò)資源利用率，但是無(wú)法滿(mǎn)足網(wǎng)絡(luò)中業(yè)務(wù)請(qǐng)求的動(dòng)態(tài)性和實(shí)時(shí)性要求[5-6]。

為解決上述問(wèn)題，本文基于SDN提出了一種基于DL（deep learning，深度學(xué)習(xí)）的流量工程算法（DL-TEA）。該算法主要分為離線(xiàn)訓(xùn)練和在線(xiàn)決策兩個(gè)階段：在離線(xiàn)訓(xùn)練階段，通過(guò)深度學(xué)習(xí)模型學(xué)習(xí)啟發(fā)式算法的路徑信息；在線(xiàn)決策階段利用訓(xùn)練好的深度學(xué)習(xí)模型對(duì)網(wǎng)絡(luò)拓?fù)溥M(jìn)行剪枝，然后利用貪婪算法計(jì)算最優(yōu)路徑。因此，DL-TEA的在線(xiàn)運(yùn)行耗時(shí)和貪婪算法相近，滿(mǎn)足了動(dòng)態(tài)業(yè)務(wù)的實(shí)時(shí)路由需求。另外，通過(guò)深度學(xué)習(xí)模型保留了啟發(fā)式算法的特征信息，使得DL-TEA的性能接近啟發(fā)式算法，與貪婪算法相比，提升了請(qǐng)求QoS、網(wǎng)絡(luò)資源利用率，降低了網(wǎng)絡(luò)阻塞率。

2 研究現(xiàn)狀

針對(duì)動(dòng)態(tài)業(yè)務(wù)的實(shí)時(shí)路由問(wèn)題，參考文獻(xiàn)[7]提出利用遺傳算法更新網(wǎng)絡(luò)中鏈路的權(quán)重，然后再利用最短路徑算法計(jì)算業(yè)務(wù)路由，該方法雖然能夠保證當(dāng)前業(yè)務(wù)路徑最優(yōu)，但是無(wú)法保證網(wǎng)絡(luò)全局資源的合理化分配。而針對(duì)批量業(yè)務(wù)的全局最優(yōu)問(wèn)題，已經(jīng)被證明為多商品流問(wèn)題[5]。由于多商品流問(wèn)題為NP難問(wèn)題，所以參考文獻(xiàn)[6]提出了一種SAGA算法，該算法結(jié)合遺傳算法和模擬退火算法，通過(guò)局部搜索達(dá)到負(fù)載均衡的目的，但是該算法時(shí)間復(fù)雜度較高，并且是針對(duì)全局靜態(tài)請(qǐng)求的優(yōu)化，無(wú)法滿(mǎn)足動(dòng)態(tài)業(yè)務(wù)的實(shí)時(shí)性需求。

最近，人工智能技術(shù)受到大家的廣泛關(guān)注，并且已有相關(guān)研究在討論將人工智能技術(shù)引入網(wǎng)絡(luò)管理中[8]。參考文獻(xiàn)[9]探討了將機(jī)器學(xué)習(xí)應(yīng)用到網(wǎng)絡(luò)的路由場(chǎng)景中。參考文獻(xiàn)[10]提出為業(yè)務(wù)計(jì)算多條路徑，并通過(guò)機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)快速路由決策。參考文獻(xiàn)[11]通過(guò)統(tǒng)計(jì)歷史路徑信息，然后利用深度強(qiáng)化學(xué)習(xí)算法從歷史路徑集合中選擇合適的傳輸路徑。雖然上述兩種算法均能夠解決動(dòng)態(tài)業(yè)務(wù)的實(shí)時(shí)路由問(wèn)題，但是業(yè)務(wù)的路徑只能從固定的路徑集合中選擇。而本文提出的DL-TEA則是利用深度學(xué)習(xí)模型統(tǒng)計(jì)各鏈路在不同網(wǎng)絡(luò)狀態(tài)下被不同請(qǐng)求占用的概率信息，然后根據(jù)概率信息進(jìn)行拓?fù)浼糁?，因此業(yè)務(wù)傳輸路徑不會(huì)受限于固定的路徑集合。參考文獻(xiàn)[12]提出先將網(wǎng)絡(luò)流進(jìn)行分類(lèi)，然后基于深度強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)QoS的路由算法。參考文獻(xiàn)[13]指出深度強(qiáng)化學(xué)習(xí)在網(wǎng)絡(luò)流問(wèn)題中存在收斂慢、魯棒性低的缺點(diǎn)，并提出通過(guò)將網(wǎng)絡(luò)節(jié)點(diǎn)劃分為驅(qū)動(dòng)節(jié)點(diǎn)和從節(jié)點(diǎn)的方式壓縮問(wèn)題的維度，從而提高了模型的收斂時(shí)間，但是使用的網(wǎng)絡(luò)規(guī)模仍控制在100個(gè)節(jié)點(diǎn)以?xún)?nèi)，而本文提出的DL-TEA在仿真實(shí)驗(yàn)中能夠支持1 000個(gè)節(jié)點(diǎn)以上規(guī)模的網(wǎng)絡(luò)拓?fù)溥\(yùn)算。

3 算法設(shè)計(jì)

本文提出的DL-TEA算法主要包含兩個(gè)部分——離線(xiàn)訓(xùn)練過(guò)程和在線(xiàn)決策過(guò)程，如圖1所示。

圖1 基于深度學(xué)習(xí)的動(dòng)態(tài)路由決策過(guò)程

離線(xiàn)訓(xùn)練過(guò)程：首先統(tǒng)計(jì)或模擬網(wǎng)絡(luò)中的歷史請(qǐng)求信息，然后將批量業(yè)務(wù)請(qǐng)求和網(wǎng)絡(luò)信息作為啟發(fā)式算法的輸入，再通過(guò)第3.2節(jié)中的啟發(fā)式算法計(jì)算業(yè)務(wù)路由信息并生成訓(xùn)練集，最后對(duì)深度學(xué)習(xí)模型進(jìn)行離線(xiàn)訓(xùn)練。

在線(xiàn)決策過(guò)程：當(dāng)SDN控制器收到新的業(yè)務(wù)請(qǐng)求時(shí)，將請(qǐng)求信息和當(dāng)前網(wǎng)絡(luò)狀態(tài)信息作為輸入傳遞給訓(xùn)練好的深度學(xué)習(xí)模型，經(jīng)過(guò)模型計(jì)算得到鏈路系數(shù)。然后根據(jù)鏈路系數(shù)大小，通過(guò)設(shè)置閾值對(duì)網(wǎng)絡(luò)拓?fù)溥M(jìn)行剪枝，保留系數(shù)較大的鏈路。最后根據(jù)剪枝后的拓?fù)?，利用?.1節(jié)中的貪婪算法進(jìn)行路由計(jì)算并輸出業(yè)務(wù)路由信息。另外，由于有限的訓(xùn)練集無(wú)法涵蓋所有的網(wǎng)絡(luò)狀態(tài)和請(qǐng)求信息，所以模型存在一定概率導(dǎo)致拓?fù)浼糁^(guò)度，造成業(yè)務(wù)路由計(jì)算失敗。為避免上述情況，當(dāng)業(yè)務(wù)路徑計(jì)算失敗時(shí)，DL-TEA會(huì)取全量的網(wǎng)絡(luò)信息重新進(jìn)行路由計(jì)算。

本文中，使用符號(hào)(,,,)表示網(wǎng)絡(luò)狀態(tài)信息，其中，∈表示網(wǎng)絡(luò)節(jié)點(diǎn)，(,)∈表示網(wǎng)絡(luò)鏈路；b表示鏈路上可用的帶寬。D表示鏈路上的時(shí)延信息。另外，定義鏈路∈上權(quán)重設(shè)置為m。定義(s, d, b)∈表示業(yè)務(wù)請(qǐng)求，其中，表示請(qǐng)求的源地址，表示請(qǐng)求的目的地址，表示請(qǐng)求的帶寬需求。最終，需要為每個(gè)業(yè)務(wù)都計(jì)算一條滿(mǎn)足帶寬需求的路徑P=(e1,e2,…,e)。

3.1 貪婪算法

由于在實(shí)際網(wǎng)絡(luò)中，用戶(hù)會(huì)根據(jù)不同的業(yè)務(wù)場(chǎng)景設(shè)置不同的優(yōu)化目標(biāo)。因此，貪婪算法需要根據(jù)用戶(hù)的需求設(shè)置不同的鏈路權(quán)重，然后利用Dijkstra算法計(jì)算權(quán)重最優(yōu)路徑。本文中將針對(duì)占用帶寬之和最小、請(qǐng)求時(shí)延之和最小和網(wǎng)絡(luò)擁塞最小3個(gè)場(chǎng)景進(jìn)行討論。針對(duì)業(yè)務(wù)占用帶寬之和最小的優(yōu)化目標(biāo)，如式（1）所示。

此場(chǎng)景中，只需保證每個(gè)業(yè)務(wù)的路徑最短，即可得到業(yè)務(wù)的最優(yōu)路徑。因此，定義鏈路權(quán)重如式（2）所示，針對(duì)請(qǐng)求，如果請(qǐng)求帶寬b小于鏈路剩余帶寬b，鏈路權(quán)重m=1，否則為無(wú)窮大。

同理，針對(duì)請(qǐng)求時(shí)延之和最小的優(yōu)化目標(biāo)，將鏈路的時(shí)延設(shè)置為鏈路的權(quán)重，然后利用Dijkstra算法計(jì)算一條滿(mǎn)足帶寬需求的最短時(shí)延路徑。

而針對(duì)網(wǎng)絡(luò)擁塞最小的優(yōu)化目標(biāo)，鏈路∈上權(quán)重設(shè)置為m，如式（3）所示，如果鏈路剩余帶寬大于請(qǐng)求帶寬，則鏈路權(quán)重等于鏈路總帶寬除以鏈路剩余帶寬，然后乘以負(fù)載均衡系數(shù)，否則設(shè)置為無(wú)窮大。因此，當(dāng)鏈路上剩余的帶寬資源較多時(shí)，則鏈路的權(quán)重m較小，在使用Dijkstra算法計(jì)算路由時(shí)，將更傾向經(jīng)過(guò)該鏈路，從而保證網(wǎng)絡(luò)的資源部署相對(duì)均衡，減少網(wǎng)絡(luò)擁塞。

3.2 啟發(fā)式算法

針對(duì)批量業(yè)務(wù)全局優(yōu)化的流量工程問(wèn)題，業(yè)界已經(jīng)提出了很多優(yōu)秀的啟發(fā)式算法[5,7]。本文基于模擬退火算法設(shè)計(jì)了啟發(fā)式算法，該算法通過(guò)調(diào)整業(yè)務(wù)的路由信息，不斷搜索較優(yōu)的路由結(jié)果，從而實(shí)現(xiàn)網(wǎng)絡(luò)資源優(yōu)化。

步驟（1）、（2）利用貪婪算法依次為請(qǐng)求求解并扣除帶寬資源，產(chǎn)生初始解。步驟（3）~（11）為模擬退火過(guò)程，每次迭代會(huì)隨機(jī)選擇一批請(qǐng)求，在釋放帶寬資源后，隨機(jī)調(diào)整請(qǐng)求順序，然后利用貪婪算法重新計(jì)算和部署業(yè)務(wù)，產(chǎn)生新的結(jié)果。最后計(jì)算評(píng)價(jià)函數(shù)()，如果新解的結(jié)果優(yōu)于之前的解，則接受該結(jié)果，否則按概率接受該組結(jié)果。值得注意的是，不同優(yōu)化目標(biāo)場(chǎng)景下的評(píng)價(jià)函數(shù)()是不同的。

算法1 模擬退火算法

輸入 網(wǎng)絡(luò)拓?fù)?，?qǐng)求（包含個(gè)請(qǐng)求）

輸出 請(qǐng)求的傳輸路徑

（1）根據(jù)不同目標(biāo)設(shè)置鏈路權(quán)重值

（2）利用貪婪算法依次計(jì)算出每個(gè)請(qǐng)求的最短路徑，并扣除帶寬資源

（3）while 評(píng)價(jià)函數(shù)沒(méi)有收斂：

（4）按概率λ隨機(jī)抽取部分業(yè)務(wù)

（5） 釋放業(yè)務(wù)的路由和帶寬信息

（6） 亂序后重新利用貪婪算法計(jì)算業(yè)務(wù)路由集合

（7） if()()；

（8） 接受該解

（9） else

（10） 按概率接受新解

（11） end if

3.3 深度學(xué)習(xí)模型

將請(qǐng)求信息和網(wǎng)絡(luò)狀態(tài)作為神經(jīng)網(wǎng)絡(luò)的輸入，以當(dāng)前網(wǎng)絡(luò)狀態(tài)下業(yè)務(wù)經(jīng)過(guò)鏈路的概率為輸出，如式（4）所示其中，表示請(qǐng)求的源站點(diǎn)信息，表示請(qǐng)求目的站點(diǎn)信息，表示請(qǐng)求帶寬信息，B表示鏈路的帶寬信息，D表示鏈路的時(shí)延信息，h表示鏈路被該請(qǐng)求占用的概率信息。

本文中，采用一個(gè)深度神經(jīng)網(wǎng)絡(luò)（DNN），如圖2所示。另外，將請(qǐng)求的源目的節(jié)點(diǎn)進(jìn)行one-hot編碼，因此神經(jīng)網(wǎng)絡(luò)的輸入維度擴(kuò)展為12，輸出維度為||。針對(duì)DNN的隱藏層，采用ReLU函數(shù)作為激活函數(shù)，并利用殘差網(wǎng)絡(luò)對(duì)其進(jìn)行優(yōu)化，通過(guò)殘差塊能夠有效地避免神經(jīng)網(wǎng)絡(luò)的退化問(wèn)題。針對(duì)輸出層采用了sigmoid函數(shù)作為激活函數(shù)，并在輸出層前添加dropout防止過(guò)擬合。輸入的帶寬以及時(shí)延不是0到1之間的數(shù)值，在中間層加了幾層批量正則化（batch- normalization）層使得經(jīng)過(guò)該層的結(jié)果均值為0、方差為1，從而使得模型訓(xùn)練得更快以及防止梯度爆炸和梯度消失的問(wèn)題出現(xiàn)。

本文中模擬了不同負(fù)載量下不同時(shí)刻的請(qǐng)求集合，訓(xùn)練集生成流程如算法2所示，針對(duì)某一時(shí)刻的請(qǐng)求集合Q，利用啟發(fā)式算法進(jìn)行網(wǎng)絡(luò)優(yōu)化，得到請(qǐng)求對(duì)應(yīng)的路徑集合P。針對(duì)每組結(jié)果，執(zhí)行K次循環(huán)，每次循環(huán)需要重置網(wǎng)絡(luò)狀態(tài)，對(duì)請(qǐng)求進(jìn)行隨機(jī)排序，然后依次部署請(qǐng)求。在部署過(guò)程中，取當(dāng)前網(wǎng)絡(luò)狀態(tài)以及當(dāng)前請(qǐng)求信息和路徑信息作為一個(gè)訓(xùn)練樣本，如步驟（3）～（7）所示。針對(duì)單個(gè)訓(xùn)練樣本，如果請(qǐng)求q的路徑pq經(jīng)過(guò)鏈路e，則鏈路e對(duì)應(yīng)的值為1，否則為0。

算法2 訓(xùn)練集生成過(guò)程

輸入 網(wǎng)絡(luò)拓?fù)?，批量?qǐng)求集合

輸出 訓(xùn)練子集

（1）根據(jù)啟發(fā)式算法進(jìn)行求解，得到路徑集合

（2）for=1 to；

（3） 重置網(wǎng)絡(luò)狀態(tài)，對(duì)請(qǐng)求隨機(jī)排序

（4） forin；

（5） 收集當(dāng)前網(wǎng)絡(luò)狀態(tài)以及請(qǐng)求信息和路徑信息作為訓(xùn)練樣本

（6） 按路徑部署該請(qǐng)求

（7） end for

（8）end for

4 仿真驗(yàn)證

在仿真驗(yàn)證階段，將對(duì)比貪婪算法、模擬退火算法和DL-TEA 3種算法在不同優(yōu)化目標(biāo)場(chǎng)景下的算法性能和算法耗時(shí)。為了保證仿真的準(zhǔn)確性，采用了國(guó)內(nèi)某省份的回傳網(wǎng)絡(luò)作為仿真拓?fù)?，該拓?fù)涔? 161個(gè)節(jié)點(diǎn)、2 760條鏈路，如圖3所示。

另外，本文按Erlang=3 500的負(fù)載規(guī)模，模擬了50個(gè)時(shí)刻的請(qǐng)求分布情況，每個(gè)時(shí)刻網(wǎng)絡(luò)中平均3 500個(gè)請(qǐng)求。然后利用第3節(jié)中所述方法生成數(shù)據(jù)集。其中隨機(jī)選擇了40個(gè)時(shí)刻的數(shù)據(jù)作為訓(xùn)練集，剩余10個(gè)時(shí)刻的數(shù)據(jù)作為測(cè)試集。

圖3 仿真拓?fù)?/p>

用上述數(shù)據(jù)集對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測(cè)試。針對(duì)一個(gè)請(qǐng)求，如果神經(jīng)網(wǎng)絡(luò)給出的相關(guān)鏈路輸出值和訓(xùn)練集或測(cè)試集對(duì)應(yīng)的輸出一致，則認(rèn)為模型輸出準(zhǔn)確，反之則認(rèn)為輸出錯(cuò)誤。本文定義鏈路準(zhǔn)確率等于正確的輸出鏈路總數(shù)除以所有的鏈路輸出總數(shù)。鏈路正確率統(tǒng)計(jì)結(jié)果如圖4所示：從結(jié)果中能夠看出，隨著訓(xùn)練次數(shù)的增加，模型的準(zhǔn)確率也逐漸提升，最終收斂在99.5%以上。

圖4 深度神經(jīng)網(wǎng)絡(luò)模型鏈路準(zhǔn)確率統(tǒng)計(jì)

另外，利用上述訓(xùn)練好的模型，使用DL-TEA對(duì)10組測(cè)試集中的請(qǐng)求進(jìn)行求解，最后取10組結(jié)果的平均值作為最終仿真結(jié)果。

DL-TEA和貪婪算法、模擬退火算法的請(qǐng)求時(shí)延對(duì)比如圖5所示。從圖5中能夠看出貪婪算法的請(qǐng)求平均時(shí)延最高，DL-TEA算法的請(qǐng)求平均時(shí)延低于貪婪算法，可以得出DL-TEA算法能夠更好地保證業(yè)務(wù)的QoS。但是，由于DL-TEA算法是基于模擬退火算法結(jié)果進(jìn)行訓(xùn)練的，所以請(qǐng)求平均時(shí)延略高于模擬退火算法。

圖5 請(qǐng)求平均時(shí)延

3種算法的耗時(shí)對(duì)比如圖6所示，能夠看出DL-TEA和貪婪算法的耗時(shí)基本一致，甚至耗時(shí)更少，這是因?yàn)镈L-TEA在在線(xiàn)決策階段，僅需要根據(jù)剪枝后的拓?fù)溥M(jìn)行算路，拓?fù)湟?guī)模會(huì)比原拓?fù)涓?，所以耗時(shí)更低。由于模擬退火算法需要不斷迭代，所以耗時(shí)最久。這也驗(yàn)證了DL-TEA能夠滿(mǎn)足業(yè)務(wù)的高動(dòng)態(tài)實(shí)時(shí)路由需求。

圖6 算法耗時(shí)對(duì)比

帶寬占用之和最小場(chǎng)景的仿真結(jié)果如圖7所示。在該場(chǎng)景中，統(tǒng)計(jì)了請(qǐng)求平均的帶寬占用情況。從結(jié)果中能夠看出，DL-TEA比貪婪算法占用了更少的帶寬資源。換句話(huà)說(shuō)，DL-TEA能夠提升網(wǎng)絡(luò)的資源利用率。

圖7 請(qǐng)求平均占用帶寬

另外，從圖5和圖7的結(jié)果中能夠發(fā)現(xiàn)，隨著網(wǎng)絡(luò)負(fù)載量的提升，請(qǐng)求的平均時(shí)延和平均帶寬的占用均會(huì)提升。這主要是因?yàn)樵诘拓?fù)載量的情況下，網(wǎng)絡(luò)資源相對(duì)充足，業(yè)務(wù)均可以選擇最小時(shí)延或最小跳路徑進(jìn)行傳輸。當(dāng)網(wǎng)絡(luò)負(fù)載量增加時(shí)，部分鏈路會(huì)出現(xiàn)資源不足的情況，導(dǎo)致部分業(yè)務(wù)需要走其他路徑進(jìn)行傳輸，因此請(qǐng)求的平均時(shí)延和平均帶寬占用均略有提升。

3種算法在負(fù)載均衡場(chǎng)景下的網(wǎng)絡(luò)阻塞率仿真結(jié)果如圖8所示。從結(jié)果中能夠看出，DL-TEA算法的阻塞率同樣低于貪婪算法，并且略高于啟發(fā)式算法。綜上所述，DL-TEA算法與貪婪算法相比，能夠保證業(yè)務(wù)的QoS，提高網(wǎng)絡(luò)的資源利用率，降低網(wǎng)絡(luò)阻塞率，并且滿(mǎn)足高動(dòng)態(tài)業(yè)務(wù)的實(shí)時(shí)路由需求。

圖8 網(wǎng)絡(luò)阻塞率仿真結(jié)果

由于深度模型的輸出結(jié)果是0到1之間的連續(xù)數(shù)值，所以還需要設(shè)置一個(gè)合理的閾值來(lái)對(duì)拓?fù)溥M(jìn)行剪枝。因此本文統(tǒng)計(jì)了3 000個(gè)請(qǐng)求負(fù)載情況下網(wǎng)絡(luò)阻塞率和鏈路保留率之間的關(guān)系見(jiàn)表1：當(dāng)保留的鏈路太少時(shí)，由于網(wǎng)絡(luò)連通性降低，網(wǎng)絡(luò)的阻塞率會(huì)增加。當(dāng)僅保留2%左右的鏈路時(shí)，網(wǎng)絡(luò)阻塞率降至最低，但隨著鏈路保留率的增加，DL-TEA的性能會(huì)逐漸退化成貪婪算法。因此，本文的仿真場(chǎng)景中，DL-TEA根據(jù)模型輸出的鏈路系數(shù)對(duì)鏈路進(jìn)行排序，然后每次僅保留前2%的鏈路集合進(jìn)行路由。另外，還統(tǒng)計(jì)了訓(xùn)練集中同源宿請(qǐng)求在不同網(wǎng)絡(luò)狀態(tài)下的路徑分布情況，發(fā)現(xiàn)在該仿真拓?fù)渲校此拚?qǐng)求的路徑分布相對(duì)比較集中，平均每個(gè)請(qǐng)求占用的鏈路數(shù)量比例也在2%左右。

表1 鏈路保留率和網(wǎng)絡(luò)阻塞率關(guān)系

另外值得一提的是，在不同組網(wǎng)情況下，鏈路保留率和算法性能之間的關(guān)系也會(huì)有不同。在仿真場(chǎng)景中，還測(cè)試了200個(gè)節(jié)點(diǎn)的拓?fù)洌l(fā)現(xiàn)鏈路保留率在30%時(shí)DL-TEA算法性能達(dá)到最優(yōu)，因此，DL-TEA需要依據(jù)不同的拓?fù)浣M網(wǎng)進(jìn)行調(diào)整。

5 結(jié)束語(yǔ)

本文提出了基于深度學(xué)習(xí)的流量工程算法，并通過(guò)仿真驗(yàn)證該算法既能夠滿(mǎn)足高動(dòng)態(tài)業(yè)務(wù)的實(shí)時(shí)路由需求，同時(shí)還能夠保證業(yè)務(wù)的QoS、提升網(wǎng)絡(luò)資源利用率、降低網(wǎng)絡(luò)阻塞率。但是本文尚未考慮多約束場(chǎng)景下的業(yè)務(wù)路由問(wèn)題，后續(xù)可以在該方向繼續(xù)研究。

[1]MCKEOWN N, ANDERSON T. OpenFlow: enabling innovation in campus networks[C]//Proceedings of ACM SIGCOMM 2008. New York: ACM Press, 2008.

[2]王素彬, 朱永慶. SDN與流量精細(xì)化運(yùn)營(yíng)[J]. 電信科學(xué), 2014, 30(11): 145-153.

WANG S B, ZHU Y Q. SDN and Traffic Fine Operation[J]. Telecommunications Science, 2014, 30(11): 145-153.

[3]張奇. SDN在傳送網(wǎng)中的關(guān)鍵技術(shù)及流量工程應(yīng)用場(chǎng)景[J]. 電信科學(xué), 2015, 31(Z1): 158-162.

ZHANG Q. Key technologies of SDN in transport network and application scenarios of traffic engineering[J].Telecommunications Science, 2015, 31(Z1): 158-162.

[4]樊自甫, 伍春玲, 王金紅. 基于SDN 架構(gòu)的數(shù)據(jù)中心網(wǎng)絡(luò)路由算法需求分析[J]. 電信科學(xué), 2015, 31(2): 36-45.

FAN Z F, WU C L, WANG J H. Requirements analysis of data center network routing algorithm based on SDN architecture[J]. Telecommunications Science, 2015, 31(2): 36-45.

[5]YU M, REXFORD J, FREEDMAN M J, et al. Scalable flow based networking with DIFANE[C]//Proceedings of SIGCOMM 2010. [S.l.:s.n.], 2010: 351-362

[6]CURTIS A R, KIM W, YALAGANDULA P. Mahout: low-overhead datacenter traffic management using end-host-based elephant detection[C]//Proceedings of IEEE INFOCOM2011. Piscataway: IEEE Press, 2011: 1629-1637.

[7]黃婧潔. SDN網(wǎng)絡(luò)的流量工程模型及算法研究[D]. 北京: 北京郵電大學(xué), 2015.

HUANG J J. Research on traffic engineering model and algorithms of SDN[D]. Beijing: Beijing University of Posts and Telecommunication, 2015.

[8]張嗣宏, 左羅. 基于人工智能的網(wǎng)絡(luò)智能化發(fā)展探討[J]. 中興通訊技術(shù), 2019, 25(2): 57-62.

ZHANG S H, ZUO L. Network intelligence based on artificial intelligence[J]. ZTE Technology Journal, 2019, 25(2): 57-62.

[9]VALADARSKY A, SCHAPIRA M, SHAHAF D, et al. Learning to route[C]//Proceedings of the 16th ACM Workshop. New York: ACM Press, 2017: 185-191

[10]李彥君. 利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)快速網(wǎng)絡(luò)資源分配的研究[D]. 成都: 電子科技大學(xué), 2016.

LI Y J. Research on fast network resource allocation with machine learning[D]. Chendu: University of Electronic Science and Technology of China, 2016.

[11]XU Z. Experience-driven networking: a deep reinforcement learning based approach[C]//Proceedings of IEEE INFOCOM. Piscataway: IEEE Press, 2018: 1871-1879.

[12]李芃. SDN網(wǎng)絡(luò)中基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)資源分配研究[D]. 南京: 東南大學(xué), 2018.

LI P. Research on network resource allocation based on machine learning in software defined network[D]. Nanjing: Southeast University, 2018.

[13]SUN P H, LI J F, et al. SINET: enabling scalable network routing with deep reinforcement learning on partial nodes[C]//Proceedings of SIGCOMM 2019. [S.l.: s.n.], 2019: 88-89.

Research and application of traffic engineering algorithm based on deep learning

HU Daoyun1, QI Jin1, LU Qianchun1, LI Feng1, FANG Hongqiang2

1. State Key Laboratory of Mobile Network and Mobile Multimedia Technology, Shenzhen 518057, China 2. University of Science and Technology of China, Hefei 230026, China

With the development and application of 5G network, the amount of traffic in network increased rapidly, which caused the lack of bandwidth resource. In order to improve the utilization of network resource and satisfy the critical user requirement for QoS (quality of service), a novel traffic engineering algorithm based on deep learning in SDN was proposed. At last, simulation results show that the proposed algorithm not only can calculate an efficient path for service in real time, but also can improve the QoS and the utilization of network resource, as well as reduce network congestion.

SDN, traffic engineering, deep learning, QoS

TP393

A

10.11959/j.issn.1000?0801.2021027

2020?09?02；

2021?02?01

胡道允（1990? ），男，移動(dòng)網(wǎng)絡(luò)和移動(dòng)多媒體技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室工程師，主要研究方向?yàn)榫W(wǎng)絡(luò)管控系統(tǒng)、智能網(wǎng)絡(luò)算法、智能運(yùn)維等。

齊進(jìn)（1971? ），男，博士，移動(dòng)網(wǎng)絡(luò)和移動(dòng)多媒體技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室工程師，主要研究方向?yàn)榫W(wǎng)絡(luò)控制與管理、大數(shù)據(jù)分析、智能運(yùn)維等。

陸錢(qián)春（1986? ），女，移動(dòng)網(wǎng)絡(luò)和移動(dòng)多媒體技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室工程師，主要研究方向?yàn)橹悄芫W(wǎng)絡(luò)優(yōu)化。

李鋒（1978? ），男，移動(dòng)網(wǎng)絡(luò)和移動(dòng)多媒體技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室工程師，主要研究方向?yàn)榛谏疃葘W(xué)習(xí)的控制器策略閉環(huán)、控制器自動(dòng)化能力演進(jìn)等。

房紅強(qiáng)（1995? ），男，中國(guó)科學(xué)技術(shù)大學(xué)碩士生，主要研究方向?yàn)楣馔ㄐ啪W(wǎng)絡(luò)和機(jī)器學(xué)習(xí)等。