伍仲麗，曹園園，黃文睿，戴彬，莫益軍

面向確定性網(wǎng)絡(luò)的按需智能路由技術(shù)

伍仲麗1，曹園園1，黃文睿1，戴彬1，莫益軍2

（1.華中科技大學(xué)電子信息與通信學(xué)院，湖北 武漢 430074；2.華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，湖北 武漢 430074）

確定性網(wǎng)絡(luò)需要保證不同應(yīng)用在時(shí)延、丟包率、抖動(dòng)、吞吐量和可靠性等方面的確定性傳輸需求。針對(duì)應(yīng)用的差異化、確定性的網(wǎng)絡(luò)傳輸需求，提出了一種面向確定性網(wǎng)絡(luò)的按需智能路由學(xué)習(xí)框架OdR，在OdR框架下提出一種基于深度強(qiáng)化學(xué)習(xí)的按需智能路由算法OdR-TD3，OdR-TD3算法可以根據(jù)應(yīng)用流量的確定性QoS需求生成路由策略，以滿足確定性網(wǎng)絡(luò)應(yīng)用的需求。通過網(wǎng)絡(luò)仿真實(shí)驗(yàn)評(píng)估，在確定性應(yīng)用的QoS需求達(dá)成率上，OdR-TD3算法相較DV算法和SPF算法，具有顯著的優(yōu)勢(shì)。

確定性網(wǎng)絡(luò)；深度強(qiáng)化學(xué)習(xí)；按需智能路由；服務(wù)質(zhì)量

1 引言

隨著新型網(wǎng)絡(luò)應(yīng)用的不斷涌現(xiàn)，如VR/AR、全息通信、觸覺互聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、智能電網(wǎng)、自動(dòng)駕駛、遠(yuǎn)程醫(yī)療等，新型應(yīng)用對(duì)網(wǎng)絡(luò)傳輸提出了新的需求和挑戰(zhàn)。不同應(yīng)用在帶寬速率、時(shí)延、抖動(dòng)、能耗、服務(wù)安全等方面有著差異化的需求[1]，而且對(duì)于時(shí)延、抖動(dòng)、丟包等關(guān)鍵服務(wù)質(zhì)量（quality of service，QoS）指標(biāo)提出了確定性（有上下界）的要求。網(wǎng)絡(luò)傳輸需求的差異化和確定性的QoS需求給基礎(chǔ)網(wǎng)絡(luò)運(yùn)維帶來了極大的挑戰(zhàn)[2]。

在確定性網(wǎng)絡(luò)研究方面，時(shí)間敏感網(wǎng)絡(luò)（time-sensitive network，TSN）和確定性網(wǎng)絡(luò)（deterministic network，DetNet）工作組開展了頗有成效的工作[3]，致力于為應(yīng)用流量提供最優(yōu)的路徑，以滿足應(yīng)用對(duì)時(shí)延、抖動(dòng)、丟包等的確定性QoS需求。但網(wǎng)絡(luò)環(huán)境的復(fù)雜性和不確定性，給傳統(tǒng)的數(shù)學(xué)建模求解帶來了極大的困難[4]。近年來，有學(xué)者將人工智能技術(shù)應(yīng)用于網(wǎng)絡(luò)路由優(yōu)化，借助機(jī)器學(xué)習(xí)能夠擺脫精確的數(shù)學(xué)模型，可以處理更加復(fù)雜的網(wǎng)絡(luò)環(huán)境，基于強(qiáng)化學(xué)習(xí)的路由決策能夠?qū)崟r(shí)響應(yīng)環(huán)境和用戶的需求變化，已成為網(wǎng)絡(luò)路由優(yōu)化的熱點(diǎn)研究方向[5]。

網(wǎng)絡(luò)應(yīng)用對(duì)于時(shí)延、抖動(dòng)、丟包等關(guān)鍵性能指標(biāo)提出了確定性QoS保障的需求。例如對(duì)于VR/AR應(yīng)用，數(shù)據(jù)率要求為40 Mbit/s（2D）/63 Mbit/s（3D），時(shí)延要求低于30 ms（2D）/ 20 ms（3D），分組丟失率要求小于2.40×10?5。對(duì)于工業(yè)互聯(lián)網(wǎng)應(yīng)高水平，同時(shí)網(wǎng)絡(luò)邊緣的其他路由節(jié)點(diǎn)則常處于閑置狀態(tài)，導(dǎo)致網(wǎng)絡(luò)整體性用，數(shù)據(jù)率要求1～10 Gbit/s，時(shí)延要求低于5 ms。對(duì)于遠(yuǎn)程醫(yī)療應(yīng)用，數(shù)據(jù)率要求為100 Mbit/s，時(shí)延要求低于100 ms。在網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用流量不斷變化的復(fù)雜環(huán)境中，如何滿足不同應(yīng)用的確定性QoS需求成為網(wǎng)絡(luò)路由優(yōu)化的難點(diǎn)。

傳統(tǒng)路由算法有距離矢量（distance vector，DV）算法[6]、最短路徑優(yōu)先（shortest path first，SPF）算法[7]和啟發(fā)式算法等，其中，DV算法收斂速度較慢，并且在收斂過程中可能會(huì)遇到路由選擇環(huán)路，產(chǎn)生無窮計(jì)數(shù)問題。SPF算法大多以跳數(shù)為度量，是一種盡力而為的路由方案，選擇固定的路徑，這些選定路徑上的節(jié)點(diǎn)負(fù)載始終維持在較高水平，導(dǎo)致負(fù)載不均衡，降低了網(wǎng)絡(luò)整體性能。啟發(fā)式算法的收斂速度慢、訓(xùn)練時(shí)間長(zhǎng)、計(jì)算復(fù)雜度高，因此不適合越來越復(fù)雜的網(wǎng)絡(luò)架構(gòu)。這些路由算法沒有充分利用豐富的網(wǎng)絡(luò)資源，只能提供非常有限的QoS保證，并且傳統(tǒng)路由算法沒有時(shí)序和記憶功能，往往不會(huì)從以往的路徑擁塞、嚴(yán)重延遲甚至丟包的經(jīng)歷中吸取教訓(xùn)。與傳統(tǒng)路由算法相比，機(jī)器學(xué)習(xí)技術(shù)具有一定的優(yōu)越性，經(jīng)過訓(xùn)練，機(jī)器學(xué)習(xí)算法面對(duì)給定的輸入、輸出接近最優(yōu)的路由策略，其次，機(jī)器學(xué)習(xí)不依托精確的底層網(wǎng)絡(luò)數(shù)學(xué)模型，另外，機(jī)器學(xué)習(xí)在分析和處理大量數(shù)據(jù)方面具有強(qiáng)大能力，能發(fā)現(xiàn)復(fù)雜環(huán)境的數(shù)據(jù)模式并做出準(zhǔn)確的決策。最后，機(jī)器學(xué)習(xí)還可以從過去無效的路由決策和擁塞、丟包等事件中學(xué)習(xí)教訓(xùn)，避免類似情況再次出現(xiàn)[8]。深度強(qiáng)化學(xué)習(xí)（deep reinforcement learning，DRL）結(jié)合深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的優(yōu)點(diǎn)，在訓(xùn)練階段主動(dòng)了解不斷變化的網(wǎng)絡(luò)狀態(tài)，并在復(fù)雜的環(huán)境中針對(duì)不同的服務(wù)請(qǐng)求智能地選擇合適的路徑。但現(xiàn)有的智能路由優(yōu)化方法，大多以網(wǎng)絡(luò)整體效用最大化作為優(yōu)化目標(biāo)，未考慮到應(yīng)用對(duì)確定性QoS指標(biāo)的差異化需求[9]。本文的研究針對(duì)網(wǎng)絡(luò)應(yīng)用的確定性QoS需求，基于深度強(qiáng)化學(xué)習(xí)算法的設(shè)計(jì)按需智能路由策略，滿足應(yīng)用的差異化、確定性的QoS需求。

2 模型與算法設(shè)計(jì)

2.1 OdR模型

基于軟件定義網(wǎng)絡(luò)（software defined network，SDN）的架構(gòu)[10]，本文提出了一種面向確定性網(wǎng)絡(luò)的按需智能路由學(xué)習(xí)框架OdR（on-demand intelligent routing framework），如圖1所示。OdR模型包括3個(gè)邏輯平面：智能路由平面、網(wǎng)絡(luò)測(cè)量平面和數(shù)據(jù)轉(zhuǎn)發(fā)平面。

● 智能路由平面是OdR模型的控制中樞，多種具有不同確定性QoS需求的應(yīng)用流量信息作為輸入，輸出為各類確定性QoS需求所對(duì)應(yīng)的鏈路權(quán)重，通過Dijkstra算法將鏈路權(quán)重轉(zhuǎn)換為路由策略，生成的路由策略發(fā)布到數(shù)據(jù)轉(zhuǎn)發(fā)平面。

● 網(wǎng)絡(luò)測(cè)量平面負(fù)責(zé)收集網(wǎng)絡(luò)狀態(tài)（如流量需求、資源可用性、等待時(shí)間等）和應(yīng)用流量的QoS指標(biāo)，用于評(píng)估路由策略的性能。

● 數(shù)據(jù)轉(zhuǎn)發(fā)平面根據(jù)應(yīng)用所攜帶的確定性QoS需求來分類和調(diào)度網(wǎng)絡(luò)中的流量，并且支持在線更新路由策略。

2.2 OdR-TD3算法

圖1 OdR模型

OdR-TD3算法過程見算法1。

算法1 OdR-TD3算法

輸入種應(yīng)用類型的流量需求

輸出種應(yīng)用類型的路由策略

（2）執(zhí)行回合語(yǔ)句3～12

（4）執(zhí)行次語(yǔ)句5～12

（10）每步執(zhí)行語(yǔ)句（11）～（12）

（13）保存訓(xùn)練好的OdR-TD3網(wǎng)絡(luò)模型

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境配置

表1 3類應(yīng)用流量的QoS指標(biāo)需求

3.2 實(shí)驗(yàn)結(jié)果分析

對(duì)OdR-TD3算法和兩種經(jīng)典的路由算法DV算法和SPF算法進(jìn)行了性能對(duì)比。在模型訓(xùn)練結(jié)束后保存3種算法的模型，然后使用200組流量矩陣作為測(cè)試集分別對(duì)保存的模型進(jìn)行測(cè)試，GéANT測(cè)試階段平均獎(jiǎng)勵(lì)值見表2，OdR-TD3算法的平均獎(jiǎng)勵(lì)值最高。

表2 GéANT測(cè)試階段平均獎(jiǎng)勵(lì)值

GéANT測(cè)試階段各類應(yīng)用流量的QoS指標(biāo)見表3。從實(shí)驗(yàn)測(cè)試數(shù)據(jù)上可以看出，在QoS的各項(xiàng)指標(biāo)上，OdR-TD3算法均大幅領(lǐng)先于DV算法和SPF算法，其中平均時(shí)延較DV算法和SPF算法分別降低了50%和30%以上，平均抖動(dòng)則相較DV算法和SPF算法分別降低了35%和15%以上，而平均丟包率相較DV算法和SPF算法分別下降了80%和60%以上。對(duì)比各類應(yīng)用的確定性QoS指標(biāo)要求，基于OdR-TD3算法的應(yīng)用流量均能滿足確定性QoS指標(biāo)的要求，且確定性QoS指標(biāo)達(dá)成率遠(yuǎn)優(yōu)于DV算法和SPF算法。

表3 GéANT測(cè)試階段各類應(yīng)用流量的QoS指標(biāo)

4 結(jié)束語(yǔ)

本文主要研究了如何在確定性網(wǎng)絡(luò)中保障各類應(yīng)用的確定性QoS需求，將DRL方法引入確定性網(wǎng)絡(luò)路由中，以實(shí)現(xiàn)按需的自適應(yīng)智能路由決策。基于真實(shí)的數(shù)據(jù)集，在特定的網(wǎng)絡(luò)結(jié)構(gòu)下對(duì)OdR-TD3算法進(jìn)行評(píng)估，與DV和SPF路由算法相比，OdR-TD3算法表現(xiàn)出優(yōu)異的性能，可以更好地保障確定性的QoS需求。在網(wǎng)絡(luò)仿真環(huán)節(jié)，本文假設(shè)了3類確定性QoS需求的應(yīng)用及其指標(biāo)需求，下一步研究中可以面向?qū)嶋H的確定性應(yīng)用對(duì)需求指標(biāo)進(jìn)行完善，還可以驗(yàn)證算法在不同網(wǎng)絡(luò)拓?fù)湎碌姆夯阅堋?/p>

[1] KARAKUS M, DURRESI A. Quality of service (QoS) in software defined networking (SDN): a survey[J]. Journal of Network and Computer Applications, 2017(80): 200-218.

[2] 黃韜, 汪碩, 黃玉棟, 等. 確定性網(wǎng)絡(luò)研究綜述[J]. 通信學(xué)報(bào), 2019, 40(6):160-176.

HUANG T, WANG S, HUANG Y D, et al. Survey of the deterministic network[J]. Journal on Communications, 2019, 40(6): 160-176.

[3] LI Z M, PENGC, YUG, et al. DetNet: abackbone network for object detection[J]. 2018. arXiv: 1804.06215.

[4] 李季明, 張寧. 具有隨機(jī)性的確定性網(wǎng)絡(luò)模型[J]. 復(fù)雜系統(tǒng)與復(fù)雜性科學(xué), 2007, 4(2): 56-61.

LI J M, ZHANG N. Deterministic network model with randomness[J]. Complex Systems and Complexity Science, 2007, 4(2): 56-61.

[5] LUONG N C, HOANG D T, GONG S M, et al. Applications of deep reinforcement learning in communications and networking: a survey[J]. IEEE Communications Surveys & Tutorials, 2019, 21(4): 3133-3174.

[6] ROBINSON Y H, JULIE E G, SARAVANAN K, et al. FD-AOMDV: fault-tolerant disjoint ad-hoc on-demand multipath distance vector routing algorithm in mobile ad-hoc networks[J]. Journal of Ambient Intelligence and Humanized Computing, 2019, 10(11): 4455-4472.

[7] WANG Z, CROWCROFT J. Analysis of shortest-path routing algorithms in a dynamic network environment[J]. ACM SIGCOMM Computer Communication Review, 1992, 22(2): 63-71.

[8] DAI B, CAO Y Y, WU Z L, et al. Routing optimization meets machine intelligence: a perspective for the future network[J]. Neurocomputing, 2021, 459: 44-58.

[9] XIE J F, YU F R, HUANG T, et al. A survey of machine learning techniques applied to software defined networking (SDN): research issues and challenges[J]. IEEE Communications Surveys & Tutorials, 2019, 21(1): 393-430.

[10] MCKEOWNN, ANDERSONT, BALAKRISHNANH, et al. OpenFlow[J]. ACM SIGCOMM Computer Communication Review, 2008, 38(2): 69-74.

[11] SCOTT F, HERKE H, DAVID M. Addressing function approximation error in actor-critic methods[C]// Proceedings of the 35th International Conference on Machine Learning. [S.l.: s.n.], 2018:1587-1596 .

[12] UHLIG S, QUOITIN B, LEPROPRE J, et al. Providing public intradomain traffic matrices to the research community[J]. ACM SIGCOMM Computer Communication Review, 2006, 36(1): 83-86.

On-demand intelligent routing technology for deterministic network

WU Zhongli1, CAO Yuanyuan1, HUANG Wenrui1, DAI Bin1, MO Yijun2

1. School of Electronic Information and Communications, Huazhong University of Science and Technology, Wuhan 430074, China 2. School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan 430074, China

Deterministic network needs to ensure the deterministic transmission requirements of different applications in terms of delay, packet loss rate, jitter, throughput, and reliability. In response to the differentiated and deterministic network transmission requirements of applications, an on-demand intelligent routing framework OdR for deterministic network was proposed. Under the OdR framework, an on-demand intelligent routing algorithm named OdR-TD3 based on deep reinforcement learning was proposed, which generates routing strategies based on the deterministic QoS requirements of application traffic, to satisfy the applications’ requirements of deterministic network. The experimental evaluation results show the OdR-TD3 algorithm has a significant advantage over the DV algorithm and the SPF algorithm in terms of the achievement rate of deterministic QoS requirements.

deterministic network, deep reinforcement learning, on-demand intelligent routing, quality of service

TP393

A

10.11959/j.issn.1000?0801.2021245

伍仲麗（1998? ），女，華中科技大學(xué)電子信息與通信學(xué)院碩士生，主要研究方向?yàn)閺?qiáng)化學(xué)習(xí)、路由計(jì)算。

曹園園（1996? ），女，華中科技大學(xué)電子信息與通信學(xué)院碩士生，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、SDN。

黃文睿（1999? ），男，華中科技大學(xué)電子信息與通信學(xué)院碩士生，主要研究方向?yàn)閳D神經(jīng)網(wǎng)絡(luò)、網(wǎng)絡(luò)路由。

戴彬（1977? ），男，博士，華中科技大學(xué)電子信息與通信學(xué)院副教授，主要研究方向?yàn)橹悄苈酚?、邊緣?jì)算。

莫益軍（1976?），男，博士，華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院副教授，主要研究方向?yàn)橹悄芫W(wǎng)絡(luò)、邊緣計(jì)算。

The National Key Research and Development Project(No.2020YFB1800080)

2021?09?01；

20210?10?19

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（No.2020YFB1800080）