亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        面向確定性網(wǎng)絡(luò)的按需智能路由技術(shù)

        2021-12-10 07:59:54伍仲麗曹園園黃文睿戴彬莫益軍
        電信科學(xué) 2021年11期
        關(guān)鍵詞:智能模型

        伍仲麗,曹園園,黃文睿,戴彬,莫益軍

        面向確定性網(wǎng)絡(luò)的按需智能路由技術(shù)

        伍仲麗1,曹園園1,黃文睿1,戴彬1,莫益軍2

        (1.華中科技大學(xué)電子信息與通信學(xué)院,湖北 武漢 430074;2.華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,湖北 武漢 430074)

        確定性網(wǎng)絡(luò)需要保證不同應(yīng)用在時(shí)延、丟包率、抖動(dòng)、吞吐量和可靠性等方面的確定性傳輸需求。針對(duì)應(yīng)用的差異化、確定性的網(wǎng)絡(luò)傳輸需求,提出了一種面向確定性網(wǎng)絡(luò)的按需智能路由學(xué)習(xí)框架OdR,在OdR框架下提出一種基于深度強(qiáng)化學(xué)習(xí)的按需智能路由算法OdR-TD3,OdR-TD3算法可以根據(jù)應(yīng)用流量的確定性QoS需求生成路由策略,以滿足確定性網(wǎng)絡(luò)應(yīng)用的需求。通過網(wǎng)絡(luò)仿真實(shí)驗(yàn)評(píng)估,在確定性應(yīng)用的QoS需求達(dá)成率上,OdR-TD3算法相較DV算法和SPF算法,具有顯著的優(yōu)勢(shì)。

        確定性網(wǎng)絡(luò);深度強(qiáng)化學(xué)習(xí);按需智能路由;服務(wù)質(zhì)量

        1 引言

        隨著新型網(wǎng)絡(luò)應(yīng)用的不斷涌現(xiàn),如VR/AR、全息通信、觸覺互聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、智能電網(wǎng)、自動(dòng)駕駛、遠(yuǎn)程醫(yī)療等,新型應(yīng)用對(duì)網(wǎng)絡(luò)傳輸提出了新的需求和挑戰(zhàn)。不同應(yīng)用在帶寬速率、時(shí)延、抖動(dòng)、能耗、服務(wù)安全等方面有著差異化的需求[1],而且對(duì)于時(shí)延、抖動(dòng)、丟包等關(guān)鍵服務(wù)質(zhì)量(quality of service,QoS)指標(biāo)提出了確定性(有上下界)的要求。網(wǎng)絡(luò)傳輸需求的差異化和確定性的QoS需求給基礎(chǔ)網(wǎng)絡(luò)運(yùn)維帶來了極大的挑戰(zhàn)[2]。

        在確定性網(wǎng)絡(luò)研究方面,時(shí)間敏感網(wǎng)絡(luò)(time-sensitive network,TSN)和確定性網(wǎng)絡(luò)(deterministic network,DetNet)工作組開展了頗有成效的工作[3],致力于為應(yīng)用流量提供最優(yōu)的路徑,以滿足應(yīng)用對(duì)時(shí)延、抖動(dòng)、丟包等的確定性QoS需求。但網(wǎng)絡(luò)環(huán)境的復(fù)雜性和不確定性,給傳統(tǒng)的數(shù)學(xué)建模求解帶來了極大的困難[4]。近年來,有學(xué)者將人工智能技術(shù)應(yīng)用于網(wǎng)絡(luò)路由優(yōu)化,借助機(jī)器學(xué)習(xí)能夠擺脫精確的數(shù)學(xué)模型,可以處理更加復(fù)雜的網(wǎng)絡(luò)環(huán)境,基于強(qiáng)化學(xué)習(xí)的路由決策能夠?qū)崟r(shí)響應(yīng)環(huán)境和用戶的需求變化,已成為網(wǎng)絡(luò)路由優(yōu)化的熱點(diǎn)研究方向[5]。

        網(wǎng)絡(luò)應(yīng)用對(duì)于時(shí)延、抖動(dòng)、丟包等關(guān)鍵性能指標(biāo)提出了確定性QoS保障的需求。例如對(duì)于VR/AR應(yīng)用,數(shù)據(jù)率要求為40 Mbit/s(2D)/63 Mbit/s(3D),時(shí)延要求低于30 ms(2D)/ 20 ms(3D),分組丟失率要求小于2.40×10?5。對(duì)于工業(yè)互聯(lián)網(wǎng)應(yīng)高水平,同時(shí)網(wǎng)絡(luò)邊緣的其他路由節(jié)點(diǎn)則常處于閑置狀態(tài),導(dǎo)致網(wǎng)絡(luò)整體性用,數(shù)據(jù)率要求1~10 Gbit/s,時(shí)延要求低于5 ms。對(duì)于遠(yuǎn)程醫(yī)療應(yīng)用,數(shù)據(jù)率要求為100 Mbit/s,時(shí)延要求低于100 ms。在網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用流量不斷變化的復(fù)雜環(huán)境中,如何滿足不同應(yīng)用的確定性QoS需求成為網(wǎng)絡(luò)路由優(yōu)化的難點(diǎn)。

        傳統(tǒng)路由算法有距離矢量(distance vector,DV)算法[6]、最短路徑優(yōu)先(shortest path first,SPF)算法[7]和啟發(fā)式算法等,其中,DV算法收斂速度較慢,并且在收斂過程中可能會(huì)遇到路由選擇環(huán)路,產(chǎn)生無窮計(jì)數(shù)問題。SPF算法大多以跳數(shù)為度量,是一種盡力而為的路由方案,選擇固定的路徑,這些選定路徑上的節(jié)點(diǎn)負(fù)載始終維持在較高水平,導(dǎo)致負(fù)載不均衡,降低了網(wǎng)絡(luò)整體性能。啟發(fā)式算法的收斂速度慢、訓(xùn)練時(shí)間長(zhǎng)、計(jì)算復(fù)雜度高,因此不適合越來越復(fù)雜的網(wǎng)絡(luò)架構(gòu)。這些路由算法沒有充分利用豐富的網(wǎng)絡(luò)資源,只能提供非常有限的QoS保證,并且傳統(tǒng)路由算法沒有時(shí)序和記憶功能,往往不會(huì)從以往的路徑擁塞、嚴(yán)重延遲甚至丟包的經(jīng)歷中吸取教訓(xùn)。與傳統(tǒng)路由算法相比,機(jī)器學(xué)習(xí)技術(shù)具有一定的優(yōu)越性,經(jīng)過訓(xùn)練,機(jī)器學(xué)習(xí)算法面對(duì)給定的輸入、輸出接近最優(yōu)的路由策略,其次,機(jī)器學(xué)習(xí)不依托精確的底層網(wǎng)絡(luò)數(shù)學(xué)模型,另外,機(jī)器學(xué)習(xí)在分析和處理大量數(shù)據(jù)方面具有強(qiáng)大能力,能發(fā)現(xiàn)復(fù)雜環(huán)境的數(shù)據(jù)模式并做出準(zhǔn)確的決策。最后,機(jī)器學(xué)習(xí)還可以從過去無效的路由決策和擁塞、丟包等事件中學(xué)習(xí)教訓(xùn),避免類似情況再次出現(xiàn)[8]。深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning,DRL)結(jié)合深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的優(yōu)點(diǎn),在訓(xùn)練階段主動(dòng)了解不斷變化的網(wǎng)絡(luò)狀態(tài),并在復(fù)雜的環(huán)境中針對(duì)不同的服務(wù)請(qǐng)求智能地選擇合適的路徑。但現(xiàn)有的智能路由優(yōu)化方法,大多以網(wǎng)絡(luò)整體效用最大化作為優(yōu)化目標(biāo),未考慮到應(yīng)用對(duì)確定性QoS指標(biāo)的差異化需求[9]。本文的研究針對(duì)網(wǎng)絡(luò)應(yīng)用的確定性QoS需求,基于深度強(qiáng)化學(xué)習(xí)算法的設(shè)計(jì)按需智能路由策略,滿足應(yīng)用的差異化、確定性的QoS需求。

        2 模型與算法設(shè)計(jì)

        2.1 OdR模型

        基于軟件定義網(wǎng)絡(luò)(software defined network,SDN)的架構(gòu)[10],本文提出了一種面向確定性網(wǎng)絡(luò)的按需智能路由學(xué)習(xí)框架OdR(on-demand intelligent routing framework),如圖1所示。OdR模型包括3個(gè)邏輯平面:智能路由平面、網(wǎng)絡(luò)測(cè)量平面和數(shù)據(jù)轉(zhuǎn)發(fā)平面。

        ● 智能路由平面是OdR模型的控制中樞,多種具有不同確定性QoS需求的應(yīng)用流量信息作為輸入,輸出為各類確定性QoS需求所對(duì)應(yīng)的鏈路權(quán)重,通過Dijkstra算法將鏈路權(quán)重轉(zhuǎn)換為路由策略,生成的路由策略發(fā)布到數(shù)據(jù)轉(zhuǎn)發(fā)平面。

        ● 網(wǎng)絡(luò)測(cè)量平面負(fù)責(zé)收集網(wǎng)絡(luò)狀態(tài)(如流量需求、資源可用性、等待時(shí)間等)和應(yīng)用流量的QoS指標(biāo),用于評(píng)估路由策略的性能。

        ● 數(shù)據(jù)轉(zhuǎn)發(fā)平面根據(jù)應(yīng)用所攜帶的確定性QoS需求來分類和調(diào)度網(wǎng)絡(luò)中的流量,并且支持在線更新路由策略。

        2.2 OdR-TD3算法

        圖1 OdR模型

        OdR-TD3算法過程見算法1。

        算法1 OdR-TD3算法

        輸入種應(yīng)用類型的流量需求

        輸出種應(yīng)用類型的路由策略

        (2)執(zhí)行回合語(yǔ)句3~12

        (4)執(zhí)行次語(yǔ)句5~12

        (10)每步執(zhí)行語(yǔ)句(11)~(12)

        (13)保存訓(xùn)練好的OdR-TD3網(wǎng)絡(luò)模型

        3 實(shí)驗(yàn)分析

        3.1 實(shí)驗(yàn)環(huán)境配置

        表1 3類應(yīng)用流量的QoS指標(biāo)需求

        3.2 實(shí)驗(yàn)結(jié)果分析

        對(duì)OdR-TD3算法和兩種經(jīng)典的路由算法DV算法和SPF算法進(jìn)行了性能對(duì)比。在模型訓(xùn)練結(jié)束后保存3種算法的模型,然后使用200組流量矩陣作為測(cè)試集分別對(duì)保存的模型進(jìn)行測(cè)試,GéANT測(cè)試階段平均獎(jiǎng)勵(lì)值見表2,OdR-TD3算法的平均獎(jiǎng)勵(lì)值最高。

        表2 GéANT測(cè)試階段平均獎(jiǎng)勵(lì)值

        GéANT測(cè)試階段各類應(yīng)用流量的QoS指標(biāo)見表3。從實(shí)驗(yàn)測(cè)試數(shù)據(jù)上可以看出,在QoS的各項(xiàng)指標(biāo)上,OdR-TD3算法均大幅領(lǐng)先于DV算法和SPF算法,其中平均時(shí)延較DV算法和SPF算法分別降低了50%和30%以上,平均抖動(dòng)則相較DV算法和SPF算法分別降低了35%和15%以上,而平均丟包率相較DV算法和SPF算法分別下降了80%和60%以上。對(duì)比各類應(yīng)用的確定性QoS指標(biāo)要求,基于OdR-TD3算法的應(yīng)用流量均能滿足確定性QoS指標(biāo)的要求,且確定性QoS指標(biāo)達(dá)成率遠(yuǎn)優(yōu)于DV算法和SPF算法。

        表3 GéANT測(cè)試階段各類應(yīng)用流量的QoS指標(biāo)

        4 結(jié)束語(yǔ)

        本文主要研究了如何在確定性網(wǎng)絡(luò)中保障各類應(yīng)用的確定性QoS需求,將DRL方法引入確定性網(wǎng)絡(luò)路由中,以實(shí)現(xiàn)按需的自適應(yīng)智能路由決策。基于真實(shí)的數(shù)據(jù)集,在特定的網(wǎng)絡(luò)結(jié)構(gòu)下對(duì)OdR-TD3算法進(jìn)行評(píng)估,與DV和SPF路由算法相比,OdR-TD3算法表現(xiàn)出優(yōu)異的性能,可以更好地保障確定性的QoS需求。在網(wǎng)絡(luò)仿真環(huán)節(jié),本文假設(shè)了3類確定性QoS需求的應(yīng)用及其指標(biāo)需求,下一步研究中可以面向?qū)嶋H的確定性應(yīng)用對(duì)需求指標(biāo)進(jìn)行完善,還可以驗(yàn)證算法在不同網(wǎng)絡(luò)拓?fù)湎碌姆夯阅堋?/p>

        [1] KARAKUS M, DURRESI A. Quality of service (QoS) in software defined networking (SDN): a survey[J]. Journal of Network and Computer Applications, 2017(80): 200-218.

        [2] 黃韜, 汪碩, 黃玉棟, 等. 確定性網(wǎng)絡(luò)研究綜述[J]. 通信學(xué)報(bào), 2019, 40(6):160-176.

        HUANG T, WANG S, HUANG Y D, et al. Survey of the deterministic network[J]. Journal on Communications, 2019, 40(6): 160-176.

        [3] LI Z M, PENGC, YUG, et al. DetNet: abackbone network for object detection[J]. 2018. arXiv: 1804.06215.

        [4] 李季明, 張寧. 具有隨機(jī)性的確定性網(wǎng)絡(luò)模型[J]. 復(fù)雜系統(tǒng)與復(fù)雜性科學(xué), 2007, 4(2): 56-61.

        LI J M, ZHANG N. Deterministic network model with randomness[J]. Complex Systems and Complexity Science, 2007, 4(2): 56-61.

        [5] LUONG N C, HOANG D T, GONG S M, et al. Applications of deep reinforcement learning in communications and networking: a survey[J]. IEEE Communications Surveys & Tutorials, 2019, 21(4): 3133-3174.

        [6] ROBINSON Y H, JULIE E G, SARAVANAN K, et al. FD-AOMDV: fault-tolerant disjoint ad-hoc on-demand multipath distance vector routing algorithm in mobile ad-hoc networks[J]. Journal of Ambient Intelligence and Humanized Computing, 2019, 10(11): 4455-4472.

        [7] WANG Z, CROWCROFT J. Analysis of shortest-path routing algorithms in a dynamic network environment[J]. ACM SIGCOMM Computer Communication Review, 1992, 22(2): 63-71.

        [8] DAI B, CAO Y Y, WU Z L, et al. Routing optimization meets machine intelligence: a perspective for the future network[J]. Neurocomputing, 2021, 459: 44-58.

        [9] XIE J F, YU F R, HUANG T, et al. A survey of machine learning techniques applied to software defined networking (SDN): research issues and challenges[J]. IEEE Communications Surveys & Tutorials, 2019, 21(1): 393-430.

        [10] MCKEOWNN, ANDERSONT, BALAKRISHNANH, et al. OpenFlow[J]. ACM SIGCOMM Computer Communication Review, 2008, 38(2): 69-74.

        [11] SCOTT F, HERKE H, DAVID M. Addressing function approximation error in actor-critic methods[C]// Proceedings of the 35th International Conference on Machine Learning. [S.l.: s.n.], 2018:1587-1596 .

        [12] UHLIG S, QUOITIN B, LEPROPRE J, et al. Providing public intradomain traffic matrices to the research community[J]. ACM SIGCOMM Computer Communication Review, 2006, 36(1): 83-86.

        On-demand intelligent routing technology for deterministic network

        WU Zhongli1, CAO Yuanyuan1, HUANG Wenrui1, DAI Bin1, MO Yijun2

        1. School of Electronic Information and Communications, Huazhong University of Science and Technology, Wuhan 430074, China 2. School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan 430074, China

        Deterministic network needs to ensure the deterministic transmission requirements of different applications in terms of delay, packet loss rate, jitter, throughput, and reliability. In response to the differentiated and deterministic network transmission requirements of applications, an on-demand intelligent routing framework OdR for deterministic network was proposed. Under the OdR framework, an on-demand intelligent routing algorithm named OdR-TD3 based on deep reinforcement learning was proposed, which generates routing strategies based on the deterministic QoS requirements of application traffic, to satisfy the applications’ requirements of deterministic network. The experimental evaluation results show the OdR-TD3 algorithm has a significant advantage over the DV algorithm and the SPF algorithm in terms of the achievement rate of deterministic QoS requirements.

        deterministic network, deep reinforcement learning, on-demand intelligent routing, quality of service

        TP393

        A

        10.11959/j.issn.1000?0801.2021245

        伍仲麗(1998? ),女,華中科技大學(xué)電子信息與通信學(xué)院碩士生,主要研究方向?yàn)閺?qiáng)化學(xué)習(xí)、路由計(jì)算。

        曹園園(1996? ),女,華中科技大學(xué)電子信息與通信學(xué)院碩士生,主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、SDN。

        黃文睿(1999? ),男,華中科技大學(xué)電子信息與通信學(xué)院碩士生,主要研究方向?yàn)閳D神經(jīng)網(wǎng)絡(luò)、網(wǎng)絡(luò)路由。

        戴彬(1977? ),男,博士,華中科技大學(xué)電子信息與通信學(xué)院副教授,主要研究方向?yàn)橹悄苈酚?、邊緣?jì)算。

        莫益軍(1976?),男,博士,華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院副教授,主要研究方向?yàn)橹悄芫W(wǎng)絡(luò)、邊緣計(jì)算。

        The National Key Research and Development Project(No.2020YFB1800080)

        2021?09?01;

        20210?10?19

        國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(No.2020YFB1800080)

        猜你喜歡
        智能模型
        一半模型
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
        智能制造 反思與期望
        智能前沿
        文苑(2018年23期)2018-12-14 01:06:06
        智能前沿
        文苑(2018年19期)2018-11-09 01:30:14
        智能前沿
        文苑(2018年17期)2018-11-09 01:29:26
        智能前沿
        文苑(2018年21期)2018-11-09 01:22:32
        智能制造·AI未來
        商周刊(2018年18期)2018-09-21 09:14:46
        3D打印中的模型分割與打包
        国产 字幕 制服 中文 在线| 亚洲av综合日韩精品久久| 精品人妻中文av一区二区三区| 99久久精品免费观看国产| 久久久久久久99精品国产片| 国产码欧美日韩高清综合一区| 精品少妇一区二区三区入口| 精品乱人伦一区二区三区| 色猫咪免费人成网站在线观看| 午夜福利视频男同女同| 日本女同性恋一区二区三区网站| 亚洲a∨无码精品色午夜| 黑人巨大白妞出浆| 国产一起色一起爱| 国产亚洲一二三区精品| 美女不带套日出白浆免费视频 | 99久久这里只精品国产免费| 国产视频一区二区三区久久亚洲| 亚洲国产av无码精品| 久久精品视频在线看99| 国产自精品在线| 精品中文字幕在线不卡| 丰满少妇呻吟高潮经历| 欧美日韩国产免费一区二区三区欧美日韩| 中文字幕国内一区二区| 日本av一区二区三区视频| 黑人巨大无码中文字幕无码| 精品国产福利片在线观看| 亚洲熟妇av一区二区三区hd | 91九色视频在线国产| 亚洲 卡通 欧美 制服 中文| 亚洲人成网站在线播放观看| 免费在线av一区二区| 精品国产粉嫩内射白浆内射双马尾| 亚洲精品97久久中文字幕无码| 亚洲AⅤ男人的天堂在线观看| 少妇下面好紧好多水真爽| 亚洲欧美日韩成人高清在线一区| 欧美深夜福利网站在线观看| 日韩亚洲国产中文字幕| 无码人妻丰满熟妇区bbbbxxxx|