常夢(mèng)磊，羅述翔，李幸睿，李魯群

(上海師范大學(xué) 信息與機(jī)電工程學(xué)院，上海 201418)

車載網(wǎng)絡(luò)、遠(yuǎn)程醫(yī)療、工業(yè)控制等領(lǐng)域需要低時(shí)延、高可靠性的網(wǎng)絡(luò)傳輸。網(wǎng)絡(luò)時(shí)延包括傳輸時(shí)延、傳播時(shí)延、處理時(shí)延和排隊(duì)時(shí)延。傳播時(shí)延與傳輸介質(zhì)物理特性有關(guān)，該部分時(shí)延很難減少。所以降低網(wǎng)絡(luò)時(shí)延的方法，主要從處理時(shí)延、傳輸時(shí)延和排隊(duì)時(shí)延方面考慮。

目前，降低網(wǎng)絡(luò)時(shí)延的方法主要是優(yōu)化排隊(duì)策略和優(yōu)化擁塞控制。如劉正飛等[1]使用自動(dòng)隊(duì)列管理算法(active queue management，AQM)管理數(shù)據(jù)等待隊(duì)列長度，提高了網(wǎng)絡(luò)鏈路利用率，但可能導(dǎo)致重要數(shù)據(jù)無法及時(shí)到達(dá)的問題。秦唯特[2]使用數(shù)據(jù)中心網(wǎng)絡(luò)算法(data center TCP，DCTCP)和顯式擁塞指示標(biāo)記方法(explicit congestion notification，ECN)優(yōu)化排隊(duì)隊(duì)列過長問題，但存在吞吐量抖動(dòng)的問題。劉巖[3]采用隨機(jī)流量預(yù)測算法(random early detection，RED)解決擁塞問題，但會(huì)出現(xiàn)網(wǎng)絡(luò)鏈路參數(shù)調(diào)整不及時(shí)、擁塞控制有延遲的問題。鄧仕軍[4]提出了基于Q-learning算法的擁塞控制算法，但算法易出現(xiàn)因?yàn)闃颖静痪鈱?dǎo)致的過擬合現(xiàn)象。

清華大學(xué)在2019年提出了基于快速用戶數(shù)據(jù)報(bào)協(xié)議(user datagram protocol，UDP)互聯(lián)網(wǎng)連接協(xié)議(quick UDP internet connections protocol，QUIC)的最后期限感知的傳輸協(xié)議[5](deadline-aware transport protocol，DTP)，該協(xié)議繼承了QUIC協(xié)議的多流支持并且具有數(shù)據(jù)塊傳輸、Deadline、優(yōu)先級(jí)等多個(gè)特性，明確指出在DTP中實(shí)現(xiàn)低時(shí)延需要滿足數(shù)據(jù)包的Deadline。本文在DTP協(xié)議基礎(chǔ)上提出了ERDQN算法，該算法充分考慮了數(shù)據(jù)發(fā)送端數(shù)據(jù)塊的優(yōu)先級(jí)和Deadline，優(yōu)化了排隊(duì)策略，降低了排隊(duì)時(shí)延。利用強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，自主學(xué)習(xí)調(diào)整傳輸參數(shù)，降低了傳輸時(shí)延。實(shí)驗(yàn)表明本文提出的ERDQN算法相比于傳統(tǒng)擁塞控制算法收斂速度更快，排隊(duì)時(shí)延和傳輸時(shí)延更低，QoE更高。

1 傳統(tǒng)擁塞控制算法存在的問題

1.1 數(shù)據(jù)塊排隊(duì)丟失Deadline

傳統(tǒng)的擁塞控制算法采用排隊(duì)等待策略是先進(jìn)先出策略(first input first output，F(xiàn)IFO)，該策略的弊端是當(dāng)數(shù)據(jù)塊中包含不同的數(shù)據(jù)類型(即包含具有不同的Deadline)，無法滿足每種數(shù)據(jù)類型的Deadline。例如發(fā)送數(shù)據(jù)塊是視頻，詳細(xì)信息見圖1。

圖1 數(shù)據(jù)塊發(fā)送過程Fig.1 Data block sending process

視頻數(shù)據(jù)塊包括音頻(Audio)、圖像(Video)、控制(Coutrol)信號(hào)3種數(shù)據(jù)類型。其中Deadline的關(guān)系是

Cddl

(1)

式中Cddl、Addl、Vddl分別是Control信號(hào)、Audio信號(hào)、Video信號(hào)的Deadline。如果鏈路中發(fā)生擁塞，容易造成控制信號(hào)數(shù)據(jù)等待時(shí)間過長超出Deadline問題，進(jìn)而導(dǎo)致數(shù)據(jù)重傳，增加了網(wǎng)絡(luò)負(fù)載。

1.2 網(wǎng)絡(luò)傳輸過程中不穩(wěn)定且傳輸速率低

傳統(tǒng)的Reno算法，發(fā)送速率在慢啟動(dòng)階段緩慢增加，當(dāng)出現(xiàn)超時(shí)重傳或者丟包現(xiàn)象時(shí)，將慢啟動(dòng)閾值(ssthresh)值設(shè)置為當(dāng)前擁塞窗口(cwnd)的一半，重新傳輸丟失的數(shù)據(jù)包，并設(shè)置cwnd的值為ssthresh加上3個(gè)報(bào)文段(MSS)的長度，計(jì)算公式為

W=S+3×M

(2)

式中：W為擁塞窗口大小，S為慢啟動(dòng)閾值，M為報(bào)文段長度。網(wǎng)絡(luò)傳輸鏈路中出現(xiàn)丟包或者超時(shí)現(xiàn)象時(shí)，發(fā)送數(shù)據(jù)窗口減半，傳輸速率出現(xiàn)不規(guī)則波動(dòng)，導(dǎo)致網(wǎng)絡(luò)鏈路平均傳輸速率降低。

2 ERDQN算法

針對(duì)以上問題，本文提出了ERDQN算法，該算法相比于傳統(tǒng)的擁塞控制算法在排隊(duì)策略中考慮了數(shù)據(jù)塊的Deadline和優(yōu)先級(jí)，以及利用強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)自主學(xué)習(xí)調(diào)整網(wǎng)絡(luò)傳輸參數(shù)，實(shí)現(xiàn)了低時(shí)延、高可靠性的網(wǎng)絡(luò)傳輸。

2.1 ERDQN算法架構(gòu)

本文提出的ERDQN算法根據(jù)當(dāng)前時(shí)刻的網(wǎng)絡(luò)狀態(tài)預(yù)估下一個(gè)時(shí)刻網(wǎng)絡(luò)狀態(tài)，自動(dòng)調(diào)整網(wǎng)絡(luò)傳輸?shù)南嚓P(guān)參數(shù)，從而降低了網(wǎng)絡(luò)傳輸?shù)臅r(shí)延，保證數(shù)據(jù)高速穩(wěn)定的傳輸。

ERDQN算法中的基于經(jīng)驗(yàn)回放的DQN[6-7]網(wǎng)絡(luò)包括兩大模塊(見圖2)，分別是Net模塊[8]和Memory模塊[9]，Net模塊的作用是計(jì)算和預(yù)估網(wǎng)絡(luò)參數(shù)調(diào)整帶來的收益值，Memory模塊的作用是存儲(chǔ)Net模塊的訓(xùn)練記憶和記憶的優(yōu)先級(jí)。

圖2 Experience replay DQN流程Fig.2 Flow of experience replay DQN

Net模塊包括MainNet和TargetNet兩個(gè)神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)由全連接層、DropOut層、全連接層構(gòu)成。隱藏層的單元數(shù)是30，DropOut層的權(quán)重設(shè)置為0.5。兩個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相同但是參數(shù)更新頻率卻不相同，其中MainNet是用于預(yù)測當(dāng)前網(wǎng)絡(luò)狀態(tài)值，參數(shù)是實(shí)時(shí)更新的，當(dāng)其參數(shù)更新100次后，將當(dāng)前網(wǎng)絡(luò)參數(shù)傳遞給TargetNet網(wǎng)絡(luò)，TargetNet是用來預(yù)測目標(biāo)網(wǎng)絡(luò)狀態(tài)值。在經(jīng)過兩大模塊的運(yùn)算，輸出網(wǎng)絡(luò)鏈路的預(yù)估狀態(tài)。在重采樣學(xué)習(xí)中，Memory模塊根據(jù)優(yōu)先級(jí)抽取學(xué)習(xí)記憶以供Net重復(fù)訓(xùn)練。

2.2 ERDQN算法描述

ERDQN算法針對(duì)傳統(tǒng)的FIFO排隊(duì)策略不能夠滿足不同數(shù)據(jù)類型的Deadline問題，在優(yōu)化后的排隊(duì)策略中考慮了數(shù)據(jù)類型的Deadline和優(yōu)先級(jí)。首先計(jì)算當(dāng)前數(shù)據(jù)塊存活的時(shí)間，計(jì)算公式是

Tb=bcur-bcre

(3)

式中：Tb為數(shù)據(jù)塊的存活時(shí)間，bcur為當(dāng)前時(shí)間，bcre為數(shù)據(jù)塊創(chuàng)建時(shí)間。計(jì)算數(shù)據(jù)塊緊急程度的公式為

u=-1×Tb×D

(4)

式中：u為數(shù)據(jù)塊緊急程度，Tb為數(shù)據(jù)塊存活時(shí)間，D為數(shù)據(jù)塊的截止日期。再根據(jù)不同數(shù)據(jù)類型的優(yōu)先級(jí)，決定進(jìn)入排隊(duì)等待隊(duì)列的順序。如在游戲視頻傳輸過程中，包含以下3種數(shù)據(jù)類型，每種不同的數(shù)據(jù)類型包括不同的Deadline和優(yōu)先級(jí)，具體見表1。

表1 數(shù)據(jù)類型及相關(guān)屬性Tab.1 Data types and related attributes

優(yōu)先級(jí)代表不同的增益，h為0.5，m為0.3，l為0.1，通過下式計(jì)算出進(jìn)入排隊(duì)等待隊(duì)列的順序。

O=u×p

(5)

式中：O為進(jìn)入等待隊(duì)列順序的衡量值，u為緊急程度，p為優(yōu)先級(jí)。O的數(shù)值越大，越早進(jìn)入數(shù)據(jù)等待隊(duì)列。在強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)中，為了避免過擬合現(xiàn)象，改進(jìn)了Memory模塊采樣的過程，在采樣時(shí)按一定比例抽取，即抽取每個(gè)優(yōu)先級(jí)一定比例樣本。訓(xùn)練記憶的優(yōu)先級(jí)的劃分依據(jù)F，F(xiàn)是Qeval與Qtarget之間的距離，其計(jì)算公式為

F=|Qtarget-Qeval|

(6)

式中：Qeval為當(dāng)前網(wǎng)絡(luò)狀態(tài)值，Qtarget為目標(biāo)網(wǎng)絡(luò)狀態(tài)值。F轉(zhuǎn)換成優(yōu)先級(jí)的具體的公式為

R=(F+ε)η

(7)

式中：R為訓(xùn)練記憶的優(yōu)先級(jí)，ε為一個(gè)很小的常數(shù)，該參數(shù)的設(shè)置是為了避免記憶的優(yōu)先級(jí)出現(xiàn)零，而η是控制高低誤差之間的差異，其取值范圍是[0,1]。η可以控制優(yōu)先級(jí)在具體的計(jì)算中的權(quán)重。式(8)用來計(jì)算不同優(yōu)先級(jí)記憶被采樣的概率

(8)

式中Pi為訓(xùn)練記憶樣本i被采樣的概率，Rk為訓(xùn)練記憶樣本k的優(yōu)先級(jí)。Net網(wǎng)絡(luò)重采樣學(xué)習(xí)時(shí)，首先選擇采樣數(shù)據(jù)的優(yōu)先級(jí)，再將優(yōu)先級(jí)與根節(jié)點(diǎn)、左子樹、右子樹相互比較，選擇相應(yīng)優(yōu)先級(jí)區(qū)間，重復(fù)上述過程直至葉子節(jié)點(diǎn)。不同優(yōu)先級(jí)的采樣的比例為

H=HRi×Pi+…+HRk×Pk

(9)

式中H為采樣樣本數(shù)量,HRi為樣本優(yōu)先級(jí)Ri的樣本總量。該抽樣方法既保證樣本的學(xué)習(xí)效率，又避免了因?yàn)闃颖静痪饪赡艹霈F(xiàn)的過擬合現(xiàn)象。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)中使用的數(shù)據(jù)集和仿真環(huán)境來源于AItrans智能網(wǎng)絡(luò)挑戰(zhàn)賽，數(shù)據(jù)集包括數(shù)據(jù)塊(B)和日志。每一個(gè)B是時(shí)間長度為20 s的數(shù)據(jù)，其內(nèi)容是日常使用中部分的blocks數(shù)據(jù)(bi)，B中包括Video類型和Audio類型，其屬性包括時(shí)間戳(Ts)、幀大小(Fs)和是否為關(guān)鍵幀(Y)，詳細(xì)信息見表2。

表2 Video和Audio的trace格式Tab.2 Trace format of Video and Audio

在數(shù)據(jù)集中，B數(shù)據(jù)中的Video類型和Audio類型擁有不同的優(yōu)先級(jí)。相對(duì)于視頻來說，Audio的優(yōu)先級(jí)高于Video的優(yōu)先級(jí)，這樣的設(shè)計(jì)可以更好地滿足使用者的需求。

實(shí)驗(yàn)的仿真環(huán)境是由清華大學(xué)構(gòu)建的DTP模擬器(DTP-Emulator)，該系統(tǒng)使用DTP作為傳輸協(xié)議，模擬了在不同網(wǎng)絡(luò)類型下數(shù)據(jù)傳輸?shù)倪^程。在DTP-Emulator中可以使用自行設(shè)計(jì)的數(shù)據(jù)傳輸調(diào)度算法，并可以輸出數(shù)據(jù)傳輸過程中的排隊(duì)時(shí)延、傳輸時(shí)延等相關(guān)日志數(shù)據(jù)。官方給出了相關(guān)的質(zhì)量系數(shù)評(píng)價(jià)模型

(1-α)×(1-Md)

(10)

式中：QQoE為相關(guān)模型的質(zhì)量系數(shù)，P為指數(shù)據(jù)塊的優(yōu)先級(jí)，Md代表數(shù)據(jù)塊是否超過Deadline，α為數(shù)據(jù)塊在Deadline內(nèi)到達(dá)接收端的增益值。

3.2 實(shí)驗(yàn)結(jié)果分析

Reno算法是最常用的擁塞控制的算法，在擁塞控制方面有著良好的效果，所以本實(shí)驗(yàn)在DTP-Emulator仿真環(huán)境中測試在仿真數(shù)據(jù)集和傳輸數(shù)據(jù)集中Reno算法、DQN算法和本文設(shè)計(jì)的ERDQN算法的性能，并輸出相關(guān)的傳輸日志。

實(shí)驗(yàn)結(jié)果見表3、4,本文提出的ERDQN算法在排隊(duì)時(shí)延(Qt)、最大排隊(duì)延遲(Qmt)、平均傳輸速率(Vt)、QoE(QQoE)方面明顯優(yōu)于Reno算法和DQN算法。實(shí)驗(yàn)結(jié)果說明在不同的數(shù)據(jù)集中本文提出的ERDQN算法可以更好地滿足數(shù)據(jù)塊的優(yōu)先級(jí)、Deadline的需求，能夠?qū)崿F(xiàn)低時(shí)延、高可靠性的傳輸目標(biāo)。

表3 仿真數(shù)據(jù)集結(jié)果Tab.3 Results on simulation dataset

表4 傳輸數(shù)據(jù)集結(jié)果Tab.4 Results on transmission dataset

實(shí)際網(wǎng)絡(luò)傳輸過程中ERDQN算法、DQN算法和Reno算法的時(shí)延(L)隨著時(shí)間(T)變化曲線見圖3，L包括排隊(duì)時(shí)延和傳播時(shí)延，它反映了擁塞控制算法在網(wǎng)絡(luò)傳輸中的實(shí)際效果。

圖3 L隨時(shí)間的變化Fig.3 Variation of L with time

在實(shí)際傳輸過程中，ERDQN算法的平均時(shí)延

4 結(jié) 論

針對(duì)傳統(tǒng)擁塞控制算法中不能滿足不同數(shù)據(jù)類型數(shù)據(jù)的Deadline，網(wǎng)絡(luò)傳輸不穩(wěn)定且平均傳輸速率低的問題，本文提出了ERDQN算法，優(yōu)化排隊(duì)策略，滿足了數(shù)據(jù)塊的Deadline和優(yōu)先級(jí)，降低了排隊(duì)時(shí)延；且對(duì)網(wǎng)絡(luò)參數(shù)調(diào)整過程不斷學(xué)習(xí)，找到適宜當(dāng)前網(wǎng)絡(luò)傳輸?shù)淖顑?yōu)參數(shù)，降低了傳輸時(shí)延。實(shí)驗(yàn)證明本文所提出的ERDQN算法相比于Reno算法和DQN算法，具有時(shí)延低、平均傳輸速率高、QoE高等優(yōu)點(diǎn)，且本文提出的算法收斂速度快，傳輸更加穩(wěn)定，能夠滿足車載互聯(lián)網(wǎng)、遠(yuǎn)程醫(yī)療、工業(yè)控制等領(lǐng)域的低時(shí)延、高可靠性的傳輸要求。