王亞東，張 悅，陳延祥，張 宇

1 引言

隨著業(yè)務(wù)模式的快速發(fā)展，基于TCP/IP的體系結(jié)構(gòu)逐漸暴露出諸多問題，比如可擴(kuò)展性差、動(dòng)態(tài)性差、安全可控性差等[1]。為了解決這些問題，命名數(shù)據(jù)網(wǎng)絡(luò)(Named Data Networking，NDN)被提出并成為廣泛研究的未來互聯(lián)網(wǎng)體系架構(gòu)[2]。NDN在處理封包是依據(jù)數(shù)據(jù)內(nèi)容而非位置來命名，通過利用名稱尋址并加入內(nèi)容存儲(chǔ)器結(jié)構(gòu)，將內(nèi)容和位置分離開，從根本上解決了當(dāng)今TCP/IP網(wǎng)絡(luò)中以主機(jī)為中心的通信模式和用戶以內(nèi)容為中心的網(wǎng)絡(luò)需求之間的矛盾[3]。

空間網(wǎng)絡(luò)不同于地面通信網(wǎng)，具有拓?fù)鋭?dòng)態(tài)變化大、鏈路間歇性連接、高傳輸時(shí)延、傳輸數(shù)據(jù)率低、信道不對(duì)稱等特點(diǎn)。目前空間容遲容斷網(wǎng)絡(luò)(Delay/Disruption Tolerant Networking， DTN)仍然使用單播協(xié)議進(jìn)行端到端的傳輸，這樣的傳輸方式無法滿足載人航天探測(cè)任務(wù)中對(duì)數(shù)據(jù)傳輸實(shí)時(shí)性、數(shù)據(jù)量大、內(nèi)容共享等需求，空間網(wǎng)絡(luò)需要一種不同的網(wǎng)絡(luò)架構(gòu)來解決這些問題。而NDN按名字尋址，完全不依賴位置，路由請(qǐng)求和轉(zhuǎn)發(fā)只依賴數(shù)據(jù)自身，請(qǐng)求者和提供者之間無需一直保持連接狀態(tài)。這使得NDN有著極好的網(wǎng)絡(luò)擴(kuò)展性和對(duì)動(dòng)態(tài)網(wǎng)絡(luò)的適應(yīng)性，能夠?yàn)檩d人深空探測(cè)任務(wù)提供更安全有效、更可靠的通信服務(wù)；同時(shí)NDN引入節(jié)點(diǎn)緩存，使得衛(wèi)星網(wǎng)絡(luò)中因位置變化導(dǎo)致的傳輸中斷無需重新建立連接，可以從臨近節(jié)點(diǎn)匹配獲取資源，原生支持網(wǎng)絡(luò)多播和信息共享，有效節(jié)省數(shù)據(jù)傳輸開銷，充分利用衛(wèi)星網(wǎng)絡(luò)資源。

空間網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)的可靠性要求較高，因此擁塞控制極為重要。擁塞的發(fā)生與網(wǎng)絡(luò)自身的體系架構(gòu)密切聯(lián)系。擁塞控制機(jī)制的提出以特定的網(wǎng)絡(luò)為前提。相比于TCP/IP網(wǎng)絡(luò)，NDN中的節(jié)點(diǎn)設(shè)有持久性緩存，允許多路徑傳播和多播傳播，這使得擁塞控制變得復(fù)雜[4]。在TCP/IP網(wǎng)絡(luò)中擁塞控制機(jī)制是為端對(duì)端連接設(shè)計(jì)的，通過重復(fù)確認(rèn)字符(Acknowledgement，ACK)和超時(shí)機(jī)制檢測(cè)擁塞，通過基于滑動(dòng)窗口的和式增加，積式減少(Additive Increase Multiplicative Decrease，AIMD)減小客戶端注入網(wǎng)絡(luò)的流量。而NDN中包的傳播是多路徑的，興趣包對(duì)應(yīng)的數(shù)據(jù)包可能會(huì)從不同節(jié)點(diǎn)返回，這些節(jié)點(diǎn)的遠(yuǎn)近會(huì)對(duì)返回?cái)?shù)據(jù)的往返時(shí)延(Round-Trip Time，RTT)造成很大的影響。因此，在NDN中，無法對(duì)一個(gè)數(shù)據(jù)包設(shè)置一個(gè)合適的RTT值，單純的超時(shí)機(jī)制無法滿足NDN中擁塞檢測(cè)及控制需求，需要更加準(zhǔn)確的網(wǎng)絡(luò)層控制算法來支持擁塞控制。

目前，現(xiàn)有NDN擁塞控制算法存在對(duì)先驗(yàn)知識(shí)的依賴，對(duì)網(wǎng)絡(luò)狀態(tài)的變化不夠敏感，難以適用于空間網(wǎng)絡(luò)這種拓?fù)涓叨葎?dòng)態(tài)，鏈路延遲大、誤碼率高等情況。基于這種現(xiàn)象，本文研究基于強(qiáng)化學(xué)習(xí)的NDN擁塞控制機(jī)制。已有一些研究將強(qiáng)化學(xué)習(xí)方法應(yīng)用于傳統(tǒng)TCP/IP網(wǎng)絡(luò)的擁塞控制。王春茹等[5]運(yùn)用強(qiáng)化學(xué)習(xí)的智能化控制方法設(shè)計(jì)了網(wǎng)絡(luò)擁塞控制器，可以調(diào)節(jié)源端發(fā)送數(shù)據(jù)的速率，使可能發(fā)生擁塞的交換機(jī)緩沖區(qū)隊(duì)列長(zhǎng)度逼近設(shè)定值，從而減少了擁塞的發(fā)生。李鑫[6]基于強(qiáng)化學(xué)習(xí)理論中的Q-學(xué)習(xí)方法設(shè)計(jì)了主動(dòng)隊(duì)列管理算法。控制器學(xué)習(xí)TCP/IP網(wǎng)絡(luò)中狀態(tài)-動(dòng)作對(duì)所對(duì)應(yīng)的Q-函數(shù)值，并利用反映了Q-函數(shù)值與當(dāng)前網(wǎng)絡(luò)狀態(tài)聯(lián)系緊密程度的可信度值來調(diào)節(jié)學(xué)習(xí)率。

本文針對(duì)NDN體系架構(gòu)，以最小時(shí)延為目標(biāo)，在考慮NDN中的網(wǎng)內(nèi)緩存、多路徑轉(zhuǎn)發(fā)，并不對(duì)鏈路容量或數(shù)據(jù)包大小做任何假設(shè)的情況下，結(jié)合強(qiáng)化學(xué)習(xí)中的 Sarsa(λ)算法，充分利用NDN中路由節(jié)點(diǎn)的計(jì)算和學(xué)習(xí)能力，設(shè)計(jì)智能的動(dòng)態(tài)轉(zhuǎn)發(fā)策略，以實(shí)現(xiàn)對(duì)NDN的擁塞控制功能。

2 基于強(qiáng)化學(xué)習(xí)的NDN擁塞控制方法設(shè)計(jì)

良好的轉(zhuǎn)發(fā)策略可以自主選擇合適的鏈路進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)，能在很大程度上預(yù)先規(guī)避擁塞鏈路，并在擁塞現(xiàn)象發(fā)生后有效地緩解擁塞。本文從轉(zhuǎn)發(fā)策略的角度出發(fā)，討論容遲容斷命名數(shù)據(jù)網(wǎng)絡(luò)中的擁塞控制問題。在考慮網(wǎng)內(nèi)緩存、多路徑轉(zhuǎn)發(fā)，并不對(duì)鏈路容量或數(shù)據(jù)包大小做任何假設(shè)的情況下，將NDN中路由節(jié)點(diǎn)選擇端口轉(zhuǎn)發(fā)興趣包的過程，建模為強(qiáng)化學(xué)習(xí)中一個(gè)狀態(tài)選擇執(zhí)行動(dòng)作轉(zhuǎn)移到另一個(gè)狀態(tài)的過程，設(shè)計(jì)更加實(shí)際可行的轉(zhuǎn)發(fā)策略。針對(duì)NDN應(yīng)用的特殊網(wǎng)絡(luò)環(huán)境，本文選擇最小時(shí)延為目標(biāo)，結(jié)合強(qiáng)化學(xué)習(xí)中的Sarsa(λ)算法，在原有轉(zhuǎn)發(fā)策略的基礎(chǔ)上設(shè)計(jì)智能的轉(zhuǎn)發(fā)策略，以實(shí)現(xiàn)擁塞控制的目的。

2.1 模型的建立與分析

在考慮緩存及多路徑路由因素下，網(wǎng)絡(luò)擁塞模型難以建立，而時(shí)序差分學(xué)習(xí)無需模型，直接從經(jīng)驗(yàn)中學(xué)習(xí)。時(shí)序差分(Temporal Difference，TD)算法中應(yīng)用較廣的有Q-learning和Sarsa策略[7]。然而結(jié)合資格跡后，由于Watkins[8]的Q(λ)算法具有截?cái)嘤行蛄械膯栴}，而改進(jìn)的 Peng的Q(λ)算法[9]很難實(shí)現(xiàn)，本文使用Sarsa(λ)算法實(shí)現(xiàn)NDN中網(wǎng)絡(luò)包的智能轉(zhuǎn)發(fā)。

將路由節(jié)點(diǎn)轉(zhuǎn)發(fā)興趣包到相應(yīng)數(shù)據(jù)包返回該節(jié)點(diǎn)的時(shí)間記為響應(yīng)時(shí)間RTTr。需要注意的是，RTTr越小越好，因此計(jì)算Q值時(shí)，將-RTTr作為即時(shí)回報(bào)。在NDN環(huán)境中，節(jié)點(diǎn)選擇Q值最大的鏈路，一方面可以在總體上減少用戶收到需求內(nèi)容的時(shí)間，提高用戶體驗(yàn)；另一方面實(shí)現(xiàn)了主動(dòng)避免擁塞，路由節(jié)點(diǎn)轉(zhuǎn)發(fā)興趣包時(shí)優(yōu)先選擇網(wǎng)絡(luò)時(shí)延短的，即非擁塞的鏈路，避免再向擁塞鏈路注入更多的流量。本文將Q值為轉(zhuǎn)發(fā)策略的依據(jù)，采用結(jié)合資格跡的Sarsa算法——Sarsa(λ)算法求解最佳策略。

所述模型建立方法如下：

1)利用NDN中路由節(jié)點(diǎn)的學(xué)習(xí)和計(jì)算能力，將路由節(jié)點(diǎn)看作智能體agent；

2)將路由節(jié)點(diǎn)向不同的端口轉(zhuǎn)發(fā)興趣包的過程作為agent選擇執(zhí)行動(dòng)作的過程，多個(gè)可轉(zhuǎn)發(fā)的端口對(duì)應(yīng)多個(gè)可執(zhí)行的動(dòng)作；

3)將興趣包從一個(gè)路由節(jié)點(diǎn)通過選擇端口轉(zhuǎn)發(fā)到另一個(gè)路由節(jié)點(diǎn)的過程，映射為agent將興趣包從一個(gè)狀態(tài)通過選擇相應(yīng)的動(dòng)作轉(zhuǎn)移到另一個(gè)狀態(tài)的過程；

4)NDN中原有的數(shù)據(jù)包結(jié)構(gòu)如圖1所示。本文在原有結(jié)構(gòu)基礎(chǔ)上，擴(kuò)展了時(shí)間戳字段，如圖2所示。每個(gè)路由節(jié)點(diǎn)選擇一個(gè)端口轉(zhuǎn)發(fā)興趣包后，由興趣包發(fā)出到對(duì)應(yīng)數(shù)據(jù)包返回的時(shí)間差RTTr得到反饋給 agent的立即回報(bào)值 r(s，a)，RTTr通過相應(yīng)的數(shù)據(jù)包返回時(shí)攜帶的時(shí)間戳信息計(jì)算得到。時(shí)間戳通過向數(shù)據(jù)包結(jié)構(gòu)中添加新的字段項(xiàng)以實(shí)現(xiàn)攜帶。路由節(jié)點(diǎn)的FIB表中每一個(gè)前綴對(duì)應(yīng)一個(gè)條目，條目中的每一個(gè)端口都有一個(gè)度量條目(如鏈路開銷等)，可以存儲(chǔ)標(biāo)準(zhǔn)化的度量信息。本文將Q值加入原有的度量條目中，修改后的FIB條目如圖3所示；

5)記狀態(tài)空間為 S={St0，St0+1，…，ST-1，ST}，其中，ST表示T時(shí)刻agent的狀態(tài)，狀態(tài)指節(jié)點(diǎn)將興趣包從當(dāng)前節(jié)點(diǎn)發(fā)送到存儲(chǔ)相應(yīng)數(shù)據(jù)的節(jié)點(diǎn)；記動(dòng)作集 A={At0，At0+1，…，AT-1，AT}， 表示不同狀態(tài)下所選擇的動(dòng)作；一個(gè)狀態(tài)的動(dòng)作集記為A(s)={a1，a2...，an-1，an}， 表示興趣包到達(dá)一個(gè)路由節(jié)點(diǎn)后可選的n個(gè)轉(zhuǎn)發(fā)端口；路由節(jié)點(diǎn)為每一個(gè)前綴下的每一個(gè)轉(zhuǎn)發(fā)端口維護(hù)一個(gè)動(dòng)作值Q(s，a)， 動(dòng)作值更新公式見式(1)、式(2)[7]。

圖1 原有數(shù)據(jù)包結(jié)構(gòu)Fig.1 Original data packet structure

圖2 修改后的數(shù)據(jù)包結(jié)構(gòu)Fig.2 Modified data packet structure

圖3 修改后的FIB表項(xiàng)Fig.3 Modified FIB table entries

其中，s為agent的當(dāng)前狀態(tài)，a為當(dāng)前狀態(tài)下選擇的動(dòng)作，β為學(xué)習(xí)速率，δt為誤差，r(s，a)為回報(bào)值，γ為折扣率，λ為跡衰減參數(shù)，St為t時(shí)刻agent的狀態(tài)，At表示t時(shí)刻agent的動(dòng)作，Qt(s，a)為 t時(shí)刻狀態(tài)-動(dòng)作對(duì) (s，a) 的動(dòng)作值，Et(s，a) 為 t時(shí)刻狀態(tài)-動(dòng)作對(duì) (s，a) 的資格跡，資格跡的使用可以提升算法的效率。

2.2 包轉(zhuǎn)發(fā)策略的實(shí)現(xiàn)

采用結(jié)合資格跡的Sarsa算法——Sarsa(λ)算法求解最佳策略。在更新策略的方法上，采用針對(duì)現(xiàn)有動(dòng)作值的貪婪策略：ε-greedy策略，即，以1-ε的概率選擇最佳動(dòng)作，以ε的概率選擇其他非貪婪動(dòng)作[10]。轉(zhuǎn)發(fā)策略分為初始化階段和應(yīng)用及持續(xù)探索階段。

1)初始化階段：獲得初始Q值。當(dāng)路由節(jié)點(diǎn)收到興趣包后，向所有可轉(zhuǎn)發(fā)的端口發(fā)送興趣包，獲得每個(gè)端口的初始Q值；

2)應(yīng)用及持續(xù)探索階段：根據(jù)初始化階段得到的初始Q值，按照貪婪策略進(jìn)行探索并持續(xù)更新Q值。當(dāng)?shù)玫匠跏糛值后，路由節(jié)點(diǎn)依據(jù)ε-greedy策略進(jìn)行探索。路由節(jié)點(diǎn)向端口轉(zhuǎn)發(fā)興趣包，以1-ε的概率選擇最佳Q值端口，以ε的概率選擇其他端口以保證持續(xù)性探索，在數(shù)據(jù)包返回的過程中不斷更新Q值。當(dāng)端口超時(shí)后，將公式(1)中的δt設(shè)置為一個(gè)不小于108的常量，這樣Q值會(huì)很大，作為超時(shí)的懲罰機(jī)制。

包轉(zhuǎn)發(fā)策略的具體實(shí)施流程如下(圖4)：

1)路由節(jié)點(diǎn)判斷接收的包類型，若為興趣包，轉(zhuǎn)步驟2，若為數(shù)據(jù)包，轉(zhuǎn)步驟7；

2)檢查自身緩存中是否有與該興趣包匹配的數(shù)據(jù)，若存在，則從該興趣包到達(dá)的接口返回與之匹配的數(shù)據(jù)包，結(jié)束；否則直接轉(zhuǎn)步驟3；

3)在FIB中查找可能的下一跳，若無下一跳，返回 NACK-NOROUTE(查找路由失敗)，結(jié)束；有則轉(zhuǎn)步驟4；

4)判斷當(dāng)前狀態(tài)，若為初始化階段，轉(zhuǎn)步驟5；若為應(yīng)用即持續(xù)探索階段，則轉(zhuǎn)步驟6；

5)向所有可轉(zhuǎn)發(fā)的端口發(fā)送興趣包，獲得每個(gè)端口的初始Q值，結(jié)束；

6)依據(jù)ε-greedy策略隨機(jī)選擇是否貪婪，貪婪則選擇可能的下一跳中Q值最小的節(jié)點(diǎn)轉(zhuǎn)發(fā)興趣包，結(jié)束；不貪婪則在可能的下一跳中隨機(jī)選擇除Q值最小以外的節(jié)點(diǎn)轉(zhuǎn)發(fā)興趣包，結(jié)束；

7)查詢PIT表，若無對(duì)應(yīng)條目，則丟棄該數(shù)據(jù)包，結(jié)束；否則根據(jù)NDN數(shù)據(jù)包的轉(zhuǎn)發(fā)流程轉(zhuǎn)發(fā)數(shù)據(jù)包，轉(zhuǎn)步驟8；

8)從數(shù)據(jù)包中提取信息并更新對(duì)應(yīng)端口的Q值，結(jié)束。

圖4 轉(zhuǎn)發(fā)策略流程圖Fig.4 Flow chart of forwarding strategy

采用上述方法應(yīng)用于NDN中，能夠在很大程度上避免網(wǎng)絡(luò)擁塞的發(fā)生。

3 仿真與結(jié)果

本文提出的擁塞控制機(jī)制在Linux操作系統(tǒng)下，基于ns-3的ndnSIM仿真平臺(tái)進(jìn)行性能測(cè)試[11]。網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖5所示。仿真設(shè)置中，共有9個(gè)網(wǎng)路節(jié)點(diǎn)，其中包括4個(gè)內(nèi)容請(qǐng)求者(Consumer)、4個(gè)路由器為中間轉(zhuǎn)發(fā)節(jié)點(diǎn)(Router)和1個(gè)內(nèi)容生產(chǎn)者(Producer)。其中每條鏈路的帶寬和延遲設(shè)置如表1所示。由表1可以看出，Router1和Router2分別有一條相對(duì)較好和相對(duì)較差的輸出鏈路：Router1-Router4為較好的輸出鏈路，相較Router1-Router3來說，此鏈路具有更大的帶寬和更小的延遲，單位時(shí)間傳輸?shù)臄?shù)據(jù)更多。Router2對(duì)應(yīng)的2條輸出鏈路同理，但總體上優(yōu)于Router1的輸出鏈路。

圖5 拓?fù)浣Y(jié)構(gòu)Fig.5 Topological structure

表1 鏈路設(shè)置表Table 1 Link setting table

本文將提出的智能轉(zhuǎn)發(fā)策略與最佳路由算法(Best Route)、多路徑轉(zhuǎn)發(fā)算法(Multicast)以及請(qǐng)求轉(zhuǎn)發(fā)算法(Request Forwarding)進(jìn)行對(duì)比。仿真硬件為ubuntu16.04LTS操作系統(tǒng)、內(nèi)存為15.6 GB，Inter Core i7-4749 CPU@3.60GHz?8，硬盤為500 GB的SSD。仿真在ndnSIM2.6環(huán)境下進(jìn)行，依次將上述算法記為 Sarsa(λ)、BestRoute、Multicast和 RFStrategy。 在 Sarsa(λ)算法中，設(shè)學(xué)習(xí)速率β=0.6，折扣率γ=0.5，跡衰減參數(shù) λ=0.5，概率 ε=0.05，仿真實(shí)驗(yàn)的運(yùn)行時(shí)間為100 s。

3.1 數(shù)據(jù)包交付率

數(shù)據(jù)包交付率指消費(fèi)者發(fā)出的興趣請(qǐng)求被數(shù)據(jù)包響應(yīng)的比例。設(shè)消費(fèi)者發(fā)送興趣包的速率為100 Packets/s，交付率隨鏈路誤碼率的變化結(jié)果如圖6所示?？梢钥闯?，隨著鏈路誤碼率增大，4種轉(zhuǎn)發(fā)策略的交付率都會(huì)降低，這是因?yàn)檎`碼率增大導(dǎo)致網(wǎng)絡(luò)丟包增多，一部分?jǐn)?shù)據(jù)包無法回到消費(fèi)者。其中，Best Route根據(jù)最小跳數(shù)選擇最佳路徑，無法根據(jù)鏈路的實(shí)際情況進(jìn)行調(diào)整選擇，整體性能最差。Multicast算法會(huì)將興趣包轉(zhuǎn)發(fā)到所有記錄的端口，只要有一條較好的鏈路，就可以完成交付任務(wù)，對(duì)鏈路誤碼率不敏感，因此整體交付性能最好；但這種算法沒有擁塞控制機(jī)制，會(huì)大量消耗鏈路帶寬。基于Sarsa(λ)的轉(zhuǎn)發(fā)策略和RF算法都是動(dòng)態(tài)轉(zhuǎn)發(fā)策略：RF算法基于每個(gè)端口的等待響應(yīng)的興趣包個(gè)數(shù)為端口分配權(quán)重，再根據(jù)權(quán)重隨機(jī)選擇轉(zhuǎn)發(fā)端口，考慮了數(shù)據(jù)包是否返回和返回的比例；基于Sarsa(λ)的轉(zhuǎn)發(fā)策略不僅考慮了數(shù)據(jù)包返回的情況，還隱性地考慮到了鏈路狀態(tài)，交付性能優(yōu)于RF算法。

圖6 數(shù)據(jù)包交付率隨鏈路誤碼率的變化結(jié)果Fig.6 Changes of packet delivery rate with BER

設(shè)鏈路誤碼率為0.3，數(shù)據(jù)包交付率隨負(fù)載的變化結(jié)果如圖7所示。負(fù)載越大，網(wǎng)絡(luò)中的流量越大，大量的網(wǎng)包會(huì)加重網(wǎng)絡(luò)負(fù)荷，導(dǎo)致網(wǎng)絡(luò)擁塞的發(fā)生，此時(shí)所有算法的性能都會(huì)下降。Multicast多端口轉(zhuǎn)發(fā)興趣包，第一個(gè)數(shù)據(jù)包從某條鏈路返回后，其他鏈路仍然會(huì)返回?cái)?shù)據(jù)包，而這些重復(fù)的數(shù)據(jù)包會(huì)被丟棄，造成帶寬的極大浪費(fèi)；Multicast算法也因此對(duì)鏈路可用帶寬較敏感。網(wǎng)絡(luò)中數(shù)據(jù)包的不斷增多可以等價(jià)為鏈路可用帶寬的減小，此時(shí)，Multicast的性能會(huì)下降。從圖7中可看出，當(dāng)負(fù)載較小時(shí)，Multicast的性能優(yōu)于Sarsa(λ)，當(dāng)負(fù)載不斷增大時(shí)，Multicast的性能下降較快，落于 Sarsa(λ)之后。RF的交付率排在Multicast之后，Best Route交付率最低。

圖7 數(shù)據(jù)包交付率隨負(fù)載的變化結(jié)果Fig.7 Changes of packet delivery rate with load

3.2 丟包率

網(wǎng)絡(luò)層的丟包率可以直接反應(yīng)網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)目煽啃?。丟包率隨誤碼率的變化結(jié)果如圖8所示，隨負(fù)載的變化結(jié)果如圖9所示?？梢?，雖然Multicast的數(shù)據(jù)交付率很高，其丟包率也非常高，沒有任何擁塞控制的機(jī)制?；赟arsa(λ)的轉(zhuǎn)發(fā)策略和RF能主動(dòng)避開擁塞和故障的鏈路，從而極大減小了鏈路丟包數(shù)量，但Sarsa(λ)的丟包率更小。Best Route丟包率低于Multicast，但由于無法感知鏈路的狀態(tài)，可能會(huì)選擇擁塞較嚴(yán)重的端口轉(zhuǎn)發(fā)興趣包，丟包數(shù)量較多。

圖8 丟包率隨誤碼率的變化結(jié)果Fig.8 Changes of packet loss rate with BER

3.3 平均時(shí)延

圖9 丟包率隨負(fù)載的變化結(jié)果Fig.9 Changes of packet loss rate with load

平均時(shí)延即消費(fèi)者發(fā)送興趣包后，接收到數(shù)據(jù)包的平均響應(yīng)時(shí)間，是網(wǎng)絡(luò)服務(wù)質(zhì)量的重要指標(biāo)之一。平均時(shí)延隨誤碼率的變化結(jié)果如圖10所示，隨負(fù)載的變化結(jié)果如圖 11所示。基于Sarsa(λ)的轉(zhuǎn)發(fā)策略以最小時(shí)延為目標(biāo)，選擇傳輸時(shí)延最小的路徑轉(zhuǎn)發(fā)興趣包，使得最終的平均時(shí)延最小。圖10中，Multicast的平均時(shí)延最優(yōu)，同數(shù)據(jù)包交付性能，只要有一條鏈路可用，數(shù)據(jù)包就可以返回，因此減小了用戶的響應(yīng)時(shí)間。但圖11中，負(fù)載增大后，由于網(wǎng)絡(luò)中數(shù)據(jù)包的大量增加，Multicast性能下降，其平均時(shí)延也增長(zhǎng)較迅速，Sarsa(λ)的平均時(shí)延在整體上變?yōu)樽顑?yōu)。RF在其選擇端口的標(biāo)準(zhǔn)中，主要考慮數(shù)據(jù)包返回的比例而不是快慢，平均時(shí)延較高。Best Route不考慮鏈路時(shí)延的問題，時(shí)延最大。

由以上對(duì)比可知，本文提出的智能轉(zhuǎn)發(fā)策略能有效增加網(wǎng)絡(luò)的數(shù)據(jù)遞交率，減少丟包數(shù)量和網(wǎng)絡(luò)平均時(shí)延，除在平均時(shí)延隨誤碼率變化的效果上略低于Multicast算法外，在其他方面整體均優(yōu)于其他3種算法。

圖10 平均時(shí)延隨誤碼率的變化結(jié)果Fig.10 Changes of average delay variation with BER

圖11 平均時(shí)延隨負(fù)載的變化結(jié)果Fig.11 Changes of average delay variation with load

4 結(jié)論

1)本文將強(qiáng)化學(xué)習(xí)算法應(yīng)用到NDN的轉(zhuǎn)發(fā)策略中，實(shí)現(xiàn)智能的動(dòng)態(tài)轉(zhuǎn)發(fā)策略，以主動(dòng)避免和緩解擁塞。將資格跡與在線時(shí)序差分策略結(jié)合，以最小時(shí)延為目標(biāo)，提出了基于Sarsa(λ)的轉(zhuǎn)發(fā)策略；

2)在 ndnsim平臺(tái)上仿真，與已有的 Best route算法、Multicast算法和RF算法進(jìn)行比較，仿真結(jié)果表明，該算法能有效增加網(wǎng)絡(luò)的數(shù)據(jù)遞交率，減小丟包數(shù)量和網(wǎng)絡(luò)平均時(shí)延，除在平均時(shí)延隨誤碼率變化的效果上略低于Multicast算法外，在其他方面整體均優(yōu)于其他3種算法；

3)本文提出的轉(zhuǎn)發(fā)策略很大程度上避免網(wǎng)絡(luò)擁塞的發(fā)生，并在擁塞發(fā)生時(shí)及時(shí)地發(fā)現(xiàn)問題鏈路，選擇鏈路狀態(tài)良好的路徑轉(zhuǎn)發(fā)數(shù)據(jù)，有效地減少擁塞。