趙海濤，陳躍，張?zhí)苽ィ炱嫘?，朱洪?/p>

（1.南京郵電大學(xué)教育部泛在網(wǎng)絡(luò)健康服務(wù)系統(tǒng)工程研究中心，江蘇 南京 210003；2.南京郵電大學(xué)通信與信息工程學(xué)院，江蘇 南京 210003）

1 引言

近年來(lái)，隨著工業(yè)技術(shù)和互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，硬件設(shè)備成本大大降低，網(wǎng)絡(luò)設(shè)備普及越來(lái)越廣，越來(lái)越多的終端設(shè)備裝有多個(gè)網(wǎng)絡(luò)接口，同時(shí)，裝備在車(chē)輛上的網(wǎng)絡(luò)接口也越來(lái)越復(fù)雜多樣。新一代的車(chē)載網(wǎng)絡(luò)可以實(shí)現(xiàn)移動(dòng)過(guò)程中車(chē)輛之間的通信，以及低速移動(dòng)或者靜止時(shí)車(chē)輛與路邊基礎(chǔ)設(shè)施之間的通信，這些能為車(chē)輛提供安全消息傳輸、智能交通信息業(yè)務(wù)、多媒體數(shù)字業(yè)務(wù)等。異構(gòu)網(wǎng)絡(luò)中，多徑傳輸技術(shù)可以同時(shí)利用多個(gè)網(wǎng)絡(luò)的資源進(jìn)行傳輸，聚合多個(gè)網(wǎng)絡(luò)的傳輸能力[1-3]，有效提高吞吐量和資源利用率，實(shí)現(xiàn)負(fù)載均衡。多徑傳輸中也面臨很多問(wèn)題，因?yàn)樵诋悩?gòu)網(wǎng)絡(luò)中，為了使用多個(gè)路徑進(jìn)行數(shù)據(jù)傳輸，需要一個(gè)分組調(diào)度器，它的職責(zé)是決定通過(guò)哪條路徑發(fā)送哪個(gè)數(shù)據(jù)分組。另一方面，為了獲得更高的可靠性，數(shù)據(jù)傳輸時(shí)需要按照它們?cè)诎l(fā)送方傳輸?shù)南嗤樞蚨诮邮辗絺魉蛿?shù)據(jù)分組（到上層應(yīng)用程序）。然而，不同的路徑具有不同的特性，如分組丟失率、帶寬、往返時(shí)間等，不同路徑發(fā)送的數(shù)據(jù)到達(dá)接收端時(shí)會(huì)發(fā)生亂序，這就需要對(duì)數(shù)據(jù)分組重新排序。這些無(wú)序分組會(huì)被累積在有限的接收緩沖器中，有可能導(dǎo)致緩沖區(qū)阻塞并影響車(chē)輛之間的通信性能。所以，需要設(shè)計(jì)一種有效的路徑調(diào)度優(yōu)化方法來(lái)避免較少的重新排序工作，防止多徑傳輸?shù)男阅芙档汀?/p>

2 研究現(xiàn)狀

多徑傳輸可在協(xié)議棧的多個(gè)層實(shí)現(xiàn)，不同層的解決方案針對(duì)不同的問(wèn)題，同時(shí)受該層特性的影響。因?yàn)閼?yīng)用層可以很好地適應(yīng)應(yīng)用的特性，所以可以實(shí)現(xiàn)更好的業(yè)務(wù)優(yōu)化，但會(huì)增加應(yīng)用層的復(fù)雜度。網(wǎng)絡(luò)層對(duì)更高層透明，且對(duì)現(xiàn)有的基礎(chǔ)設(shè)施兼容性好，但數(shù)據(jù)分組亂序會(huì)造成TCP（transmission control protocol）性能下降。由于鏈路層可以獲取信道的信息，因此可以更好地適應(yīng)信道的動(dòng)態(tài)變化，但鏈路層的解決方案不適應(yīng)于端到端傳播。傳輸層的解決方案可以兼顧不同層的優(yōu)缺點(diǎn)。本文主要針對(duì)傳輸層多徑傳輸技術(shù)進(jìn)行研究，并對(duì)數(shù)據(jù)分組亂序問(wèn)題提出解決方案來(lái)提高傳輸性能和資源利用率。

基于數(shù)據(jù)調(diào)度可以解決數(shù)據(jù)分組亂序問(wèn)題，文獻(xiàn)[4]提出一種基于強(qiáng)化學(xué)習(xí)深度Q 網(wǎng)絡(luò)的數(shù)據(jù)調(diào)度算法，該算法先收集各條路徑的信息，依據(jù)路徑的傳輸效果對(duì)各條路徑進(jìn)行獎(jiǎng)懲，動(dòng)態(tài)地估計(jì)各條路徑的傳輸能力，將數(shù)據(jù)盡可能地分配到傳輸能力強(qiáng)的路徑上，但會(huì)嚴(yán)重降低網(wǎng)絡(luò)利用率。文獻(xiàn)[5]針對(duì)路徑時(shí)延對(duì)接收端亂序的影響，提出了一種基于時(shí)延約束的主動(dòng)數(shù)據(jù)調(diào)度算法，該算法的核心思想是當(dāng)路徑時(shí)延小于設(shè)定的閾值時(shí)，則認(rèn)為路徑可用。但是該算法忽略了分組丟失率和帶寬在實(shí)際網(wǎng)絡(luò)中與亂序的制衡關(guān)系，而且也不能保證可用路徑是全部路徑中相互時(shí)延差最小的路徑集合。文獻(xiàn)[6]提出了一種多路徑數(shù)據(jù)調(diào)度傳輸解決方案，該方案將單個(gè)數(shù)據(jù)流分成不同路徑上的多個(gè)單獨(dú)流，并在接收主機(jī)上將它們組合在一起，但在接收主機(jī)上組合時(shí)可能會(huì)出現(xiàn)拼接錯(cuò)誤。文獻(xiàn)[7]提出了一種改進(jìn)的數(shù)據(jù)調(diào)度算法，在計(jì)算中加入分組丟失率這個(gè)參數(shù)，對(duì)各個(gè)路徑的傳輸數(shù)據(jù)大小進(jìn)行建模，通過(guò)仿真結(jié)果可知，該算法提高了吞吐量，但其不能適應(yīng)網(wǎng)絡(luò)的動(dòng)態(tài)變化。文獻(xiàn)[8]提出了Kim-2012 算法，該算法通過(guò)發(fā)送完數(shù)據(jù)分組并收到該數(shù)據(jù)分組的確認(rèn)后，然后基于往返時(shí)間（RTT,round-trip time）在每條路徑上調(diào)度數(shù)據(jù)分組。該算法使用固定的時(shí)間（）作為前向時(shí)延的估計(jì)，如圖1 所示，但是，由于前向時(shí)延和后向時(shí)延不對(duì)稱(chēng)，因此這不是一個(gè)好的估計(jì)。

圖1 前向時(shí)延和后向時(shí)延說(shuō)明

基于路徑調(diào)度可以解決數(shù)據(jù)分組亂序問(wèn)題，文獻(xiàn)[9]針對(duì)目前多路徑并行傳輸過(guò)程中由于傳輸路徑質(zhì)量的差異導(dǎo)致網(wǎng)絡(luò)傳輸性能整體下降的問(wèn)題，提出一種多路徑并行傳輸?shù)穆窂絼?dòng)態(tài)決策（CMT-DS,concurrent multipath transfer-dynamic selection）方法。該方法考慮到路徑傳輸質(zhì)量對(duì)網(wǎng)絡(luò)吞吐量的影響，通過(guò)測(cè)量時(shí)延、抖動(dòng)、分組丟失率和緩存占用比這4 個(gè)路徑傳輸屬性，擬合成路徑質(zhì)量的關(guān)聯(lián)函數(shù)，根據(jù)該關(guān)聯(lián)函數(shù)對(duì)路徑進(jìn)行動(dòng)態(tài)選擇，從而實(shí)現(xiàn)動(dòng)態(tài)選擇路徑的功能，以達(dá)到最理想的傳輸效果，但在室外環(huán)境或路徑更多時(shí)效果明顯降低。文獻(xiàn)[10]提出2 種新穎的基于塊估計(jì)調(diào)度程序和最短傳輸時(shí)間優(yōu)先的調(diào)度技術(shù)，仿真結(jié)果表明，該技術(shù)可以降低交互時(shí)延，但對(duì)提高吞吐量效果不顯著。文獻(xiàn)[11]提出根據(jù)應(yīng)用程序的工作量動(dòng)態(tài)調(diào)整路徑解決方案，該方案首先利用TCP 建模的思想來(lái)估計(jì)正在調(diào)度的路徑上的等待時(shí)間以及同時(shí)在其他路徑上發(fā)送的數(shù)據(jù)量，然后以減少完成的目標(biāo)為目的，定期確定用于某些應(yīng)用程序的路徑集，但其實(shí)現(xiàn)起來(lái)較復(fù)雜。文獻(xiàn)[12]提出一種基于FIFO（first input first output）的車(chē)道擁堵緩解策略，仿真實(shí)驗(yàn)表明，分批策略可以使滑行流出量增加25%以上，但該方法的實(shí)時(shí)性還有待驗(yàn)證。文獻(xiàn)[13]提出一種調(diào)度多條路徑的方法，該方法先估計(jì)亂序的數(shù)據(jù)分組，提前預(yù)測(cè)緩沖區(qū)阻塞，并阻止在性能差的路徑上傳輸數(shù)據(jù)分組。但該方法選擇路徑時(shí)僅考慮分組丟失率和帶寬，因此，選擇路徑時(shí)會(huì)出現(xiàn)偏差。文獻(xiàn)[14]提出一種無(wú)線(xiàn)多跳網(wǎng)絡(luò)環(huán)境下并行多徑傳輸中的公平機(jī)制，使用Q 學(xué)習(xí)機(jī)制來(lái)獲得網(wǎng)絡(luò)中的動(dòng)態(tài)信息，根據(jù)所獲得的動(dòng)態(tài)信息來(lái)選擇最佳路徑，以獲得更高的帶寬利用率并提高網(wǎng)絡(luò)公平性指數(shù)，從而有效均衡流量并提高服務(wù)質(zhì)量，但準(zhǔn)確率還有待提高。文獻(xiàn)[15]提出一種基于MPSCTP（multipath stream control transmission protocal）的優(yōu)化分流技術(shù)，并提出使用一種時(shí)延不敏感的優(yōu)化的啟發(fā)式算法來(lái)研究多路徑選擇的策略，提高了對(duì)MPSCTP 中確認(rèn)損耗的敏感性，從而提高了網(wǎng)絡(luò)利用率，并為終端用戶(hù)提供更好的服務(wù)質(zhì)量，但是其內(nèi)存空間占用較大，在實(shí)際應(yīng)用中不夠方便。

針對(duì)上述在解決多徑傳輸中數(shù)據(jù)分組亂序的問(wèn)題，本文提出了車(chē)載異構(gòu)網(wǎng)絡(luò)中基于前向時(shí)延的多徑傳輸路徑調(diào)度優(yōu)化方案。該方案根據(jù)前向路徑之間的估計(jì)時(shí)延和帶寬差異來(lái)調(diào)度分組，可以減少重新排序工作，從而提高系統(tǒng)吞吐量。

3 基于前向時(shí)延的路徑調(diào)度算法

3.1 估計(jì)前向時(shí)延差異

本文規(guī)定前向時(shí)延為從發(fā)送方到接收方的時(shí)延，后向時(shí)延為從接收方到發(fā)送方的時(shí)延。前向時(shí)延加后向時(shí)延就是往返時(shí)間（RTT）（如圖1 所示）。因?yàn)榘l(fā)送器和接收器的時(shí)鐘一般存在差異，所以估計(jì)前向時(shí)延在實(shí)際中并不是微不足道的。然而，從本節(jié)證明中可以看出，即使發(fā)送器和接收器的時(shí)鐘存在差異，也可以估計(jì)得到路徑之間的前向時(shí)延差異。

時(shí)延差計(jì)算如圖2 所示，發(fā)送方通過(guò)2 條不同的路徑向接收方發(fā)送2 個(gè)分組。S 代表發(fā)送方，R代表接收方，發(fā)送方在時(shí)間經(jīng)路徑1 將分組1 發(fā)送到接收方，分組1 的到達(dá)時(shí)間為，發(fā)送方在時(shí)間將分組2 經(jīng)路徑2 發(fā)送到接收方，分組2 的到達(dá)時(shí)間為。然后利用式(1)算出2 個(gè)數(shù)據(jù)分組的發(fā)送時(shí)間差Δs，利用式(2)得到2 個(gè)數(shù)據(jù)分組的接收時(shí)間差Δr，令ΔT=clkS-clkR 為發(fā)送方和接收方之間的時(shí)鐘差，通過(guò)式(3)算出數(shù)據(jù)分組1 的前向時(shí)延。同理，利用式(4)算出數(shù)據(jù)分組2 的前向時(shí)延。最后通過(guò)式(5)得到2 條路徑之間的前向時(shí)延差。

圖2 時(shí)延差計(jì)算

3.2 調(diào)度數(shù)據(jù)分組

本節(jié)首先需要找到前向時(shí)延最短的路徑。其中P={P1,P2,…,PN}是MPTCP 傳輸數(shù)據(jù)路徑的集合，前向時(shí)延最短的pi可以由圖3 中的算法確定。

該算法的主要思想是首先輸入一條路徑pi，然后依次計(jì)算該路徑與其他所有路徑pj之間的前向時(shí)延差Δpi pj，2 條路徑之間的差異必須是一個(gè)非正數(shù)，最后計(jì)算得到最大的Sum 值對(duì)應(yīng)的路徑就是本文要找的路徑pi。

得到前向時(shí)延最短的路徑后，發(fā)送方就將調(diào)度數(shù)據(jù)分組。仿真實(shí)驗(yàn)時(shí)假設(shè)發(fā)送方使用子流之間共享的緩沖區(qū)，并且應(yīng)用層的數(shù)據(jù)足夠大來(lái)填充緩沖區(qū)。將發(fā)送緩沖區(qū)中的數(shù)據(jù)分區(qū)為數(shù)據(jù)分組，每個(gè)數(shù)據(jù)分組的大小等于TCP 路徑的MSS（maximum segment size）。然后，利用本文提出的算法調(diào)度程序在前向時(shí)延小的路徑上發(fā)送序列號(hào)低的數(shù)據(jù)分組。當(dāng)決定選擇路徑i上的子流來(lái)傳輸數(shù)據(jù)之前，算法調(diào)度程序?qū)⑾雀鶕?jù)式(6)計(jì)算出數(shù)值idxi，然后緩沖區(qū)中idxi處對(duì)應(yīng)的數(shù)據(jù)分組就將被傳輸。

圖3 系統(tǒng)算法流程

其中，xi代表路徑i的平均傳輸能力（B/s），MSS代表消息段大小，代表路徑i的歸一化速率，因此，乘積可以被解釋為路徑i和i*之間的“帶寬?時(shí)延乘積差”。因此，在數(shù)據(jù)分組到達(dá)路徑i之前，路徑i*上有足夠的空間來(lái)發(fā)送分組，在路徑i上發(fā)送的分組應(yīng)該在式(6)計(jì)算得出的分組之后。在發(fā)送一個(gè)數(shù)據(jù)分組之后，較大的idxi對(duì)應(yīng)的數(shù)據(jù)分組將被移位送到緩沖區(qū)，如圖4 所示。本文的分組調(diào)度算法原理是生成的數(shù)據(jù)分組先被存儲(chǔ)在發(fā)送緩沖器中，然后只有當(dāng)用于發(fā)送數(shù)據(jù)的窗口打開(kāi)時(shí)才被分配給子流。

圖4 根據(jù)前向時(shí)延差異分配數(shù)據(jù)分組

4 仿真結(jié)果與分析

本節(jié)評(píng)估了FDPS（forward delay-based packet scheduling）算法的性能，并與MPTCP[6]、FIFO[12]（具有最低RTT 的先進(jìn)先出）和Kim-2012[15]的性能進(jìn)行比較，重點(diǎn)比較的是重新排序緩沖區(qū)占用密度（RBD,reorder-buffer-occupancy density）和吞吐量這2 個(gè)參數(shù)。通過(guò)仿真得到不同參數(shù)下4 種算法的RBD 和吞吐量并進(jìn)行比較。

本文的評(píng)估基于圖5 所示的拓?fù)浣Y(jié)構(gòu)，并在NS-3 上進(jìn)行了模擬。表1 給出了各種網(wǎng)絡(luò)條件下模擬實(shí)驗(yàn)的參數(shù)。

圖5 仿真路徑拓?fù)?/p>

表1 仿真參數(shù)

4.1 雙路徑傳輸

本文假設(shè)數(shù)據(jù)流在沒(méi)有后臺(tái)流量的2 個(gè)單獨(dú)的路徑上傳輸。表1 是仿真參數(shù)，表2 是仿真時(shí)2 條路徑的基本參數(shù)。如圖6 所示，本文首先按照表1調(diào)整好實(shí)驗(yàn)參數(shù)，然后規(guī)定路徑A 帶寬為5 Mbit/s，時(shí)延為10 ms；路徑B 帶寬為5 Mbit/s，帶寬為10 ms。通過(guò)圖6 可以看出，即使2 條路徑相同，所有算法仍然會(huì)發(fā)生無(wú)序分組現(xiàn)象。但是，4 種算法的性能仍有很大的差異，F(xiàn)IFO 和MPTCP 的表現(xiàn)是最差的，Kim-2012 的性能稍微比前兩者表現(xiàn)得要好。與其他算法相比，F(xiàn)DPS 獲得了最佳性能，其RBD 集中在零點(diǎn)附近。

接下來(lái)，在條件2 下進(jìn)行仿真，結(jié)果如圖7 所示。規(guī)定路徑A 的帶寬為5 Mbit/s，時(shí)延為10 ms；路徑B 的帶寬為5 Mbit/s，時(shí)延為25 ms，可以看到，此次仿真路徑B 的時(shí)延增加。FIFO 和MPTCP算法的RBD 比圖6 中的性能顯著降低。在這種情況下，Kim-2012 依然比FIFO 和MPTCP 表現(xiàn)得要好，但是從圖7 中可以看出FDPS 的性能仍然是最好的，其RBD 依然集中在零點(diǎn)附近。

圖8 是在條件3 下進(jìn)行的仿真。規(guī)定路徑A 的帶寬為4 Mbit/s，時(shí)延為10 ms；路徑2 的帶寬為8 Mbit/s，時(shí)延為30 ms。此次仿真是在具有不同時(shí)延和帶寬的2 條路徑上進(jìn)行的。從圖8 中可以看出，Kim-2012的性能比FIFO 和MPTCP 的性能表現(xiàn)得要好，但FDPS 的表現(xiàn)還是最好的，F(xiàn)DPS 的分組重新排序密度密集地集中在零點(diǎn)附近，而其他的則比較分散。

表2 仿真時(shí)2 條路徑的基本參數(shù)

4.2 具有后臺(tái)流量的雙路徑傳輸

實(shí)際上，網(wǎng)絡(luò)中的TCP 流經(jīng)常與其他前向或后向流共享帶寬，為了評(píng)估在此類(lèi)路徑上發(fā)送數(shù)據(jù)分組時(shí)數(shù)據(jù)分組調(diào)度算法的效率，本文進(jìn)行了具有后臺(tái)流量的雙路徑傳輸仿真實(shí)驗(yàn)，此實(shí)驗(yàn)路徑參數(shù)按表2 中的條件2 進(jìn)行配置。從圖9 可以看出，因?yàn)楹笈_(tái)流使RTT 估算的精確度降低，所以所有算法性能都大大降低，且MPTCP 和Kim-2012 的表現(xiàn)差于FIFO，因?yàn)榍皟烧邔?duì)時(shí)變更敏感，但FDPS 的性能表現(xiàn)仍然是最好的。

4.3 3 條路徑傳輸

圖10 是本文在具有后臺(tái)流量3 條相同的路徑上進(jìn)行的仿真實(shí)驗(yàn)?？梢钥吹剑兴惴ㄐ阅芏甲儾盍?。這表明，當(dāng)并發(fā)路徑數(shù)增加時(shí)，重新排序問(wèn)題變得更加嚴(yán)重，但是，在這種情況下，F(xiàn)DPS 仍然表現(xiàn)最佳。

4.4 吞吐量比較

圖6 條件1 下沒(méi)有后臺(tái)流量的雙路徑傳輸仿真實(shí)驗(yàn)

圖7 條件2 下沒(méi)有后臺(tái)流量的雙路徑傳輸仿真實(shí)驗(yàn)

圖9 具有后臺(tái)流量的雙路徑傳輸仿真實(shí)驗(yàn)

圖10 具有后臺(tái)流量3 條路徑傳輸仿真實(shí)驗(yàn)

圖11 是相同條件下4 種算法的吞吐量仿真。從圖11 中可以看出，MPTCP 吞吐量在剛開(kāi)始時(shí)上升的趨勢(shì)很快，但很快就開(kāi)始下降然后趨于平緩，并且趨于平緩后MPTCP 吞吐量表現(xiàn)是最差的，另外，Kim-2012 和MPTCP、FIFO 的曲線(xiàn)走勢(shì)基本相同，但Kim-2012 的吞吐量總體比FIFO 和MPTCP 表現(xiàn)得要好，F(xiàn)DPS 的吞吐量曲線(xiàn)是走勢(shì)最好的，剛開(kāi)始上升很快，一段時(shí)間后趨于平緩后，代表FDPS 吞吐量的曲線(xiàn)依然在其他3 條曲線(xiàn)的上方。綜合4.1～4.3 節(jié)考慮分析，因?yàn)橄嗤瑮l件下FDPS 始終獲得最優(yōu)的重新排序緩沖區(qū)占用密度，數(shù)據(jù)分組亂序造成緩沖區(qū)擁塞的可能性最低，從而系統(tǒng)性能處于最優(yōu)狀態(tài)，所以FDPS 獲得了最優(yōu)的吞吐量表現(xiàn)。

5 結(jié)束語(yǔ)

本文針對(duì)多徑傳輸中數(shù)據(jù)分組亂序問(wèn)題，提出了一種基于前向時(shí)延的多徑傳輸路徑調(diào)度優(yōu)化算法，所提算法在不同條件仿真實(shí)驗(yàn)中始終獲得最佳的緩沖器占用率，這表明在各種網(wǎng)絡(luò)條件下所提算法的性能表現(xiàn)都很穩(wěn)定。在本文的模擬中，使用不限大小的重新排序緩沖區(qū)，因?yàn)楸疚南Ｍ东@接收器上的所有數(shù)據(jù)分組以進(jìn)行正確的RBD 和吞吐量測(cè)量。由于所提算法與其他算法相比都得到了最佳的重新排序緩沖器占用率，因此如果使用所提算法，則有限重新排序緩沖器大小的影響將是最小的，可以降低亂序問(wèn)題提高吞吐量。針對(duì)本文中在數(shù)據(jù)分組調(diào)度方面仍然存在的問(wèn)題，下一步的工作計(jì)劃是設(shè)計(jì)更加合理的數(shù)據(jù)調(diào)度算法，進(jìn)一步提升多路徑傳輸性能。

圖11 相同條件下4 種算法的吞吐量仿真