石彬 黎剛果

摘要：網(wǎng)絡(luò)IP報文的大小受鏈路層最大傳輸單元（MTU）限制，當(dāng)報文長度超過MTU時，IP數(shù)據(jù)報文會被分成若干較小的部分進行分片傳輸，對網(wǎng)絡(luò)通信各傳輸節(jié)點的承載能力以及整個傳輸鏈路的可靠性和適應(yīng)性提出了嚴(yán)峻挑戰(zhàn)。針對IP分片現(xiàn)象，介紹了超長數(shù)據(jù)包網(wǎng)絡(luò)傳輸過程中會存在的問題，提出了基于網(wǎng)絡(luò)數(shù)據(jù)包的自適應(yīng)組包方法，并通過案例進行了測試分析，證明了該方法的可行性。

關(guān)鍵詞：網(wǎng)絡(luò)；分片；自適應(yīng)

中圖分類號：TP393文獻標(biāo)志碼：A文章編號：1008-1739（2022）04-62-4

0引言

網(wǎng)絡(luò)協(xié)議的主要作用是在網(wǎng)絡(luò)上的設(shè)備之間傳輸和傳遞數(shù)據(jù)，為了完成任務(wù)，數(shù)據(jù)經(jīng)常被封裝成特殊的包———IP數(shù)據(jù)包，這樣數(shù)據(jù)能夠以這種特殊的形式從源地址經(jīng)過多個不同的路由器或者網(wǎng)關(guān)傳輸?shù)侥康牡刂贰榱耸笽P數(shù)據(jù)包能完成這樣的傳輸過程且確保正確安全地到達到目的地，每個數(shù)據(jù)包的頭部都進行了特殊的字段定義。以IPv4協(xié)議為例，所有數(shù)據(jù)包都具有相同的結(jié)構(gòu)，每個數(shù)據(jù)包含有一個頭部，后接一個數(shù)據(jù)字段，而一般來說頭部的長度為20～60 byte，數(shù)據(jù)包的總長度最多可以有65 535 byte，但是大多數(shù)網(wǎng)絡(luò)不能處理最大長度的數(shù)據(jù)包，而這個最大長度便稱為最大傳輸單元（MTU），以以太網(wǎng)為例，MTU為1 500 byte[2]，當(dāng)一個IP數(shù)據(jù)包的長度只有小于或者等于網(wǎng)絡(luò)的MTU時，才能在這個網(wǎng)絡(luò)中傳輸。

當(dāng)需要傳輸?shù)臄?shù)據(jù)包字節(jié)數(shù)大于這個MTU值時就會分片。在IP協(xié)議中，分片重組機制被列為主要功能之一[3]，分片發(fā)生在發(fā)送主機和傳輸途中的網(wǎng)關(guān)設(shè)備上，重組由目的主機實現(xiàn)[4]。IP數(shù)據(jù)包的包頭包含若干標(biāo)識域，用于分片的標(biāo)識和控制。發(fā)送主機或傳輸途中的網(wǎng)關(guān)通過填充這些標(biāo)識域進行分片，目的主機則根據(jù)這些標(biāo)識域的內(nèi)容對收到的分片進行重組，恢復(fù)數(shù)據(jù)。

本文針對網(wǎng)絡(luò)協(xié)議分片重組機制，介紹了超長數(shù)據(jù)包分片后在網(wǎng)絡(luò)傳輸過程中會出現(xiàn)數(shù)據(jù)包丟失，嚴(yán)重時可導(dǎo)致全部數(shù)據(jù)堵塞的問題，并為解決此問題提出了基于網(wǎng)絡(luò)數(shù)據(jù)包的自適應(yīng)組包方法，且通過案例進行了測試分析，證明了該方法的可行性。

1報文分片對數(shù)據(jù)傳輸?shù)挠绊?/p>

在很多鏈路層網(wǎng)絡(luò)中，攜帶高層協(xié)議PDU的幀大小是有限制的。當(dāng)2臺主機進行通信時，它們之間的鏈路跨越多個通信子網(wǎng)絡(luò)，每個通信子網(wǎng)絡(luò)可能有大小不同的MTU，在包含所有鏈路的整個網(wǎng)絡(luò)路徑上最小的MTU被稱為路徑MTU，因此MTU在會話期間會對數(shù)據(jù)包大小有非常大的影響。網(wǎng)絡(luò)傳輸數(shù)據(jù)時，其長度可達數(shù)千甚至數(shù)萬字節(jié)，遠(yuǎn)遠(yuǎn)超過了MTU的長度。為了解決這個問題，數(shù)據(jù)包會在傳輸過程中多次被原始發(fā)送方主機和端到端路徑上的任何中間路由器分片，再由目的主機進行重組，但是如果目的主機無法重組數(shù)據(jù)包，則將拋棄所有分片，對網(wǎng)絡(luò)通信各傳輸節(jié)點的承載能力以及整個傳輸鏈路的可靠性和適應(yīng)性提出了嚴(yán)峻挑戰(zhàn)[5]。

UDP是一種保留消息邊界的、簡單的、面向數(shù)據(jù)包的傳輸層協(xié)議，不提供差錯糾正、隊列管理、重復(fù)消除、流量控制和擁塞控制等功能，即該協(xié)議只保證把數(shù)據(jù)包發(fā)出去，不保證是否能送達目的地，同樣當(dāng)鏈路中突發(fā)大量數(shù)據(jù)包傳送時不能進行擁塞控制，傳輸?shù)目煽啃院捅Ｗo性缺失。在實際應(yīng)用中發(fā)現(xiàn)，傳輸超長UDP數(shù)據(jù)包時易發(fā)生丟包現(xiàn)象，嚴(yán)重時可能發(fā)生數(shù)據(jù)堵塞故障，經(jīng)過分析和排查，發(fā)現(xiàn)丟包問題與超長UDP數(shù)據(jù)包的分片和重組密切相關(guān)[6]。

設(shè)備端主機以固定頻率發(fā)送一系列超長UDP遙測數(shù)據(jù)包，經(jīng)通信網(wǎng)傳輸，當(dāng)鏈路上的路由器出口限速后，發(fā)現(xiàn)丟包現(xiàn)象，而增大限速值至一定程度或取消限速后，丟包現(xiàn)象消失[7]。經(jīng)分析，當(dāng)發(fā)送超長UDP數(shù)據(jù)包時，超長UDP數(shù)據(jù)包被分成幾個緊密相連的IP分片，在很短時間內(nèi)連續(xù)到達的多個分片引起了突發(fā)流量，短時間內(nèi)消耗了大量令牌（路由器的限速機制采用了令牌桶算法），大大超出了路由器補充令牌的速度[8]。在這種情況下，令牌桶中的令牌很可能被耗盡，導(dǎo)致令牌數(shù)量不足，溢出的分片將被丟棄，從而導(dǎo)致丟包。

該遙測數(shù)據(jù)網(wǎng)絡(luò)傳輸采用UDP/IP協(xié)議，MTU為1500byte。根據(jù)IP協(xié)議的分片重組機制，對于大于MTU值的數(shù)據(jù)包（超長包）在發(fā)送端進行分片，在接收端進行分片重組，當(dāng)傳輸過程發(fā)生分片丟失時，接收端無法進行分片重組；對于小于MTU值的數(shù)據(jù)包（小包）不做分片處理。

2臺設(shè)備從不同的地域同時向中心發(fā)送超長遙測數(shù)據(jù)包（約70子幀/包，傳輸?shù)钠骄L約為8 000 byte），數(shù)據(jù)流量約11 MHz。中心通過服務(wù)器接收數(shù)據(jù)，采用雙機熱備份方式工作，2臺服務(wù)器狀態(tài)一致，每臺服務(wù)器通過一個網(wǎng)卡接收2臺設(shè)備發(fā)送的數(shù)據(jù)。當(dāng)其中一個地域路由器故障，只能工作在10 MHz狀態(tài)時，信息流量超出了故障狀態(tài)路由器的傳輸能力，造成該地域至中心的網(wǎng)絡(luò)擁塞，遙測數(shù)據(jù)大量丟包。

由于遙測數(shù)據(jù)包長大于網(wǎng)絡(luò)的MTU值，在發(fā)送端進行了分片處理；由于其中一個地域路由器故障，造成網(wǎng)絡(luò)傳輸過程中出現(xiàn)了大量數(shù)據(jù)分片丟失，所以接收端分片重組不成功。當(dāng)重組不成功現(xiàn)象大量出現(xiàn)時，接收端緩沖區(qū)填滿導(dǎo)致接收堵塞，表現(xiàn)為服務(wù)器無法接收2個地域設(shè)備數(shù)據(jù)。當(dāng)重組超時后，對接收端緩沖區(qū)中重組不成功的分片數(shù)據(jù)進行丟棄，此時接收端恢復(fù)正常工作，可重新接收設(shè)備數(shù)據(jù)。由于大量數(shù)據(jù)分片丟失依然存在，在接收端緩沖區(qū)再次堵塞時，又無法接收遙測數(shù)據(jù)，如此循環(huán)下去，最終導(dǎo)致接收數(shù)據(jù)因大量丟包而無法使用。

綜上所述，源主機發(fā)送一個數(shù)據(jù)包大于網(wǎng)絡(luò)的路徑MTU值，將會進行分片處理，如果源主機和目的主機之間鏈路上的路由器有故障，導(dǎo)致一部分分片無法傳輸?shù)侥康闹鳈C，且因UDP協(xié)議是面向數(shù)據(jù)包，不具有差錯糾正、隊列管理、重復(fù)消除、流量控制和擁塞控制等功能，目的主機的接收重組分片不成功，緩沖區(qū)被填滿，接收阻塞，直到當(dāng)重組超時后目的主機將重組不成功的數(shù)據(jù)包丟棄，接著進行下一次接收輪回，但仍然不能接收到已丟失的分片，致使數(shù)據(jù)包所有的分片全部被目的主機丟棄，造成數(shù)據(jù)損失非常大。gzslib202204041356

2網(wǎng)絡(luò)數(shù)據(jù)自適應(yīng)組包方法

針對網(wǎng)絡(luò)IP分片所帶來的數(shù)據(jù)丟包、數(shù)據(jù)堵塞的問題，必須研究對應(yīng)解決方法。經(jīng)過研究，提出以下2種解決方法：

①在數(shù)據(jù)發(fā)送端和接收端增加數(shù)據(jù)包處理環(huán)節(jié)，仿照IP分片機理，在軟件應(yīng)用層處理超長數(shù)據(jù)包的分割與重組，優(yōu)點是適應(yīng)性強，在應(yīng)用層實現(xiàn)了數(shù)據(jù)包的分片與重組。但是由于增加了處理環(huán)節(jié)，增加了數(shù)據(jù)處理時延，并且超長的數(shù)據(jù)包也增大了數(shù)據(jù)的積壓時延；當(dāng)網(wǎng)絡(luò)發(fā)生丟包現(xiàn)象時，將會損失一個超長的數(shù)據(jù)包，可能導(dǎo)致丟掉關(guān)鍵數(shù)據(jù)，帶來較大損失。

②以遙測數(shù)據(jù)子幀長度為最小長度單元，取其整數(shù)倍組包，使遙測數(shù)據(jù)傳輸發(fā)送的每包數(shù)據(jù)總長度不大于網(wǎng)絡(luò)的MTU，優(yōu)點是針對遙測數(shù)據(jù)格式適應(yīng)性好，接收端數(shù)據(jù)處理軟件可以按照一般遙測數(shù)據(jù)實時處理方式進行緩沖處理。由于包長小，處理時延與數(shù)據(jù)積壓時延?。划?dāng)網(wǎng)絡(luò)發(fā)生丟包現(xiàn)象時，只損失若干個遙測子幀數(shù)據(jù)，數(shù)據(jù)損失較??；但是由于數(shù)據(jù)包頻較高，對數(shù)據(jù)接收端設(shè)備處理性能要求較高。

綜合對比分析以上2種方式，確定采用第2種方法解決超長數(shù)據(jù)包問題，并形成了遙測數(shù)據(jù)自適應(yīng)組包方法[9]。

網(wǎng)絡(luò)數(shù)據(jù)傳輸包含發(fā)送和接收兩部分。發(fā)送端主要功能為：①采用數(shù)據(jù)驅(qū)動方式，從遙測原始數(shù)據(jù)緩沖區(qū)中讀取數(shù)據(jù)，以遙測子幀為單位進行組包[10]，填寫數(shù)據(jù)狀態(tài)及子幀數(shù)量，并為數(shù)據(jù)包添加包頭信息，發(fā)送到指定的網(wǎng)絡(luò)組播地址上；②采用數(shù)據(jù)驅(qū)動方式，從設(shè)備狀態(tài)數(shù)據(jù)緩沖區(qū)中讀取數(shù)據(jù)，并為數(shù)據(jù)包添加包頭信息，發(fā)送到指定的網(wǎng)絡(luò)組播地址上。接收端主要功能是通過指定的網(wǎng)絡(luò)組播地址接收遙測數(shù)據(jù)，將網(wǎng)絡(luò)數(shù)據(jù)包的原始數(shù)據(jù)放到接收緩沖區(qū)中，并對數(shù)據(jù)包頭進行解析統(tǒng)計，數(shù)據(jù)發(fā)送—接收流程如圖1所示。

3測試驗證

選取3臺計算機設(shè)備、1臺中心服務(wù)器和路由器、交換機等組成局域網(wǎng)，其中路由器和交換機帶寬為10 M/100 M自適應(yīng)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。3臺設(shè)備同時向中心服務(wù)器發(fā)送遙測數(shù)據(jù)。實驗分2個階段進行，第1階段遙測數(shù)據(jù)包采用超長包（大于MTU值）方式傳輸；第2階段遙測數(shù)據(jù)包采用自適應(yīng)組包方式傳輸。

3.1超長包傳輸方式

3臺設(shè)備分別同時發(fā)送2個流的測試數(shù)據(jù)，遙測數(shù)據(jù)子幀長72 byte，數(shù)據(jù)碼率5.5 Mbps，以每包70幀長度（5 636 byte）組播方式發(fā)送到網(wǎng)絡(luò)上，共進行3次數(shù)據(jù)回放。當(dāng)通信系統(tǒng)采用100 MHz帶寬鏈路傳輸時，由于遙測數(shù)據(jù)包長大于網(wǎng)絡(luò)的MTU值，在發(fā)送端進行了分片處理，中心服務(wù)器在接收數(shù)據(jù)時，首先完成對分片數(shù)據(jù)的重新組包，表征的現(xiàn)象為服務(wù)器接收3個設(shè)備的遙測數(shù)據(jù)不丟幀。當(dāng)以備用10 MHz帶寬鏈路傳輸時，根據(jù)網(wǎng)絡(luò)數(shù)據(jù)包分片傳輸機理，由于遙測數(shù)據(jù)包長大于網(wǎng)絡(luò)的MTU值，在發(fā)送端進行了分片處理；由于設(shè)備端發(fā)送的數(shù)據(jù)量大于通信帶寬，造成網(wǎng)絡(luò)傳輸過程中出現(xiàn)了數(shù)據(jù)分片丟失。由于分片丟失，接收端分片重組不成功，當(dāng)重組不成功現(xiàn)象大量出現(xiàn)時，接收端緩沖區(qū)填滿，導(dǎo)致服務(wù)器接收數(shù)據(jù)出現(xiàn)斷續(xù)現(xiàn)象。此時，服務(wù)器不能連續(xù)接收處理遙測數(shù)據(jù)。

3.2自適應(yīng)組包傳輸方式

3臺設(shè)備分別同時發(fā)送2個流的測試數(shù)據(jù)，遙測數(shù)據(jù)子幀長72 byte，數(shù)據(jù)碼率5.5 Mbps，根據(jù)遙測數(shù)據(jù)幀長完成數(shù)據(jù)的自適應(yīng)組包，本次實驗測試數(shù)據(jù)子幀長為72 byte，經(jīng)與MTU值比對計算，數(shù)據(jù)以17個子幀長（1 396 byte）進行組包，并采用組播方式發(fā)送到網(wǎng)絡(luò)上，共進行3次數(shù)據(jù)回放。當(dāng)通信系統(tǒng)采用主用100 MHz帶寬鏈路傳輸時，服務(wù)器接收2套設(shè)備發(fā)送的遙測數(shù)據(jù)不丟幀；當(dāng)以備用10 MHz帶寬鏈路傳輸時，設(shè)備端發(fā)送的數(shù)據(jù)量大于通信帶寬，雖然造成網(wǎng)絡(luò)傳輸過程中出現(xiàn)了丟包現(xiàn)象，但由于沒有采用分片方式傳輸，中心服務(wù)器端能夠正常接收數(shù)據(jù)包，丟包數(shù)較少，中心服務(wù)器工作正常。

數(shù)據(jù)統(tǒng)計情況如表1所示，10 M帶寬超長包數(shù)據(jù)丟片統(tǒng)計如圖1所示。

實驗結(jié)果表明，當(dāng)網(wǎng)絡(luò)帶寬滿足數(shù)據(jù)傳輸流量時，采用超長數(shù)據(jù)包和自適應(yīng)組包方式均能實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的正常傳輸，當(dāng)網(wǎng)絡(luò)帶寬低于數(shù)據(jù)傳輸流量時，遙測數(shù)據(jù)自適應(yīng)組包方法可以有效解決網(wǎng)絡(luò)數(shù)據(jù)傳輸過程中因分片丟失導(dǎo)致的網(wǎng)絡(luò)堵塞問題，確保超長UDP數(shù)據(jù)包傳輸暢通、可靠、高效。

4結(jié)束語

本文針對網(wǎng)絡(luò)IP分片所帶來的數(shù)據(jù)丟包，嚴(yán)重時可導(dǎo)致全部數(shù)據(jù)堵塞問題，提出了自適應(yīng)組包方法，利用遙測數(shù)據(jù)按子幀傳輸?shù)奶攸c，采用整數(shù)遙測子幀組包的方式，避免了IP傳輸時的分片。經(jīng)過大量實驗與驗證，當(dāng)單一方向通信設(shè)備故障、信道容量不夠?qū)е戮W(wǎng)絡(luò)大量丟包現(xiàn)象發(fā)生時，可以將數(shù)據(jù)傳輸損失降至最低，且只影響單臺裝備數(shù)據(jù)，不會導(dǎo)致整個網(wǎng)絡(luò)癱瘓，極大地增加了數(shù)據(jù)傳輸?shù)目煽啃浴?/p>

參考文獻

[1]張明.淺析IP分片對網(wǎng)絡(luò)的影響[J].計算機與網(wǎng)絡(luò)，2014，40（9）：64-67.

[2]褚建立.計算機網(wǎng)絡(luò)技術(shù)實用教程[M].北京：清華大學(xué)出版社，2007.

[3]李響，王清賢，羅軍勇.IP分片重組算法的研究和改進[J].計算機工程與設(shè)計，2008（14）：3555-3557.

[4]趙景磊，李康，葉勇，等.超長UDP數(shù)據(jù)包預(yù)分片與重組技術(shù)研究[J].遙測遙控，2016，37（2）：67-74.

[5]張基溫.計算機網(wǎng)絡(luò)原理[M].北京：高等教育出版社，2009.

[6]劉喜作，周晶，梁德清.基于UDP的大數(shù)據(jù)包可靠傳輸[J].電訊技術(shù)，2012，52（1）：96-100.

[7]李旺.電力通信網(wǎng)傳輸網(wǎng)絡(luò)優(yōu)化[J].中國新通信，2015，17（2）： 33-34.

[8]樊昌信.通信原理：第5版[M].北京：國防工業(yè)出版社，2012.

[9]張吉敏.測控信息網(wǎng)傳輸協(xié)議研究[D].西安：西安電子科技大學(xué)，2010.