劉世超，張 磊，朱小軍，賈子曄

(1.南京航空航天大學(xué) 電子信息工程學(xué)院，江蘇 南京 211106；2.南京航空航天大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 211106)

0 引言

移動Ad Hoc網(wǎng)絡(luò)( Mobile Ad Hoc Network,MANET) 是復(fù)雜的分布式網(wǎng)絡(luò)系統(tǒng)，是自組織、自愈網(wǎng)絡(luò)，由無線移動節(jié)點組成[1]。自組織網(wǎng)絡(luò)一個重要的應(yīng)用領(lǐng)域是無人機(jī)集群,無人機(jī)系統(tǒng)應(yīng)用在靈活和穩(wěn)健的無人機(jī)自組網(wǎng)的支持下得到了有效通信保障和更多方面的拓展。由于高速移動的無人機(jī)節(jié)點引起了網(wǎng)絡(luò)拓?fù)涞母邉討B(tài)變化以及鏈路質(zhì)量的頻繁波動，MAC協(xié)議和路由協(xié)議的設(shè)計面臨更高的要求和挑戰(zhàn)。目前的網(wǎng)絡(luò)仿真工具主要有EXata、OPNET、NS-2、QualNet等。在用純數(shù)學(xué)方法的網(wǎng)絡(luò)仿真中,仿真的準(zhǔn)確度與置信度難以保證是由于在數(shù)學(xué)建模過程中各項網(wǎng)絡(luò)參數(shù)做了大量的簡化,節(jié)點間缺少實際的流量。

Scalable Networks Technologies公司開發(fā)了EXata網(wǎng)絡(luò)仿真系統(tǒng)與QualNet網(wǎng)絡(luò)模擬系統(tǒng),其中EXata是針對新型無線通信技術(shù)而設(shè)計的，它可以和真實網(wǎng)絡(luò)中的人、設(shè)備、軟件進(jìn)行實時通信，其擁有可以和真實網(wǎng)絡(luò)媲美的精確程度，網(wǎng)絡(luò)中的用戶或設(shè)備很難分辨出到底當(dāng)前連接的網(wǎng)絡(luò)是真實世界中的還是虛擬的[2]。EXata采用先進(jìn)的并行算法，能夠仿真由上千個節(jié)點組成的大規(guī)模無線網(wǎng)絡(luò)，因此，也可以使用Exata進(jìn)行復(fù)雜程度很高的集群式計算系統(tǒng)的仿真。

在無人機(jī)網(wǎng)絡(luò)研究中，無人機(jī)實物節(jié)點可用于測試真實的小尺度地理條件(巷道和植被等)、天氣、溫濕度、機(jī)械、電磁干擾等綜合環(huán)境因素，而虛擬仿真系統(tǒng)則可以模擬大規(guī)模網(wǎng)絡(luò)來彌補(bǔ)無人機(jī)實物網(wǎng)絡(luò)規(guī)?；拖攵ǜ采w有限的問題。網(wǎng)絡(luò)仿真可以為網(wǎng)絡(luò)的規(guī)劃設(shè)計給出可靠的定量依據(jù),能夠驗證實際方案或者評估多個不同的設(shè)計方案。EXata可以創(chuàng)建外部節(jié)點映射，建立一個由模擬節(jié)點(在EXata內(nèi))和物理節(jié)點(無人機(jī)實物節(jié)點)組成的測試平臺。但是每個物理節(jié)點需要映射一個計算機(jī)，實現(xiàn)此方案所需硬件資源較多。而要想在仿真環(huán)境中構(gòu)建起需要長時間進(jìn)行網(wǎng)絡(luò)應(yīng)用調(diào)試和推演智能優(yōu)化算法的多架無人機(jī)網(wǎng)絡(luò)，需要耗費巨大成本。

本文所要解決的技術(shù)問題是針對上述現(xiàn)有技術(shù)的不足，提供基于EXata與Docker的無線網(wǎng)絡(luò)仿真方法，實現(xiàn)無線自組織網(wǎng)絡(luò)在節(jié)約硬件資源下的半實物仿真，從而可以通過更經(jīng)濟(jì)的方法從理論和仿真角度研究無線自組織網(wǎng)絡(luò)的架構(gòu)合理性和實用性。

1 相關(guān)工作

1.1 無人機(jī)網(wǎng)絡(luò)的實驗評估方法

無線局域網(wǎng)是以無線方式把分布在一定范圍內(nèi)的不同物理位置的計算機(jī)連在一起，在網(wǎng)絡(luò)軟件的支持下可以共享資源和相互通信的網(wǎng)絡(luò)系統(tǒng)[3]。無線入網(wǎng)的計算機(jī)具有可移動性，即在有無線信號的區(qū)域內(nèi)移動的同時又隨時保持與網(wǎng)絡(luò)系統(tǒng)的聯(lián)系。無線聯(lián)網(wǎng)有兩個主要問題需要解決：① 如何使通信信道工作穩(wěn)定，收發(fā)具有單一性、保密性，可以提取有效的數(shù)據(jù)，抗干擾、誤碼率低、數(shù)據(jù)傳輸率高、頻道利用率高；② 如何提供可以實現(xiàn)網(wǎng)絡(luò)服務(wù)功能和有線網(wǎng)絡(luò)系統(tǒng)相同的無線網(wǎng)絡(luò)系統(tǒng)，使用戶在操作軟件時無需考慮網(wǎng)絡(luò)環(huán)境。目前，計算機(jī)無線通信傳輸方式有兩種：無線電波，即短波、超短波和微波；光波，即激光和紅外線。

無人機(jī)的空對空通信鏈路擁有很強(qiáng)的視線(Line-of-Sight，LOS)成分，在多個發(fā)射天線和多個接收天線之間的LOS信道相關(guān)性很高，由于這種相關(guān)性，很難依靠多天線技術(shù)在空對空鏈路上進(jìn)行空分復(fù)用[4]。由于無人機(jī)節(jié)點的高速移動造成的網(wǎng)絡(luò)拓?fù)涓邉討B(tài)變化、鏈路質(zhì)量頻繁波動使MAC協(xié)議和路由協(xié)議的設(shè)計有較多的困難，需要高效協(xié)調(diào)多節(jié)點共享有限頻譜的MAC 層協(xié)議，建立可靠安全的路由機(jī)制，來使高速移動中遠(yuǎn)距離傳輸時高動態(tài)變化的網(wǎng)絡(luò)拓?fù)浜唾|(zhì)量頻繁波動的鏈路能夠正常工作[5]，確保網(wǎng)絡(luò)滿足不同規(guī)模業(yè)務(wù)的不同傳輸需求多方面的無人機(jī)任務(wù)。

自組織網(wǎng)絡(luò)的研究工作主要集中在網(wǎng)絡(luò)層，特別是在路由和轉(zhuǎn)發(fā)方面，路由的功能是選擇發(fā)送者和接收者之間的路徑，轉(zhuǎn)發(fā)的功能是沿著這條路徑傳送數(shù)據(jù)包，這些功能與網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)特征是強(qiáng)耦合的。路由和轉(zhuǎn)發(fā)協(xié)議可以根據(jù)發(fā)送方式分類為單播、地域多播、組播或廣播轉(zhuǎn)發(fā)，單播是計算機(jī)網(wǎng)絡(luò)中最基本的轉(zhuǎn)發(fā)機(jī)制，單播路由協(xié)議分為兩大類：一類是先驗式路由協(xié)議，另一類是反應(yīng)式路由協(xié)議。先驗式路由協(xié)議源于傳統(tǒng)互聯(lián)網(wǎng)的距離矢量和鏈路狀態(tài)協(xié)議，它通過在固定的時間周期內(nèi)主動發(fā)送路由更新信息，盡力維護(hù)網(wǎng)絡(luò)中所有節(jié)點對之間最新路由信息，使該路由信息在所有路由信息中一致。相反，反應(yīng)式路由協(xié)議只有在需要的時候才會建立到某個目的節(jié)點的路由，通常由源節(jié)點發(fā)送路由請求消息，啟動路由發(fā)現(xiàn)進(jìn)程。一旦路由建立，除非出現(xiàn)無法訪問的目的節(jié)點和路由不再使用或過期這兩種情況，否則節(jié)點都會保持該路由。在無線自組織網(wǎng)絡(luò)的發(fā)展過程中產(chǎn)生了3個主要的路由協(xié)議：兩個反應(yīng)式路由協(xié)議AODV和DSR，一個先驗式路由協(xié)議OLSR。

文獻(xiàn)[6]中的現(xiàn)場演示驗證使用一個802.11地面-無人機(jī)網(wǎng)絡(luò)進(jìn)行，該網(wǎng)絡(luò)的物理節(jié)點由16個地面站、1輛車和2架固定翼無人機(jī)組成，它們由兩個路由網(wǎng)關(guān)連接到一個已有的有線網(wǎng)絡(luò)。所演示的網(wǎng)絡(luò)效果包括移動性、網(wǎng)絡(luò)分區(qū)、網(wǎng)絡(luò)合并和網(wǎng)關(guān)故障轉(zhuǎn)移。在整個演示驗證期間，注意到無線鏈路的質(zhì)量在白天變化很大，與不斷變化的環(huán)境條件(例如風(fēng)速、溫度和塵埃顆粒)有關(guān)。作者還注意到當(dāng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)完全不穩(wěn)定時，無線信道通信質(zhì)量會普遍下降。

1.2 大規(guī)模無人機(jī)網(wǎng)絡(luò)的仿真評估方法

模擬器是研究者用來評估網(wǎng)絡(luò)解決方案性能的工具。下面介紹幾款相關(guān)的可以用于無人網(wǎng)絡(luò)研究的網(wǎng)絡(luò)仿真軟件。

NS-3模擬器是一個離散事件網(wǎng)絡(luò)模擬器，主要用于研究和教育。NS-3提供了分組數(shù)據(jù)網(wǎng)絡(luò)模型，可以展示其工作和執(zhí)行的過程，并為了滿足用戶進(jìn)行模擬實驗的需求提供了仿真引擎。文獻(xiàn)[7]使用NS3模擬器對不同的動態(tài)路由協(xié)議進(jìn)行了比較，以實現(xiàn)高質(zhì)量的網(wǎng)絡(luò)服務(wù)。使用軟件得到在不同協(xié)議下端到端延時，數(shù)據(jù)包傳輸速率和抖動與無人機(jī)速度的關(guān)系。對結(jié)果的分析和評估表明，OLSR協(xié)議是最好的。

著名的仿真軟件OPNET 采用離散事件驅(qū)動的模擬機(jī)理,模擬機(jī)是否執(zhí)行模擬計算取決于網(wǎng)絡(luò)狀態(tài)是否發(fā)生變化，模擬機(jī)會跳過網(wǎng)絡(luò)狀態(tài)不發(fā)生變化的時間段。OPNET 提供了一個比較齊全的包括網(wǎng)絡(luò)設(shè)備和鏈路的基本模型庫。但是該軟件還存在一些不足需要改進(jìn)，如當(dāng)仿真網(wǎng)絡(luò)規(guī)模和流量很大時，仿真的效率會降低，還有軟件所提供的模型庫有限，某些特殊網(wǎng)絡(luò)設(shè)備的建模必須依靠節(jié)點和過程層次的編程才能實現(xiàn)。文獻(xiàn)[8]使用OPNET17.5 Network modeler 評價了5種經(jīng)典的Ad Hoc路由協(xié)議在FANET中的性能，該模擬被用于評估吞吐量、端到端延時、包跳數(shù)和丟包率的性能。在這些協(xié)議中OLSR性能更好，適用于高度動態(tài)的場景。節(jié)點速度不是影響性能的主要因素，節(jié)點的高速相對運動引起的快速地拓?fù)渥兓蔷W(wǎng)絡(luò)性能變化的主要原因。

可擴(kuò)展的移動Ad Hoc網(wǎng)絡(luò)仿真器 (EMANE)是一個開源框架，為無線網(wǎng)絡(luò)實驗者提供了一個高度靈活的模塊[9]。使用過程中環(huán)境的設(shè)計、開發(fā)和測試復(fù)雜的網(wǎng)絡(luò)體系結(jié)構(gòu)簡單易行。EMANE使用物理層模型來解釋信號傳播、天線輪廓效應(yīng)和干擾源順序為無線實驗提供一個真實的環(huán)境。個人無線電模型插件用于模擬波形的最低層，可以與現(xiàn)有的軟件定義無線電實現(xiàn)相結(jié)合，以啟用共享代碼仿真。

1.3 半實物仿真評估方法

3種常見的半實物仿真方法分別是高層體系結(jié)構(gòu)(High-level Architecture,HLA)、系統(tǒng)在環(huán)(System-in-the-loop,SITL)和自定義方法[10]。本文采用的方法更接近于一種系統(tǒng)在環(huán)的方法。在EXata中，特定的網(wǎng)絡(luò)拓?fù)浔环Q為場景，場景允許用戶指定所有網(wǎng)絡(luò)的組成部分和網(wǎng)絡(luò)運行的條件。場景內(nèi)包括環(huán)境信息、網(wǎng)絡(luò)硬件信息、網(wǎng)絡(luò)軟件信息,其中,環(huán)境信息指地形詳細(xì)信息，如信道的路徑損失、衰落和陰影等；網(wǎng)絡(luò)硬件信息指有線和無線子網(wǎng)、交換機(jī)、集線器和路由器等;網(wǎng)絡(luò)軟件信息指用戶配置的網(wǎng)絡(luò)組件、整個協(xié)議棧的各類標(biāo)準(zhǔn)、在網(wǎng)絡(luò)上運行的應(yīng)用程序等?？梢詮囊粋€基本的網(wǎng)絡(luò)場景開始，并根據(jù)需要指定盡可能多的細(xì)節(jié)提高網(wǎng)絡(luò)模式的準(zhǔn)確性。一般來說，仿真研究包括以下幾個階段：第一階段是創(chuàng)建和準(zhǔn)備基于系統(tǒng)描述和仿真場景感興趣的指標(biāo)，配置適用于整個場景的常規(guī)屬性；第二階段是配置仿真測試臺，指定網(wǎng)絡(luò)通過創(chuàng)建子網(wǎng)、放置節(jié)點和定義節(jié)點移動性來實現(xiàn)拓?fù)洌渲脜f(xié)議棧用于單獨的節(jié)點或必要的節(jié)點組；第三階段是執(zhí)行、可視化和分析創(chuàng)建的場景，并收集仿真結(jié)果。仿真結(jié)果可以包括場景動畫、運行時統(tǒng)計、最終統(tǒng)計以及輸出跟蹤。在運行時可視化場景的同時，外部應(yīng)用程序和硬件可以在運行時與場景交互，EXata接口與網(wǎng)絡(luò)場景交互。最后一階段是分析仿真結(jié)果，通常用戶可能需要根據(jù)收集的仿真結(jié)果調(diào)整場景。

外部節(jié)點映射創(chuàng)建EXata節(jié)點上的網(wǎng)絡(luò)接口與外部節(jié)點之間的映射物理操作節(jié)點,映射到運行主機(jī)的EXata節(jié)點稱為外部節(jié)點。來自運行主機(jī)的任何流量都會插入EXata外部節(jié)點，并且類似地，在EXata外部節(jié)點接收到的任何流量都會轉(zhuǎn)發(fā)到運行主機(jī)。

2 基于Docker和EXata的仿真系統(tǒng)

2.1 自組織網(wǎng)絡(luò)仿真系統(tǒng)的結(jié)構(gòu)

雖然網(wǎng)絡(luò)半實物仿真在網(wǎng)絡(luò)仿真和現(xiàn)實實驗之間提供了一個有價值的折衷方案，但是還有一些問題需要解決，比如更簡單的使用和管理路由，還有網(wǎng)絡(luò)的可擴(kuò)展性、可移植性和可比性[11]。在硬件資源有限的環(huán)境中進(jìn)行網(wǎng)絡(luò)仿真就需要將軟件應(yīng)用消耗的計算資源降到可接受的程度。Docker容器可以作為一種節(jié)約硬件資源的方案。但是，將Docker容器接入EXata時需要解決以下挑戰(zhàn)。首先， Docker容器本身的隔離性導(dǎo)致正常狀態(tài)下主機(jī)無法與Docker容器通信，從而無法直接在Docker容器和EXata節(jié)點之間建立映射；其次，即使主機(jī)與Docker容器可以進(jìn)行正常的網(wǎng)絡(luò)訪問，由于缺少類似網(wǎng)卡的硬件，無法通過EXata連接管理工具把Docker容器映射入EXata。

為了解決以上挑戰(zhàn)，本文引入OpenVPN將Docker容器先與EXata服務(wù)器上TAP-windows Adapter V9網(wǎng)絡(luò)適配器相連接，接著借助EXata連接管理工具把Docker容器與EXata內(nèi)的節(jié)點相關(guān)聯(lián)。本文提出的基于EXata與Docker的無線網(wǎng)絡(luò)仿真系統(tǒng)如圖1所示，使用到的輔助軟件有WSL、OpenVPN。無線網(wǎng)絡(luò)仿真系統(tǒng)包括使用Windows操作系統(tǒng)的EXata服務(wù)器與使用WSL系統(tǒng)的Docker服務(wù)器。EXata服務(wù)器內(nèi)構(gòu)建一個按照需求設(shè)計的無線仿真網(wǎng)絡(luò)，通過OpenVPN將Docker服務(wù)器內(nèi)的容器節(jié)點映射入仿真網(wǎng)絡(luò)內(nèi)。在Docker服務(wù)器內(nèi)的Docker容器實現(xiàn)的網(wǎng)絡(luò)應(yīng)用效果可以與真實操作系統(tǒng)環(huán)境中的軟件應(yīng)用一致。在這個無線網(wǎng)絡(luò)仿真系統(tǒng)中，容器節(jié)點間的網(wǎng)絡(luò)應(yīng)用產(chǎn)生的流量是經(jīng)過EXata虛擬網(wǎng)絡(luò)的轉(zhuǎn)發(fā)和接收的。EXata網(wǎng)絡(luò)模擬器根據(jù)模擬網(wǎng)絡(luò)的配置情況,將Docker容器內(nèi)網(wǎng)絡(luò)應(yīng)用數(shù)據(jù)經(jīng)過仿真節(jié)點內(nèi)的應(yīng)用層、傳輸層、網(wǎng)絡(luò)層、路由算法、介質(zhì)訪問控制子層、鏈路層、物理層,然后由天線發(fā)送出去,經(jīng)過仿真信道的衰落、多徑、陰影效應(yīng),以及可能的多跳傳輸?shù)竭_(dá)接收節(jié)點；最后通過Docker應(yīng)用內(nèi)的網(wǎng)絡(luò)分析工具或EXata服務(wù)器上的輔助流量抓包軟件，就可以分析該網(wǎng)絡(luò)的具體性能。

圖1 一種基于EXata與Docker的無線網(wǎng)絡(luò)仿真系統(tǒng)Fig.1 Wireless network simulation system based on EXata and Docker

網(wǎng)絡(luò)端口是指軟件領(lǐng)域的端口，是一種抽象的軟件結(jié)構(gòu)，一般指網(wǎng)絡(luò)中面向連接服務(wù)和無連接服務(wù)的通信協(xié)議端口，包括一些數(shù)據(jù)結(jié)構(gòu)和基本輸入輸出(I/O)緩沖區(qū)。OpenVPN是Linux下開源虛擬專用通道的先鋒，是提供給個人與公司之間或者企業(yè)之間安全數(shù)據(jù)傳輸?shù)乃淼?，提供了良好的性能和友好的用戶GUI[12]。它調(diào)用了大量OpenSSL加密庫中的SSLv3/TLSv1協(xié)議函數(shù)庫中的函數(shù)。TAP-windows Adapter V9網(wǎng)絡(luò)適配器相當(dāng)于在系統(tǒng)中模擬了一個網(wǎng)卡，可以讓使用者作網(wǎng)絡(luò)橋接用。虛擬網(wǎng)卡是一個驅(qū)動軟件，其使用網(wǎng)絡(luò)底層編程技術(shù)實現(xiàn)。安裝此類程序后主機(jī)上會增加一個非真實的網(wǎng)卡，這個網(wǎng)卡也具有像其他網(wǎng)卡設(shè)置方法一樣的配置方式。服務(wù)程序可以啟動在應(yīng)用層上的虛擬網(wǎng)卡，接收到應(yīng)用軟件(如測流量軟件)向虛擬網(wǎng)卡發(fā)送的數(shù)據(jù)。應(yīng)用軟件可以讀取到服務(wù)程序?qū)懙教摂M網(wǎng)卡上的數(shù)據(jù)。OpenVPN能夠跨平臺使用的一個重要原因是,虛擬網(wǎng)卡在很多操作系統(tǒng)中都有相應(yīng)的實現(xiàn)。在OpenVPN中，如果用戶遠(yuǎn)程訪問一個虛擬網(wǎng)卡配用的虛擬地址(區(qū)別于真實地址)，則操作系統(tǒng)會通過路由機(jī)制將數(shù)據(jù)幀(TAP模式)或數(shù)據(jù)包(TUN模式)發(fā)送到虛擬網(wǎng)卡上，用戶主機(jī)的OpenVPN服務(wù)程序在接收該數(shù)據(jù)并進(jìn)行相應(yīng)的處理后會通過SOCKET從外網(wǎng)發(fā)送出去。這完成了一個單向傳輸?shù)倪^程，反之亦然。當(dāng)遠(yuǎn)程OpenVPN服務(wù)程序通過SOCKET從外網(wǎng)上接收到數(shù)據(jù)后進(jìn)行相應(yīng)的處理，接著又會發(fā)送回給虛擬網(wǎng)卡，隨后用戶就可以接收到處理完的數(shù)據(jù)。

2.2 自組織網(wǎng)絡(luò)仿真系統(tǒng)的功能

2.2.1 Docker模塊

Docker程序守護(hù)進(jìn)程Docker Engine是實際的容器正在運行時的狀態(tài)，運行在各種Linux(CentOS、Debian、Fedora、Oracle Linux、RHEL、SUSE、Ubuntu)和Windows服務(wù)器操作系統(tǒng)上。Docker創(chuàng)建了一個簡單的工具和一個通用的打包方法，將所有應(yīng)用程序依賴項打包到一個容器中，然后在Docker引擎上運行[13]。

Docker容器是一個標(biāo)準(zhǔn)的軟件單元，它將代碼及其所有依賴項打包在一起，以便應(yīng)用程序從一個計算環(huán)境快速可靠地部署到另一個計算環(huán)境。Docker容器鏡像包含運行應(yīng)用程序所需的一切,如設(shè)置、代碼、系統(tǒng)工具、系統(tǒng)庫和運行時監(jiān)測功能，是一個獨立的、輕量級的、可執(zhí)行的軟件包。將Docker鏡像運行在Docker引擎上時就生成了Docker容器。無論基礎(chǔ)結(jié)構(gòu)如何，容器化軟件都將始終運行相同的可用于Linux和基于Windows的應(yīng)用程序。容器將軟件與其環(huán)境隔離開，并確保即使在開發(fā)和平臺之間存在差異時軟件也能統(tǒng)一工作。在Docker引擎上運行的Docker容器具有標(biāo)準(zhǔn)化、輕量級和安全的特性，標(biāo)準(zhǔn)是指Docker為容器創(chuàng)建了行業(yè)標(biāo)準(zhǔn)，因此它們可以移動到任何地方；輕量級是指容器共享機(jī)器的操作系統(tǒng)內(nèi)核，因此每個應(yīng)用程序不需要另外的操作系統(tǒng)，從而提高服務(wù)器效率并降低了資源消耗和許可成本。為了應(yīng)用程序在容器中運行起來更安全，Docker提供了業(yè)界最強(qiáng)的默認(rèn)隔離功能。

2.2.2 EXata模塊

EXata_HOME可以在一個或多個協(xié)議層與真實的無線電進(jìn)行互操作以及提供硬件在環(huán)功能的設(shè)備。EXata還可以連接到安全的虛擬網(wǎng)絡(luò)上，在安全的虛擬網(wǎng)絡(luò)上運行就像在真正的網(wǎng)絡(luò)上運行一樣。EXata內(nèi)的虛擬節(jié)點可以表示連接到網(wǎng)絡(luò)的多種設(shè)備，例如無線電設(shè)備、臺式計算機(jī)、路由器、衛(wèi)星等。這些節(jié)點可以有一個或多個網(wǎng)絡(luò)接口，每個節(jié)點有它自己的IP地址和子網(wǎng)掩碼。

2.2.3 仿真系統(tǒng)

對EXata與Docker進(jìn)行再開發(fā)，將含有操作系統(tǒng)以及各種應(yīng)用的Docker容器作為原來的硬件節(jié)點加入到EXata的無線虛擬網(wǎng)絡(luò)環(huán)境中。Docker容器間或與硬件節(jié)點間的數(shù)據(jù)傳輸業(yè)務(wù)的鏈路參數(shù)就可以通過EXata觀察到，這樣就可以從理論角度研究無線自組織網(wǎng)絡(luò)的架構(gòu)合理性以及實用性。

一旦系統(tǒng)中的實驗部署后，用戶可以“連接”到任何容器并使用常見和熟悉的工具執(zhí)行度量測試，比如tcp-dump、ping、ping6、iperf等。如果需要，用戶可以創(chuàng)建定制的容器模板，需要時可以復(fù)制出所需的節(jié)點數(shù)量[14]。

2.3 運行環(huán)境

CPU：X86兼容的處理器、酷睿i5以上；內(nèi)存：1 GB以上；運行的硬盤空間：1 GB以上；操作系統(tǒng)：Windows、Linux。

運行狀況如圖2所示，實機(jī)或Docker容器通過路由或網(wǎng)絡(luò)與EXata服務(wù)器相連，在EXata虛擬網(wǎng)絡(luò)內(nèi)實機(jī)、Docker容器、EXata虛擬節(jié)點三者間能相互通信。

輕量級的容器技術(shù)提高了服務(wù)器效率，并降低服務(wù)器資源消耗和許可成本。該方法由于一臺物理計算機(jī)可以運行多個Docker節(jié)點，通過添加物理計算機(jī)的方法既可以節(jié)省大量硬件資源，又能夠讓Docker節(jié)點成倍地增加。本文的Docker容器運行在WSL系統(tǒng)以及一臺樹莓派微機(jī)上，從而在EXata內(nèi)映射了比一臺主機(jī)能提供的更多的Docker節(jié)點，能夠完成大規(guī)模容器節(jié)點的無線網(wǎng)絡(luò)仿真任務(wù)。

(a) 仿真系統(tǒng)的物理連接

2.4 系統(tǒng)的可擴(kuò)展性

Docker節(jié)點的數(shù)量能達(dá)到10個以上，實物節(jié)點的數(shù)量能達(dá)到3個以上，EXata仿真節(jié)點的數(shù)量能達(dá)到1 000個以上。

EXata可以支持實時速度，以支持軟件在環(huán)、網(wǎng)絡(luò)仿真和硬件進(jìn)入循環(huán)建模，以更快的速度使模型開發(fā)人員和網(wǎng)絡(luò)設(shè)計人員能夠運行多個通過在短時間內(nèi)改變模型、網(wǎng)絡(luò)和流量參數(shù)進(jìn)行“假設(shè)”分析，可以利用最新的硬件和并行技術(shù)對數(shù)千個節(jié)點進(jìn)行建模計算，可以在集群、多核和多處理器系統(tǒng)上進(jìn)行具有高保真度的大型網(wǎng)絡(luò)建模。EXata使用高度詳細(xì)的基于標(biāo)準(zhǔn)的協(xié)議模型實現(xiàn)，還包括無線環(huán)境的高級模型，可以更精確地建模真實世界網(wǎng)絡(luò)。EXata及其模型庫可以在各種平臺上運行，包括Windows和Linux操作系統(tǒng)系統(tǒng)、分布式和集群并行架構(gòu)，以及32位和64位計算平臺。用戶可以在自己的臺式機(jī)或筆記本電腦上用EXata開發(fā)協(xié)議模型或設(shè)計網(wǎng)絡(luò)，然后把它轉(zhuǎn)移到一個強(qiáng)大的多處理器Linux服務(wù)器上運行，進(jìn)行性能和可伸縮性分析。EXata可以連接到其他硬件和軟件應(yīng)用程序，如OTB、真實網(wǎng)絡(luò)和第三方可視化軟件，極大地提升了網(wǎng)絡(luò)模型的價值。

Docker Container是一種新興的輕量級虛擬化技術(shù)。有研究顯示在虛擬環(huán)境下評估基于Docker容器的主機(jī)的CPU性能、內(nèi)存吞吐量、磁盤IO、負(fù)載測試，并測量運行速度，Docker容器比VM表現(xiàn)得更好[15]。

3 系統(tǒng)評估

本節(jié)從3個應(yīng)用場景評估了仿真系統(tǒng)的功能。第一個應(yīng)用場景是多節(jié)點的OLSR通信仿真，在OLSR網(wǎng)絡(luò)環(huán)境中的Docker節(jié)點中應(yīng)用網(wǎng)絡(luò)測試工具就可以得到在一定條件下的EXata內(nèi)網(wǎng)絡(luò)的性能；第二個應(yīng)用場景是自組織網(wǎng)絡(luò)仿真系統(tǒng)中傳輸視頻，在網(wǎng)絡(luò)中的映射節(jié)點間可以使用RTMP協(xié)議傳輸視頻并觀察其效果；第三個應(yīng)用場景是驗證無線網(wǎng)絡(luò)環(huán)境中的聯(lián)邦學(xué)習(xí)算法，可以從EXata軟件中看到運算時網(wǎng)絡(luò)的大致傳輸狀況。

3.1 多節(jié)點的OLSR通信仿真

OLSR是一種主動鏈路狀態(tài)路由協(xié)議，主要是用于MANET網(wǎng)絡(luò)，根據(jù)移動自組網(wǎng)要求來進(jìn)行優(yōu)化的關(guān)鍵是位于多中繼節(jié)點中的傳統(tǒng)鏈路狀態(tài)(Link State,LS)協(xié)議[16]。對于傳統(tǒng)的LS協(xié)議進(jìn)行優(yōu)化如下：

① 僅選擇部分節(jié)點作為中繼節(jié)點控制數(shù)據(jù)包，以減少控制數(shù)據(jù)包的泛洪范圍。因為任何節(jié)點只選擇一部分將鄰居節(jié)點作為其中繼節(jié)點，并且僅中繼節(jié)點可以轉(zhuǎn)發(fā)和控制數(shù)據(jù)包，其余的鄰居節(jié)點只處理接收到的數(shù)據(jù)包信息，無需轉(zhuǎn)發(fā)，所有被選擇轉(zhuǎn)發(fā)和控制數(shù)據(jù)包的鄰居節(jié)點被稱為MPR中繼節(jié)點。

② 減少控制數(shù)據(jù)包的大小。節(jié)點不會向所有鄰居發(fā)布鏈接狀態(tài)信息，只在相鄰的MPR節(jié)點間傳輸鏈路狀態(tài)信息。

這里的運行節(jié)點往往可以是無人機(jī)節(jié)點，無人機(jī)集群的很多任務(wù)需要多架無人機(jī)間的通信和計算才能實現(xiàn)，如高速率大面積的通信網(wǎng)絡(luò)覆蓋、大數(shù)據(jù)的集群機(jī)器學(xué)習(xí)、多樣本的環(huán)境頻譜探測與分析、多節(jié)點高精度的無源雷達(dá)探測與目標(biāo)分析、大區(qū)域多集群的無人機(jī)智能導(dǎo)航、多目標(biāo)大范圍復(fù)雜環(huán)境的無人機(jī)智能識別等。評估系統(tǒng)仿真中EXata軟件可以對EXata節(jié)點的數(shù)量、位置、移動特性，電臺功率、頻率、通信協(xié)議，環(huán)境中的地形等仿真參數(shù)進(jìn)行設(shè)置。圖3(a)是OLSR更新路由表時hello信號的示意圖，圖3(b)觀察了兩個Docker節(jié)點間的通信鏈路，這是通過一個節(jié)點向另一個節(jié)點發(fā)送Ping請求產(chǎn)生測試數(shù)據(jù)包和流量后，在EXata內(nèi)顯示對應(yīng)的連接示意時得到的。

(a) OLSR更新路由表時hello信號的示意圖

圖3中與Docker節(jié)點有映射連接關(guān)系的EXata節(jié)點已經(jīng)很清晰地用三角形標(biāo)出。這些Docker容器運行在使用WSL操作系統(tǒng)的Docker服務(wù)器上，實踐活動中Docker容器終端界面如圖4所示。容器終端里可以安裝各種類型和用途的軟件，鑒于實踐活動傾向網(wǎng)絡(luò)應(yīng)用，安裝了busybox、iperf3等網(wǎng)絡(luò)性能分析工具。在EXata內(nèi)的虛擬節(jié)點采用的路由協(xié)議為OLSR，任意兩個節(jié)點都可以通過該協(xié)議構(gòu)建的無線自組織網(wǎng)絡(luò)進(jìn)行通信，運行網(wǎng)絡(luò)應(yīng)用，實現(xiàn)相應(yīng)的網(wǎng)絡(luò)功能。得益于針對新型無線通信技術(shù)而設(shè)計的EXata可以精確地和真實網(wǎng)絡(luò)中的人、設(shè)備、軟件進(jìn)行實時通信，運用iperf3對Docker節(jié)點間的吞吐量進(jìn)行測試，就可以得到吞吐量隨距離變化的關(guān)系，如圖5所示。從圖5中能夠清晰地看出在不同發(fā)射功率的狀況下，吞吐量都是隨距離增大逐漸降低。

圖4 Docker容器終端界面Fig.4 Docker container terminal interface

圖5 吞吐量隨距離增大逐漸降低Fig.5 Throughput decreases with distance

3.2 自組織網(wǎng)絡(luò)仿真系統(tǒng)中傳輸視頻

因為EXata內(nèi)的節(jié)點的物理特性較為全面、通信方式種類非常豐富，擴(kuò)展性和參數(shù)調(diào)配靈活性也較好，所以EXata能夠設(shè)計與測試多種應(yīng)用環(huán)境下的無線網(wǎng)絡(luò)。由Adobe公司研發(fā)的應(yīng)用層上的RTMP(Real Time Message Protocol)協(xié)議是用來解決多媒體數(shù)據(jù)傳輸流的多路復(fù)用(Multiplexing)和分包(packetizing)問題的實時信息傳輸協(xié)議。

下面的例子里描述的應(yīng)用場景是在自組織網(wǎng)絡(luò)仿真系統(tǒng)中通過RTMP協(xié)議傳輸視頻。

使用Docker實現(xiàn)自組織網(wǎng)絡(luò)里的視頻在線播放的步驟如下[17]：

Docker pullalfg/nginx-rtmp ∥拉取鏡像

Docker run-itd-p 1935:1935-p 8080:80--name nginx-rtmp-test alfg/nginx-rtmp ∥創(chuàng)建并運行容器，映射出兩個端口1935、80

ffmpeg-re-i video.mp4-f flv rtmp:∥169.0.0.1:1935/stream/123 ∥將視頻文件推流至rtmp服務(wù)器，該服務(wù)器即為一個Docker節(jié)點

ffplay rtmp:∥169.0.0.1:1935/stream/123∥在另一個Docker節(jié)點上使用ffplay播放rtmp流

實踐中選取一個8.51 MB的視頻作為傳輸內(nèi)容，如圖6所示，分別在兩個Docker節(jié)點上在線播放視頻，通過觀察視頻的播放效果，可以直觀地發(fā)現(xiàn)網(wǎng)絡(luò)跳數(shù)、無線節(jié)點的距離對傳輸?shù)挠绊?。在實際實驗時，如圖7所示，可以明顯地發(fā)現(xiàn)五跳傳輸情況下，視頻變得非?？D，而兩跳傳輸情況下的視頻還是可以在較為流暢的狀態(tài)下播放完畢。這個實驗現(xiàn)象明確體現(xiàn)了EXata仿真軟件引入的無線網(wǎng)絡(luò)環(huán)境對實際網(wǎng)絡(luò)應(yīng)用的影響。圖8給出了原50 s播放時長的視頻，在不同的天線增益下，隨節(jié)點間距增大而出現(xiàn)卡頓后播放完畢所需的時間。

圖6 視頻作為傳輸內(nèi)容Fig.6 Video as the transmission content

(a) 兩跳傳輸

圖8 原50 s播放時長的視頻在不同的天線增益和節(jié)點間距離下播放完畢所需的時間Fig.8 Time required for the original 50 s playback time video to complete playback with different antenna gains and node spacing

對網(wǎng)絡(luò)模擬器實時性要求是接收端視頻實時解碼器在某一緩沖時間內(nèi)若未能接收到期望的視頻數(shù)據(jù),則不應(yīng)繼續(xù)等待,要執(zhí)行相應(yīng)的視頻差錯恢復(fù)和隱藏工作,最大限度地恢復(fù)接收視頻質(zhì)量。如果網(wǎng)絡(luò)模擬器的速度不能滿足上述實時性處理的要求,接收端視頻回放時就會出現(xiàn)大量的丟包現(xiàn)象,導(dǎo)致無法通過觀看到的接收視頻分析真實的網(wǎng)絡(luò)傳輸情況,這個現(xiàn)象在使用低配置的機(jī)器進(jìn)行網(wǎng)絡(luò)模擬時得到了印證[18]。

3.3 仿真系統(tǒng)中驗證聯(lián)邦學(xué)習(xí)算法

在眾多的基于Docker的應(yīng)用中選擇具有開源特性的聯(lián)邦學(xué)習(xí)算法軟件驗證該仿真系統(tǒng)的實用性和應(yīng)用范圍，使用該系統(tǒng)對網(wǎng)絡(luò)環(huán)境有較強(qiáng)依賴性的軟件進(jìn)行測試、調(diào)試與優(yōu)化，以找到合適的網(wǎng)絡(luò)參數(shù)并讓軟件運行出接近實際狀況的結(jié)果。

首先，介紹一下相關(guān)軟件。FATE(Federated AI Technology Enabler)是聯(lián)邦機(jī)器學(xué)習(xí)技術(shù)的一個框架，旨在提供安全的計算框架來支持聯(lián)邦 AI 生態(tài)。而Kubernetes是目前最流行的基礎(chǔ)設(shè)施平臺，根據(jù)Ovum的統(tǒng)計，截至2019年底，一半的大數(shù)據(jù)負(fù)載都運行在Kubrenetes之上。由此可見，Kubernetes很適合作為企業(yè)內(nèi)部運維大規(guī)模分布式系統(tǒng)的平臺。選用Kubernetes作為運行FATE聯(lián)邦學(xué)習(xí)集群生產(chǎn)環(huán)境的平臺可以提高該框架的實用性和可靠性。KubeFATE就是一款提供在Kubernetes部署運維FATE解決方案的開源軟件[19]。

需要指出的是，本文構(gòu)造的聯(lián)邦學(xué)習(xí)算法是在兩個Kubernetes集群間進(jìn)行的，集群節(jié)點通過前面描述的方式與EXata節(jié)點形成映射，使得聯(lián)邦學(xué)習(xí)產(chǎn)生的網(wǎng)絡(luò)流量通過EXata內(nèi)仿真網(wǎng)絡(luò)傳輸，如圖9所示。

圖9 網(wǎng)絡(luò)流量通過EXata內(nèi)仿真網(wǎng)絡(luò)傳輸Fig.9 Network traffic is transmitted through the simulation network within EXata

圖10顯示了在評估仿真系統(tǒng)時的聯(lián)邦學(xué)習(xí)的損失函數(shù)。從仿真結(jié)果可以看出參數(shù)服務(wù)器匯總的損失函數(shù)包含了與參數(shù)服務(wù)器同主機(jī)上的kubefate節(jié)點以及不同主機(jī)上的kubefate節(jié)點的損失函數(shù)。

圖10 聯(lián)邦學(xué)習(xí)的損失函數(shù)Fig.10 Federated learning loss function

4 結(jié)束語

本文對基于 EXata與Docker的無線網(wǎng)絡(luò)仿真進(jìn)行了較為深入的研究,其成果能夠廣泛應(yīng)用于各種無線網(wǎng)絡(luò)環(huán)境仿真系統(tǒng)、各類信道傳輸設(shè)備等真實網(wǎng)絡(luò)節(jié)點的互連,豐富了通信網(wǎng)絡(luò)設(shè)計分析的方法。基于EXata與Docker的無線網(wǎng)絡(luò)仿真與純數(shù)學(xué)的 EXata仿真相比,針對新型無線通信技術(shù)而設(shè)計的EXata結(jié)合引入實際流量的Docker節(jié)點,能夠有效地提高通信網(wǎng)絡(luò)仿真的置信度,通過構(gòu)建的網(wǎng)絡(luò)運行仿真環(huán)境驗證、分析和評估Docker容器節(jié)點,并且縮減設(shè)計進(jìn)度、節(jié)省實驗成本。 EXata內(nèi)節(jié)點的物理特性較為全面、通信方式種類非常豐富，擴(kuò)展性和參數(shù)調(diào)配靈活性較好，能夠設(shè)計與測試多種應(yīng)用環(huán)境下的無線網(wǎng)絡(luò)，尤其是測試條件受限于功耗、場地等外部因素的無人機(jī)網(wǎng)絡(luò)。該系統(tǒng)采用輕量級的Docker容器技術(shù)，能夠完成大規(guī)模容器節(jié)點的無線網(wǎng)絡(luò)仿真任務(wù)。受益于Docker本身數(shù)量龐大的應(yīng)用和具有軟件開源特性的Linux內(nèi)核容器，該系統(tǒng)可以實現(xiàn)對網(wǎng)絡(luò)環(huán)境有較強(qiáng)依賴性的軟件的測試、調(diào)試與優(yōu)化，以找到在不同網(wǎng)絡(luò)環(huán)境下最合適的軟件參數(shù)設(shè)置和數(shù)據(jù)處理方式。