王張平，杜承烈，周彥菲

（西北工業(yè)大學 計算機學院，陜西 西安 710129）

在分布式環(huán)境下進行一些仿真應用時，常常要進行數(shù)據(jù)計算、顯示、交換、存儲等多項任務。這需要將整個系統(tǒng)的任務分布到若干節(jié)點上，每個節(jié)點完成各自的任務。而每個子節(jié)點在完成其子任務的每一步計算之后，在開始下一步仿真運算之前都需要和其他節(jié)點進行數(shù)據(jù)的同步和交互，因為它需要其他節(jié)點提供的一系列參數(shù)在上一時刻的最新值，同時它也要為其他節(jié)點提供一些參數(shù)的最新值，這就必須要找到一種有效的共享內(nèi)存機制[1]。

以太網(wǎng)下進行仿真實驗時，目前常用的解決方案是采用一種虛擬共享內(nèi)存中間件。它有效地實現(xiàn)了數(shù)據(jù)的透明訪問和交換。在網(wǎng)絡負載不是很大的情況下，具有一定的實時性。但在高網(wǎng)絡負載的情況下，很卻存在著仿真交互數(shù)據(jù)的刷新延遲，實時性能很差等缺點，限制了仿真系統(tǒng)性能的提高。為了適應現(xiàn)代大型分布式系統(tǒng)的要求，特別是在分布式實時系統(tǒng)中，當網(wǎng)絡負載很大的情況下對系統(tǒng)實時性的需求，提出了一種基于主題的VSM中間件的改進方案。此方案采用了數(shù)據(jù)的發(fā)布/訂閱通信模式，并結(jié)合組播技術(shù)實現(xiàn)了IP網(wǎng)絡中一點到多點的高效數(shù)據(jù)傳送，能夠節(jié)約大量網(wǎng)絡帶寬、降低了網(wǎng)絡負載。通過引入該機制，優(yōu)化了網(wǎng)絡通信，提高了VSM中間件的在高網(wǎng)絡負載的情況下的實時性和穩(wěn)定性。

1 虛擬共享內(nèi)存中間件

1.1 VSM中間件的設計思想

VSM中間件是結(jié)合RPC和DSM（Distributed Shared Memory）的設計思想，將方法和內(nèi)存都本地化的分布式中間件。VSM中間件是位于平臺操作系統(tǒng)之上、用戶仿真應用程序之下的一組軟件，實現(xiàn)分布式仿真系統(tǒng)中的仿真任務的調(diào)度和仿真數(shù)據(jù)的透明交互，其核心是虛擬共享內(nèi)存。其基本的結(jié)構(gòu)示意圖如圖1所示。

圖1 VSM的結(jié)構(gòu)示意圖Fig.1 Structure diagram of VSM

通常的設計是共享內(nèi)存模塊作為網(wǎng)絡的基本單元與通信網(wǎng)絡相連，每個節(jié)點內(nèi)存模塊的內(nèi)容都是相同的。網(wǎng)絡上每個節(jié)點內(nèi)存為“虛擬共享內(nèi)存”，它含有網(wǎng)絡中所有用戶可共享的數(shù)據(jù)和信息，內(nèi)存中的數(shù)據(jù)為網(wǎng)絡上所有相關節(jié)點內(nèi)容拷貝的組合，并且內(nèi)存中的內(nèi)容可由當前節(jié)點計算機的值不斷地刷新，或者由網(wǎng)絡中其他節(jié)點不斷地刷新。所有虛擬共享內(nèi)存數(shù)據(jù)的相對地址，對網(wǎng)絡中所有節(jié)點是相同的，實現(xiàn)的是邏輯上的共享內(nèi)存[1-2]。每個共享內(nèi)存的尺寸是由各客戶向服務器注冊時，由服務器分配的動態(tài)內(nèi)存。具體地講就是根據(jù)所有客戶機上已經(jīng)注冊的模塊數(shù)目，以及每個模塊實際所需要內(nèi)存大小來確定的。每個模塊所需求的共享內(nèi)存區(qū)用來存放該模塊中的狀態(tài)、變量等參數(shù)。由于每個模塊實際變量數(shù)目可能不一樣，因此它所需求的共享內(nèi)存大小也就可能不一樣。

1.2 VSM中間件的工作原理

圖2為虛擬共享內(nèi)存中間件的工作原理示意圖。假設仿真實驗環(huán)境有3個節(jié)點，每個節(jié)點都開辟了同樣大小的共享內(nèi)存區(qū)，當節(jié)點A的仿真模塊向某個偏移地址寫入數(shù)據(jù)Data1時，將即時刷新其他節(jié)點中相同偏移地址的的數(shù)據(jù)。此時節(jié)點A的進程會通過廣播的方式將數(shù)據(jù)映射到其他節(jié)點相同偏移地址的共享內(nèi)存區(qū)上。那么節(jié)點B和節(jié)點C就會讀到數(shù)據(jù)Data1了。用戶只需關心讀寫操作，底層數(shù)據(jù)更新由系統(tǒng)自動完成，從而滿足了分布式環(huán)境下仿真系統(tǒng)對數(shù)據(jù)透明交互的需求。

圖2 VSM工作原理示意圖Fig.2 Principle diagram of VSM

VSM中間件分為3個層次：網(wǎng)絡接口層、系統(tǒng)管理層和用戶接口層。網(wǎng)絡接口層負責網(wǎng)絡數(shù)據(jù)的傳輸并刷新各節(jié)點共享內(nèi)存。系統(tǒng)管理層主要負責仿真任務調(diào)度及VSM共享內(nèi)存的管理。用戶接口層為用戶提供了與內(nèi)存模塊交互的接口，方便用戶進行讀寫操作[3]。

1.3 VSM中間件的特性

1）實時性 VSM中間件通過將內(nèi)存本地化，實現(xiàn)了虛擬共享內(nèi)存。這種通過空間上的開銷可以達到減少網(wǎng)絡訪問的時間和次數(shù)。在一定的仿真環(huán)境下，特別是在網(wǎng)絡負載不是很大的情況下具有一定實時性。

2）透明性 VSM中間件使得應用程序不用關心網(wǎng)絡傳輸，對內(nèi)存的讀寫操作與常規(guī)的內(nèi)存讀寫操作沒有區(qū)別，數(shù)據(jù)的網(wǎng)絡傳輸對用戶而言是透明的。

3）可擴展性和可移植性 由于用戶接口與網(wǎng)絡接口的剝離，當網(wǎng)絡硬件或網(wǎng)絡協(xié)議發(fā)生變化時，無需更改用戶接口，只需擴展網(wǎng)絡接口，這就增強了VSM對異構(gòu)網(wǎng)絡的可擴展性和用戶應用程序的可移植性。

VSM的這些優(yōu)點使VSM能夠為分布仿真試驗提供實時透明的數(shù)據(jù)交互，但是VSM的設計特點同樣面臨一些的問題。

1）高負載下的實時性 由于VSM中的一個節(jié)點的數(shù)據(jù)更新，底層會自動廣播到其他所有節(jié)點的數(shù)據(jù)，導致所有數(shù)據(jù)節(jié)點的更新。這樣在一個具有n個仿真節(jié)點的VSM分布仿真試驗中，更新m字節(jié)數(shù)據(jù) ，在網(wǎng)絡上將需要傳輸n×m個字節(jié)，造成了大量額外開銷。使分布仿真試驗在負載較高的情況下網(wǎng)絡傳輸?shù)膶崟r性難以得到保證。

2）缺乏對大數(shù)據(jù)的支持 由于VSM網(wǎng)絡傳輸代價很高，當進行大數(shù)據(jù)的網(wǎng)絡傳輸時，不僅會增加網(wǎng)絡的負載，而且會導致VSM對大數(shù)據(jù)的刷新延遲，影響VSM系統(tǒng)的實時性能。VSM對總內(nèi)存大小的支持一般在幾百KB內(nèi)，只能支持一些中小型仿真系統(tǒng)。

VSM的這些問題，都有一個共同的原因，就是數(shù)據(jù)更新時，VSM網(wǎng)絡傳輸?shù)拇鷥r太高。為了降低VSM網(wǎng)絡傳輸代價，同時保持VSM實時透明的數(shù)據(jù)交互特性，引入了基于主題的發(fā)布訂閱/訂閱通信機制。

2 基于主題的VSM中間件

2.1 基于主題的VSM中間件的提出和基本原理

如圖2所示，如果節(jié)點C僅訂購節(jié)點A上的數(shù)據(jù)Data1，但是根據(jù)VSM全局內(nèi)存的設計思想。當節(jié)點A上的數(shù)據(jù)Data2更新后，那么節(jié)點C上的數(shù)據(jù)Data2也會得到數(shù)據(jù)更新，但是節(jié)點C根本不需要數(shù)據(jù)Data2。在使用VSM在仿真測試的應用中發(fā)現(xiàn)，并不是所有仿真節(jié)點對所有共享內(nèi)存都有需求。比如顯示節(jié)點需要計算節(jié)點的數(shù)據(jù)，但計算節(jié)點并不需要顯示節(jié)點的數(shù)據(jù)，在VSM中間件的數(shù)據(jù)交互過程中，仍然會將顯示節(jié)點數(shù)據(jù)更新到計算節(jié)點，這就造成了不必要的網(wǎng)絡傳輸開銷，影響了數(shù)據(jù)交互的實時性。統(tǒng)計發(fā)現(xiàn)，在傳統(tǒng)的分布試驗仿真系統(tǒng)中，這種不必要的網(wǎng)絡傳輸開銷，占總開銷的比例在33%至87%之間，具體比例取決于仿真系統(tǒng)中各個仿真節(jié)點間的數(shù)據(jù)依賴關系。

基于上述情況，采用了基于主題的VSM中間件的構(gòu)思。主題通常是字符串，它是用來表示某個特定數(shù)據(jù)的代號或者數(shù)據(jù)名稱。每個節(jié)點上的某個主題所代表的數(shù)據(jù)只可能被對該主題感興趣的訂閱者所接收[4-6]。在基于主題的VSM中表現(xiàn)為節(jié)點數(shù)據(jù)的寫操作只會導致對此數(shù)據(jù)感興趣節(jié)點數(shù)據(jù)區(qū)的刷新。對沒有訂閱此主題的節(jié)點，VSM的數(shù)據(jù)是不會刷新的。這就減少了不必要的網(wǎng)絡帶寬的浪費，降低了網(wǎng)絡負載，提高了數(shù)據(jù)透明交互的實時性。

和傳統(tǒng)的VSM中間件不同，基于主題的VSM中間件采用了數(shù)據(jù)的發(fā)布/訂閱通信模式。數(shù)據(jù)的發(fā)布訂閱關系指的是仿真實驗中節(jié)點間的數(shù)據(jù)讀寫關系?；谥黝}的VSM中間件采用的是服務器/客戶端的工作模式，每個節(jié)點在仿真實驗前需要向服務器注冊本節(jié)點IP地址，節(jié)點自身的主題以及節(jié)點感興趣的主題。服務器根據(jù)節(jié)點間的數(shù)據(jù)依賴關系分配組播地址，客戶端進程讀取數(shù)據(jù)時，如果數(shù)據(jù)是其他節(jié)點上的數(shù)據(jù)，就加入該數(shù)據(jù)所分配的組播地址。當數(shù)據(jù)得到更新后，相應的組內(nèi)節(jié)點上所訂購的數(shù)據(jù)也就得到了更新?；谥黝}的VSM中間件的總體設計思想是：不改變用戶接口層，通過修改系統(tǒng)管理層與網(wǎng)絡接口層實現(xiàn)發(fā)布訂閱機制；系統(tǒng)管理層上負責管理發(fā)布/訂閱表，網(wǎng)絡接口負責優(yōu)化網(wǎng)絡傳輸。

2.2 基于主題VSM中間件的實現(xiàn)

2.2.1 虛擬共享內(nèi)存

為了維護VSM中間件的原有特性，并且能夠減少不必要的數(shù)據(jù)發(fā)送所帶來的網(wǎng)絡資源浪費，在基于主題的VSM中間件中每個仿真節(jié)點依然都具有一個全局共享內(nèi)存，這個全局內(nèi)存的編址方式也是相同的，但是這個內(nèi)存的內(nèi)容不再是網(wǎng)絡上所有節(jié)點數(shù)據(jù)內(nèi)容拷貝的組合。全局內(nèi)存中只有仿真節(jié)點訂閱的數(shù)據(jù)所對應的內(nèi)存才有可用值，只有訂閱了的數(shù)據(jù)節(jié)點才能讀。

2.2.2 數(shù)據(jù)的發(fā)布與訂閱

在基于主題的VSM中間件中，每個節(jié)點都有個XML數(shù)據(jù)文件，文件中描述了本節(jié)點數(shù)據(jù)主題的發(fā)布和訂閱信息。系統(tǒng)初始化時，每個節(jié)點首先通過解析XML文件形成發(fā)布/訂閱表，此表由系統(tǒng)管理層來維護。隨后節(jié)點進程根據(jù)系統(tǒng)管理層上的發(fā)布/訂閱表向服務器注冊本節(jié)點的信息，包括有節(jié)點IP地址，節(jié)點自身的主題以及節(jié)點所訂購的數(shù)據(jù)主題。服務器在接收到各節(jié)點的注冊信息后，首先判斷是否有相同的主題，以確保主題的唯一性，然后根據(jù)數(shù)據(jù)主題的訂購關系為被訂購的主題統(tǒng)一分配組播地址，并通過廣播的方式分發(fā)到各個節(jié)點上。在收到服務器廣播信息后，節(jié)點系統(tǒng)管理層向自身的發(fā)布/訂閱表填寫主題所分配的組播地址、端口等信息，并分配VSM共享內(nèi)存和創(chuàng)建共享內(nèi)存表。節(jié)點的注冊流程如圖3所示。

圖3 注冊流程圖Fig.3 Flow chart of register

2.2.3 網(wǎng)絡接口的實現(xiàn)

網(wǎng)絡接口的功能主要負責數(shù)據(jù)的網(wǎng)絡傳輸，在VSM仿真系統(tǒng)執(zhí)行寫操作時，根據(jù)數(shù)據(jù)主題查找系統(tǒng)管理層中的共享內(nèi)存表，找到對應數(shù)據(jù)在虛擬共享內(nèi)存中的相對地址，從而向?qū)獌?nèi)存寫入數(shù)據(jù)，在寫操作完成后立即啟動數(shù)據(jù)發(fā)送線程對其他節(jié)點進行數(shù)據(jù)組播。數(shù)據(jù)發(fā)送線程完成了網(wǎng)絡接口發(fā)送模塊的功能，當數(shù)據(jù)發(fā)送線程收到通知后，通過查找系統(tǒng)管理層中的發(fā)布/訂閱表獲得數(shù)據(jù)主題的組播地址，以該組播地址將數(shù)據(jù)組播出去。如若獲取該數(shù)據(jù)主題的組播地址失敗，則組播地址不存在，說明此數(shù)據(jù)主題沒有被任何節(jié)點訂購，數(shù)據(jù)發(fā)送線程結(jié)束。對于用戶而言，寫數(shù)據(jù)與普通寫操作無異，數(shù)據(jù)的發(fā)送由數(shù)據(jù)發(fā)送線程自動完成，用戶無需關心。數(shù)據(jù)發(fā)送流程如圖4所示。

圖4 數(shù)據(jù)發(fā)送線程流程圖Fig.4 Flow chart of sending data

在數(shù)據(jù)訂閱者端，當數(shù)據(jù)要執(zhí)行讀操作時，由于在節(jié)點向服務器注冊完畢后，訂閱者通過遍歷系統(tǒng)管理層中的發(fā)布/訂閱表，找到所感興趣主題的組播地址，并加入該組播地址，隨后啟動數(shù)據(jù)接收線程，數(shù)據(jù)接收線程只會接收到本節(jié)點感興趣的主題數(shù)據(jù)。對用戶而言，讀操作和普通讀操作無異，數(shù)據(jù)的更新由底層數(shù)據(jù)接收線程自動完成，無需用戶關心。數(shù)據(jù)接收流程如圖5所示。

圖5 數(shù)據(jù)接收線程流程圖Fig.5 The flow chart of receiving data

在實現(xiàn)過程中，組播地址采用統(tǒng)一的端口號，這樣節(jié)點在加入組播組時，只需要填充相應的組播IP地址[7]，因此采用單線程就可以實現(xiàn)數(shù)據(jù)的接收。

3 性能和改進

3.1 基于主題的VSM中間件性能分析與測試

從2.2中可以看出，改進后VSM中間件并不影響用戶寫操作，只是在數(shù)據(jù)的網(wǎng)絡傳輸過程中增加了一個發(fā)布表的查找過程。在仿真應用過程中，一般都是通過邏輯時間或者物理時間推進來運行的，數(shù)據(jù)的讀操作一般發(fā)生在下一步時間推進的運行過程中。因此對仿真性能影響并不大[8-10]。最重要的是，基于主題的VSM中間件的發(fā)布/訂閱功能，實現(xiàn)了數(shù)據(jù)有選擇的發(fā)送和接收，在仿真節(jié)點一定的情況下，降低了仿真數(shù)據(jù)的網(wǎng)絡傳輸量，保證了共享內(nèi)存中數(shù)據(jù)更新的穩(wěn)定性，從而提高了數(shù)據(jù)交互的實時性能。

此外改進后的VSM中間件對原VSM透明的數(shù)據(jù)交互等特性沒有任何影響。原VSM中間件上的應用程序，只需增加調(diào)用數(shù)據(jù)的發(fā)布/訂閱接口，便可直接移植到新VSM平臺上。可以看出很好了保持了原VSM的優(yōu)點。

從上述分析可以看出，基于主題的VSM中間件具有以下特性：

1）提高了實時性能 使用組播技術(shù)優(yōu)化了網(wǎng)絡傳輸，同時采用基于主題的發(fā)布/訂閱通信機制進一步降低了網(wǎng)絡通信量，并且所有節(jié)點的數(shù)據(jù)更新時間與網(wǎng)絡上實際連接的節(jié)點數(shù)量無關。這就增加了VSM通信的穩(wěn)定性，提高了VSM的實時性能。

2）支持大數(shù)據(jù)的網(wǎng)絡傳輸 和傳統(tǒng)的VSM中間件相比，在滿足一定實時性要求下，VSM共享內(nèi)存區(qū)中最大數(shù)據(jù)塊能夠由之前的數(shù)百kb增加到10 Mb左右，這樣便能支持一些大的數(shù)據(jù)傳輸。

為了驗證該方案的實際性能，搭建了3臺節(jié)點計算機的分布式環(huán)境。在以太網(wǎng)下，網(wǎng)絡帶寬為100 Mb/s交換機為TP-Link TL-SL1226，3臺計算機內(nèi)存均為1 Gb，CPU為Intel Core雙核。操作系統(tǒng)為Windows XP。對大小不同的數(shù)據(jù)包的傳輸延時和丟包情況進行了記錄。其中丟包率測試時發(fā)送數(shù)據(jù)包為100 000次。測試結(jié)果如表1所示。為了進行性能對比，在同樣的資源環(huán)境下，使用傳統(tǒng)的VSM中間件進行了同樣的測試，測試結(jié)果如表2所示。

表1 基于主題的系統(tǒng)性能測試Tab.1 The perform ance test of topic-based system

表2 原系統(tǒng)性能測試Tab.2 The performance test of traditional system

3.2 存在的問題和改進

由于數(shù)據(jù)的發(fā)布/訂閱關系是通過解析XML文件[11]而形成的，這有別于傳統(tǒng)的發(fā)布/訂閱關系，不能從真正意義上來支持動態(tài)的數(shù)據(jù)發(fā)布/訂閱功能。因此，為了支持動態(tài)的數(shù)據(jù)發(fā)布/訂閱功能，允許所有的節(jié)點進程在運行期可與服務器建立一個新的連接。數(shù)據(jù)的發(fā)送方將自身所要發(fā)送的主題發(fā)布到服務器上，服務器首先對系統(tǒng)中的發(fā)布/訂閱表進行查閱，如果該主題在系統(tǒng)中還不存在，則服務器負責為該主題分配一個組播地址，并且將該組播地址返回給該節(jié)點進程；如果發(fā)布/訂閱表中已經(jīng)存在該主題或者存在對該主題的訂閱，則服務器將已經(jīng)分配的對應于該主題的組播地址返回給節(jié)點進程。數(shù)據(jù)的接收方將自身所需要的主題發(fā)送到服務器。服務器對系統(tǒng)中的發(fā)布/訂閱表進行查詢，如果存在該主題，則將主題所對應的組播地址返回給接收節(jié)點進程，否則為該主題分配一個新的組播地址，并將該組播地址返回給節(jié)點進程。服務器在返回各節(jié)點組播地址后，節(jié)點都會更新自身的發(fā)布訂閱表。

另外，系統(tǒng)中采用的是UDP來組播數(shù)據(jù)，由于受到底層發(fā)送緩沖區(qū)大小的限制，一個完整的大數(shù)據(jù)塊在發(fā)送過程會出現(xiàn)數(shù)據(jù)的丟失或者無法發(fā)送。為了支持更大數(shù)據(jù)塊的傳輸，需要再有自定義協(xié)議模塊的設計。

4 結(jié)束語

基于主題的發(fā)布/訂閱通信模式在通信領域占有重要的地位，它適應了計算機向?qū)崟r、分布式發(fā)展的趨勢。通過將基于主題的發(fā)布訂閱模式引入分布式仿真平臺的VSM中，一定程度上降低了網(wǎng)絡通信的負載，增強了VSM數(shù)據(jù)通信的實時性，從而滿足分布式仿真逐漸增強實時性需求，以適應計算機仿真領域的不斷發(fā)展。

[1]吳成富，歐峰，陳懷民，等.基于組播技術(shù)的共享內(nèi)存網(wǎng)絡設計與實現(xiàn)[J].測控技術(shù)，2009，28（10）:55-58.WU Cheng-fu，OU Feng，CHEN Huai-min，et al.Design and impletation of VSM network based on multicast[J].Measurement&Control，2009，28（10）:55-58.

[2]常青，杜承烈.基于虛擬共享內(nèi)存中的分布式仿真平臺構(gòu)架方法研究[J].測控技術(shù)，2001，20（3）:50-52.CHANG Qing，DU Cheng-lie.Research on the method of distributed simulation platform architecture based on the Virtual shared memory[J].Measurement&Control，2001，20（3）:50-52.

[3]王瓊，杜承烈.基于DSM技術(shù)的VSM中間件的研究與開發(fā)[J].計算機應用研究，2005（12）:201-203.WANG Qiong，DU Cheng-lie.Research and development of VSM middleware based on DSM technology[J].Application Reaearch Of Computers，2005（12）:201-203.

[4]苑洪亮.基于內(nèi)容的“發(fā)布/訂閱”若干關鍵技術(shù)研究[D].湖南：國防科技大學，2006.

[5]Pongthawornkamol，Nahrstedt，WANG Gui-jun.Probabilistic QoS modeling for reliability/timeliness prediction in distributed content-based publish/subscribe system over best-effort networks[C]//New York，NY，USA：ACM，2010，185-194.

[6]Eugster P，F(xiàn)elber P，Guerraoui R.The many faces of Publish/Subscribe[J].ACM Computing Survey，2003，35（2）:114-131.

[7]斯蒂文斯.TCP/IP詳解，卷1:協(xié)議[M].范建華，譯.北京:機械工業(yè)出版社，2000.

[8]劉旭軍，馬躍，于東.發(fā)布/訂閱通信模式的實時性能分析與評估[J].計算機工程，2010，36（20）:229-231.LIU Xu-jun，MA Yue，YU Dong.Analysis and evaluation on the real-time performance based on Publish/Subscribe communi-cation model[J].Computer Engineering，2010，36（20）:229-231.

[9]伍智鋒，唐碩，杜承烈.基于共享內(nèi)存機制的分布式飛行仿真研究[J].計算機仿真，2002， 19（6）:18-21.WU Zhi-feng，TANG Shuo，DU Cheng-lie.Research on the distributed flight simulation based on the mechanism of VSM[J].Computer Simulation，2002，19（6）:18-21.

[10]黃姝娟，杜承烈，尤濤.中間件技術(shù)實時性能的比較[J].計算機工程，2009，5（11）:32-37.HUANG Zhu-juan，DU Cheng-lie，YOU-Tao.Comparison of real-time performance for the middleware technology[J].Computer Engineering，2009，5（11）:32-37.

[11]劉雨瀟.基于SAX的XML數(shù)據(jù)解析技術(shù)分析研究[J].現(xiàn)代電子技術(shù)，2010（12）：55-56，65.LIU Yu-xiao.Analysis and research of XML data analytical technique based on SAX[J].Modern Electronics Technique，2010（12）:55-56，65.