張衛(wèi)中

（上海瀚訊信息技術(shù)股份有限公司，上海，200335）

0 引言

在這個(gè)信息技術(shù)快速發(fā)展的時(shí)代，物聯(lián)網(wǎng)、大數(shù)據(jù)也伴隨這個(gè)時(shí)代而興起，信息大融合使得構(gòu)建信息系統(tǒng)的邏輯架構(gòu)越來(lái)越復(fù)雜。分布式系統(tǒng)是其組件分布在連網(wǎng)的計(jì)算機(jī)上，組件之間通過(guò)傳遞消息進(jìn)行通信和動(dòng)作協(xié)調(diào)的系統(tǒng)[1]，分布式系統(tǒng)是解決復(fù)雜信息系統(tǒng)的一個(gè)重要技術(shù)手段。在分布式系統(tǒng)架構(gòu)里，中間件是介于操作系統(tǒng)和應(yīng)用軟件之間的軟件層[2]，使用中間件可以將操作系統(tǒng)和異構(gòu)物理網(wǎng)絡(luò)視作“透明”層，為上層應(yīng)用軟件提供規(guī)范接口，中間件必須具備高并發(fā)連接、低延遲傳遞、高可靠交互以及易于系統(tǒng)架構(gòu)伸縮等特點(diǎn)才能為分布式系統(tǒng)提供支撐。

ZeroMQ[3]是一個(gè)開(kāi)源的通用消息傳遞庫(kù)，支持多種傳輸方式上多種消息傳遞模式。它是零代理的、零延遲、零成本和零管理[3]，不是單獨(dú)的服務(wù)或程序，僅是一個(gè)消息庫(kù)，不同于RabbitMQ、ActiveMQ、MSMQ和Kafka消息中間件作為分布式的消息代理服務(wù)需要復(fù)雜地安裝部署，也不同于現(xiàn)有主流的數(shù)據(jù)分發(fā)服務(wù)[4]（Data Distribute Service，DDS）產(chǎn)品RTI Connext DDS、Vortex DDS、Core DDS等已經(jīng)商業(yè)化[5]。系統(tǒng)設(shè)計(jì)者直接把某種貨架產(chǎn)品作為獨(dú)立的服務(wù)軟件應(yīng)用于分布式系統(tǒng)，使得系統(tǒng)的生命周期對(duì)某產(chǎn)品產(chǎn)生依賴，影響信息系統(tǒng)的網(wǎng)絡(luò)安全和靈活伸縮。ZeroMQ能夠有效解決分布式系統(tǒng)節(jié)點(diǎn)通信普遍存在的開(kāi)銷大、延遲高、配置復(fù)雜等問(wèn)題，減少網(wǎng)絡(luò)通信效率不高對(duì)整個(gè)分布式系統(tǒng)性能的影響[6]。ZeroMQ在時(shí)延和吞吐量方面比其它消息中間件都有顯著的性能表現(xiàn)，可以達(dá)到微秒級(jí)時(shí)延和百萬(wàn)級(jí)吞吐量[7-9]，僅受限于實(shí)際應(yīng)用網(wǎng)絡(luò)帶寬和交換設(shè)備性能。

本文提出對(duì)ZeroMQ的SRC庫(kù)源碼進(jìn)行二次開(kāi)發(fā)，在多播傳遞方式上采用發(fā)布/訂閱的消息傳遞模式，構(gòu)造本地?cái)?shù)據(jù)重構(gòu)和共享虛擬池，引入DDS的數(shù)據(jù)實(shí)體域和主題的概念，以此構(gòu)建可復(fù)用數(shù)據(jù)分發(fā)組件（下文簡(jiǎn)稱ZMQDDS）。將組件嵌入分布式各個(gè)子系統(tǒng)，實(shí)現(xiàn)計(jì)算機(jī)進(jìn)程間和不同計(jì)算機(jī)節(jié)點(diǎn)間的數(shù)據(jù)分發(fā)，組合子系統(tǒng)間形成軟總線式網(wǎng)絡(luò)結(jié)構(gòu)。如此使得分布式系統(tǒng)不依賴于第三方軟件，減少?gòu)?fù)雜地安裝部署工作，易于系統(tǒng)架構(gòu)擴(kuò)展，以此構(gòu)建靈活、高效的數(shù)據(jù)分發(fā)組件支持項(xiàng)目實(shí)際應(yīng)用。

1 軟件設(shè)計(jì)

實(shí)現(xiàn)ZMQDDS支持計(jì)算機(jī)進(jìn)程間和不同計(jì)算機(jī)節(jié)點(diǎn)間的數(shù)據(jù)交互。在數(shù)據(jù)發(fā)布/訂閱層與應(yīng)用層之間，對(duì)共享數(shù)據(jù)的本地重構(gòu)，以類的形式對(duì)數(shù)據(jù)發(fā)布/訂閱層提供的服務(wù)進(jìn)行了封裝，讓應(yīng)用層可以快速地訪問(wèn)數(shù)據(jù)[10]。支持對(duì)數(shù)據(jù)實(shí)體按照域或主題管理，支持相關(guān)參數(shù)靈活配置。主要模塊包括域管理、主題管理、數(shù)據(jù)分發(fā)、數(shù)據(jù)監(jiān)視、節(jié)點(diǎn)發(fā)現(xiàn)等。

（1）域管理：管理業(yè)務(wù)節(jié)點(diǎn)加入域和退出域。數(shù)據(jù)實(shí)體按照域?yàn)榛緟^(qū)分單元進(jìn)行數(shù)據(jù)處理，每個(gè)實(shí)體必須從屬于某一個(gè)域，且只能在相同域中與其它實(shí)體進(jìn)行交互。

（2）主題管理：實(shí)現(xiàn)業(yè)務(wù)節(jié)點(diǎn)對(duì)主題發(fā)布和取消發(fā)布、對(duì)主題訂閱和取消訂閱等。發(fā)布/訂閱傳遞按照主題進(jìn)行數(shù)據(jù)匹配，一個(gè)域里的每個(gè)主題有各自唯一的標(biāo)識(shí)，并以該標(biāo)識(shí)進(jìn)行實(shí)體發(fā)布，可以通過(guò)不同實(shí)例發(fā)布相同主題的數(shù)據(jù)樣本。發(fā)布數(shù)據(jù)過(guò)程總是指向一個(gè)明確的主題。訂閱者是通過(guò)主題請(qǐng)求匹配的數(shù)據(jù)。

（3）數(shù)據(jù)分發(fā)：實(shí)現(xiàn)主題數(shù)據(jù)分發(fā)，能夠?qū)崟r(shí)向訂閱者發(fā)送業(yè)務(wù)主題，主題內(nèi)容為二進(jìn)制流格式,限制單個(gè)業(yè)務(wù)主題容量最大64kB以利于保持低時(shí)延、高吞吐量的性能。實(shí)現(xiàn)從軟總線上獲取主題內(nèi)容。

（4）數(shù)據(jù)監(jiān)視：實(shí)現(xiàn)獲取系統(tǒng)內(nèi)發(fā)布/訂閱的主題信息，與數(shù)據(jù)分發(fā)模塊形成支持1:1、1:N、N:M的通信[11]。支持監(jiān)視業(yè)務(wù)主題收發(fā)次數(shù)統(tǒng)計(jì)、網(wǎng)絡(luò)流量等信息。

（5）節(jié)點(diǎn)發(fā)現(xiàn)：實(shí)現(xiàn)對(duì)具有相同域名的節(jié)點(diǎn)連接管理，實(shí)現(xiàn)節(jié)點(diǎn)間P2P連接，支持節(jié)點(diǎn)間可插拔式框架便于系統(tǒng)架構(gòu)靈活伸縮。

按照?qǐng)D1業(yè)務(wù)模型采用QT4.8.6進(jìn)行開(kāi)發(fā)設(shè)計(jì)以便于跨系統(tǒng)應(yīng)用，以ZeroMQ的SRC源碼的為基礎(chǔ)構(gòu)建動(dòng)態(tài)庫(kù)工程，引入TinyXML源碼庫(kù)支持結(jié)構(gòu)化參數(shù)靈活配置。新增自定義類：高級(jí)消息隊(duì)列管理（AMQ_DDS）作為組件對(duì)外接口的初始化、加入或離開(kāi)域、數(shù)據(jù)監(jiān)聽(tīng)、數(shù)據(jù)分發(fā)等；消息結(jié)構(gòu)（MSG_DEFINE）包含消息類型、分發(fā)數(shù)據(jù)標(biāo)識(shí)、傳輸消息標(biāo)識(shí)、多播消息標(biāo)識(shí)等；數(shù)據(jù)隊(duì)列管理（DATA_QUEUE）方便數(shù)據(jù)緩存插入、刪除、提取等操作；域管理（DDS_DOMAIN）控制發(fā)布、取消發(fā)布、訂閱、取消訂閱、數(shù)據(jù)緩存等；網(wǎng)絡(luò)節(jié)點(diǎn)發(fā)現(xiàn)（NODE_FINDER）控制多播配置參數(shù)、綁定服務(wù)、定時(shí)器以及其它類等。重構(gòu)ctx類增加監(jiān)聽(tīng)、加載結(jié)構(gòu)化參數(shù)配置文件等。重構(gòu)reaper類以控制域和主題管理、緩存管理、數(shù)據(jù)分發(fā)和節(jié)點(diǎn)發(fā)現(xiàn)等。軟件類設(shè)計(jì)關(guān)系圖如圖2所示（此圖中箭頭為引用關(guān)系）。

圖1 數(shù)據(jù)分發(fā)業(yè)務(wù)模型

圖2 軟件類關(guān)系圖

開(kāi)發(fā)完成組件使得ZMQDDS與ZeroMQ類似的內(nèi)部數(shù)據(jù)共享機(jī)制，其內(nèi)部操作I/O都是異步的，調(diào)用AMQ_DDS的主線程不會(huì)被阻塞。如圖3所示。

圖3 內(nèi)部數(shù)據(jù)模型圖

2 軟件應(yīng)用

ZMQDDS在射頻信號(hào)數(shù)據(jù)采集系統(tǒng)（下文簡(jiǎn)稱采集系統(tǒng)）中得到應(yīng)用。采集系統(tǒng)主要實(shí)現(xiàn)對(duì)多臺(tái)設(shè)備端機(jī)采集的信號(hào)數(shù)據(jù)實(shí)時(shí)處理和本地文件存儲(chǔ)，對(duì)實(shí)時(shí)處理能力、吞吐量和穩(wěn)定性要求較高。采集系統(tǒng)采用分布式架構(gòu)設(shè)計(jì)，采用VS2012+QT4.8.6開(kāi)發(fā)設(shè)計(jì)各子系統(tǒng)引用ZMQDDS組件以支持多個(gè)業(yè)務(wù)主題的數(shù)據(jù)分發(fā)，系統(tǒng)主要包括顯控操作軟件、數(shù)據(jù)融合服務(wù)、綜合管理軟件、通信服務(wù)、地圖態(tài)勢(shì)等軟件，及擴(kuò)展的其它輔助軟件。系統(tǒng)架構(gòu)如圖4所示：

圖4 系統(tǒng)架構(gòu)示意圖

將多臺(tái)信號(hào)采集端機(jī)實(shí)時(shí)偵查到的射頻信號(hào)數(shù)據(jù)通過(guò)通信服務(wù)接入采集系統(tǒng)后再分發(fā)至其它子系統(tǒng)，且子系統(tǒng)之間也有數(shù)據(jù)相互發(fā)布/訂閱。數(shù)據(jù)融合服務(wù)訂閱實(shí)時(shí)信號(hào)數(shù)據(jù)和GPS數(shù)據(jù)進(jìn)行融合處理后再發(fā)布融合結(jié)果，顯控操作軟件展示單/多機(jī)融合結(jié)果數(shù)據(jù)、脈沖數(shù)據(jù)、載荷狀態(tài)等，地圖態(tài)勢(shì)軟件訂閱GPS數(shù)據(jù)顯示設(shè)備軌跡等，綜合管理軟件將設(shè)定的主題參數(shù)做本地存儲(chǔ)，其它輔助軟件是根據(jù)需求擴(kuò)展的子系統(tǒng)以支持其它業(yè)務(wù)。在多個(gè)場(chǎng)景試驗(yàn)過(guò)程中，采集系統(tǒng)夠應(yīng)對(duì)信號(hào)數(shù)據(jù)實(shí)時(shí)高速處理和存儲(chǔ)，并能夠長(zhǎng)時(shí)間保持穩(wěn)定運(yùn)行。

3 性能測(cè)試

采集系統(tǒng)對(duì)實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)發(fā)的傳輸能力、傳輸時(shí)延要求較高。通過(guò)信號(hào)源仿真設(shè)備與多臺(tái)信號(hào)采集端機(jī)模擬多路雷達(dá)信號(hào)對(duì)采集系統(tǒng)進(jìn)行傳輸能力和時(shí)延測(cè)試，該系統(tǒng)傳輸結(jié)構(gòu)化單元消息大小1kB，采集系統(tǒng)子系統(tǒng)各席位（Windows10，i7CPU@2.6GHz,8GDDR3內(nèi)存）組網(wǎng)配置千兆網(wǎng)絡(luò)環(huán)境。擴(kuò)展設(shè)計(jì)GPS輔助軟件引用ZMQDSS組件 采集系統(tǒng)在轉(zhuǎn)發(fā)信號(hào)數(shù)據(jù)、數(shù)據(jù)融合及數(shù)據(jù)存儲(chǔ)等工作的同時(shí)，通過(guò)GPS輔助軟件向采集系統(tǒng)發(fā)布兩次連續(xù)發(fā)送1000條和8000條的不同位置的GPS消息（1kB/條），根據(jù)數(shù)據(jù)融合服務(wù)統(tǒng)計(jì)和地圖態(tài)勢(shì)GPS點(diǎn)均勻連續(xù)顯示，測(cè)試沒(méi)有發(fā)生消息丟失現(xiàn)象。GPS輔助軟件直接從采集系統(tǒng)訂閱最大消息包（8kB）測(cè)試時(shí)延，結(jié)果顯示時(shí)延在56μs左右。如圖5所示。

圖5 采集系統(tǒng)時(shí)延測(cè)試

4 結(jié)束語(yǔ)

針對(duì)復(fù)雜信息系統(tǒng)實(shí)際應(yīng)用中的問(wèn)題進(jìn)行思考，本文通過(guò)對(duì)分布式系統(tǒng)、數(shù)據(jù)分發(fā)服務(wù)技術(shù)、ZeroMQ技術(shù)特點(diǎn)等綜合研究，設(shè)計(jì)實(shí)現(xiàn)可復(fù)用分布式數(shù)據(jù)分發(fā)組件，以減少中間件復(fù)雜地安裝部署工作，有效改善系統(tǒng)開(kāi)銷占比，支持跨系統(tǒng)應(yīng)用，易于系統(tǒng)架構(gòu)靈活伸縮。通過(guò)性能測(cè)試以及多場(chǎng)景應(yīng)用試驗(yàn)，采集系統(tǒng)能夠長(zhǎng)時(shí)間保持穩(wěn)定運(yùn)行，驗(yàn)證了ZMQDDS的可用性，不足之處就是對(duì)網(wǎng)絡(luò)帶寬要求較高。隨著不斷深入研究，將會(huì)對(duì)研究成果不斷完善和改進(jìn)。