摘 要： 為了提高異構(gòu)環(huán)境下的分布式測控系統(tǒng)內(nèi)部網(wǎng)絡(luò)的通信效率，采用消息中間件技術(shù)和一種輕量級的數(shù)據(jù)交換格式，設(shè)計(jì)了一種有效的分布式測控網(wǎng)絡(luò)消息通信架構(gòu)。該架構(gòu)用在智能樓宇監(jiān)控實(shí)驗(yàn)中，提高了數(shù)據(jù)的傳輸效率。該架構(gòu)解決了異構(gòu)系統(tǒng)集成的困難以及其數(shù)據(jù)交換格式的選擇問題，經(jīng)過實(shí)踐的檢驗(yàn)，該框架切實(shí)可行，可以勝任不斷變化的環(huán)境和任務(wù)要求，具有廣泛的適用性和良好的應(yīng)用性。

關(guān)鍵詞： 消息中間件； ZeroMQ； 消息管道； 消息通信架構(gòu)

中圖分類號： TN911?34； TP273.5 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號： 1004?373X（2014）02?0105?05

0 引 言

分布式測控系統(tǒng)通常由多個(gè)測控部件及其接口電路構(gòu)成。各功能相對獨(dú)立的測控部件及其電路被稱為系統(tǒng)節(jié)點(diǎn)功能模塊，構(gòu)成相對獨(dú)立的數(shù)據(jù)采集系統(tǒng)。每個(gè)節(jié)點(diǎn)只需完成系統(tǒng)的部分功能，而所有節(jié)點(diǎn)協(xié)同工作則可完成測控系統(tǒng)預(yù)期的全部功能。

目前的測控系統(tǒng)，大多采用基于單片機(jī)的傳感器無線組網(wǎng)或者采用工業(yè)現(xiàn)場總線的有線組網(wǎng)形式，受限于單片機(jī)的處理能力、所處環(huán)境的電磁兼容性以及總線組網(wǎng)通信能力的約束，網(wǎng)絡(luò)阻塞、數(shù)據(jù)的傳輸過程中丟失數(shù)據(jù)以及實(shí)時(shí)性問題尤為突出。

由于測控任務(wù)和測控環(huán)境在不斷的向復(fù)雜化、大型化方向發(fā)展，測控系統(tǒng)的監(jiān)控對象越來越復(fù)雜，越來越分散，信號采集終端呈現(xiàn)分布式趨勢。在整個(gè)系統(tǒng)中，由于各臺(tái)儀器與設(shè)備種類繁多，硬件平臺(tái)各異，軟件環(huán)境也各不一致，所需要的控制命令、數(shù)據(jù)報(bào)文的格式也不統(tǒng)一，使得系統(tǒng)的靈活性很差，一旦對設(shè)備重新部署，就會(huì)大范圍改動(dòng)軟件通信中的報(bào)文格式，導(dǎo)致系統(tǒng)可靠性較差，維護(hù)困難。

隨著大量帶有嵌入式操作系統(tǒng)的控制設(shè)備的應(yīng)用和工業(yè)以太網(wǎng)絡(luò)環(huán)境的不斷完善，集成WSN和多種現(xiàn)場總線的網(wǎng)關(guān)的大量應(yīng)用，整個(gè)系統(tǒng)對數(shù)據(jù)的處理能力和通信能力得到很大的提高，為消息中間件技術(shù)應(yīng)用提供了良好的硬件平臺(tái)，該技術(shù)是一種由消息傳送機(jī)制或者消息隊(duì)列模式組成的中間件技術(shù)，利用該技術(shù)可以進(jìn)行平臺(tái)無關(guān)的數(shù)據(jù)通信，并利用數(shù)據(jù)通信對各個(gè)設(shè)備進(jìn)行分布式系統(tǒng)集成，而且在嵌入式多任務(wù)操作系統(tǒng)的支持下，可以擴(kuò)展為進(jìn)程間的數(shù)據(jù)通信。

以往的系統(tǒng)中，為了避免數(shù)據(jù)在通信中丟失，數(shù)據(jù)的發(fā)送方需要專門等待已發(fā)送的消息的回復(fù)，不利于多任務(wù)的并發(fā)。而消息中間件技術(shù)具有異步工作的特性，發(fā)送方可以發(fā)送數(shù)據(jù)到消息中間件后，無需等待，直接處理其他任務(wù)，由消息中間件來確保數(shù)據(jù)被接收方完整接收，對于系統(tǒng)中設(shè)備之間工作速率不同步，不會(huì)影響系統(tǒng)數(shù)據(jù)傳輸?shù)姆€(wěn)定性和可靠性。消息中間件實(shí)現(xiàn)了整個(gè)系統(tǒng)的互聯(lián)，確保系統(tǒng)安全、可靠、實(shí)時(shí)的工作。

目前消息中間件主要采用兩種消息處理模型：點(diǎn)對點(diǎn)模型和發(fā)布/訂閱模型[1]：

點(diǎn)對點(diǎn)模型是一種基于連接的模型。消息發(fā)送方（生產(chǎn)者）和消息接收方（消費(fèi)者）在進(jìn)行通信時(shí)必須維持一條數(shù)據(jù)鏈路的連接，生產(chǎn)者將消息發(fā)送到消息隊(duì)列（生產(chǎn)），該消息將一直保留到被消費(fèi)者從隊(duì)列中提取（消費(fèi)）或者消息過期為止。這種模型既支持異步消息傳送模式，也支持同步請求/應(yīng)答模式。

發(fā)布/訂閱模型是一種基于推送的模型。消息發(fā)送方（發(fā)布者）和消息接收方（訂閱者）采用透明的形式進(jìn)行通信，發(fā)布者和多個(gè)訂閱者都會(huì)被注冊到消息通道上，消息通道一旦接收到消息，會(huì)主動(dòng)地調(diào)用注冊在通道中的訂閱者，進(jìn)而完成對消息內(nèi)容的消費(fèi)。這種模型既支持廣播機(jī)制，可以將一條消息傳遞給多個(gè)訂閱者，也支持搶占機(jī)制，同一時(shí)間只能有一個(gè)消費(fèi)者處理該消息。

由于發(fā)布/訂閱模型的消息主動(dòng)推送特點(diǎn)，使得它成為現(xiàn)代分布式計(jì)算環(huán)境的理想選擇。

1 ZeroMQJSON的特點(diǎn)

分布式計(jì)算環(huán)境需要處理大量的網(wǎng)絡(luò)通信，分布式測控系統(tǒng)中需要解析大量的控制命令、數(shù)據(jù)報(bào)文。

1.1 ZeroMQ

在分布式系統(tǒng)通信網(wǎng)絡(luò)中，進(jìn)程間的交互所使用的API實(shí)際上是封裝了TCP/IP協(xié)議的Berkeley套接字（BSD）SOCKET，在基于Socket API開發(fā)TCP通信程序時(shí)，需要處理很多網(wǎng)絡(luò)異常（比如連接異常中斷以及重連），為了提高通信性能，往往進(jìn)行異步（非阻塞）、緩沖區(qū)、多線程之類的優(yōu)化，這些都極大地增加了通信程序的開發(fā)難度。

為了適應(yīng)系統(tǒng)中的各個(gè)節(jié)點(diǎn)分散在分布式系統(tǒng)間，ZeroMQ被設(shè)計(jì)成網(wǎng)絡(luò)協(xié)議棧中的一個(gè)可伸縮層，不僅僅是一個(gè)點(diǎn)對點(diǎn)交互，還定義了適應(yīng)于分布式系統(tǒng)的全局拓?fù)湟员阌谠诙鄠€(gè)線程、內(nèi)核和主機(jī)盒之間彈性伸縮[2]。

ZeroMQ是一個(gè)開源的、跨平臺(tái)、高性能、精簡靈活的網(wǎng)絡(luò)消息中間件，將操作系統(tǒng)的異步、消息緩沖區(qū)和多線程處理機(jī)制封裝在內(nèi)，對各種套接字類型（如進(jìn)程內(nèi)通信、IPC、TCP和UDP）、網(wǎng)絡(luò)連接建立、數(shù)據(jù)打包成幀、路由選擇等底層網(wǎng)絡(luò)通信行為進(jìn)行了抽象，ZeroMQ可以自動(dòng)感知路由和網(wǎng)絡(luò)拓?fù)?，靈活地支持多種通信環(huán)境[3]。

ZeroMQ主要支持 4 類通信模式：請求應(yīng)答模式、發(fā)布/訂閱模式、管道模式以及信號模式， 其中前3種模式使用較多，信號模式使用較少，主要是用來支持傳統(tǒng)的TCP Socket 點(diǎn)對點(diǎn)模型。

相對于同類中間件MSMQ、ActiveMQ和RabbitMQ在部署時(shí)需要專門的一個(gè)服務(wù)器，ZeroMQ只需要讓應(yīng)用程序引用ZeroMQ程序庫，就可以在多個(gè)進(jìn)程間進(jìn)行消息發(fā)送，使得部署起來非常簡單。

ZeroMQ采用 C/C++ 開發(fā)，并且協(xié)議格式定義得很簡潔，所以性能遠(yuǎn)遠(yuǎn)高于其他的消息中間件，如圖1所示[4]。缺點(diǎn)是ZeroMQ被設(shè)計(jì)成側(cè)重于消息傳輸?shù)妮p量級消息中間件，缺少消息服務(wù)器來存儲(chǔ)和轉(zhuǎn)發(fā)消息，所以不支持消息持久化及崩潰恢復(fù)。

圖1 MSMQ、ActiveMQ、RabbitMQ和ZeroMQ的消息傳輸性能對比

根據(jù)ZeroMQ給出的測試報(bào)告，對于一個(gè)長度為120 B的消息，在1 Gb Ethernet網(wǎng)環(huán)境下，消息的傳輸可達(dá)到900 Mb/s，完全滿足系統(tǒng)的實(shí)時(shí)性要求。

1.2 JSON

由于各種測控節(jié)點(diǎn)平臺(tái)的異構(gòu)性，需要一個(gè)格式統(tǒng)一、跨平臺(tái)的數(shù)據(jù)交換格式以方便對系統(tǒng)中的命令、數(shù)據(jù)報(bào)文進(jìn)行解析。JSON和XML是目前網(wǎng)絡(luò)中最常用的兩大數(shù)據(jù)傳輸格式。XML是一種標(biāo)記語言，用于結(jié)構(gòu)性標(biāo)記電子文件，可以用來標(biāo)記數(shù)據(jù)、定義數(shù)據(jù)類型，允許用戶自定義標(biāo)簽，用于傳輸和存儲(chǔ)數(shù)據(jù)。DOM是對XML文檔進(jìn)行應(yīng)用開發(fā)、編程的應(yīng)用程序接口，把XML文檔作為樹結(jié)構(gòu)來查看，能夠通過DOM樹來訪問所有元素（節(jié)點(diǎn)），可以修改或刪除節(jié)點(diǎn)的內(nèi)容，并創(chuàng)建新的節(jié)點(diǎn)，因此，可以把XML看成是一種數(shù)據(jù)結(jié)構(gòu)或者是一種虛擬數(shù)據(jù)庫。

XML文件中存在很多用于解析的附加信息，由于XML最初是用于在WEB中傳輸大數(shù)據(jù)，解析信息在整個(gè)文件中所占比例較小。然而分布式測控系統(tǒng)中，需要解析的命令、數(shù)據(jù)報(bào)文都是一些小數(shù)據(jù)，使得XML文件變的很臃腫，因此XML在小數(shù)據(jù)上的傳輸、存儲(chǔ)的效率上存在一定問題。JSON也是基于純文本的數(shù)據(jù)格式，旨在傳送基于文本的數(shù)據(jù)，支持的數(shù)據(jù)結(jié)構(gòu)為：名稱/值對集合，其對象格式如圖2所示。

圖2 JSON對象包裝格式

以一個(gè)命令的JSON和XML格式作為對比，例如一條移動(dòng)顯示組件窗口的命令。

如表1所示，相對于復(fù)雜的XML數(shù)據(jù)格式，JSON格式簡單，易于讀寫，用于解析的信息格式壓縮，內(nèi)存占用小，傳輸速度快，對JSON的解析效率高。在存取速度上，JSON是XML的2.3倍左右，而JSON文件的大小則為XML文件的[12]左右[5?6]。

表1 JSON與XML格式對比

2 系統(tǒng)的總體結(jié)構(gòu)

對于多數(shù)分布式測控系統(tǒng)而言，基于ZeroMQ和JSON的測控技術(shù)更加容易實(shí)現(xiàn)系統(tǒng)功能的集成。下面以一個(gè)具有普遍意義的分布式測控系統(tǒng)為例，介紹這種系統(tǒng)集成方法的應(yīng)用。

整個(gè)測控系統(tǒng)體系結(jié)構(gòu)如圖3所示，根據(jù)功能分成4個(gè)層次：

（1） 物理設(shè)備層：負(fù)責(zé)現(xiàn)場數(shù)據(jù)（模擬量、數(shù)字量、圖像）采集以及預(yù)處理、接受控制指令輸出控制量（模擬量、開關(guān)量等），主要包括數(shù)據(jù)采集器、

傳感器節(jié)點(diǎn)、控制器節(jié)點(diǎn)、接口板和攝像頭組成，由支持嵌入式操作系統(tǒng)的嵌入式CPU、存儲(chǔ)單元、網(wǎng)絡(luò)通信單元、傳感器和相關(guān)總線接口組成。

（2） 操作系統(tǒng)層：在裁剪并移植操作系統(tǒng)的基礎(chǔ)上，利用其提供的多進(jìn)/線程機(jī)制、網(wǎng)絡(luò)通信協(xié)議棧，通過移植相關(guān)的嵌入式數(shù)據(jù)庫、ZeroMQ和JSON等開源軟件庫，完成相關(guān)監(jiān)控軟件的開發(fā)，包括：數(shù)據(jù)采集與處理、數(shù)據(jù)存儲(chǔ)、控制量輸出和遠(yuǎn)程數(shù)據(jù)/指令傳輸。

（3） 分布式平臺(tái)的中間件層：基于ZeroMQ和JSON機(jī)制，由消息管理模塊、鏈路搜索模塊和群組管理模塊組成，構(gòu)成一個(gè)分布式的通信網(wǎng)絡(luò)的通信接入服務(wù)器。該服務(wù)器作為TCP/IP通信的服務(wù)器端，通過ZeroMQ的發(fā)布/訂閱模型，與物理設(shè)備層模塊、基礎(chǔ)組件層模塊通信，負(fù)責(zé)接收、分發(fā)和應(yīng)答這兩層中模塊的消息，為了在不同平臺(tái)之間進(jìn)行數(shù)據(jù)交換，通過JSON機(jī)制對命令、數(shù)據(jù)報(bào)文進(jìn)行封裝。

圖3 分布式測控系統(tǒng)結(jié)構(gòu)示意圖

（4） 基礎(chǔ)設(shè)施組件層：用戶應(yīng)用平臺(tái)，由各種顯示組件、輸入/輸出、控制策略、Web組件和數(shù)據(jù)庫組件構(gòu)成，以圖形化界面實(shí)現(xiàn)與分布式測控系統(tǒng)的交互。

如圖4所示，每一層由實(shí)體（物理硬件或軟件）組成并進(jìn)行封裝和抽象，上層能夠接受下層提供的服務(wù)，并通過封裝能向上層提供增值服務(wù)[7]。

圖4 基于ZeroMQ和JSON集成的分布式測控系統(tǒng)模塊

3 系統(tǒng)的通信模型實(shí)現(xiàn)

在分布式測控系統(tǒng)中，由于參與測控的各個(gè)物理設(shè)備分布在不同的節(jié)點(diǎn)中，需要建立一條從一個(gè)信號源端點(diǎn)到一個(gè)或多個(gè)控制節(jié)點(diǎn)的、虛擬的、邏輯的、非物理電路連接的數(shù)據(jù)傳輸通道，可以抽象的認(rèn)為是一條信息管道。分布式測控系統(tǒng)的信息集成就是根據(jù)測控系統(tǒng)的功能要求，用若干條虛擬的信息管道將系統(tǒng)各節(jié)點(diǎn)中的相關(guān)信息端點(diǎn)在邏輯上連接起來，從而實(shí)現(xiàn)分布式測控系統(tǒng)的信息集成[8]。通信服務(wù)是整個(gè)分布式測控系統(tǒng)的信息入口，消息中間件是分布式消息系統(tǒng)的核心。借助“異步處理”、“保存并轉(zhuǎn)發(fā)”及“保證傳送”機(jī)制，消息中間件為通信服務(wù)穩(wěn)定高效的運(yùn)行提供了有力的支持。

3.1 基于ZeroMQ分布式消息服務(wù)

ZeroMQ的實(shí)現(xiàn)就是提供一個(gè)運(yùn)行在代理服務(wù)器上的通知服務(wù)以及一組支持客戶端應(yīng)用開發(fā)與運(yùn)行的接口庫。面向?qū)ο笾虚g件能夠屏蔽底層分布環(huán)境的復(fù)雜性和異構(gòu)性，實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)環(huán)境下的分布應(yīng)用軟件之間的互連、互通和互操作，提高系統(tǒng)的可移植性。分布式消息系統(tǒng)服務(wù)采用ZeroMQ提供的REQ?REP模式、PUB?SUB模式來支持不同的消息傳輸方式：

REQ?REP模式：由請求端（REQ）發(fā)起請求，并等待回應(yīng)端（REP）響應(yīng)請求，該模式是一個(gè)同步的雙向通信，應(yīng)用于數(shù)據(jù)采集、控制輸出等實(shí)時(shí)性要求高的通信上。

PUB?SUB模式：發(fā)布端（PUB）是單向發(fā)送消息，訂閱端（SUB）則只負(fù)責(zé)接收消息，中間不能反饋，PUB和SUB可以是1∶N，如圖5所示。如果訂閱端連接成功，ZeroMQ會(huì)確保發(fā)布端發(fā)布的信息不會(huì)丟失。該模式是一個(gè)異步的通信，應(yīng)用于命令發(fā)布，數(shù)據(jù)顯示等一般性的通信上。

使用PUB?SUB模式，消息的生產(chǎn)者和消費(fèi)者之間沒有耦合，訂閱者和發(fā)布者可以在運(yùn)行時(shí)動(dòng)態(tài)添加，不干擾各子系統(tǒng)正常運(yùn)行。由于指令具有強(qiáng)制執(zhí)行性，需要確保指令的接收者能夠接收到數(shù)據(jù)，這就需要用到REQ?REP的消息隊(duì)列模式。

圖5 ZeroMQ提供的PUB?SUB模式和REQ?REP模式

3.2 分布式測控系統(tǒng)通信架構(gòu)

一個(gè)完整的消息系統(tǒng)可以稱為一個(gè)“消息網(wǎng)”，網(wǎng)內(nèi)包含不同的節(jié)點(diǎn)，這些節(jié)點(diǎn)分布在不同主機(jī)的不同進(jìn)程中。通信架構(gòu)圖如圖6所示。

在整個(gè)系統(tǒng)的消息通信架構(gòu)中，最重要的就是消息管理，該模塊負(fù)責(zé)和節(jié)點(diǎn)端系統(tǒng)通信，作為TCP/IP通信的服務(wù)器端。

負(fù)責(zé)接收各種節(jié)點(diǎn)端的消息，并利用信號源管理模塊中的信號源節(jié)點(diǎn)和顯示組件節(jié)點(diǎn)、控制節(jié)點(diǎn)之間的對應(yīng)關(guān)系，分送客戶端消息到PC架構(gòu)子系統(tǒng)，分布式子系統(tǒng)，和總線式子系統(tǒng)中去。具體功能包括：

（1） TCP通信服務(wù)器：利用ZeroMQ提供的發(fā)布/訂閱模式負(fù)責(zé)和客戶機(jī)通信，具有靈活的可擴(kuò)展機(jī)制；

（2） JSON協(xié)議適配器：負(fù)責(zé)將節(jié)點(diǎn)端過來的JSON指令解析成各種調(diào)用，并將結(jié)果數(shù)據(jù)JSON傳送給TCP服務(wù)器分發(fā)給節(jié)點(diǎn)端；

（3） 消息分發(fā)處理：根據(jù)消息類型經(jīng)適配器轉(zhuǎn)換后，對群組信息進(jìn)行搜索得到最短路徑，向其他各種組件分發(fā)的控制指令/數(shù)據(jù)。

在分布式測控系統(tǒng)中一次典型的消息通信過程如下：首先，客戶端組、數(shù)據(jù)庫組件、控制臺(tái)組、信號源組、控制組、控制器組合顯示組訂閱到消息系統(tǒng)中；其次，由客戶端“發(fā)布”建立一條從信號源——控制策略——輸入/輸出——到控制節(jié)點(diǎn)鏈路的指令，各群組組件“訂閱”到這個(gè)指令后，創(chuàng)建各自的線程，在線程中根據(jù)傳入的IP地址和端口號建立相應(yīng)的通信連接；最后，控制臺(tái)組件根據(jù)從信號源“訂閱”到的傳感器監(jiān)測數(shù)據(jù)，依據(jù)設(shè)定的控制策略，與控制節(jié)點(diǎn)進(jìn)行“請求/響應(yīng)”通信，控制節(jié)點(diǎn)按照指令進(jìn)行有效的控制。

為了測試整個(gè)消息系統(tǒng)的性能，在1 Gb Ethernet網(wǎng)絡(luò)環(huán)境下，通過服務(wù)器連續(xù)“發(fā)布”JSON封裝的、長度為100個(gè)字節(jié)的“命令”指令1 000 000條，各群組組件全部成功的“訂閱”，沒有發(fā)生“命令”丟失現(xiàn)象，平均延時(shí)<10 μs，滿足系統(tǒng)的實(shí)時(shí)性要求；在攝像頭采集、傳送和顯示組件顯示一幀D1圖像（702×576），平均延時(shí)大約<20 ms，滿足視頻實(shí)時(shí)傳輸顯示要求，全部的測試結(jié)果驗(yàn)證了消息系統(tǒng)的高效性。

4 結(jié) 論

本研究結(jié)合傳感器網(wǎng)絡(luò)、嵌入式計(jì)算、分布式信息處理、網(wǎng)絡(luò)通信等先進(jìn)技術(shù)，本文創(chuàng)新之處在于提出了一種基于消息中間件的測控網(wǎng)絡(luò)中的消息通信架構(gòu)，提高了通信系統(tǒng)的消息傳遞能力、系統(tǒng)的穩(wěn)定性和數(shù)據(jù)的安全性。

通過在各節(jié)點(diǎn)之間建立虛擬信息管道，實(shí)現(xiàn)具體物理連接鏈路節(jié)點(diǎn)信息集成，采用該消息通信架構(gòu)的分布式測控網(wǎng)絡(luò)具有智能化、適應(yīng)不同環(huán)境要求、可靠性好、效率高和易于擴(kuò)展等特點(diǎn)， 可滿足多種不同環(huán)境的工業(yè)測控任務(wù)要求，具有良好的應(yīng)用前景。

參考文獻(xiàn)

[1] 李易民，凌捷.安全消息中間件的設(shè)計(jì)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2011，32（6）：1934?1937.

[2] 蒲鳳平，陳建政.基于ZeroMQ的分布式系統(tǒng)[J].電子測試，2012（7）：24?29，33.

[3] HINTJENS Pieter. Code connected volume 1，learning ZeroMQ [EB/OL]. [2013?07?27]. http：//www.ppurl.com/2013/07/code?connected?volume?1?learning?zeromq.

[4] Julien. ActiveMQ or RabbitMQ or ZeroMQ or ActiveMQ [EB/OL]. [2009?04?08]. http：//stackoverflow.com/questions.

[5] 陳京，陳容紅，江志農(nóng).設(shè)備故障監(jiān)測診斷平臺(tái)多語言技術(shù)研究[J].電子設(shè)計(jì)工程，2012，20（11）： 5?7，11.

[6] 高靜，段會(huì)川.JSON數(shù)據(jù)傳輸效率研究[J].計(jì)算機(jī)工程與設(shè)計(jì)，2011，32（7）：2267?2270.

[7] 易勇，曾家智，古天祥.實(shí)時(shí)構(gòu)架的分布式測控系統(tǒng)[J].電子測量與儀器學(xué)報(bào)，2006，20（3）：75?79.

[8] 陳非凡.基于信息管道技術(shù)的分布式測控系統(tǒng)集成方法[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2010（8）：1229?1233.