杜文良

摘要：在高速公路實(shí)現(xiàn)取消省界站后，行車計(jì)費(fèi)、收費(fèi)均實(shí)現(xiàn)無人值守，需要對(duì)高速公路上的機(jī)電設(shè)備和收費(fèi)系統(tǒng)運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)。文章介紹了高速公路運(yùn)行監(jiān)測(cè)系統(tǒng)的功能架構(gòu)，闡述了如何通過RabbitMQ消息中間件接收門架、車道“心跳”數(shù)據(jù)，并從oracle業(yè)務(wù)表中同步交易數(shù)據(jù)到Solr數(shù)據(jù)庫，實(shí)現(xiàn)數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計(jì)、界面展示功能。

關(guān)鍵詞：高速公路;運(yùn)行監(jiān)測(cè)系統(tǒng);數(shù)據(jù)統(tǒng)計(jì)

0 引言

全國高速公路撤消省界收費(fèi)站后，在高速公路上存在交通量變化的路段架設(shè)門架，實(shí)現(xiàn)各個(gè)路段的費(fèi)用由路段中的門架進(jìn)行計(jì)費(fèi)處理。由于門架無人值守，因此需要實(shí)時(shí)監(jiān)控門架的運(yùn)行情況，包括收費(fèi)情況、軟件版本、費(fèi)率版本、車牌識(shí)別率等參數(shù)的監(jiān)控，對(duì)出現(xiàn)問題的設(shè)備應(yīng)能及時(shí)反饋。由于門架數(shù)量多，且交易數(shù)量非常大，需要上傳大量的監(jiān)控指標(biāo)。對(duì)于實(shí)時(shí)上傳的監(jiān)控?cái)?shù)據(jù)需要及時(shí)存儲(chǔ)和處理，并進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，以反映各個(gè)門架、收費(fèi)車道系統(tǒng)運(yùn)行指標(biāo)情況。本文闡述了如何通過RabbitMQ消息中間件接收門架、車道“心跳”數(shù)據(jù)，并從oracle業(yè)務(wù)表中同步交易數(shù)據(jù)到Solr數(shù)據(jù)庫，實(shí)現(xiàn)數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計(jì)、界面展示功能。

1 系統(tǒng)架構(gòu)

系統(tǒng)由門架工控機(jī)、車道工控機(jī)、機(jī)柜動(dòng)環(huán)監(jiān)控工控機(jī)等本地?cái)?shù)據(jù)采集模塊、省數(shù)據(jù)匯聚中心、監(jiān)測(cè)系統(tǒng)后臺(tái)、界面展示等子模塊構(gòu)成。門架工控機(jī)和車道收費(fèi)工控機(jī)的心跳數(shù)據(jù)、門架機(jī)柜動(dòng)環(huán)監(jiān)控系統(tǒng)的設(shè)備狀態(tài)數(shù)據(jù)由本地程序進(jìn)行收集，并打包成JSON格式，通過非對(duì)稱方式加密、添加MD5信息摘要后，通過http協(xié)議上傳至省數(shù)據(jù)匯聚中心，然后再分發(fā)到運(yùn)行監(jiān)測(cè)系統(tǒng)、稽查系統(tǒng)等模塊，由各個(gè)子系統(tǒng)進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行處理分析。由于高速公路上的門架、車道數(shù)量眾多，并且需要實(shí)時(shí)上傳“心跳”數(shù)據(jù)、動(dòng)環(huán)監(jiān)控?cái)?shù)據(jù)、交易信息匯總數(shù)據(jù)等，會(huì)產(chǎn)生海量的并發(fā)連接，因此需要用消息隊(duì)列對(duì)接收的數(shù)據(jù)進(jìn)行緩存，并采用多線程對(duì)隊(duì)列中的數(shù)據(jù)進(jìn)行消費(fèi)處理。在數(shù)據(jù)統(tǒng)計(jì)模塊中，由于每分鐘要對(duì)上千萬條數(shù)據(jù)進(jìn)行匯總分析，傳統(tǒng)的關(guān)系型數(shù)據(jù)不足以支撐這么大的運(yùn)算量，需要采用Solr進(jìn)行數(shù)據(jù)存儲(chǔ)和分析，分析結(jié)果再發(fā)送給前端界面展示模塊。

系統(tǒng)架構(gòu)如下頁圖1所示。

2 數(shù)據(jù)采集和上傳模塊

需要采集的數(shù)據(jù)包括設(shè)備運(yùn)行情況、軟件版本、費(fèi)率版本、交易成功率等參數(shù)，有多層對(duì)象嵌套的需求，結(jié)構(gòu)復(fù)雜，因此本方案采用JSON格式對(duì)上傳的數(shù)據(jù)進(jìn)行封裝。為了使系統(tǒng)更安全可靠地傳輸數(shù)據(jù)，采用效率高的對(duì)稱加密算法對(duì)大量數(shù)據(jù)進(jìn)行加密。同時(shí)，為了保證通信數(shù)據(jù)的完整性，采用MD5對(duì)數(shù)據(jù)進(jìn)行簽名。

考慮到各種數(shù)據(jù)類型的重要程度、獲取方式不同，對(duì)各類數(shù)據(jù)采集時(shí)間和上傳時(shí)間間隔分別用不同方案。如工控機(jī)狀態(tài)數(shù)據(jù)、動(dòng)環(huán)監(jiān)測(cè)數(shù)據(jù)，采用固定時(shí)間間隔去采集;對(duì)于交易數(shù)據(jù)，則把每次交易數(shù)據(jù)進(jìn)行記錄[1]。

為了解決動(dòng)態(tài)擴(kuò)展連接并發(fā)量的問題，省匯聚中心采用nginx負(fù)載均衡接收上傳數(shù)據(jù)，并分發(fā)到各個(gè)子系統(tǒng)。

3 消息中間件

由于全省高速公路門架和收費(fèi)車道工控機(jī)數(shù)量多，需要頻繁的采集設(shè)備“心跳”數(shù)據(jù)、動(dòng)環(huán)監(jiān)控?cái)?shù)據(jù)和交易數(shù)據(jù)等并上傳中心平臺(tái)。為了不至于在訪問高峰期造成后臺(tái)應(yīng)用程序性能過載，采用消息隊(duì)列實(shí)現(xiàn)上傳數(shù)據(jù)的緩存。設(shè)計(jì)采用RabbitMQ作為項(xiàng)目的消息中間件，它是一個(gè)開源的消息中間件，可以接受、存儲(chǔ)和轉(zhuǎn)發(fā)二進(jìn)制的數(shù)據(jù)消息塊。

首先在運(yùn)行監(jiān)測(cè)系統(tǒng)后端編寫一個(gè)發(fā)送消息的程序，作為生產(chǎn)者;再編寫一個(gè)消息消費(fèi)者，消費(fèi)者是一個(gè)等待接收消息的程序。前端上傳的設(shè)備“心跳”數(shù)據(jù)，經(jīng)過省匯聚中心后，發(fā)送到消息隊(duì)列的生產(chǎn)者端，消費(fèi)者嘗試從隊(duì)列接收數(shù)據(jù)。根據(jù)數(shù)據(jù)并發(fā)量和主機(jī)性能情況，應(yīng)用程序可以既是生產(chǎn)者又是消費(fèi)者，也可以部署在不同主機(jī)上。由于應(yīng)用程序采用Java語言開發(fā)，因此消息應(yīng)用采用Java客戶端接口。首先需要導(dǎo)入相關(guān)類，設(shè)置類并命名隊(duì)列;然后創(chuàng)建到服務(wù)器的連接，處理協(xié)議版本協(xié)商和身份驗(yàn)證等。額外的DefaultConsumer是一個(gè)實(shí)現(xiàn)消費(fèi)者接口的類，將使用它來緩沖服務(wù)器推送來的消息。因?yàn)榉?wù)器將異步地推送消息，所以我們以對(duì)象的形式提供一個(gè)回調(diào)（DeliverCallback），它將緩沖消息，直到應(yīng)用程序準(zhǔn)備好使用它們，由此完成消息中間件接口程序的設(shè)計(jì)。

4 數(shù)據(jù)存儲(chǔ)方案

有兩種數(shù)據(jù)源的數(shù)據(jù)需要存儲(chǔ)到系統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)分析模塊數(shù)據(jù)庫，一個(gè)是前端門架和收費(fèi)車道相關(guān)應(yīng)用程序上傳的“心跳”數(shù)據(jù)、動(dòng)環(huán)數(shù)據(jù)等，另一個(gè)是ORACLE業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)定期同步。由于監(jiān)控設(shè)備“心跳”數(shù)據(jù)、動(dòng)環(huán)檢測(cè)數(shù)據(jù)以及其它的監(jiān)測(cè)數(shù)據(jù)屬于不會(huì)變動(dòng)的靜態(tài)數(shù)據(jù)，因此只作為數(shù)據(jù)統(tǒng)計(jì)、分析之用。而本設(shè)計(jì)需要項(xiàng)目中實(shí)現(xiàn)全文搜索、命中高亮顯示、分面搜索、動(dòng)態(tài)集群、數(shù)據(jù)庫集成等功能，經(jīng)過綜合分析，Solr是流行的、快速的開源NoSQL搜索平臺(tái)，符合系統(tǒng)對(duì)數(shù)據(jù)存儲(chǔ)平臺(tái)的要求，因此本設(shè)計(jì)方案采用Solr存儲(chǔ)方案。

將Solr部署在Linux系統(tǒng)上，JDK需要安裝Java8或更高版本上[2]。因?yàn)镾olr的基本信息單位是一個(gè)文檔，它是描述某物的一組數(shù)據(jù)。文檔由字段組成，字段是更具體的信息片段。我們根據(jù)上傳的JSON數(shù)據(jù)，定義數(shù)據(jù)的相應(yīng)字段類型，使得Solr能夠正確地解釋字段和查詢字段。有多種將數(shù)據(jù)加載到Solr的方法，由于本方案采用Java作為后臺(tái)開發(fā)語言，因此采用Java客戶端API編寫自定義Java應(yīng)用程序來獲取數(shù)據(jù)。

5 界面展示

設(shè)備狀態(tài)數(shù)據(jù)、數(shù)據(jù)指標(biāo)和分析結(jié)果在前端界面進(jìn)行展示。

5.1 大屏系統(tǒng)

主要是在用戶監(jiān)控大屏上顯示各個(gè)門架和收費(fèi)站在GIS地圖上的位置圖標(biāo)。地圖上只顯示用戶具有權(quán)限的門架和站點(diǎn)數(shù)據(jù)，點(diǎn)擊相應(yīng)圖標(biāo)，可以進(jìn)入詳情頁，查看具體門架和收費(fèi)車道的各項(xiàng)分析數(shù)據(jù)。可以在系統(tǒng)配置項(xiàng)中配置各個(gè)數(shù)據(jù)的告警閾值，如果某項(xiàng)數(shù)據(jù)達(dá)到告警閾值范圍，則該門架或者收費(fèi)車道的圖標(biāo)顯示為紅色，并在詳情頁顯示告警原因。系統(tǒng)應(yīng)及時(shí)將后端告警及時(shí)反饋到前端界面，由于數(shù)據(jù)量巨大，如果使用html頁面定時(shí)向后臺(tái)請(qǐng)求告警數(shù)據(jù)以對(duì)界面數(shù)據(jù)進(jìn)行更新，這將耗費(fèi)大量的網(wǎng)絡(luò)帶寬，并且對(duì)服務(wù)后臺(tái)和數(shù)據(jù)庫造成巨大性能損耗。因此設(shè)計(jì)采用WebSocket協(xié)議實(shí)現(xiàn)前端html和后臺(tái)系統(tǒng)建立可以雙向通信的通道，后臺(tái)把更新的告警數(shù)據(jù)主動(dòng)發(fā)送到前端界面，如果數(shù)據(jù)沒有變化，則不需要發(fā)送。

5.2 統(tǒng)計(jì)報(bào)表

功能項(xiàng)包括ETC交易統(tǒng)計(jì)、CPC卡計(jì)費(fèi)統(tǒng)計(jì)、車牌識(shí)別統(tǒng)計(jì)、OBU交易統(tǒng)計(jì)、門架天線統(tǒng)計(jì)等項(xiàng)。為了更生動(dòng)展示各項(xiàng)數(shù)據(jù)指標(biāo)，采用開源JS框架-ECharts實(shí)現(xiàn)以柱狀圖、折線圖、餅圖、氣泡圖及四象限圖等圖表的形式展現(xiàn)各項(xiàng)數(shù)據(jù)。設(shè)計(jì)報(bào)表打印功能模塊，用戶可以根據(jù)需要，對(duì)報(bào)表進(jìn)行樣式定義并打印輸出。

5.3 系統(tǒng)配置

功能項(xiàng)包括設(shè)備維護(hù)、閾值管理、用戶權(quán)限等。設(shè)備維護(hù)可以通過添加中心機(jī)房重要的核心交換機(jī)、服務(wù)器等設(shè)備的連接信息，獲取該設(shè)備的狀態(tài)數(shù)據(jù)。閾值管理是對(duì)設(shè)備狀態(tài)數(shù)據(jù)、各項(xiàng)交易指標(biāo)等采用正則表達(dá)式定義告警的方式，并設(shè)置告警的范圍。用戶權(quán)限可以配置用戶屬于哪個(gè)組織架構(gòu)，以及登錄信息、角色、權(quán)限等。用戶以相應(yīng)的賬戶登錄后，只能看到所屬組織架構(gòu)的路段信息。

6 系統(tǒng)測(cè)試

前端編寫模擬客戶端發(fā)送等同實(shí)際生產(chǎn)環(huán)境中大小JSON數(shù)據(jù)的程序，再采用10臺(tái)計(jì)算機(jī)，每臺(tái)計(jì)算機(jī)分別開啟1000個(gè)線程同時(shí)運(yùn)行數(shù)據(jù)發(fā)送測(cè)試程序，發(fā)送數(shù)據(jù)的間隔為1min。同時(shí)部署兩臺(tái)RabbitMQ的消息服務(wù)器，并配置了負(fù)載均衡，進(jìn)行消息接收和分發(fā)。采用一臺(tái)計(jì)算機(jī)作為后臺(tái)邏輯處理服務(wù)器對(duì)消息進(jìn)行消費(fèi)和處理，其上開啟4個(gè)線程消費(fèi)消息，對(duì)JSON數(shù)據(jù)進(jìn)行解析后存入Solr數(shù)據(jù)庫，Solr部署在另外一臺(tái)獨(dú)立服務(wù)器上。

經(jīng)過24h平均每分鐘10000個(gè)并發(fā)訪問量的測(cè)試，服務(wù)端數(shù)據(jù)接收正常，RabbitMQ的消息能夠被及時(shí)消費(fèi)，并存入Solr數(shù)據(jù)庫，并沒有數(shù)據(jù)過載或積累現(xiàn)象。同時(shí)在Solr數(shù)據(jù)庫中插入1000萬條數(shù)據(jù)，并對(duì)該數(shù)據(jù)集進(jìn)行聚合統(tǒng)計(jì)實(shí)驗(yàn)，響應(yīng)時(shí)間均在2s以內(nèi)，完全滿足系統(tǒng)需求。

7 結(jié)語

在高速公路取消省界收費(fèi)站后，行車計(jì)費(fèi)、收費(fèi)均實(shí)現(xiàn)無人值守，提高了高速公路機(jī)電系統(tǒng)智能化水平。但是，機(jī)電設(shè)備故障后，如果不能及時(shí)修復(fù)，對(duì)高速公路收費(fèi)系統(tǒng)的運(yùn)行影響巨大，因此，需要對(duì)高速公路上的機(jī)電設(shè)備和收費(fèi)系統(tǒng)運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)。高速公路運(yùn)行監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)和應(yīng)用，將會(huì)為廣西高速公路機(jī)電運(yùn)行狀況和收費(fèi)系統(tǒng)運(yùn)行的監(jiān)控、運(yùn)維提供有力的保障。

參考文獻(xiàn)：

[1]邵 娟.城市道路智能電子收費(fèi)技術(shù)標(biāo)準(zhǔn)體系研究[C].中國城市規(guī)劃學(xué)會(huì)城市交通規(guī)劃學(xué)術(shù)委員會(huì).創(chuàng)新驅(qū)動(dòng)與智慧發(fā)展——2018年中國城市交通規(guī)劃年會(huì)論文集.中國城市規(guī)劃學(xué)會(huì)城市交通規(guī)劃學(xué)術(shù)委員會(huì)：中國城市規(guī)劃設(shè)計(jì)研究院城市交通專業(yè)研究院，2018.

[2]鄭賀元.基于Solr技術(shù)的專利檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].石家莊：河北科技大學(xué)，2019.