張世賢, 張少春, 謝曉東

1(泉州時(shí)刻防盜電子有限責(zé)任公司, 泉州 362212)

2(華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 廈門 361021)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展, 各種監(jiān)控設(shè)備, 如監(jiān)控?cái)z像頭、網(wǎng)絡(luò)攝像機(jī)、環(huán)境監(jiān)測(cè)設(shè)備、氣象數(shù)據(jù)采集設(shè)備、水文數(shù)據(jù)采集設(shè)備等得到了廣泛的應(yīng)用[1-3]. 這些監(jiān)控設(shè)備可以自動(dòng)采集數(shù)據(jù)并通過網(wǎng)絡(luò)實(shí)時(shí)上傳, 節(jié)省了大量的人力物力, 提供更高的覆蓋范圍和精度, 給生活和工作帶來了很大方便, 在各個(gè)行業(yè)都有不可替代的作用.

然而規(guī)模龐大的監(jiān)控設(shè)備給運(yùn)行維護(hù)帶來了巨大的挑戰(zhàn)和沉重的壓力. 監(jiān)控設(shè)備使用環(huán)境一般比較惡劣, 容易損壞； 維護(hù)和替換的代價(jià)較高[4]. 設(shè)備散布在廣闊的城鄉(xiāng), 很多安裝地點(diǎn)偏僻, 維護(hù)工作強(qiáng)度大, 維護(hù)時(shí)間和代價(jià)巨大. 此外, 當(dāng)監(jiān)控設(shè)備離線時(shí), 很難判斷故障原因是供電故障還是網(wǎng)絡(luò)故障, 無法精準(zhǔn)維護(hù). 實(shí)踐中, 大量故障只需斷電重啟即可排除, 卻需要花費(fèi)大量時(shí)間和代價(jià)到現(xiàn)場(chǎng)解決. 因此, 監(jiān)控設(shè)備運(yùn)行狀態(tài)的監(jiān)控, 以及故障原因的快速定位, 簡(jiǎn)單故障的遠(yuǎn)程排除等, 成為亟需解決的問題.

當(dāng)前現(xiàn)有的運(yùn)維管理平臺(tái)[5-9]存在以下不足:(1)前端狀態(tài)采集裝置和監(jiān)控運(yùn)維管理平臺(tái)不具有通用性, 不能應(yīng)用到其他類型或其他廠家的監(jiān)控設(shè)備上,也不能對(duì)已有設(shè)備升級(jí). (2)產(chǎn)品沒有進(jìn)行冗余設(shè)計(jì),安全性可靠性不足. (3)監(jiān)控運(yùn)維管理平臺(tái)性能不足,可同時(shí)管理的監(jiān)控設(shè)備數(shù)量有限.

針對(duì)上述不足, 我們研發(fā)了基于InfluxDB的通用監(jiān)控設(shè)備運(yùn)維管理平臺(tái), 平臺(tái)主體包括狀態(tài)采集裝置、運(yùn)維管理系統(tǒng)、運(yùn)維人員移動(dòng)終端APP以及可視化展示系統(tǒng)等4個(gè)部分.

狀態(tài)采集裝置安裝在前端監(jiān)控設(shè)備的監(jiān)控箱中,采集監(jiān)控設(shè)備的各種運(yùn)行狀態(tài)信息, 并將信息發(fā)送給運(yùn)維管理平臺(tái). 狀態(tài)采集裝置具有通用性、可擴(kuò)展性、高可靠性和易維護(hù)性.

運(yùn)維管理系統(tǒng)接收、存儲(chǔ)、管理從采集裝置收到的運(yùn)行狀態(tài)數(shù)據(jù). 由于監(jiān)控設(shè)備的狀態(tài)數(shù)據(jù)具有鮮明的時(shí)序數(shù)據(jù)特征, 使用傳統(tǒng)的關(guān)系數(shù)據(jù)庫在存儲(chǔ)空間、查詢速度和可靠性方面難以滿足需求. 本系統(tǒng)使用了InfluxDB存儲(chǔ)時(shí)序數(shù)據(jù), 其他業(yè)務(wù)數(shù)據(jù)使用MySQL存儲(chǔ).

運(yùn)維人員通過移動(dòng)終端APP獲得維修工單； 并可以在現(xiàn)場(chǎng)通過WiFi連接到狀態(tài)采集裝置進(jìn)行測(cè)試和操作. 可視化展示系統(tǒng)對(duì)監(jiān)控運(yùn)維數(shù)據(jù)進(jìn)行可視化渲染呈現(xiàn), 為系統(tǒng)的運(yùn)維提供智能化的支持.

基于InfluxDB的通用監(jiān)控設(shè)備運(yùn)維管理平臺(tái)為監(jiān)控設(shè)備的運(yùn)維提供一個(gè)更加智能、低廉、高效的解決方案, 解決監(jiān)控設(shè)備故障定位困難, 運(yùn)維成本高昂的問題, 改變目前監(jiān)控設(shè)備運(yùn)行維護(hù)模式. 目前已有部分用戶部署試用. 平臺(tái)運(yùn)行狀況良好, 能支持大量監(jiān)控設(shè)備的運(yùn)維管理工作, 展現(xiàn)出了良好的經(jīng)濟(jì)社會(huì)效益和市場(chǎng)前景.

1 系統(tǒng)架構(gòu)

基于InfluxDB的通用監(jiān)控設(shè)備運(yùn)維管理平臺(tái)的體系結(jié)構(gòu)如圖1所示. 其中狀態(tài)采集裝置能采集監(jiān)控設(shè)備的供電情況、網(wǎng)絡(luò)狀態(tài)等支持和影響設(shè)備正常工作的基本狀態(tài)信息； 能遠(yuǎn)程進(jìn)行設(shè)備的重啟操作, 以排除設(shè)備的簡(jiǎn)單故障. 狀態(tài)采集裝置具有很好的可擴(kuò)展性, 能夠根據(jù)不同的監(jiān)控需求進(jìn)行擴(kuò)展, 如接入各種不同類型的傳感器, 采集多種運(yùn)行狀態(tài)相關(guān)數(shù)據(jù), 如溫度、濕度等. 狀態(tài)采集裝置體積小巧, 能輕易地安裝在大多數(shù)監(jiān)控箱中； 提供了基于移動(dòng)設(shè)備的設(shè)備配置和管理功能； 在自身電源、網(wǎng)絡(luò)方面進(jìn)行冗余設(shè)計(jì), 安全可靠, 能在各種惡劣極端的環(huán)境下工作, 能在各種情況下有效可靠地發(fā)回信息.

圖1 體系結(jié)構(gòu)示意圖

運(yùn)維管理系統(tǒng)接收采集裝置發(fā)來的運(yùn)行狀態(tài)數(shù)據(jù)并及時(shí)處理和存儲(chǔ)； 能對(duì)故障自動(dòng)識(shí)別, 自動(dòng)報(bào)警, 自動(dòng)定位故障位置及故障類型； 為維修人員提供設(shè)備報(bào)修、情況錄入、跟蹤、問題流轉(zhuǎn)、結(jié)果反饋等流程管理； 為業(yè)務(wù)人員提供查看重點(diǎn)設(shè)備歷史運(yùn)行狀況和歷史故障信息的功能. 運(yùn)維管理系統(tǒng)融合了關(guān)系數(shù)據(jù)庫MySQL和時(shí)序數(shù)據(jù)庫InfluxDB, 能有效地支持大規(guī)模采集裝置的日常運(yùn)行.

可視化展示系統(tǒng)對(duì)大量的監(jiān)控設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行可視化渲染和呈現(xiàn), 能有效地展示整個(gè)監(jiān)控平臺(tái)的運(yùn)行狀態(tài), 便于管理人員從整體上把握系統(tǒng)運(yùn)行態(tài)勢(shì), 為系統(tǒng)的運(yùn)維提供智能化的支持.

運(yùn)維人員移動(dòng)端APP可以接收到運(yùn)維管理系統(tǒng)發(fā)來的維護(hù)工單； 可以方便查詢到將要維護(hù)的設(shè)備種類型號(hào)、故障類型預(yù)測(cè)、維護(hù)物料清單等內(nèi)容； 可以通過藍(lán)牙或WiFi等遠(yuǎn)程接口連接到狀態(tài)監(jiān)控器, 進(jìn)行遙控重啟、遠(yuǎn)程測(cè)試、操控等工作, 能極大減輕維護(hù)的工作量.

2 關(guān)鍵技術(shù)

2.1 通用高可靠的狀態(tài)采集裝置

如圖2所示, 前端狀態(tài)數(shù)據(jù)采集裝置由3部分功能模塊組成: 狀態(tài)數(shù)據(jù)采集模塊、通信模塊、電源管理模塊.

圖2 前端狀態(tài)采集裝置模塊結(jié)構(gòu)示意圖

狀態(tài)數(shù)據(jù)采集模塊能接入各類傳感器, 用于采集監(jiān)控設(shè)備的各種狀態(tài)信號(hào), 如: 電源、網(wǎng)絡(luò)、門磁、補(bǔ)光燈、溫度/濕度傳感器等. 此外還允許通過485總線協(xié)議接入其他種類的傳感器信號(hào), 便于設(shè)備在不同的系統(tǒng)和設(shè)備中使用, 具有很高的通用性和可擴(kuò)展性.

通信模塊有多種通信方式, 其中在監(jiān)控設(shè)備正常工作的情況下可以通過有線網(wǎng)與運(yùn)維管理系統(tǒng)相連；當(dāng)有線網(wǎng)中斷, 且導(dǎo)致監(jiān)控設(shè)備不能正常工作的情況下, 可以通過無線網(wǎng)絡(luò)(4G或NB IOT)與運(yùn)維管理系統(tǒng)相連, 并發(fā)送報(bào)警信息. 此外, 設(shè)備還可以通過WiFi模塊與運(yùn)維人員的移動(dòng)設(shè)備相連, 便于運(yùn)維人員進(jìn)行配置和管理.

電源管理模塊的功能是: 當(dāng)監(jiān)控設(shè)備正常工作的情況下, 狀態(tài)采集裝置本身也使用市電供電； 當(dāng)監(jiān)控設(shè)備出現(xiàn)故障, 運(yùn)行運(yùn)維人員遠(yuǎn)程控制電源重啟, 以排除一些簡(jiǎn)單的故障； 當(dāng)監(jiān)控設(shè)備的供電出現(xiàn)問題時(shí), 前端狀態(tài)采集裝置本身可利用鋰電池進(jìn)行供電, 保證監(jiān)控設(shè)備的故障信息及時(shí)可靠地上報(bào).

狀態(tài)采集裝置在通信和電源兩個(gè)模塊上進(jìn)行了冗余設(shè)計(jì), 充分考慮了在極端情況下的工作需求. 使得數(shù)據(jù)采集裝置在監(jiān)控設(shè)備斷網(wǎng)斷電的情況下仍然能夠正常功能, 采集并發(fā)送數(shù)據(jù)到運(yùn)維管理平臺(tái). 而在網(wǎng)絡(luò)、供電正常的情況下, 使用監(jiān)控設(shè)備的網(wǎng)絡(luò)和電源, 能大幅節(jié)約網(wǎng)絡(luò)流量和電池壽命. 這帶來了很高的可用性和可靠性.

狀態(tài)采集裝置的固件程序, 是基于LUAT進(jìn)行開發(fā). LUAT是一種新型物聯(lián)網(wǎng)開源架構(gòu), 依托于通信模塊做簡(jiǎn)易快捷的開發(fā), 將傳統(tǒng)的AT命令用Lua語言封裝成API, Lua語言具有高效性、可移植性、簡(jiǎn)單強(qiáng)大、小巧輕便等特點(diǎn)[10]. 開發(fā)者可以通過調(diào)用API快捷地實(shí)現(xiàn)TTS、GPS、SOCKET等功能. 使用LUAT作為設(shè)備核心, 可以方便快捷地實(shí)現(xiàn)很多功能, 減少開發(fā)成本和時(shí)間, 降低設(shè)備成本. 同時(shí)LUAT還支持遠(yuǎn)程升級(jí), 減少了后期維護(hù)成本.

前端狀態(tài)采集裝置還為主流移動(dòng)端平臺(tái)如Android、iOS等開發(fā)一個(gè)移動(dòng)端的APP配置管理程序用于前端采集裝置的配置和管理. 該APP程序可以在現(xiàn)場(chǎng)通過WiFi與采集裝置相連, 從而檢測(cè)狀態(tài)采集裝置各模塊、傳感器等是否正常工作, 并可以通過狀態(tài)采集裝置收集監(jiān)控設(shè)備詳細(xì)的運(yùn)行狀態(tài)數(shù)據(jù), 對(duì)監(jiān)控設(shè)備進(jìn)行測(cè)試和操控, 為現(xiàn)場(chǎng)運(yùn)維提供了很好的支持.

2.2 基于InfluxDB的時(shí)序數(shù)據(jù)存儲(chǔ)技術(shù)

運(yùn)維管理系統(tǒng)不僅提供了狀態(tài)信息接入、存儲(chǔ)等功能, 還需要為管理人員提供報(bào)警、運(yùn)維流程管理、設(shè)備遠(yuǎn)程管理等功能, 系統(tǒng)負(fù)載很重. 由于運(yùn)維管理平臺(tái)面向的應(yīng)用場(chǎng)景可能接入成千上萬甚至幾十萬臺(tái)監(jiān)控設(shè)備的狀態(tài)采集裝置. 大量的狀態(tài)采集裝置將不間斷地發(fā)送心跳包和運(yùn)行狀態(tài)數(shù)據(jù), 這些數(shù)據(jù)是重要的業(yè)務(wù)數(shù)據(jù), 必須得到有效的存儲(chǔ)和管理. 狀態(tài)信息在平臺(tái)的處理流程如圖3所示.

圖3 狀態(tài)信息處理流程示意圖

然而, 監(jiān)控設(shè)備的運(yùn)行狀態(tài)數(shù)據(jù)具有時(shí)序特征, 經(jīng)測(cè)算, 平均每臺(tái)狀態(tài)采集裝置每分鐘將產(chǎn)生20條左右的實(shí)時(shí)數(shù)據(jù), 并需要寫入到數(shù)據(jù)庫中. 為支持可視化展示系統(tǒng), 需要對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行統(tǒng)計(jì), 分別產(chǎn)生3分鐘、20分鐘等6種不同時(shí)間段的最大值、最小值、平均值等不同形式的統(tǒng)計(jì)數(shù)據(jù). 這些統(tǒng)計(jì)數(shù)據(jù)應(yīng)及時(shí)生成, 避免信息的滯后.

當(dāng)數(shù)據(jù)量較小時(shí), 傳統(tǒng)關(guān)系型數(shù)據(jù)庫, 如MySQL,能夠滿足上述需求. 可以分別建立實(shí)時(shí)表、統(tǒng)計(jì)表, 并用觸發(fā)器程序完成對(duì)實(shí)時(shí)數(shù)據(jù)的統(tǒng)計(jì)工作. 然而, 當(dāng)設(shè)備數(shù)目增加到數(shù)千臺(tái)時(shí), MySQL難以滿足系統(tǒng)的存儲(chǔ)和讀寫需求. 表1給出了MySQL在3000臺(tái)和1000臺(tái)設(shè)備3個(gè)月數(shù)據(jù)的存儲(chǔ)空間需求.

表1 MySQL存儲(chǔ)空間需求

大規(guī)模的數(shù)據(jù)使得數(shù)據(jù)查詢效率急劇降低, 因此需要在常用的查詢關(guān)鍵字上建立多個(gè)索引, 這又帶來了巨量存儲(chǔ)空間需求. 而關(guān)系數(shù)據(jù)庫在進(jìn)行數(shù)據(jù)并發(fā)讀寫時(shí), 對(duì)數(shù)據(jù)和索引上鎖也導(dǎo)致了嚴(yán)重的性能問題.事實(shí)上, 當(dāng)采集裝置達(dá)到1000+時(shí), MySQL已無法通過觸發(fā)器完成統(tǒng)計(jì)數(shù)據(jù)的計(jì)算和插入工作. 而即使進(jìn)行分庫分表的操作也不能圓滿解決大規(guī)模時(shí)序數(shù)據(jù)對(duì)存儲(chǔ)空間需求和數(shù)據(jù)讀寫時(shí)延帶來的問題. 此外, 巨大的空間需求也使得對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行備份和恢復(fù)非常困難.

InfluxDB是由InfluxData開發(fā)的開源時(shí)序型數(shù)據(jù),主要用于高性能查詢與存儲(chǔ)時(shí)序型數(shù)據(jù)[11-14]. 目前,InfluxDB被廣泛應(yīng)用于存儲(chǔ)系統(tǒng)的監(jiān)控?cái)?shù)據(jù), IoT行業(yè)的實(shí)時(shí)數(shù)據(jù)等場(chǎng)景. 例如, 韓藝?yán)さ仁褂肐nfluxDB存儲(chǔ)橋梁監(jiān)測(cè)傳感器數(shù)據(jù)[11]； 孟宇等將InfluxDB用于冶金自動(dòng)化相關(guān)業(yè)務(wù)[12]. 在工業(yè)數(shù)據(jù)庫引擎[13]和監(jiān)控系統(tǒng)[14]中InfluxDB也得到了應(yīng)用. 在上述應(yīng)用實(shí)踐中,InfluxDB都有效地提高了整個(gè)系統(tǒng)的性能.

有鑒于此, 運(yùn)維管理系統(tǒng)使用InfluxDB存儲(chǔ)狀態(tài)信息, 對(duì)實(shí)時(shí)數(shù)據(jù)的統(tǒng)計(jì)則通過連續(xù)查詢定時(shí)生成, 圖4給出了生成統(tǒng)計(jì)數(shù)據(jù)的連續(xù)查詢語句. 其他業(yè)務(wù)數(shù)據(jù)如監(jiān)控設(shè)備基本信息、狀態(tài)采集裝置相關(guān)參數(shù)、用戶權(quán)限管理信息等都依然存放在MySQL中.

圖4 使用連續(xù)查詢生成統(tǒng)計(jì)數(shù)據(jù)

采用InfluxDB存儲(chǔ)狀態(tài)信息數(shù)據(jù)為系統(tǒng)帶來性能上極大的提高. 表2給出了設(shè)備為3000臺(tái), 數(shù)據(jù)采集時(shí)間為3個(gè)月時(shí), 使用MySQL和InfluxDB存儲(chǔ)數(shù)據(jù)的空間需求和查詢性能的對(duì)比. 其中MySQL的空間包含了表空間和索引空間. 查詢需求是3個(gè)月中某臺(tái)設(shè)備的1天的所有狀態(tài)數(shù)據(jù).

表2 MySQL與InfluxDB對(duì)比

運(yùn)維管理系統(tǒng)采用InfluxDB+MySQL的混合模式存儲(chǔ)數(shù)據(jù), 針對(duì)不同類型數(shù)據(jù)采用不同的管理方式. 系統(tǒng)實(shí)際運(yùn)行效率提升顯著.

3 系統(tǒng)實(shí)現(xiàn)

3.1 運(yùn)維管理系統(tǒng)的實(shí)現(xiàn)

平臺(tái)的4個(gè)組成部分中, 運(yùn)維管理系統(tǒng)最為關(guān)鍵,功能相對(duì)最復(fù)雜. 運(yùn)維管理系統(tǒng)采用了瀏覽器/服務(wù)器結(jié)構(gòu), 基于Spring MVC+ MyBatis+Vue.js進(jìn)行開發(fā). 其中前端使用Vue.js框架, 后端是Spring MVC框架, 數(shù)據(jù)庫采用MySQL存儲(chǔ)業(yè)務(wù)數(shù)據(jù). 整個(gè)系統(tǒng)采用前后端分離的開發(fā)方式, 前后端通過HTTP協(xié)議完成交互.

如圖5所示, 運(yùn)維管理系統(tǒng)劃分為3層結(jié)構(gòu): 表現(xiàn)層、服務(wù)層和數(shù)據(jù)層. 表現(xiàn)層用于與用戶交互, 是用戶功能接口； 服務(wù)層把運(yùn)維管理的主要業(yè)務(wù)邏輯進(jìn)行抽象, 并以服務(wù)形式提供接口； 數(shù)據(jù)層提供數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)-對(duì)象轉(zhuǎn)換等數(shù)據(jù)功能需求的支持. 3層結(jié)構(gòu)的劃分使得系統(tǒng)各模塊有較清晰的功能邊界, 便于維護(hù)和后續(xù)功能擴(kuò)展.

圖5 運(yùn)維管理系統(tǒng)結(jié)構(gòu)圖

3.2 系統(tǒng)實(shí)際運(yùn)行情況

基于InfluxDB的通用監(jiān)控設(shè)備運(yùn)維平臺(tái)已開發(fā)完成, 并在海南、廣西等多個(gè)用戶單位安裝試運(yùn)行, 運(yùn)行狀況良好. 圖6為前端狀態(tài)采集裝置的實(shí)物圖, 圖7為運(yùn)維管理系統(tǒng)運(yùn)行的界面示例.

圖6 前端狀態(tài)采集裝置實(shí)物圖

圖7 系統(tǒng)界面示例

4 結(jié)論與展望

監(jiān)控設(shè)備分布廣闊, 數(shù)量龐大, 工作環(huán)境惡劣, 給運(yùn)維帶來巨大的困難. 現(xiàn)有監(jiān)控設(shè)備運(yùn)維平臺(tái)存在兼容性可擴(kuò)展性差、可靠性可用性不高、不能承載大規(guī)模監(jiān)控設(shè)備的運(yùn)維工作等缺陷. 本文研發(fā)的基于InfluxDB的監(jiān)控設(shè)備通用運(yùn)維平臺(tái), 前端狀態(tài)采集裝置能夠安裝到大多數(shù)監(jiān)控箱, 能接入多種不同的傳感器, 具有很好的通用性和可擴(kuò)展性； 通過冗余設(shè)計(jì)保證狀態(tài)采集裝置在斷網(wǎng)斷電的情況下也能正常工作, 極大提高了可靠性和可用性. 平臺(tái)的管理系統(tǒng)使用InfluxDB存儲(chǔ)時(shí)序數(shù)據(jù), 能大幅度壓縮時(shí)序數(shù)據(jù)的空間需求, 提高對(duì)時(shí)序數(shù)據(jù)的查詢效率, 從而從整體上提高了平臺(tái)的性能和運(yùn)維的規(guī)模.

基于InfluxDB的監(jiān)控設(shè)備通用運(yùn)維平臺(tái)已投入實(shí)際的應(yīng)用, 已初步展現(xiàn)出社會(huì)效益和經(jīng)濟(jì)效益. 下一步, 將根據(jù)用戶的反饋, 不斷對(duì)平臺(tái)改進(jìn), 提升系統(tǒng)性能, 增加貼近用戶需求的功能. 此外, 平臺(tái)的架構(gòu)、軟硬件都具有很好的可擴(kuò)展性, 可不斷關(guān)注相關(guān)市場(chǎng)需求, 拓展平臺(tái)的應(yīng)用場(chǎng)景.