高洪波

摘要：隨著省級(jí)煤礦安全風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)的全面建設(shè)，在煤礦企業(yè)和省級(jí)數(shù)據(jù)中心部署的服務(wù)器、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)交換設(shè)備越來越多，系統(tǒng)越來越復(fù)雜，給IT運(yùn)維工作提出了更大的挑戰(zhàn)。在內(nèi)蒙古自治區(qū)煤礦安全風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)中，基于Zabbix開源平臺(tái)結(jié)合二次定制化開發(fā)成功實(shí)現(xiàn)了全方位一體化的自動(dòng)化運(yùn)維監(jiān)控平臺(tái)，實(shí)現(xiàn)了所有監(jiān)控對(duì)象和事件的高效整合、實(shí)時(shí)報(bào)警推送和自動(dòng)化故障恢復(fù)，有效地提升了運(yùn)維工作的效率和質(zhì)量。

關(guān)鍵詞：運(yùn)維;自動(dòng)化;監(jiān)控平臺(tái);監(jiān)測(cè)預(yù)警;Zabbix

中圖分類號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）13-0207-04

Abstract： With the comprehensive construction of the provincial coal mine safety risk monitoring and early warning system， there are more and more servers， databases and network switching equipment deployed in coal mining enterprises as well as the provincial data centers， and the system is becoming more and more complex， which poses greater challenges to the IT operation and maintenance. In the coal mine safety risk monitoring and early warning system in Inner Mongolia， based on Zabbix open-source platform combined with secondary customized development， a fully integrated automatic operation and maintenance monitoring platform is successfully realized， which realizes the efficient integration of all monitoring objects and incidences， real-time alarm push and automatic fault recovery， and also effectively improves the efficiency and quality of operation and maintenance work.

Key words： operation; automation; monitoring platform; risk monitoring and early warning; Zabbix

1 背景

隨著全國(guó)煤礦安全信息化建設(shè)的推進(jìn)，各省陸續(xù)通過建設(shè)省級(jí)煤礦安全風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)全面掌握本省煤礦企業(yè)和重大風(fēng)險(xiǎn)情況，監(jiān)測(cè)預(yù)警系統(tǒng)需要在煤礦企業(yè)部署大量前置數(shù)據(jù)采集設(shè)備，將煤礦各類主要監(jiān)測(cè)數(shù)據(jù)采集至省級(jí)中心大數(shù)據(jù)平臺(tái)，為日常監(jiān)管監(jiān)察、遠(yuǎn)程監(jiān)察、后期多級(jí)數(shù)據(jù)分析和風(fēng)險(xiǎn)評(píng)估、執(zhí)法監(jiān)察和應(yīng)急救援等工作提供數(shù)據(jù)支撐和技術(shù)手段。隨著采集范圍的不斷擴(kuò)大，前置采集服務(wù)器、網(wǎng)絡(luò)設(shè)備以及中心大數(shù)據(jù)平臺(tái)的服務(wù)器集群的規(guī)模也越來越龐大，系統(tǒng)也越來越復(fù)雜，為了保障整個(gè)系統(tǒng)的穩(wěn)定運(yùn)行，一套高效的自動(dòng)化運(yùn)維監(jiān)控平臺(tái)是必不可少的，本文將詳細(xì)論述自動(dòng)化運(yùn)維監(jiān)控平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)。

2 內(nèi)蒙古煤礦風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警平臺(tái)現(xiàn)狀

內(nèi)蒙古自治區(qū)煤炭資源極其豐富，轄區(qū)內(nèi)煤礦500余處，是自治區(qū)的重要支柱產(chǎn)業(yè)，安全生產(chǎn)至關(guān)重要。目前通過部署在煤礦企業(yè)的300余套前端采集設(shè)備和中心端的大數(shù)據(jù)集群已經(jīng)將煤礦的各類主要監(jiān)測(cè)數(shù)據(jù)接入到了省級(jí)平臺(tái)，由于接入數(shù)據(jù)的實(shí)時(shí)性和穩(wěn)定性要求很高，需要7x24小時(shí)保證服務(wù)器、網(wǎng)絡(luò)設(shè)備以及數(shù)據(jù)采集程序的平穩(wěn)運(yùn)行。平臺(tái)中的服務(wù)器、網(wǎng)絡(luò)交換設(shè)備等各類設(shè)備數(shù)量龐大，前置設(shè)備分散于煤礦企業(yè)的自建機(jī)房里，路途遙遠(yuǎn)交通不便，給現(xiàn)場(chǎng)運(yùn)維帶來了很大的困難;另一方面，各企業(yè)的機(jī)房條件千差萬(wàn)別，機(jī)房工作人員的技術(shù)水平參差不齊，平臺(tái)部署后經(jīng)常出現(xiàn)各種各樣的故障，服務(wù)器CPU負(fù)載高，磁盤容量使用超過80%，內(nèi)存使用超過閾值，系統(tǒng)進(jìn)程多，tomcat服務(wù)宕機(jī)等，嚴(yán)重影響了平臺(tái)的穩(wěn)定運(yùn)行。

為了解決運(yùn)維工作的困境，我們基于開源監(jiān)控系統(tǒng)并配合二次定制開發(fā)，建立了自治區(qū)煤礦自動(dòng)化運(yùn)維監(jiān)控平臺(tái)，高效整合關(guān)聯(lián)了各類事件，實(shí)現(xiàn)了對(duì)服務(wù)器、網(wǎng)絡(luò)交換設(shè)備、數(shù)據(jù)采集軟件、定時(shí)任務(wù)及應(yīng)用軟件的自動(dòng)化監(jiān)控，取得了較好的效果。

3 自動(dòng)化運(yùn)維監(jiān)控平臺(tái)設(shè)計(jì)

3.1 平臺(tái)選型

目前業(yè)界用于運(yùn)維監(jiān)控的系統(tǒng)種類繁多，主流的開源監(jiān)控系統(tǒng)有：Zabbix、Nagios、Prometheus等，Zabbix 是一個(gè)開源分布式開源監(jiān)控解決方案，它能夠監(jiān)控眾多網(wǎng)絡(luò)參數(shù)和服務(wù)器的健康度、完整性，通過對(duì)比發(fā)現(xiàn)Zabbix具備如下優(yōu)勢(shì)：

支持多種采集方式：支持Agent、SNMP、JMX、SSH等多種采集方式，以及主動(dòng)和被動(dòng)的數(shù)據(jù)傳輸方式。

擴(kuò)展性強(qiáng)：支持Proxy分布式監(jiān)控，有agent自動(dòng)發(fā)現(xiàn)功能，插件式架構(gòu)支持用戶自定義數(shù)據(jù)采集腳本。

支持自動(dòng)化告警消息推送：可通過配置將告警消息實(shí)時(shí)自動(dòng)化推送給釘釘或企業(yè)微信等第三方商用辦公系統(tǒng)。

產(chǎn)品成熟：擁有豐富的文檔資料以及各種開源的數(shù)據(jù)采集插件，能覆蓋絕大部分監(jiān)控場(chǎng)景。

基于以上優(yōu)勢(shì)，我們選擇Zabbix作為基礎(chǔ)架構(gòu)對(duì)煤礦自動(dòng)化運(yùn)維監(jiān)控平臺(tái)進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)。

3.2 總體方案架構(gòu)

Zabbix平臺(tái)主要由兩部分組成：客戶端的數(shù)據(jù)采集和服務(wù)端的數(shù)據(jù)存儲(chǔ)分析?？蛻舳说臄?shù)據(jù)采集由部署在前置服務(wù)器上的Zabbix Agent模塊實(shí)現(xiàn);而服務(wù)端主要包括：WEB GUI、Database、Zabbix Server;另外，隨著監(jiān)控規(guī)模的增加，可以通過設(shè)置Zabbix Proxy模塊來實(shí)現(xiàn)監(jiān)控代理服務(wù)，通過proxy代理可以實(shí)現(xiàn)多節(jié)點(diǎn)、跨區(qū)域的大規(guī)模服務(wù)器集群監(jiān)控。平臺(tái)主要架構(gòu)如圖1所示[1-2]：

Zabbix主要模塊如圖2所示，每個(gè)模塊工作職責(zé)如下[3]：

Zabbix Agent：部署在被監(jiān)控設(shè)備上，負(fù)責(zé)將本地監(jiān)控?cái)?shù)據(jù)發(fā)往Server端或Proxy端;

Zabbix Server：部署在中心服務(wù)器上，負(fù)責(zé)接收agent發(fā)送的監(jiān)控?cái)?shù)據(jù)，所有配置，統(tǒng)計(jì)數(shù)據(jù)及操作數(shù)據(jù)均由其組織進(jìn)行;

Zabbix Proxy：常用于分布監(jiān)控環(huán)境中，代理Server收集部分被監(jiān)控的監(jiān)控?cái)?shù)據(jù)并統(tǒng)一發(fā)往Server端;

Zabbix Database：用戶存儲(chǔ)所有配置信息，以及存儲(chǔ)由Zabbix Server收集到的數(shù)據(jù);

Web GUI：Zabbix的GUI接口，通常與Server運(yùn)行在同一臺(tái)主機(jī)上;

在監(jiān)控處理服務(wù)端，為了避免服務(wù)器單點(diǎn)故障，確保平臺(tái)的高可用性，我們搭建了基于多臺(tái)服務(wù)器的分布式集群監(jiān)控平臺(tái)。整體部署架構(gòu)如圖3所示，主備機(jī)通過rsync+inotify實(shí)現(xiàn)文件同步，通過MySQL主主復(fù)制實(shí)現(xiàn)數(shù)據(jù)同步，同一時(shí)刻只有一臺(tái)服務(wù)器能通過VIP（虛擬IP）對(duì)外提供zabbix服務(wù)，keepalived用來監(jiān)控Zabbix Server進(jìn)程和MySQL進(jìn)程，一旦檢測(cè)到主服務(wù)器掛掉后，從服務(wù)器會(huì)立即頂替。通過高可用集群的配置，提升了整個(gè)監(jiān)控系統(tǒng)的高可用性[4]。

Zabbix支持多種監(jiān)控方式，包括：Agent、SNMP、IPMI、ICMP等等。煤礦監(jiān)測(cè)預(yù)警運(yùn)維監(jiān)控平臺(tái)主要采用Agent監(jiān)控方式，它會(huì)主動(dòng)收集本機(jī)的監(jiān)控信息并通過TCP協(xié)議與Zabbix Server傳遞信息，Zabbix Agent可以執(zhí)行被動(dòng)和主動(dòng)兩種檢查方式：在被動(dòng)模式中，agent只應(yīng)答數(shù)據(jù)請(qǐng)求，Zabbix server詢問agent數(shù)據(jù)，如CPU 的負(fù)載情況，然后Zabbix agent回送結(jié)果;而主動(dòng)處理方式相對(duì)復(fù)雜， Agent必須首先從Zabbix Server端索取監(jiān)控項(xiàng)列表以進(jìn)行獨(dú)立處理，然后周期性地發(fā)送新的值給Zabbix Server。本平臺(tái)主要采取被動(dòng)檢查方式回送煤礦端的監(jiān)測(cè)數(shù)據(jù)，一個(gè)完整的檢查流程如下[5-6]：

1）Server 打開一個(gè)TCP連接

2）Server 發(fā)送 agent.ping＼n

3）Agent 讀取請(qǐng)求并響應(yīng)