白鐵男，唐維堯，譚海波，金石聲，白 滔，湯 寧

(貴州省氣象信息中心,貴州 貴陽 550002)

0 引言

近年來，貴州省暴雨、冰雹等強對流災害性天氣頻發(fā)[1]。以24 h暴雨標準統(tǒng)計，僅2020年就發(fā)生422站次。目前應對此類災害性天氣最常規(guī)且有效的方法，是應用新一代天氣雷達資料預報[2]。隨著氣象現(xiàn)代化建設的迅猛發(fā)展，貴州省從原有的8部天氣雷達，逐漸新增了習水、榕江、務川3部新一代雷達和雅水、望謨、威寧3部X波段雷達。這些雷達通常6 min左右完成1個體掃生成數(shù)據(jù)并上傳，1 h內(nèi)完成10次[3]。經(jīng)數(shù)據(jù)收集與分發(fā)系統(tǒng)(簡稱“CTS”)傳輸給雷達拼圖業(yè)務系統(tǒng)(簡稱“SWAN”)處理，形成預報指導產(chǎn)品。天氣雷達資料的監(jiān)控存在著站點分布廣、觀測密度大、傳輸節(jié)點多、考核時效要求高等諸多難題[4]，目前的監(jiān)控手段已無法滿足雷達資料監(jiān)控的實際需求。Zabbix-HA分布式集群作為Zabbix的升級版，將服務端、數(shù)據(jù)庫、Web分別部署在不同的服務器，再通過Highly Available高可用性組件(簡稱HA)將這些服務器串聯(lián)統(tǒng)一管理，是企事業(yè)廣泛使用的開源監(jiān)控平臺，目前已在省級實現(xiàn)搭建部署。

為彌補雷達資料缺乏分鐘級監(jiān)控的不足，及時發(fā)現(xiàn)并解決雷達傳輸過程中的故障。本文基于Zabbix-HA監(jiān)控平臺和企業(yè)微信客戶端，通過開發(fā)Shell和Python腳本，從監(jiān)控信息的獲取到告警機制觸發(fā)，再到告警信息推送。將原本點狀級的告警信息串聯(lián)成線，實現(xiàn)集約式全流程監(jiān)控，從而提高雷達資料傳輸及時率，保障數(shù)據(jù)服務效率。

1 系統(tǒng)構(gòu)架

新一代天氣雷達全天候進行體掃并生成雷達資料,經(jīng)省級核心交換機傳輸給CTS集群進行質(zhì)控處理后分發(fā)給氣象信息綜合分析處理系統(tǒng)(簡稱“MICAPS”)使用。SWAN服務器通過定時腳本從MICAPS集群獲取雷達基數(shù)據(jù)進行拼圖業(yè)務，最后推送CTS集群進行二次分發(fā)，以供其它業(yè)務單位使用?；赯abbix-HA自帶的監(jiān)控協(xié)議，開發(fā)Shell和Python腳本，實現(xiàn)對雷達資料收發(fā)主要環(huán)節(jié)的信息采控，再將這些采控信息傳輸給觸發(fā)器模塊(簡稱“Trigger”)，根據(jù)監(jiān)控需要合理設置閥值實現(xiàn)監(jiān)控告警。最后通過報警媒介模塊，將觸發(fā)的告警推送給企業(yè)微信客戶端，從而實現(xiàn)雷達傳輸業(yè)務實時監(jiān)控，傳輸監(jiān)控業(yè)務情況如圖1所示。

圖1 雷達傳輸監(jiān)控業(yè)務流程圖

2 主要功能實現(xiàn)方法

系統(tǒng)開發(fā)環(huán)境為Linux系統(tǒng)，通過開發(fā)信息采集腳本和在Zabbix-HA服務端配置相關(guān)參數(shù)，實現(xiàn)信息采集、告警觸發(fā)、可視化、微信告警等4個功能模塊的搭建，通過這4個模塊的協(xié)同工作，實現(xiàn)從信息采集、故障判斷、通知運維，可視化輔助整套業(yè)務流程。使用技術(shù)手段包括Shell和Python開發(fā)技術(shù)，Shell開發(fā)主要用來實現(xiàn)告警信息的采集，Python開發(fā)用來實現(xiàn)Zabbix-HA與企業(yè)微信客戶端的對接。

2.1 信息采集

主要節(jié)點的信息采集通過Zabbix-HA內(nèi)建的SSH監(jiān)控協(xié)議。天氣雷達每6 min完成1個體掃并生成1個基數(shù)據(jù)，通過開發(fā)Shell腳本，獲取最近1個基數(shù)據(jù)的報文生成時間和服務器的系統(tǒng)時間并取其差值。如果該差值大于10 min，即輸出告警信息，否則輸出最近獲取的報文名稱。PUP產(chǎn)品的采集方式與基數(shù)據(jù)一致，區(qū)別是每個體掃有36份產(chǎn)品生成并上傳，由于資料種類繁多[5]，且傳輸有一定的延遲，告警閾值設為15 min。針對MICAPS集群的監(jiān)控采用Curl命令行工具，Curl命令從接口獲取當前時次11部新一代雷達資料個數(shù)累加后輸出。CTS服務集群的監(jiān)控通過Shell腳本ps命令查詢進程個數(shù)。傳輸鏈路狀態(tài)的監(jiān)控通過SNMP監(jiān)控協(xié)議，配置鍵值ifOperStatus，根據(jù)獲取的狀態(tài)來判斷鏈路聯(lián)通狀態(tài)。X波段雷達與SWAN拼圖監(jiān)控與雷達基數(shù)據(jù)的方法一致。需要注意采集計劃作為監(jiān)控項內(nèi)置功能包括靈活計劃和調(diào)度計劃2種類型，靈活計劃指每隔多久執(zhí)行1次，格式如5 m，表示每5 min執(zhí)行1次。調(diào)度計劃指某個時間點執(zhí)行，可自由設置時間點，與靈活計劃格式不同，調(diào)度類型的數(shù)字在后面，如m 59 s 59表示每小時59分59秒執(zhí)行。各監(jiān)控模塊的采集計劃情況如表1所示。

表1 監(jiān)控模塊采集計劃表

2.2 告警觸發(fā)

Zabbix-HA的告警通過觸發(fā)器(Trigger)實現(xiàn)。根據(jù)監(jiān)控需要合理設置告警閥值，當采集信息滿足閥值時觸發(fā)告警動作，當不滿足時觸發(fā)恢復動作。使用系統(tǒng)內(nèi)建的str函數(shù)對特定的字符進行過濾，在過濾到采集信息含有“No”字符，即觸發(fā)告警動作，說明10 min內(nèi)沒有新資料傳輸。在配置告警條件時，除了10 min沒有新資料傳輸時觸發(fā)告警，如果當前時次資料個數(shù)一直為0也要觸發(fā)告警動作。使用last函數(shù)每小時20 min提取當前時次到報數(shù)，如果是0則觸發(fā)告警動作。需要注意使用“or”來連接2個觸發(fā)條件，任一條件滿足時即觸發(fā)告警動作；使用“and”來連接2個恢復條件，當2個條件同時滿足時觸發(fā)恢復動作。

2.3 可視化

可視化功能主要通過構(gòu)建拓撲圖，將上述監(jiān)控節(jié)點串聯(lián)成線。通過拓撲結(jié)構(gòu)可以快速定位故障節(jié)點，例如SWAN拼圖資料中斷而MICAPS資料正常，因為SWAN是從MICAPS獲取雷達基數(shù)據(jù)來拼圖，因此可迅速判斷是SWAN拼圖業(yè)務機故障導致。另外拓撲圖可以將11部新一代雷達、3部X波段雷達和3部風廓線雷達集約于一張流程圖，方便了解17部雷達的到報情況。報警結(jié)合拓撲圖的運行監(jiān)控模式已經(jīng)在省級監(jiān)控業(yè)務推廣使用，目前系統(tǒng)運行穩(wěn)定，告警信息精準可靠。雷達業(yè)務拓撲結(jié)構(gòu)如圖2所示。

圖2 雷達監(jiān)控拓撲圖

2.4 微信推送

對接企業(yè)微信需要分別針對Zabbix-HA服務端、Web界面和企業(yè)微信進行配置。在企業(yè)微信首頁應用管理模塊建立名為“Zabbix-運控科”的應用，后面開發(fā)Python腳本需要使用這里的AgentID、Secret、CorpID 3個密鑰。合理規(guī)劃通訊錄，根據(jù)科室推送告警信息。Zabbix-HA服務端需要根據(jù)腳本路徑修改配置參數(shù)和開發(fā)Python腳本。通過Python腳本一是實現(xiàn)企業(yè)微信URL的構(gòu)建，需要將上述提到的3個參數(shù)加入企業(yè)微信的URL；二是對接Zabbix告警參數(shù)，將告警信息根據(jù)科室規(guī)劃推送。Web界面包括報警媒介(media)和動作(action)的配置。報警媒介的作用是在告警動作觸發(fā)時，將參數(shù)傳給Python腳本。動作綁定了觸發(fā)器和信息推送，僅對綁定的觸發(fā)器告警時推送告警信息。需要特別注意的是，Python腳本不識別中文，因此在配置觸發(fā)器時不能用中文。

3 結(jié)束語

本文通過Zabbix和企業(yè)微信等開源平臺，使用Shell和Python等技術(shù)手段，對全省天氣雷達進行分鐘級監(jiān)控。梳理全省雷達數(shù)據(jù)服務流程，將點狀的監(jiān)控串聯(lián)成線，實現(xiàn)集約化監(jiān)控告警并推送企業(yè)微信。一是解決了已有監(jiān)控手段缺乏分鐘級雷達資料監(jiān)控能力的痛點問題；二是實現(xiàn)監(jiān)控可視化，便于定位故障節(jié)點，一定程度上提高運維效率；三是以企業(yè)微信作為業(yè)務告警手段，優(yōu)化了以往靠人工定點檢查的劣勢，減輕值班人員的壓力，為貴州省運行監(jiān)控保障朝精細化、智能化方向發(fā)展打下一定基礎(chǔ)。