施佳馳 劉丹楓 陳青鋒 方昆

【摘 ?要】隨著信息化不斷發(fā)展，信息化業(yè)務(wù)及數(shù)據(jù)呈現(xiàn)暴增趨勢(shì)。在氣象行業(yè)信息化前沿，支撐業(yè)務(wù)運(yùn)行的基礎(chǔ)設(shè)施資源規(guī)模和數(shù)量也越來越龐大，出現(xiàn)故障的概率也越來越高，給監(jiān)控和運(yùn)維管理帶來嚴(yán)峻挑戰(zhàn)。為解決上述問題，天鏡系統(tǒng)應(yīng)運(yùn)而生，通過實(shí)時(shí)掌握業(yè)務(wù)系統(tǒng)運(yùn)行狀況，對(duì)硬件、軟件及相關(guān)應(yīng)用進(jìn)程狀態(tài)進(jìn)行監(jiān)視，同時(shí)根據(jù)閾值實(shí)現(xiàn)實(shí)時(shí)告警，從而方便運(yùn)維人員進(jìn)行集中監(jiān)控。MICAPS4是氣象部門氣象衛(wèi)星、天氣雷達(dá)和數(shù)值預(yù)報(bào)、站點(diǎn)實(shí)況等產(chǎn)品綜合應(yīng)用最強(qiáng)有力的業(yè)務(wù)技術(shù)支撐平臺(tái)，是氣象預(yù)報(bào)最主要的預(yù)報(bào)業(yè)務(wù)系統(tǒng)。基于天境系統(tǒng)進(jìn)行MICAPS4.0分布式數(shù)據(jù)環(huán)境（以下簡稱數(shù)據(jù)環(huán)境）對(duì)接開發(fā)，實(shí)現(xiàn)對(duì)數(shù)據(jù)環(huán)境全方位的主機(jī)監(jiān)控，包括對(duì)數(shù)據(jù)環(huán)境軟硬件的實(shí)時(shí)監(jiān)視、狀態(tài)查詢、前臺(tái)展示、異常告警。此外，對(duì)數(shù)據(jù)環(huán)境的資料到達(dá)情況進(jìn)行統(tǒng)計(jì)，對(duì)湖南全省各直屬單位、市州縣MICAPS4客戶端對(duì)數(shù)據(jù)環(huán)境的訪問情況、Cassandra集群訪問負(fù)載分布情況進(jìn)行監(jiān)測(cè)與分析。

【關(guān)鍵詞】MICAPS4;數(shù)據(jù)環(huán)境;主機(jī)監(jiān)控;天境系統(tǒng)

1 ?平臺(tái)簡介

1.1 ?天鏡系統(tǒng)簡介

天鏡，即氣象綜合業(yè)務(wù)實(shí)時(shí)監(jiān)控系統(tǒng)。它如同一面鏡子，映照出氣象業(yè)務(wù)全流程中信息的“流動(dòng)”、系統(tǒng)的運(yùn)行、網(wǎng)絡(luò)安全動(dòng)態(tài)……在這面鏡子的幫助下，氣象業(yè)務(wù)系統(tǒng)的運(yùn)行維護(hù)實(shí)現(xiàn)了一體化運(yùn)行，管理現(xiàn)代化和信息化水平得以大幅提升。湖南省“天鏡”系統(tǒng)，通過應(yīng)用云計(jì)算、大數(shù)據(jù)、分布式數(shù)據(jù)庫以及人工智能等多種新的IT技術(shù)，以數(shù)字化的形式實(shí)時(shí)反映了業(yè)務(wù)系統(tǒng)的運(yùn)行現(xiàn)狀、快速診斷出數(shù)據(jù)流程中的問題，極大的提高全省實(shí)時(shí)業(yè)務(wù)的保障能力。

1.2 ?MICAPS4分布式數(shù)據(jù)環(huán)境簡介

MICAPS4分布式數(shù)據(jù)環(huán)境能提升高分辨資料的應(yīng)用效率，實(shí)現(xiàn)對(duì)確定性模式資料與集合預(yù)報(bào)進(jìn)行深度應(yīng)用，從而為精細(xì)化預(yù)報(bào)業(yè)務(wù)提供了平臺(tái)支撐。其采用先進(jìn)IT、預(yù)報(bào)技術(shù)與氣象業(yè)務(wù)發(fā)展結(jié)合，實(shí)現(xiàn)了預(yù)報(bào)數(shù)據(jù)環(huán)境與省級(jí)數(shù)據(jù)中心的全面融合，為預(yù)報(bào)員提供了功能完整的客戶端預(yù)報(bào)平臺(tái)。

MICAPS4分布式數(shù)據(jù)環(huán)境的優(yōu)勢(shì)是能與湖南省級(jí)數(shù)據(jù)中心無縫銜接，海量氣象數(shù)據(jù)到達(dá)數(shù)據(jù)環(huán)境DPC服務(wù)器即可實(shí)現(xiàn)解碼處理，數(shù)據(jù)環(huán)境Cassandra服務(wù)器能提供高速緩存服務(wù)，實(shí)現(xiàn)高并發(fā)、高速訪問能力，實(shí)時(shí)數(shù)據(jù)到達(dá)即可見。

2 ?系統(tǒng)對(duì)接開發(fā)

2.1 ?系統(tǒng)組成

對(duì)接開發(fā)系統(tǒng)由監(jiān)控?cái)?shù)據(jù)采集程序、MySQL數(shù)據(jù)庫、桌面應(yīng)用程序、釘釘機(jī)器人告警模塊、天鏡系統(tǒng)對(duì)接模塊等部分組成。首先在服務(wù)器上部署監(jiān)控?cái)?shù)據(jù)采集程序，將采集到的監(jiān)控?cái)?shù)據(jù)寫入到MySQL數(shù)據(jù)庫，客戶端再從數(shù)據(jù)庫中讀取數(shù)據(jù)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)與展示，當(dāng)監(jiān)控信息超過設(shè)定的閾值時(shí)由釘釘機(jī)器人告警模塊將告警信息及時(shí)通知數(shù)據(jù)環(huán)境的核心運(yùn)維人員，并將MySQL中的監(jiān)控?cái)?shù)據(jù)與天鏡系統(tǒng)本地化應(yīng)用服務(wù)進(jìn)行數(shù)據(jù)對(duì)接。

2.2 ?監(jiān)控?cái)?shù)據(jù)采集

監(jiān)控?cái)?shù)據(jù)采集程序主要通過SSH方式獲取主機(jī)（服務(wù)器）CPU、磁盤、內(nèi)存、文件系統(tǒng)、進(jìn)程、網(wǎng)絡(luò)等的運(yùn)行狀態(tài)。監(jiān)控?cái)?shù)據(jù)采集程序采用Python編程語言進(jìn)行程序設(shè)計(jì)，采用輕量級(jí)定時(shí)任務(wù)調(diào)度庫schedule進(jìn)行任務(wù)調(diào)度，采用paramiko、ftplib模塊使用ssh、ftp等方式獲取業(yè)務(wù)監(jiān)控實(shí)時(shí)數(shù)據(jù)。

2.3 ?MySQL數(shù)據(jù)庫

監(jiān)控?cái)?shù)據(jù)采集程序?qū)⒉杉降谋O(jiān)控?cái)?shù)據(jù)通過pymysql模塊寫入到先行建立的關(guān)系型數(shù)據(jù)庫MySQL中，為桌面應(yīng)用程序與天鏡系統(tǒng)本地化應(yīng)用程序提供數(shù)據(jù)服務(wù)。

2.4 ?桌面應(yīng)用程序

桌面應(yīng)用程序采用Qt、C++進(jìn)行程序開發(fā)，使用QSS、QML對(duì)桌面應(yīng)用進(jìn)行界面美化，使用QtCharts圖表庫將采集到的業(yè)務(wù)監(jiān)控?cái)?shù)據(jù)、全省MICAPS4.0的終端用戶訪問情況進(jìn)行數(shù)據(jù)統(tǒng)計(jì)、分析與展示。

2.5 ?告警提示模塊

告警提示模塊采用webhook技術(shù)的釘釘機(jī)器人將監(jiān)控系統(tǒng)的運(yùn)行狀況及時(shí)通知業(yè)務(wù)系統(tǒng)核心運(yùn)維人員。當(dāng)監(jiān)控?cái)?shù)據(jù)超過事先所設(shè)閾值時(shí)，產(chǎn)生告警信息及時(shí)通知數(shù)據(jù)環(huán)境核心運(yùn)維人員。告警模塊首先通過獲取群組中釘釘機(jī)器人的Webhook地址，然后向這個(gè)地址發(fā)起HTTP、POST 請(qǐng)求，實(shí)現(xiàn)向給該群組發(fā)送即時(shí)告警信息。

2.6 ?天鏡系統(tǒng)對(duì)接模塊

MySQL數(shù)據(jù)庫中的監(jiān)控?cái)?shù)據(jù)與天鏡系統(tǒng)本地化應(yīng)用服務(wù)進(jìn)行全面對(duì)接，前端采取Vue，后端采用SpringBoot、Spring MVC、Spring、Mybatis等技術(shù)棧，開發(fā)完成后在天鏡系統(tǒng)OMP運(yùn)維管理控制臺(tái)的模塊倉庫模塊中上傳相應(yīng)模塊，從而實(shí)現(xiàn)與天鏡系統(tǒng)的數(shù)據(jù)對(duì)接。

3 ?小結(jié)

本文通過對(duì)基于天境系統(tǒng)的MICAPS4.0分布式數(shù)據(jù)環(huán)境進(jìn)行對(duì)接開發(fā)，實(shí)現(xiàn)了在天境系統(tǒng)中對(duì)數(shù)據(jù)環(huán)境核心業(yè)務(wù)基層監(jiān)控功能與對(duì)省市縣三級(jí)用戶MICAPS4客戶端使用情況的實(shí)時(shí)分析，提升了數(shù)據(jù)環(huán)境的運(yùn)維保障能力，從而更好地保障氣象預(yù)報(bào)工作的開展，為基層遞進(jìn)式氣象服務(wù)和氣象數(shù)據(jù)的高效流轉(zhuǎn)處理保駕護(hù)航。

作者簡介：

施佳馳（1990-），男，江蘇省丹陽市，碩士研究生，工程師，研究方向：網(wǎng)絡(luò)與系統(tǒng)管理。

基金項(xiàng)目：

湖南省氣象局 2020 年短平快項(xiàng)目（課題編號(hào)：XQKJ20B039）（基于天境系統(tǒng)的MICAPS4.0分布式數(shù)據(jù)環(huán)境監(jiān)控與全省終端用戶分析）。