馮 冼，李 熠

（1.湘潭大學計算機學院·網絡空間安全學院，湖南 湘潭 411100；2.湖南省氣象信息中心/氣象防災減災湖南省重點實驗室，長沙 410118）

隨著氣象現代化不斷推進，省級氣象業(yè)務服務不斷拓展，涵蓋觀測、預報、服務、管理在內的各類氣象業(yè)務服務系統(tǒng)越來越多，氣象數據資料種類和數量海量增長，支撐氣象業(yè)務的基礎資源越來越龐大，業(yè)務系統(tǒng)也變得更加復雜，出故障的概率也變大［1-3］，給監(jiān)控和運維管理帶來了嚴峻挑戰(zhàn)。為解決各類氣象業(yè)務監(jiān)控管理問題，各級氣象部門不斷研發(fā)各類氣象監(jiān)控系統(tǒng)并投入應用，在一定程度上緩解了部分氣象業(yè)務監(jiān)控管理問題［4-7］。但由于缺乏統(tǒng)一的設計思路，沒有實現業(yè)務監(jiān)控上下游聯動，信息孤島現象凸顯［8，9］。在出現故障時，運維人員往往要從采集、傳輸、處理、共享、應用等多個環(huán)節(jié)查找原因，要人工逐一檢查觀測端、傳輸系統(tǒng)、處理系統(tǒng)、存儲系統(tǒng)、服務系統(tǒng)等多個系統(tǒng)的運行狀況，耗時長、效率低、故障定位不準、監(jiān)控運維效率不高，成為制約氣象信息保障業(yè)務發(fā)展的短板，亟待解決。為解決上述問題，湖南省基于氣象大數據云平臺框架，采用云計算、分布式等技術，設計并構建了一體化的氣象綜合業(yè)務監(jiān)控平臺。該平臺打通氣象業(yè)務、數據、支撐環(huán)境不同架構，整合各類分散的監(jiān)控系統(tǒng)，實現了貫穿氣象數據全流程各環(huán)節(jié)的智能化運維，滿足省級氣象綜合業(yè)務集中統(tǒng)一監(jiān)控的需求，極大地提升了運維保障效率。

1 系統(tǒng)設計

為應對氣象數據中心規(guī)模日益增長的需求，監(jiān)控運維必須走向流程化管理的道路，優(yōu)化體系架構、管理流程和管理信息模型，適應不同角色職能配置管理，提升運維管理效率。據此，湖南省采用扁平化、模塊化的設計思路，基于省級氣象信息網絡、硬件基礎設施、業(yè)務服務系統(tǒng)及配套軟件實際，設計了一套氣象綜合業(yè)務實時監(jiān)控平臺，橫向覆蓋觀測、預報、服務、信息、政務等氣象全業(yè)務，縱向貫穿氣象數據采集、傳輸、處理、存儲、加工、服務生命周期全流程，范圍囊括場地環(huán)境、網絡、服務器、存儲、中間件、應用軟件等全要素，實現監(jiān)控運維業(yè)務體系架構、管理流程的統(tǒng)一化，有效解決省級氣象監(jiān)控運維及信息業(yè)務管理分散、運維效率不高的問題。

1.1 分層模型

信息化是當今世界發(fā)展的大趨勢，云計算、大數據、分布式技術的發(fā)展為氣象信息化提供了智慧引擎，從氣象業(yè)務、科研、管理到服務都將在大數據支撐下走向智慧化［10］，也為解決氣象信息化建設中大規(guī)模分布式數據管理、面向服務應用集成、快速高效運維監(jiān)控等問題提供了有力手段。湖南省氣象綜合業(yè)務實時監(jiān)控平臺充分運用云計算、大數據、智能監(jiān)控等現代技術，基于分布式架構的分層模型進行設計，利用其高并發(fā)、高擴展性的特點，強化大規(guī)模監(jiān)控數據實時高效處理和分析能力，實現對海量告警信息的過濾、壓縮、關聯、轉發(fā)以及自動化運維腳本執(zhí)行，自動對系統(tǒng)運行性能數據進行跟蹤、瓶頸分析和趨勢分析，支撐端到端的智能化運維管理模式，變被動監(jiān)控為主動管理，助力智慧氣象發(fā)展。其分層結構如圖1所示。

圖1 平臺分層模型

1）應用層。應用層基于湖南省氣象綜合業(yè)務多場景監(jiān)控的需求進行設計，涵蓋氣象業(yè)務和數據監(jiān)控以及運維保障各模塊。數據流程監(jiān)控模塊實現氣象數據從采集端，途經CTS、DPC、SOD、MUSIC至服務端全生命周期的監(jiān)控管理；業(yè)務系統(tǒng)監(jiān)控模塊對省級氣象核心業(yè)務系統(tǒng)數據流轉狀況、操作系統(tǒng)及業(yè)務進程運行狀況、基礎資源使用情況進行動態(tài)監(jiān)控管理；基礎環(huán)境監(jiān)控模塊利用拓撲發(fā)現功能對各類主機設備、網絡設備、機房環(huán)境實行統(tǒng)一管理，并實行對資源的動態(tài)增刪改，以達到資源管理最優(yōu)化。

2）支撐層。設計集成支撐環(huán)境層，匯集異構的氣象信息數據和業(yè)務服務應用數據，支撐涵蓋不同數據庫、不同平臺的氣象系統(tǒng)結構化監(jiān)控數據、非結構化文本數據以及其他氣象應用數據無縫接入，再通過統(tǒng)一的API接口支撐應用層對開發(fā)、部署和管理的數據需求?；赟pring Boot輕量級開源應用框架［11］，采用OpenAPI構建標準化、開放式氣象監(jiān)控業(yè)務支撐結構，為應用層WEB服務及Java應用提供支撐；采用Nginx構建輕量級的WEB服務器［12］，支撐海量氣象業(yè)務系統(tǒng)監(jiān)控數據實時、高速處理的需求。WEB平臺基于HXGIS進行二次開發(fā)，滿足省、市、縣分級地圖展示需求；采用JavaScript的開源可視化庫Echarts、三維可視化組件、標準化的HTML5語言實現多樣化圖表展示，同時兼容主流各類瀏覽器，便于平臺在不同環(huán)境部署應用。

3）數據層。設計包含模型、指標、狀態(tài)等數據的處理平臺層，對各類融合型氣象業(yè)務監(jiān)控數據進行流式標準化處理和集中存儲。針對不同類型的監(jiān)控數據，構建不同的API數據接口，便于進行讀寫及加工處理。處理的數據包括氣象業(yè)務狀態(tài)數據（如基礎設施狀態(tài)、氣象業(yè)務流程狀況等）、業(yè)務運行指標數據（如氣象觀測數據可用性、服務器和網絡設備性能狀態(tài)等）。為便于支撐層的數據接入，在數據層基于狀態(tài)數據集與指標數據集建立了相應模型數據、活動數據（活動進程、解析服務等）、文件數據（如視頻、圖片數據）支撐接口（數據庫接口、API接口、FTP接口）。

4）采集層。構建統(tǒng)一的采集控制平臺，提供分布式資源采控系統(tǒng)框架，支持第三方系統(tǒng)集成納管。針對省級各類氣象業(yè)務系統(tǒng)、數據資源、基礎設施特性，采集層提供了Agent、API、MQ、日志、SNMP等不同采集方式。部署Agent采集代理對湖南省氣象各類業(yè)務服務系統(tǒng)運行狀況及服務器系統(tǒng)的CPU、網絡、內存、磁盤實時運行狀況進行監(jiān)控數據采集，通過API接口、MQ消息、日志等方式采集氣象數據全流程各環(huán)節(jié)狀態(tài)信息，采用SNMP及網絡相鄰協(xié)議采集本省網絡資源及線路情況，適應省級綜合監(jiān)控業(yè)務需求。

1.2 功能結構

湖南省氣象綜合業(yè)務實時監(jiān)控平臺基于開放式的框架設計，實現對氣象業(yè)務系統(tǒng)運行、數據傳輸流程、基礎設施資源的總體監(jiān)控運維。支持氣象業(yè)務運行監(jiān)控的策略配置與實時告警，可以對監(jiān)視界面進行靈活的可視化組合定制。其功能結構如圖2所示。

圖2 平臺功能結構

1）氣象業(yè)務系統(tǒng)監(jiān)控。設計開放融合、可視化的氣象業(yè)務實時監(jiān)控模塊，覆蓋觀測、預報、服務和管理等氣象業(yè)務全領域，實現對氣象觀測業(yè)務、氣象預報預測核心業(yè)務系統(tǒng)、氣象服務以及氣象業(yè)務管理的統(tǒng)一監(jiān)控和集中告警的有機融合，支撐各類氣象業(yè)務系統(tǒng)穩(wěn)定運行。

2）數據全流程監(jiān)控。以氣象數據流程為主線開展氣象數據全生命周期的環(huán)節(jié)監(jiān)控，在業(yè)務分類上包括氣象數據上行、氣象數據下行、氣象數據共享及氣象數據服務接口等部分；在業(yè)務環(huán)節(jié)上涵蓋省級氣象數據采集、數據收集、數據加工處理、數據存儲服務、數據分析應用等全過程。

3）基礎設施資源監(jiān)控。設計省級氣象基礎設施資源監(jiān)控管理的統(tǒng)一門戶系統(tǒng)，實現對氣象基礎設施云平臺、氣象大數據云平臺、信息網絡及安全系統(tǒng)、機房動力環(huán)境監(jiān)控系統(tǒng)的統(tǒng)一監(jiān)控、調度與管理。具備對服務器、存儲系統(tǒng)、網絡系統(tǒng)等基礎設施資源的統(tǒng)一申請、分配和調度，支撐實現氣象基礎設施資源彈性配置和高效利用。

4）集中告警管理。設計集中告警管理配置模塊，集約業(yè)務系統(tǒng)、數據流程、基礎設施告警功能，并可根據業(yè)務不同進行靈活策略配置；設計涵蓋監(jiān)控、流程和運維等環(huán)節(jié)的可視化視圖，實現對各類氣象業(yè)務、數據、資源運行狀況的實時感知、全局管控；設計后臺權限配置管理功能，對氣象用戶、業(yè)務節(jié)點、資料環(huán)節(jié)、業(yè)務規(guī)則進行統(tǒng)一的管理與權限配置，保障系統(tǒng)運行安全可控。

2 關鍵技術

2.1 集約開放的采集控制平臺

為實現了各類監(jiān)控信息統(tǒng)一采控，設計了統(tǒng)一采集控制平臺，構建各監(jiān)控運維模塊和被管設備資源之間聯絡通訊的統(tǒng)一通道，解決各類不同來源監(jiān)控數據分散采集的問題。分布式架構的采集控制平臺可實現級聯化的信息采集與管理控制，設計緩沖隊列適應高并發(fā)數據實時處理，利用隊列來對數據進行消峰，滿足氣象業(yè)務高峰時期秒級采集間隔需求，適應中大規(guī)模基礎設施資源與業(yè)務應用監(jiān)控和運維管理。采集控制平臺充分融合模塊化方法和插件技術，使其具備靈活的擴展能力。業(yè)務流程數據、應用監(jiān)控數據、監(jiān)控告警數據的接入均無需考慮底層支撐調度技術，只要按照規(guī)范編制相應的信息采集腳本，按規(guī)范形成策略下發(fā)給代理，即可完成監(jiān)控數據采集、監(jiān)控策略與配置更新、資源統(tǒng)一調度控制。其結構如圖3所示。

圖3 采集控制平臺結構

在省級氣象基礎資源監(jiān)控信息采集上，結合湖南省基礎資源特性，通過SNMP、Agent、IIS、日志等不同采集方式，對CPU運行、網絡占用、內存使用總數等進行了統(tǒng)一監(jiān)控策略設計；通過對網絡設備特性進行分析，采用SNMP及網絡相鄰協(xié)議采集本省網絡資源及線路情況，對省、市、縣路由器、交換機等網絡設備進行在線情況、網絡連通狀況、線路流量等信息統(tǒng)一采集；針對核心業(yè)務系統(tǒng)監(jiān)控信息，采用Agent或API方式采集不同監(jiān)控數據，設計了包括硬件集群、數值預報分析產品、雷達數據、衛(wèi)星數據、用戶數、使用資料頻率、訪問資料流量等在內的監(jiān)控指標策略集；在氣象業(yè)務流程監(jiān)控信息采集上，根據湖南省上下行資料傳輸流程、存儲狀況、資料采集點等情況，針對資料級別、資料種類、告警方式和采集方式等制定不同的采集策略。

2.2 基于數據融合技術的監(jiān)控信息高速處理與存儲

監(jiān)控平臺數據來源多樣，包括氣象基礎設施、業(yè)務應用、數據流程等不同監(jiān)控數據，數據結構類型也各有特點。為解決原有各類獨立的業(yè)務監(jiān)控系統(tǒng)無法同時處理多種類數據的問題，監(jiān)控平臺采用了數據融合的思路［13］，設計數據管理模塊，對各類監(jiān)控數據進行標準化處理、存儲并提供讀取API，支撐多樣化異構監(jiān)控數據高效處理與存儲管理。其結構如圖4所示。

圖4 數據融合管理模塊結構

數據融合管理模塊支持多種異構的數據來源，包括網絡流量鏡像數據、機器設備日志與指標數據、氣象應用系統(tǒng)日志與指標數據、用戶操作采集數據、工單通知數據等。

監(jiān)控數據存儲管理系統(tǒng)依據關系型數據、NoSQL非關系型數據庫的特性設計。各類配置與管理信息采用MySQL進行存儲管理，采用開源分布式NoSQL數據庫系統(tǒng)Cassandra存儲指標數據，基于開源的Redis設計熱點數據緩存庫，利用ElasticSearch支撐監(jiān)控管理過程中的各類事件數據實時搜索?；赟tream流式處理框架對實時監(jiān)控數據流進行計算、統(tǒng)計、分析和告警處理，同時基于運維大數據處理框架與機器學習方法進行相應的計算模型訓練，以更好地支撐氣象運維監(jiān)控中的資源提取、指標預測、業(yè)務健康度、告警管理和人機交互等應用能力。采用Rest等開放接口支撐與第三方系統(tǒng)進行高效的信息接入和數據處理，增強平臺擴展能力。

2.3 基于消息流的氣象數據全過程監(jiān)控

為支撐氣象數據流傳輸和消息傳輸對數據監(jiān)控的新需求，在監(jiān)控平臺設計了基于省級氣象大數據云平臺數據傳輸系統(tǒng)CTS的DI處理及存儲流程［14］，對氣象數據全生命周期的各個環(huán)節(jié)，按照統(tǒng)一的標準進行日志信息的收集，實時處理和分析，診斷數據運行狀態(tài)，按策略自動調整運行流程。具體流程如下：在CTS集群上部署日志網關，分別對文件傳輸、消息傳輸和流傳輸監(jiān)控信息進行實時處理。在Flume-lib中增加了監(jiān)控運維系統(tǒng)日志信息處理模塊的分發(fā)策略配置，將CTS收集及發(fā)送DI信息分別存入Mysql數據庫Tab_RecvDataInfol和Tab_Send-DataInfo表中。處理模塊采集到信息后，根據前期研究制定的策略，立刻進行數據傳輸狀態(tài)的指標判斷，并根據不同資料類型分別接入到ElastiSearch搜索庫中，進行數據分析及分類處理，處理后的數據接入數據全流程監(jiān)控頁面。此外，依據前期研究制定的告警策略將告警數據過濾后接入集中告警平臺進行告警。其流程如圖5所示。

圖5 數據監(jiān)控流程

2.4 智能型集中告警策略設計

集中告警是氣象業(yè)務監(jiān)控運維中一個重要環(huán)節(jié)，結合可視化界面，向業(yè)務服務人員和運維管理人員及時提供準確的告警信息，提早發(fā)現和解決問題，保障業(yè)務正常運行。為支撐上述需求，監(jiān)控平臺基于自動化、智能化運維管理流程，設計了集中告警管理模塊，匯聚各類氣象系統(tǒng)產生的告警事件，經過過濾、分類、分級、轉換等處理環(huán)節(jié)，對各類實時監(jiān)控數據和歷史監(jiān)控數據進行關聯性分析，分析各類告警閾值、告警時間、告警頻次等策略，按照預定義的事件規(guī)則，形成分級、有效的預警或故障告警信息，統(tǒng)一集中展示與告警。部分監(jiān)控告警策略如表1所示。

表1 監(jiān)控告警策略

告警接收：設計API、SNMPTrap、Syslog等實現方式，實現對網絡、服務器、應用、基礎服務等各類系統(tǒng)及資源告警信息、故障事件接收處理，并對各類異常關鍵指標進行分級。

告警分析：設計EI事件規(guī)則、告警推送接口規(guī)范以及可自定義的監(jiān)控告警數據分析規(guī)則，適應各類異構監(jiān)控告警數據的接入、處理和多業(yè)務聯動，可以對同一業(yè)務不同數據流程或同一流程下不同業(yè)務環(huán)節(jié)的監(jiān)控告警信息進行合并、關聯，支撐統(tǒng)一業(yè)務管理。

告警交互：設計監(jiān)控告警與運維流程、配置管理工具的聯動機制，按照預設的規(guī)則觸發(fā)故障工單或查看故障源資源信息，實現工單自動派發(fā)或故障分析。

告警通知：設計流水式告警信息通知及告警反饋機制，按時間序列查看嚴重告警生成情況，并通過查看某個時間的告警事件，告警信息能夠自動關聯故障源的配置信息，掌握故障資源的相關管理信息，提升故障處理效率。

3 應用效果

依據上述設計方案，湖南省建設了氣象綜合業(yè)務實時監(jiān)控平臺并投入業(yè)務運行。監(jiān)控平臺部署于省級氣象核心業(yè)務區(qū)，由氣象大數據云平臺提供基礎資源支撐，對包含氣象大數據云平臺在內的各類氣象業(yè)務系統(tǒng)、數據資源、基礎環(huán)境實現統(tǒng)一監(jiān)控?；A資源節(jié)點部署情況如表2所示。

表2 基礎環(huán)境部署

湖南省氣象綜合業(yè)務實時監(jiān)控平臺按照“縱向到底、橫向到邊”原則設計，支撐實現“全業(yè)務、全要素、全流程”的氣象信息監(jiān)控運維模式。平臺基于可視化技術大量采用圖表、色塊、模型等表現形式在大屏上綜合展示各類系統(tǒng)宏觀和細節(jié)運行狀況，實現了智能化、一體化的監(jiān)控管理，便于業(yè)務故障的快速定位，為業(yè)務穩(wěn)定運行提供保障。如圖6所示。

圖6 湖南省氣象綜合業(yè)務實時監(jiān)控平臺界面

4 結語

湖南省氣象綜合業(yè)務實時監(jiān)控平臺按照氣象信息化、集約化、標準化的原則設計，整合了湖南省省級直屬單位、市（縣）氣象各類監(jiān)控業(yè)務，通過多場景的方式，從監(jiān)視到告警，再到后續(xù)管理流程實現了集約化綜合監(jiān)控與運維，便于臺站-市-省的監(jiān)控運維管理協(xié)同配合，解決了省級氣象業(yè)務現代化發(fā)展的保障與優(yōu)化問題，為“精密監(jiān)測、精準預報、精細服務”提供了堅實的支撐保障。后期還將對平臺不斷進行細化與完善，在分權限監(jiān)視及運維能力策略、運維擴展管理、個性化監(jiān)控建設等方面開展深化研究。