王祝先
(黑龍江省氣象數(shù)據(jù)中心,哈爾濱 150001)
黑龍江省CIMISS前端通信系統(tǒng)設(shè)計
王祝先
(黑龍江省氣象數(shù)據(jù)中心,哈爾濱 150001)
為進(jìn)一步優(yōu)化上下行數(shù)據(jù)的收發(fā),迫切需要在CIMISS前端開發(fā)通信系統(tǒng)。實施氣象現(xiàn)代化建設(shè)是落實省局相關(guān)指示精神的重要方面,而省市縣管理業(yè)務(wù)一體化平臺需要一個系統(tǒng)提供數(shù)據(jù)收發(fā)監(jiān)控信息?;谏鲜鰳I(yè)務(wù)需求,設(shè)計CIMISS前端通信系統(tǒng),改造原有老舊的9210體系,實現(xiàn)了氣象數(shù)據(jù)業(yè)務(wù)的通信穩(wěn)定、可靠與即時。
CIMISS;氣象數(shù)據(jù)傳輸;系統(tǒng)設(shè)計
Abstract: In order to further optimize the transmission and output of uplink and downlink data, it is urgent to develop communication system in front of CIMISS. The implementation of meteorological modernization is an important aspect of the implementation of the relevant instructions of the provincial bureau, and the provincial and municipal management business integration platform needs a system to provide data transceiver monitoring information. Based on the above business needs, it should design CIMISS front-end communication system, transform the old 9210 system, so as to achieve the stability and reliability of meteorological data.
Keywords: CIMISS; Meteorological data transmission; System design
新一代天氣雷達(dá)信息共享平臺(CIMISS,下文簡稱CIMISS)是氣象事業(yè)發(fā)展規(guī)劃中的重要業(yè)務(wù)系統(tǒng)建設(shè)工程,是新一代天氣雷達(dá)數(shù)據(jù)和其他各種氣象數(shù)據(jù)的收集、分發(fā)、處理、管理、共享平臺??蓪崿F(xiàn)各種氣象觀測數(shù)據(jù)和產(chǎn)品(包括新一代天氣雷達(dá)的基礎(chǔ)數(shù)據(jù)和產(chǎn)品)的實時收集、分發(fā)及這些氣象信息的規(guī)范化存儲管理和氣象行業(yè)內(nèi)部的高效獲取,并可通過多種方式,面向水利、民航、農(nóng)業(yè)、林業(yè)、海洋等不同行業(yè)用戶實現(xiàn)數(shù)據(jù)的共享服務(wù)。CIMISS系統(tǒng)在2015年1月1日業(yè)務(wù)化運行,其收集的數(shù)據(jù)主要來源于本省觀測數(shù)據(jù)及國家信息中心cmacast廣播數(shù)據(jù)。我省氣象數(shù)據(jù)通信系統(tǒng)較為老化僵硬,無法提供準(zhǔn)確、即時的氣象數(shù)據(jù)。此外,隨著我省管理業(yè)務(wù)一體化平臺的推廣與應(yīng)用,更加迫切地需要觀測數(shù)據(jù)收發(fā)的集約化和一體化管理。
當(dāng)前,我省的氣象數(shù)據(jù)流程較為混亂,其依托的是9210的兩臺服務(wù)器提供ftp服務(wù)。觀測數(shù)據(jù)的收集部署在三臺服務(wù)器,分別為(172.19.112.3)(以下簡稱點三)、(172.19.112.7)(以下簡稱點七)及新一代服務(wù)器。收集軟件也不盡相同,其中點三服務(wù)器運行了本單位自行開發(fā)的氣象通信程序,點七服務(wù)器運行了國家新一代通信系統(tǒng)的單機(jī)版本,而新一代服務(wù)器運行的是國家新一代通信系統(tǒng)的集群版本。
在此基礎(chǔ)上的業(yè)務(wù),包括省域氣象數(shù)據(jù)共享、行業(yè)氣象數(shù)據(jù)共享等,其數(shù)據(jù)流程也較為復(fù)雜。而CIMISS系統(tǒng)運行后,本地給CIMISS的數(shù)據(jù)就更為混亂。系統(tǒng)的復(fù)雜性導(dǎo)致了故障的偶然性增加,運行維護(hù)的難度也隨之加大。因此,有必要對我省氣象數(shù)據(jù)通信系統(tǒng)進(jìn)行整合開發(fā),使其具備為CIMISS系統(tǒng)提供即時準(zhǔn)確數(shù)據(jù)的能力。
2.1 設(shè)計目標(biāo)
建立敏捷化的數(shù)據(jù)交換體系,通過高效、敏捷的數(shù)據(jù)交換體系,實現(xiàn)觀測系統(tǒng)和信息業(yè)務(wù)系統(tǒng)的規(guī)范化接入,以及各個業(yè)務(wù)系統(tǒng)協(xié)調(diào)運行的實時氣象數(shù)據(jù)收集與分發(fā)業(yè)務(wù);建立網(wǎng)絡(luò)化的傳輸監(jiān)控體系,數(shù)據(jù)傳輸?shù)氖欠駵?zhǔn)確、即時,需要一套完善和穩(wěn)定的傳輸監(jiān)控系統(tǒng)。當(dāng)前,我省所用的231監(jiān)控平臺,存在著設(shè)備老化、軟件缺乏更新等問題,無法滿足CIMISS系統(tǒng)的要求。建立一個全網(wǎng)絡(luò)、高可用的傳輸監(jiān)控系統(tǒng),是CIMISS前端通信的重要方面。
2.2 設(shè)計原則
2.2.1 穩(wěn)定性與高時效性
氣象資料的收發(fā)處理和存儲存在時效性要求,在數(shù)據(jù)文件大量到達(dá)時,系統(tǒng)應(yīng)該能夠提供穩(wěn)定和高速的處理能力。通過采用高效的開發(fā)及算法語言、數(shù)據(jù)庫與文件庫的優(yōu)化配置、預(yù)置初始化資源池、動態(tài)調(diào)整作業(yè)優(yōu)先級、動態(tài)調(diào)整執(zhí)行作業(yè)數(shù)、作業(yè)負(fù)載均衡、硬件合理的冗余配置等措施提高系統(tǒng)的處理時效。
2.2.2 標(biāo)準(zhǔn)
CIMISS前端通信系統(tǒng)對所管理的氣象數(shù)據(jù)遵循CIMISS標(biāo)準(zhǔn)。在此基礎(chǔ)之上,制訂了管理數(shù)據(jù)標(biāo)準(zhǔn)。其主旨是兼顧地理信息為基礎(chǔ)的地域特征,在此基礎(chǔ)之上以自上而下的層級為主要的管理標(biāo)準(zhǔn)。
2.3 流程設(shè)計
流程圖如下:本省的觀測數(shù)據(jù)及其他上行數(shù)據(jù)通過ftp方式發(fā)送到省氣象信息中心的CIMISS前端系統(tǒng);前端通信系統(tǒng)經(jīng)過收集、處理后,再按照配置分發(fā)到CIMISS系統(tǒng)、新一代系統(tǒng)、水文系統(tǒng)、省域氣象用戶等各個系統(tǒng);CIMISS前端通信系統(tǒng)收集數(shù)據(jù)通信日志,解析后通過信息上報系統(tǒng)傳輸給數(shù)據(jù)存儲系統(tǒng);監(jiān)控平臺為省級用戶、地市級用戶展示數(shù)據(jù)上報、信息查詢等信息。
圖1 業(yè)務(wù)流程圖Fig.1 Business flow chart
3.1 數(shù)據(jù)收發(fā)子系統(tǒng)
數(shù)據(jù)收集與分發(fā)子系統(tǒng)是完成實時資料收集、業(yè)務(wù)處理、分發(fā)和補調(diào),實現(xiàn)對雷達(dá)、地面、高空、衛(wèi)星、農(nóng)業(yè)氣象與生態(tài)、大氣成分、海洋資料、輻射資料等觀探測資料以及數(shù)值預(yù)報產(chǎn)品、災(zāi)害資料、氣象業(yè)務(wù)服務(wù)產(chǎn)品的實時收集和傳輸業(yè)務(wù)處理,實現(xiàn)各類觀探測數(shù)據(jù)和產(chǎn)品的實時分發(fā),實現(xiàn)靈活的基于優(yōu)先級的收集和分發(fā)策略,具備并發(fā)收集與分發(fā)處理能力,主要包括數(shù)據(jù)收集、數(shù)據(jù)業(yè)務(wù)處理、數(shù)據(jù)分發(fā)、數(shù)據(jù)補調(diào)、數(shù)據(jù)存檔與編輯、系統(tǒng)管理等功能。
3.2 信息上報子系統(tǒng)
由兩部分組成,獨立的輕型消息中間件和上報進(jìn)程。輕型消息中間件是采用套接字開發(fā)的獨立系統(tǒng),能夠?qū)崿F(xiàn)消息隊列的功能,并且滿足本文相應(yīng)的時效性。DI上報:DI上報即收發(fā)詳細(xì)信息上報,上報的信息包括:文件收集信息、文件發(fā)送信息、公報接收信息、站號收集信息、站號發(fā)送信息、發(fā)送目的主機(jī)監(jiān)視信息、分發(fā)狀態(tài)信息等。EI上報:EI上報即收發(fā)系統(tǒng)的異常信息上報,上報的內(nèi)容包括:異常信息、錯報信息、進(jìn)程異常信息。CI上報:CI上報即收發(fā)系統(tǒng)的配置信息上報,上報的內(nèi)容包括:DIR_CONFIG,HOST_CONFIG文件。當(dāng)以上文件有更新時,須上報這三個文件的最新版本。其中,DIR_CONFIG中配置了哪些文件需要做什么處理的信息,HOST_CONFIG中配置了文件要發(fā)送到哪里的信息。
3.3 數(shù)據(jù)存儲子系統(tǒng)
存儲管理系統(tǒng)位于“數(shù)據(jù)收集和分發(fā)層”和“監(jiān)控管理層”之間,是CIMISS前端系統(tǒng)的數(shù)據(jù)核心。一方面對來自于上游的數(shù)據(jù)收發(fā)系統(tǒng)的日志數(shù)據(jù)進(jìn)行規(guī)范化存儲管理,同時另一方面也為下游的監(jiān)控管理系統(tǒng)及其他使用者提供統(tǒng)一的數(shù)據(jù)監(jiān)控訪問服務(wù)。
3.4 監(jiān)控管理子系統(tǒng)
分主機(jī)監(jiān)控設(shè)計:由于數(shù)據(jù)分發(fā)較為龐雜,故CIMISS前端系統(tǒng)不僅能夠監(jiān)控數(shù)據(jù)到CIMISS的情況,也能夠監(jiān)控數(shù)據(jù)分發(fā)到其他主機(jī)的詳細(xì)情況。分級監(jiān)控設(shè)計:采用省市縣三級用戶管理,實現(xiàn)了數(shù)據(jù)監(jiān)控的分層管理,避免了監(jiān)控界面的復(fù)雜混亂。收集、分發(fā)監(jiān)控獨立設(shè)計:收集監(jiān)控的是所有收集的信息,包括站級報文、文件級報文、cmacast報文和其他未識別的報文,包括了重復(fù)報、錯誤報等一切系統(tǒng)收集到的報文。
我省CIMISS前端通信系統(tǒng)的設(shè)計與開發(fā),使本省氣象數(shù)據(jù)省級中心的處理更加具有緊湊化、清晰化、集約化的特點。其高效穩(wěn)定地進(jìn)行數(shù)據(jù)傳輸、實時準(zhǔn)確地進(jìn)行傳輸監(jiān)控,不僅解決了當(dāng)前信息中心較為混亂的數(shù)據(jù)傳輸問題,更為CIMISS的運行提供了強有力的保障。
[1] 王宏記.基于CIMISS的長江流域氣象水文信息共享系統(tǒng)設(shè)計與實現(xiàn)研究[J].安徽農(nóng)業(yè)科學(xué),2014,42(32):11565-11570.
[2] 申彥.大規(guī)模數(shù)據(jù)集高效數(shù)據(jù)挖掘算法研究[D].鎮(zhèn)江:江蘇大學(xué),2013.
DesignofCIMISSfront-endcommunicationsysteminHeilongjiangprovince
WANG Zhu-xian
(Meteorological Data Center of Heilongjiang Province, Harbin 150001, China)
P414
A
1674-8646(2017)17-0062-02
2017-06-27