丁偉杰，黃志聰，陳 燕

（佛山市高明區(qū)氣象局，廣東 佛山528000）

近些年在氣象事業(yè)快速發(fā)展的同時，信息化建設成為了主流，佛山市結合自身實際情況，利用信息化手段，不斷提升氣象信息化管理水平，讓氣象信息業(yè)務水平及管理水平得到極大提升。通過基礎設施的信息化建設，能夠?qū)崿F(xiàn)綜合業(yè)務工作開展的信息化，將氣象觀測、天氣預報等設置在系統(tǒng)中，發(fā)揮系統(tǒng)管理在實際工作中的作用。氣象信息綜合管理共享系統(tǒng)的構建與應用，能夠滿足時代發(fā)展需求，確保在氣象行業(yè)的健康發(fā)展，為氣象業(yè)務管理工作提供支持。

打破業(yè)務數(shù)據(jù)管理壁壘、整合氣象信息技術資源、簡化業(yè)務流程和各環(huán)節(jié)、推進氣象業(yè)務數(shù)據(jù)融合與技術協(xié)同，在進行氣象管理工作期間，可以實現(xiàn)氣象數(shù)據(jù)信息共享，提升氣象工作的管理水平，為佛山市氣象信息業(yè)務的發(fā)展奠定堅實基礎。

1 系統(tǒng)設計

1.1 總體架構

佛山市綜合氣象管理信息資源共享與數(shù)據(jù)管理服務系統(tǒng)平臺致力于在綜合氣象管理行業(yè)內(nèi)部有效滿足各氣象業(yè)務部門和信息管理系統(tǒng)之間的氣象數(shù)據(jù)信息資源相互共享和信息交換，為各區(qū)綜合氣象管理業(yè)務和信息管理系統(tǒng)用戶同時提供氣象信息資源共享和管理一站式信息在線查詢服務。歸納起來，共享管理信息主要類型包括氣象觀測基礎數(shù)據(jù)、公共服務產(chǎn)品、專業(yè)服務產(chǎn)品和人員信息等大數(shù)據(jù)。

實現(xiàn)上述基礎信息的存儲統(tǒng)一管理共享和集中管理，系統(tǒng)必須獨立制定一套標準、規(guī)范的共享數(shù)據(jù)管理存儲信息格式，實現(xiàn)系統(tǒng)多源、異構共享數(shù)據(jù)的信息集中管理存儲和統(tǒng)一共享，功能上主要包括共享數(shù)據(jù)系統(tǒng)資源信息目錄存儲管理、元數(shù)據(jù)存儲管理、共享數(shù)據(jù)信息存儲管理、系統(tǒng)資源存儲管理、數(shù)據(jù)服務器和接口存儲管理、數(shù)據(jù)系統(tǒng)監(jiān)控等諸多基礎信息。系統(tǒng)數(shù)據(jù)總體管理架構如圖1所示，采用成熟的三層數(shù)據(jù)體系管理架構：數(shù)據(jù)表示層、業(yè)務邏輯處理層和重大數(shù)據(jù)處理層。表示層網(wǎng)站是氣象系統(tǒng)監(jiān)測門戶，采用國際標準的移動webgi客戶端進行開發(fā)，負責與監(jiān)測用戶數(shù)據(jù)進行交互，提供數(shù)據(jù)狀態(tài)智能自動檢索、快速智能導航、個性化智能推薦和監(jiān)測數(shù)據(jù)狀態(tài)可視化智能展示等多種功能，通過輸入webgis、圖形、表格等多種方式即可實現(xiàn)各類大型氣象監(jiān)測數(shù)據(jù)的信息共享上傳服務。業(yè)務系統(tǒng)邏輯管理層除了可以提供對于基礎用戶數(shù)據(jù)、公共氣象服務產(chǎn)品、專業(yè)氣象服務產(chǎn)品和用戶管理業(yè)務信息的各種接口數(shù)據(jù)訪問，還可以提供對所有用戶業(yè)務行為、日志管理信息等業(yè)務系統(tǒng)本身的數(shù)據(jù)管理信息服務。數(shù)據(jù)管理層主要集成依賴于CIMISS氣象數(shù)據(jù)管理環(huán)境庫并構建佛山市本地氣象業(yè)務綜合信息數(shù)據(jù)庫，在對本地氣象數(shù)據(jù)等進行存儲與管理期間，可以對其進行集中存儲與管理，在對應的氣象數(shù)據(jù)服務管理接口，能將各類數(shù)據(jù)服務請求進行及時接收，然后確保在氣象系統(tǒng)發(fā)展期間，能在數(shù)據(jù)支持下實現(xiàn)業(yè)務的合理開展。

圖1 綜合氣象信息共享與管理系統(tǒng)總體架構

1.2 功能設計

佛山市綜合基礎氣象管理信息數(shù)據(jù)共享與綜合管理服務系統(tǒng)主要包括共享基礎氣象數(shù)據(jù)、業(yè)務管理產(chǎn)品、服務管理產(chǎn)品和綜合氣象信息管理4個主要功能模塊。

1.2.1 網(wǎng)站首頁

首頁氣象作為系統(tǒng)的氣象訪問檢索入口，綜合方位展示我市氣象行業(yè)基礎技術數(shù)據(jù)、業(yè)務、服務和氣象信息安全管理等重點領域關注的氣象信息，功能除了各類業(yè)務功能導航、通知欄等信息外，還包括各種智能氣象檢索、個性化氣象推薦、最新氣象產(chǎn)品詳情鏈接等。

1.2.2 檢查基礎統(tǒng)計數(shù)據(jù)

基礎氣象數(shù)據(jù)通常認為是氣象行業(yè)內(nèi)和用戶整體需求量最大的一類基本氣象基礎科學資料數(shù)據(jù)，根據(jù)基礎氣象科學資料的主要內(nèi)容功能屬性和諸如CIMISS等的分類使用標準，功能數(shù)據(jù)分類主要包括輻射地面、高空，輻射農(nóng)氣及水生態(tài)，大氣化學成分，大氣生態(tài)環(huán)流及輻射雷達、衛(wèi)星氣象數(shù)值天氣預報5類產(chǎn)品和其他共10類基礎氣象科學資料。除了提供包括制圖查詢、統(tǒng)計和文件下載等各種常規(guī)制圖功能外，還包括了諸如顯示時序結構圖、分布結構圖、等值圖曲線、色斑結構圖的各種在線自動制圖查詢服務。

1.2.3 業(yè)務核心產(chǎn)品

業(yè)務核心產(chǎn)品主要面向各級氣象業(yè)務部門、科研企業(yè)用戶。功能范圍覆蓋各級氣象部門所屬核心氣象業(yè)務，包括氣象天氣預測類、氣候監(jiān)測類、農(nóng)氣服務類、專業(yè)氣象服務項目類和氣象人影服務類的氣象業(yè)務核心產(chǎn)品。除可以提供各種常規(guī)數(shù)據(jù)查詢服務功能外，還可以提供材料加工數(shù)據(jù)統(tǒng)計值、分布統(tǒng)計圖等多種在線數(shù)據(jù)分析查詢功能。

1.2.4 服務性的產(chǎn)品

服務各類產(chǎn)品主要用于面向政府決策、公眾和氣象專業(yè)用戶服務，將氣象行業(yè)基礎技術數(shù)據(jù)、氣象服務產(chǎn)品加工制作和服務產(chǎn)品應用有機相互融合，提供基于氣象服務產(chǎn)品的可視化信息展示應用功能。

1.2.5 妥善管理個人信息

管理決策信息中心面向各級氣象輔助管理決策部門主體用戶，實現(xiàn)各級氣象輔助業(yè)務、事務管理決策數(shù)據(jù)的信息規(guī)范化、扁平化，為各級氣象輔助管理部門提供氣象輔助管理決策數(shù)據(jù)支持，提升決策執(zhí)行力和決策預判的能力。功能上主要范圍包括網(wǎng)絡數(shù)據(jù)安全監(jiān)控、質(zhì)量安全監(jiān)控和網(wǎng)絡信息安全通報。數(shù)據(jù)質(zhì)量監(jiān)控主要包括氣象基礎技術數(shù)據(jù)、業(yè)務以及產(chǎn)品、服務以及產(chǎn)品，從數(shù)據(jù)收集、解析、入庫管理到用戶共享等一體化、全方位流程的質(zhì)量監(jiān)控數(shù)據(jù)管理;信息質(zhì)量服務監(jiān)控主要包括信息傳輸服務質(zhì)量（CIMISS、mdos）、預報服務質(zhì)量、預警服務質(zhì)量等相關信息的質(zhì)量監(jiān)控；信息資源主要包括現(xiàn)代化網(wǎng)站建設、產(chǎn)品信息發(fā)布、數(shù)據(jù)資源下載信息通報等。

2 系統(tǒng)關鍵技術

2.1 海量異構氣象數(shù)據(jù)存儲

由于CIMISS對于采用關系型氣象數(shù)據(jù)庫組合存儲非典型結構化氣象數(shù)據(jù)的采用元數(shù)據(jù)存儲信息、采用氣象集群文件系統(tǒng)組合存儲非典型結構化氣象數(shù)據(jù)文件，上述基于傳統(tǒng)軟件架構對不斷變化增加的應用海量非典型結構化氣象數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫和存儲文件服務系統(tǒng)功能需求不足，易出現(xiàn)數(shù)據(jù)負載性能飽和、讀寫系統(tǒng)性能不足的服務瓶頸技術問題，影響了氣象系統(tǒng)存儲服務的數(shù)據(jù)時效性和數(shù)據(jù)穩(wěn)定性。

因此，對基于CIMISS等的數(shù)據(jù)庫和存儲系統(tǒng)進行了可擴展性和應用場景研究，提出基于Adoracleop數(shù)據(jù)庫存儲集群和Ci-Hadoopop分布式文件系統(tǒng)等混合應用架構的氣象管理綜合信息數(shù)據(jù)庫，氣象信息基礎設施數(shù)據(jù)、業(yè)務硬件產(chǎn)品、服務軟件產(chǎn)品和企業(yè)管理氣象信息的一個標準、統(tǒng)一、集約化的存儲應用環(huán)境。

2.2 氣象數(shù)據(jù)加工處理

氣象統(tǒng)計數(shù)據(jù)分析加工任務處理功能系統(tǒng)按照不同業(yè)務處理功能主要分為自動常規(guī)產(chǎn)品統(tǒng)計處理產(chǎn)品計劃加工、網(wǎng)格化處理產(chǎn)品統(tǒng)計加工、自動圖形化處理產(chǎn)品統(tǒng)計加工。在不同的業(yè)務功能產(chǎn)品下，根據(jù)相關標準及規(guī)范，對本地氣象常規(guī)統(tǒng)計產(chǎn)品要素，一定要對其進行明確，并能將日、候、旬等基本單位進行囊括；氣象網(wǎng)格化統(tǒng)計產(chǎn)品主要是以5×5公里氣象實況的網(wǎng)格化統(tǒng)計產(chǎn)品數(shù)據(jù)為統(tǒng)計基礎，融合本地區(qū)小時、日等值的地面氣候觀測氣象數(shù)據(jù)，細化設計生成1×1公里的本地區(qū)特色實時氣象要素和網(wǎng)格式特點化統(tǒng)計產(chǎn)品；氣象圖形化統(tǒng)計產(chǎn)品以氣象圖形化統(tǒng)計產(chǎn)品作為標準，實時、準實時地細化生成區(qū)域落區(qū)氣象圖、分布氣象圖等13種氣象圖形化統(tǒng)計產(chǎn)品。

任務調(diào)度、數(shù)據(jù)接口加工等是數(shù)據(jù)接口加工任務處理工作的基本流程，在不同模塊的規(guī)范實踐下，能夠保證業(yè)務開展的可靠性與合理性。任務調(diào)度管理采用Quartz軟件開源開發(fā)組件進行實現(xiàn)，Quartz組件是一個輕量級的大型企業(yè)任務調(diào)度管理框架，完全由Java語言編寫，能為任務調(diào)度管理提供可靠支持，確保管理機制開展的有效性，而且在軟件的實際應用中操作比較簡單。在Quartz任務調(diào)度系統(tǒng)框架的應用下，加工資料處理任務系統(tǒng)能夠?qū)σ粋€加工處理任務進行觸發(fā)，調(diào)用加工處理任務后，任務調(diào)度要求的統(tǒng)計結果集可以在服務用戶接口終端獲?。蝗缓罂梢栽诮y(tǒng)計算法以及模型中將統(tǒng)計結果集以及數(shù)據(jù)模型傳入，這樣就可以在統(tǒng)計算法以及模型的應用下，得到對應的統(tǒng)計結果集；最后，服務接口終端需要接收統(tǒng)計運算后的結果，然后可以寫入加工數(shù)據(jù)。在具體操作期間，每一次都會進行日志記錄，為以后進行日志記錄分析工作提供數(shù)據(jù)參考。

2.3 智能搜索引擎

傳統(tǒng)的氣象數(shù)據(jù)檢索處理方法已經(jīng)難以有效滿足用戶日益增長的各種氣象信息數(shù)據(jù)高性能信息檢索服務需求，如何快速、高效地從各種海量化的氣象信息數(shù)據(jù)中檢索有用的氣象數(shù)據(jù)信息資源已經(jīng)發(fā)展成為信息共享與數(shù)據(jù)管理信息系統(tǒng)的一大難點。因此，結合氣象個性化信息推薦和分布式氣象搜索分析引擎，提出了基于數(shù)字Elasticsearch引擎構建的智能氣象搜索分析引擎，針對海量氣象信息數(shù)據(jù)可以實現(xiàn)智能自動檢索分析相關氣象信息，同時為廣大用戶免費提供快速氣象信息檢索查詢分析服務。

構建案例Elasticsearch垂直搜索集群引擎設計包括分布式搜索集群引擎設計、垂直搜索領域內(nèi)的專業(yè)搜索詞典引擎構建、數(shù)據(jù)資源索引、數(shù)據(jù)資源搜索和企業(yè)個性化產(chǎn)品推薦。Elasticsearch分布式氣象集群根據(jù)現(xiàn)有的氣象行業(yè)基礎集群數(shù)據(jù)、各類集群產(chǎn)品應用規(guī)模及集群相關產(chǎn)品性能數(shù)據(jù)進行氣象集群結構設計。

2.4 面向氣象數(shù)據(jù)的可視化信息技術

可視化信息技術系統(tǒng)融合了工業(yè)信息技術可視化、科學技術可視化、人機交互、數(shù)據(jù)挖掘等多門學科，針對復雜氣象相關數(shù)據(jù)模型具有多交互類型、高交互維度、弱交互模式等不同特點，利用交互分布式界面對復雜氣象相關數(shù)據(jù)模型進行實時分析和綜合展示，同時充分融入用戶認知思維能力和綜合計算思維能力，從而為用戶實時提供復雜氣象相關數(shù)據(jù)的高效處理和分析服務。

3 結束語

綜合氣象信息數(shù)據(jù)共享與業(yè)務管理信息系統(tǒng)不僅是直接支持氣象信息業(yè)務管理應用的氣象數(shù)據(jù)服務技術平臺，同時也是直接支撐氣象部門核心技術業(yè)務、提升氣象部門信息管理服務水平的重要技術基礎，該信息系統(tǒng)的開發(fā)設計與應用研究將有效地解決氣象部門對多媒體類型、規(guī)模大、業(yè)務管理邏輯復雜等氣象數(shù)據(jù)缺乏共享和信息管理不足的實際難題。