吳文玉,翟 菁,霍彥峰

1(安徽省氣象科學(xué)研究所,合肥 230031)

2(大氣科學(xué)與衛(wèi)星遙感安徽省重點實驗室,合肥 230031)

3(壽縣國家氣候觀象臺,壽縣 232200)

4(中國氣象局淮河流域典型農(nóng)田生態(tài)氣象野外科學(xué)試驗基地,壽縣 232200)

1 引言

隨著經(jīng)濟(jì)快速發(fā)展,城市化和工業(yè)化進(jìn)程加快,能源消耗增多,空氣污染日益嚴(yán)重,低能見度天氣現(xiàn)象頻繁出現(xiàn),嚴(yán)重影響到人民群眾生產(chǎn)生活,引起各級政府和環(huán)境、氣象、科技等部門高度關(guān)注.人們對生存環(huán)境和生活質(zhì)量的要求也越來越高,公眾對氣象環(huán)境服務(wù)需求也日益豐富.為此,氣象部門已將大氣環(huán)境服務(wù)納入了氣象業(yè)務(wù)工作的重要組成部分,各地氣象部門陸續(xù)開展了大氣環(huán)境預(yù)報業(yè)務(wù),并開展了相關(guān)系統(tǒng)研發(fā)和業(yè)務(wù)能力建設(shè)[1-3].為提升生態(tài)與環(huán)境氣象業(yè)務(wù)服務(wù)水平,強(qiáng)化業(yè)務(wù)基礎(chǔ)和技術(shù)成果應(yīng)用,迫切需要研發(fā)省級環(huán)境氣象業(yè)務(wù)系統(tǒng).本文主要闡述了省級環(huán)境氣象業(yè)務(wù)系統(tǒng)設(shè)計目標(biāo)、總體架構(gòu)、功能組成和主要關(guān)鍵技術(shù).通過系統(tǒng)的研制應(yīng)用,構(gòu)建統(tǒng)一規(guī)范的綜合數(shù)據(jù)環(huán)境,建立一體化服務(wù)平臺,研發(fā)業(yè)務(wù)服務(wù)產(chǎn)品.系統(tǒng)的建立提高了業(yè)務(wù)服務(wù)效率和規(guī)范化水平,為政府部門與社會公眾防災(zāi)減災(zāi)提供科學(xué)決策支撐,為生態(tài)文明建設(shè)、應(yīng)對氣候變化和大氣污染防治提供氣象服務(wù)保障.

2 系統(tǒng)總體設(shè)計

2.1 系統(tǒng)目標(biāo)

本系統(tǒng)是省級氣象部門開展環(huán)境氣象綜合業(yè)務(wù)服務(wù)的基礎(chǔ)性工作平臺.系統(tǒng)基于C/S 和B/S 混合架構(gòu),具有相對獨(dú)立的后臺加工處理和前臺顯示分析子系統(tǒng),其數(shù)據(jù)環(huán)境與交互分析、智能網(wǎng)格預(yù)報服務(wù)保持協(xié)同一致,主要包括資料綜合監(jiān)測與顯示、預(yù)報交互分析、實況監(jiān)測評估、服務(wù)產(chǎn)品制作發(fā)布、值班考核、預(yù)報產(chǎn)品檢驗及系統(tǒng)管理等業(yè)務(wù)功能.

系統(tǒng)應(yīng)用全國綜合氣象信息共享平臺(CIMISS)基礎(chǔ)接口,具備標(biāo)準(zhǔn)規(guī)范、安全可靠、效率優(yōu)先,擴(kuò)展性強(qiáng),兼顧實用性和前瞻性.基于ActiveMQ 框架的消息總線中間件,協(xié)調(diào)各個子系統(tǒng)模塊間的數(shù)據(jù)同步和應(yīng)用請求,解決了系統(tǒng)模塊之間數(shù)據(jù)轉(zhuǎn)換、功能接口以及系統(tǒng)升級維護(hù)等需求,保證系統(tǒng)的一致性和穩(wěn)定性.系統(tǒng)各功能模塊具有高效的互聯(lián)互通性、易用性和易維護(hù)性,性能指標(biāo)和處理能力能夠完全滿足要求.

2.2 系統(tǒng)總體架構(gòu)

系統(tǒng)總體基于可擴(kuò)展、插件式應(yīng)用程序框架MEF進(jìn)行模塊化開發(fā),支持便捷地掛接新增各種應(yīng)用.系統(tǒng)架構(gòu)核心是由基于C/S 的多源數(shù)據(jù)匯集管理中心和基于B/S 的WebGIS 綜合信息交互分析系統(tǒng)組成.多源數(shù)據(jù)匯集管理中心是系統(tǒng)運(yùn)行的核心樞紐,WebGIS 綜合信息顯示交互系統(tǒng)能高效顯示地理信息基礎(chǔ)數(shù)據(jù)、氣象格點場、環(huán)境氣象監(jiān)測等數(shù)據(jù)以及交互分析.系統(tǒng)設(shè)計制定了一套標(biāo)準(zhǔn)規(guī)范體系和安全保障體系,包括命名標(biāo)準(zhǔn)、建庫標(biāo)準(zhǔn)、數(shù)據(jù)通訊標(biāo)準(zhǔn)、數(shù)據(jù)交換標(biāo)準(zhǔn)等,確保在標(biāo)準(zhǔn)基礎(chǔ)上安全穩(wěn)定運(yùn)行.圖1是系統(tǒng)總體架構(gòu)圖.

圖1 系統(tǒng)總體架構(gòu)圖

如圖1所示,系統(tǒng)主要包括:(1)運(yùn)行支撐層:主要是建立系統(tǒng)所必需的各類軟件和硬件支撐基礎(chǔ).(2)數(shù)據(jù)資源層:主要是系統(tǒng)基礎(chǔ)數(shù)據(jù)環(huán)境,包含各種氣象實況監(jiān)測數(shù)據(jù)、環(huán)境空氣質(zhì)量監(jiān)測數(shù)據(jù)、模式產(chǎn)品、預(yù)報數(shù)據(jù)等采集處理和數(shù)據(jù)資源池管理等.多源數(shù)據(jù)資料采集管理模塊,通過定時采集和文件夾監(jiān)聽方式,實時采集氣象觀測數(shù)據(jù)、環(huán)境空氣質(zhì)量監(jiān)測數(shù)據(jù)、數(shù)值預(yù)報數(shù)據(jù)和指導(dǎo)產(chǎn)品,根據(jù)數(shù)據(jù)的特點分別解析、轉(zhuǎn)換、導(dǎo)入數(shù)據(jù)庫和本地文件夾,確保系統(tǒng)數(shù)據(jù)的完整性和時效性;后臺數(shù)據(jù)產(chǎn)品加工服務(wù)模塊,部署在應(yīng)用服務(wù)器,通過業(yè)務(wù)內(nèi)網(wǎng),連接各個數(shù)據(jù)源,進(jìn)行數(shù)據(jù)的獲取、解析、處理和入庫.實現(xiàn)監(jiān)測分析產(chǎn)品、模式診斷產(chǎn)品、模式檢驗產(chǎn)品等產(chǎn)品的生成,以提高系統(tǒng)的響應(yīng)速度,增強(qiáng)用戶體驗.(3)應(yīng)用支撐層:主要是系統(tǒng)運(yùn)行需要的數(shù)據(jù)接口、分發(fā)引擎、格點解析組件、WEBOFFICE 組件及ActiveMQ消息組件等各種算法組件和中間件.(4)業(yè)務(wù)應(yīng)用層與用戶層:主要為業(yè)務(wù)系統(tǒng)交互服務(wù)應(yīng)用和各級業(yè)務(wù)應(yīng)用用戶,提供一體化數(shù)據(jù)處理、一體化監(jiān)測分析、一體化預(yù)報交互、一體化產(chǎn)品制作等各種應(yīng)用功能以及各級用戶管理等.

2.3 關(guān)鍵技術(shù)概述

(1)標(biāo)準(zhǔn)化ActiveMQ 消息中間件技術(shù)

消息中間件是指利用高效可靠的消息傳遞機(jī)制進(jìn)行平臺無關(guān)的數(shù)據(jù)交流,并基于數(shù)據(jù)通信來進(jìn)行分布式系統(tǒng)的集成.通過提供消息傳遞和消息排隊模型,它可以在分布式環(huán)境下擴(kuò)展進(jìn)程間的通信.ActiveMQ 是Apache 推出的應(yīng)用較為廣泛的消息中間件[4-6].ActiveMQ是一種開源的實現(xiàn)了JMS 規(guī)范的面向消息(MOM)的中間件,為應(yīng)用程序提供高效的、可擴(kuò)展的、穩(wěn)定的和安全的企業(yè)級消息通信.

系統(tǒng)設(shè)計研制過程中,采用基于ActiveMQ 框架的消息總線中間件,統(tǒng)一協(xié)調(diào)各個分系統(tǒng)功能模塊間的數(shù)據(jù)同步和應(yīng)用服務(wù)請求.各數(shù)據(jù)采集組件與控制中心通過消息總線中間件進(jìn)行信息的溝通與交流,并及時傳遞相關(guān)任務(wù)分配信息.消息總線工作示意圖如圖2所示,其中發(fā)送者或生產(chǎn)者主要配置邏輯過程描述示例如下:

① 創(chuàng)建工廠連接對象,指定IP 和端口號.

ConnectionFactory connectionFactory=new ActiveMQConnectionFactory("tcp://IP:端口");

② 根據(jù)工廠創(chuàng)建一個默認(rèn)的連接對象,并開啟連接.

Connection connection=connectionFactory.createConnection();

connection.start();

③ 使用連接對象創(chuàng)建會話(session)對象,再使用會話對象創(chuàng)建目標(biāo)對象和生產(chǎn)者對象,目標(biāo)對象包含queue 和topic(點對點、訂閱模式).

Session session=connection.createSession(false,Session.AUTO_ACKNOWLEDGE);

Queue queue=session.createQueue("test-queue");

MessageProducer producer=session.createProducer(queue);

④ 使用會話對象創(chuàng)建一個消息對象,消息以天氣概要為例.

TextMessage textMessage=session.createTextMessage("明天天氣晴");

⑤ 發(fā)送消息并關(guān)閉資源.

producer.send(textMessage);

producer.close();

session.close();

connection.close();

圖2 消息總線工作原理示意圖

(2)集約化網(wǎng)格環(huán)境數(shù)據(jù)庫建設(shè)

建立集約化網(wǎng)格環(huán)境數(shù)據(jù)庫.從多類業(yè)務(wù)數(shù)據(jù)源采集而來的各種原始數(shù)據(jù),包括WRF-CHEM、CMAQ、CUACE 等數(shù)值模式產(chǎn)品和氣象觀測數(shù)據(jù),基于分布式數(shù)據(jù)庫技術(shù)研發(fā)[7,8],通過入庫操作進(jìn)入原始數(shù)據(jù)庫歸檔存儲,先經(jīng)過降尺度插值方法處理,生成降尺度格點基數(shù)據(jù)入庫,再由客觀訂正和標(biāo)準(zhǔn)化處理進(jìn)入基礎(chǔ)格點背景場數(shù)據(jù)庫.數(shù)據(jù)庫整體架構(gòu)可選擇分布式MySQL、Cassandra 作為整體架構(gòu),MySQL 存儲系統(tǒng)運(yùn)行索引等數(shù)據(jù),Cassandra 存儲格點類各類數(shù)據(jù).支撐精細(xì)化預(yù)報智能業(yè)務(wù)系統(tǒng)的數(shù)據(jù)I/O 的格點預(yù)報編輯庫,經(jīng)過預(yù)報訂正最終形成格點預(yù)報產(chǎn)品庫.通過需求驅(qū)動的規(guī)則解析后,生成環(huán)境格點預(yù)報解析產(chǎn)品庫經(jīng)由網(wǎng)絡(luò)對外發(fā)布.圖3是網(wǎng)格數(shù)據(jù)庫資源池模型圖.簡要采集入庫流程為:首先添加采集器類,定義site 站點特征屬性、編碼格式、采集無效處理方法;添加器初始采集源地址site.AddStartUrl,分類設(shè)置WRF-CHEM、CMAQ、CUACE 等添加器初始采集源地址;創(chuàng)建采集器spider,使用內(nèi)存調(diào)度,應(yīng)用處理器虛類根據(jù)具體數(shù)據(jù)實例化對應(yīng)采集器,使用自定義消息通道虛類采集成功后入庫.

圖3 網(wǎng)格數(shù)據(jù)庫資源池模型圖

(3)智能化網(wǎng)格預(yù)報解析服務(wù)技術(shù)

研發(fā)智能網(wǎng)格預(yù)報解析技術(shù).基于WebGIS 技術(shù)和精細(xì)網(wǎng)格預(yù)報數(shù)據(jù),統(tǒng)一制定數(shù)字向文字、定量向定性、多格點向單區(qū)域、多時次向時段性累加等預(yù)報產(chǎn)品轉(zhuǎn)換規(guī)則標(biāo)準(zhǔn)庫.根據(jù)實際情況設(shè)計常規(guī)環(huán)境氣象要素(如AQI、SO2、NO2、CO、PM2.5、PM10等監(jiān)測值)向?qū)ｎ}要素轉(zhuǎn)變的規(guī)則,并逐步建立和完善常用衍生服務(wù)產(chǎn)品規(guī)則庫.開發(fā)建立基于精細(xì)網(wǎng)格預(yù)報數(shù)據(jù)和圖文模板標(biāo)準(zhǔn),向常用文字、報文、圖形等產(chǎn)品的自動轉(zhuǎn)換生成技術(shù).支持手動加工的服務(wù)產(chǎn)品利用多種文字和圖形編輯技術(shù),對數(shù)據(jù)進(jìn)行圖形化、文字化繪制或修訂.預(yù)報服務(wù)產(chǎn)品包括地市空氣質(zhì)量預(yù)報、空氣污染氣象條件預(yù)報等,產(chǎn)品類型包括文字產(chǎn)品、圖片產(chǎn)品、Word 產(chǎn)品.圖4是智能網(wǎng)格預(yù)報解析技術(shù)流程圖.

圖4 智能網(wǎng)格預(yù)報解析技術(shù)流程圖

智能服務(wù)產(chǎn)品自動制作技術(shù)研制.集合GIS 空間分析技術(shù)[9-13],智能服務(wù)產(chǎn)品制作是以Word、TXT 模板自動生成與動態(tài)管理為主的功能模塊.用戶可為日常服務(wù)產(chǎn)品定制多個模板(每一類服務(wù)材料一個模板),在模板中使用關(guān)鍵詞,關(guān)鍵詞可被系統(tǒng)自動替換,這些關(guān)鍵詞包括:AQI 預(yù)報、擴(kuò)散條件預(yù)報、實況等數(shù)據(jù),還包括自定義一些關(guān)鍵詞和替換規(guī)則,如單位名稱、日期等.同時具有簡單的文檔管理功能,按照文件的期數(shù)管理排列,業(yè)務(wù)管理員可對文檔進(jìn)行添加、刪除、修改等操作,或者業(yè)務(wù)人員提供管理密碼進(jìn)行增加、刪除、修改功能進(jìn)行修改.智能服務(wù)產(chǎn)品制作服務(wù)圖如圖5所示.

3 系統(tǒng)實現(xiàn)

3.1 系統(tǒng)組成

系統(tǒng)包括綜合監(jiān)測分析、預(yù)報制作、專題制作、預(yù)報檢驗、值班管理、信息發(fā)布、數(shù)據(jù)管理及系統(tǒng)管理等功能模塊(主要功能組成如圖6所示).根據(jù)安徽省本地特征和服務(wù)需求,利用數(shù)值模式預(yù)報產(chǎn)品及環(huán)保數(shù)據(jù)、氣象監(jiān)測數(shù)據(jù),實現(xiàn)主要業(yè)務(wù)服務(wù)和工作流程.系統(tǒng)數(shù)據(jù)環(huán)境按照多線程分布式計算和存儲方式進(jìn)行設(shè)計,實現(xiàn)多源數(shù)據(jù)的標(biāo)準(zhǔn)化處理存儲、實現(xiàn)不同數(shù)據(jù)產(chǎn)品的繪圖處理、實現(xiàn)歷史數(shù)據(jù)的歸一化處理等,確保應(yīng)用系統(tǒng)的處理響應(yīng)速度達(dá)到秒級.系統(tǒng)實現(xiàn)主要界面圖如圖7所示.

圖5 智能服務(wù)產(chǎn)品制作服務(wù)圖

圖6 系統(tǒng)主要功能組成圖

圖7 系統(tǒng)主要界面圖

3.2 系統(tǒng)主要功能

3.2.1 數(shù)據(jù)監(jiān)測處理

該功能模塊具備數(shù)據(jù)下載與上傳、質(zhì)量控制和存儲分發(fā)功能,針對不同類型資料,可自定義設(shè)置收集方式.主要包括:

(1)資料收集功能.定時收集處理環(huán)境氣象業(yè)務(wù)相關(guān)資料,包括城市空氣質(zhì)量監(jiān)測數(shù)據(jù)、地面氣象觀測資料、相關(guān)客觀預(yù)報指導(dǎo)產(chǎn)品、模式預(yù)報產(chǎn)品以及空氣污染氣象條件等級預(yù)報產(chǎn)品、AQI 預(yù)報產(chǎn)品、數(shù)值預(yù)報產(chǎn)品、衛(wèi)星遙感監(jiān)測等相關(guān)資料和產(chǎn)品的獲取.(2)資料報警提醒.對收集的空氣質(zhì)量污染物濃度監(jiān)測實況數(shù)據(jù)進(jìn)行實時監(jiān)控,當(dāng)監(jiān)測出現(xiàn)中度以上空氣污染,提供報警提醒功能,可設(shè)置為聲音報警、彈出提示框、發(fā)出短信及站點的圖標(biāo)/數(shù)字閃爍等.(3)標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)環(huán)境.根據(jù)實時采集解析的多源數(shù)據(jù)資源,建立一個標(biāo)準(zhǔn)規(guī)范、符合CIMISS 數(shù)據(jù)訪問規(guī)則的本地環(huán)境氣象綜合業(yè)務(wù)數(shù)據(jù)庫.

3.2.2 信息綜合分析

該模塊具有后臺自動推送與刷新功能,能通過空氣質(zhì)量監(jiān)測數(shù)據(jù),自動計算AQI 數(shù)據(jù)與等級,并能以良好用戶體驗方式交互展示.基于環(huán)境氣象綜合業(yè)務(wù)數(shù)據(jù)庫,實現(xiàn)環(huán)境氣象實況監(jiān)測、預(yù)報指導(dǎo)產(chǎn)品的綜合顯示、歷史數(shù)據(jù)檢索和統(tǒng)計查詢;能顯示分析環(huán)境氣象業(yè)務(wù)相關(guān)MICAPS 格式數(shù)據(jù),如MICAPS 第4 類格式等;統(tǒng)計查詢生成的折線圖、柱狀圖、空間分布圖和統(tǒng)計表格的結(jié)果可保存,也可直接插入到產(chǎn)品制作模板中.

(1)地圖基本操作功能.具備WebGIS 地圖通用功能,具有自動分析等值線和色斑圖繪制功能.(2)大氣污染物空間分布查詢功能.對基礎(chǔ)地理圖層、環(huán)境空氣質(zhì)量監(jiān)測數(shù)據(jù)和氣象要素進(jìn)行疊加分析.(3)氣象要素空間分布查詢功能.可通過氣象要素類型和日期時間等條件查詢氣象要素以及邊界層特征在某個時刻的空間分布狀況,并與基礎(chǔ)地理圖層和污染物的空間分布狀況進(jìn)行疊加分析.(4)空氣質(zhì)量監(jiān)測數(shù)據(jù)查詢.在查詢時間段里對站點實測數(shù)據(jù)進(jìn)行查詢,并制作統(tǒng)計圖表,生成污染物濃度時間變化曲線和統(tǒng)計分析結(jié)果.(5) 模式產(chǎn)品顯示.提供區(qū)域模式預(yù)報、上級指導(dǎo)預(yù)報、本地客觀訂正預(yù)報,以及數(shù)值天氣預(yù)報等產(chǎn)品的分類調(diào)閱顯示.(6)多元素組合定制顯示功能.定制調(diào)用和疊加模式產(chǎn)品及實況監(jiān)測數(shù)據(jù),實現(xiàn)不同種類客觀預(yù)報產(chǎn)品及氣象要素的動態(tài)圖形化顯示,如“相對濕度&能見度&PM2.5實況組合”、“地面風(fēng)場&PM10實況組合”等的分布圖顯示.

3.2.3 交互分析與產(chǎn)品制作

交互分析與產(chǎn)品制作模塊實現(xiàn)空氣質(zhì)量預(yù)報、空氣污染氣象條件預(yù)報及監(jiān)測分析等產(chǎn)品制作與發(fā)布,具有預(yù)報產(chǎn)品檢驗功能.(1)交互分析.類似MICAPS系統(tǒng)展示或操作形式,建立可以互動調(diào)閱和組合的預(yù)報分析模塊,形成預(yù)報分析結(jié)果.(2)產(chǎn)品制作.系統(tǒng)自動調(diào)用實況數(shù)據(jù)、數(shù)值預(yù)報數(shù)據(jù)和統(tǒng)計分析的圖、表結(jié)果,服務(wù)產(chǎn)品利用模板定義、數(shù)值預(yù)報應(yīng)用等簡化錄入流程,對所有產(chǎn)品提供自定義的分發(fā)配置管理,統(tǒng)一監(jiān)控,集制作、審核和導(dǎo)出各類預(yù)報預(yù)警產(chǎn)品于一體.通過定制的服務(wù)產(chǎn)品模板,自動調(diào)用相關(guān)素材,實現(xiàn)產(chǎn)品自動化制作.(3)多渠道產(chǎn)品發(fā)布功能.利用業(yè)務(wù)網(wǎng)資源,實現(xiàn)短信、E-mail、FTP、業(yè)務(wù)網(wǎng)等發(fā)布通知和對外發(fā)布信息.

3.2.4 系統(tǒng)綜合管理

(1) 用戶權(quán)限管理.可分類開設(shè)賬戶,如管理員、業(yè)務(wù)人員等,能對每個業(yè)務(wù)人員的工作流程、狀況有后臺日志功能,便于考核統(tǒng)計.(2)預(yù)報評分和考核.根據(jù)業(yè)務(wù)考核評分,針對省級、地市預(yù)報產(chǎn)品,分別計算預(yù)報評分,并建立不同時間尺度的預(yù)報評分統(tǒng)計.檢驗結(jié)果通過圖形、表格形式查閱,并可提供動態(tài)查詢.(3)值班信息管理.自動制作業(yè)務(wù)排班表,設(shè)置人員和規(guī)則可調(diào),對業(yè)務(wù)值班人員有短信提示功能.同時具有值班日志、重要信息提示、自動生成值班表及值班信息管理功能.

4 結(jié)束語

針對省級業(yè)務(wù)服務(wù)實際需求,本文設(shè)計研制了安徽省環(huán)境氣象業(yè)務(wù)系統(tǒng).系統(tǒng)通過構(gòu)建以氣象觀測、大氣環(huán)境監(jiān)測和數(shù)值模式預(yù)報等數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)環(huán)境,基于WebGIS 技術(shù)、ActiveMQ 消息組件和分布式數(shù)據(jù)庫技術(shù)等關(guān)鍵技術(shù),實現(xiàn)了多源數(shù)據(jù)監(jiān)測分析、模式產(chǎn)品和指導(dǎo)預(yù)報產(chǎn)品的快速匯集、顯示、查詢和交互分析,為業(yè)務(wù)人員提供了一體化預(yù)報診斷分析和產(chǎn)品制作工具.該系統(tǒng)運(yùn)行平穩(wěn)、功能完善,界面豐富友好,為省級環(huán)境氣象業(yè)務(wù)服務(wù)提供了基礎(chǔ)工作平臺.