秦運(yùn)龍，張冰松，祝 贏，王迎迎

(1.湖北省氣象信息與技術(shù)保障中心，湖北 武漢 430074；2.武漢中心氣象臺(tái)，湖北 武漢 430074)

0 引 言

“十二五”以來，現(xiàn)代氣象業(yè)務(wù)的快速發(fā)展，預(yù)報(bào)預(yù)測(cè)精細(xì)化水平不斷提高，氣象觀測(cè)數(shù)據(jù)呈現(xiàn)爆炸式增長。湖北作為長江流域氣象中心，全省共有預(yù)報(bào)服務(wù)產(chǎn)品30余種，觀測(cè)站點(diǎn)2 600余個(gè)，長江流域觀測(cè)站20 000余個(gè)，觀測(cè)粒度由1小時(shí)精確到5分鐘。針對(duì)觀測(cè)保障、預(yù)報(bào)預(yù)測(cè)、氣象服務(wù)的業(yè)務(wù)系統(tǒng)達(dá)30余個(gè)。氣象業(yè)務(wù)和系統(tǒng)的快速發(fā)展同時(shí)也使得預(yù)報(bào)業(yè)務(wù)和服務(wù)需求不協(xié)調(diào)的問題日益凸顯。如何提高業(yè)務(wù)發(fā)展的協(xié)調(diào)性，系統(tǒng)建設(shè)的集約性、高效性、可靠性成為當(dāng)前氣象業(yè)務(wù)發(fā)展迫切需要解決的問題[1-3]。

氣象預(yù)報(bào)服務(wù)系統(tǒng)采用Nginx+Apache應(yīng)用方案，Storm分布式數(shù)據(jù)處理技術(shù)[4-5]，Cassandra和HBase分布式數(shù)據(jù)存儲(chǔ)技術(shù)[6-7]，RabbitMQ消息隊(duì)列統(tǒng)一數(shù)據(jù)分發(fā)技術(shù)，實(shí)現(xiàn)針對(duì)流域、省、市、縣用戶的高并發(fā)、高處理、高讀寫、高可靠的預(yù)報(bào)服務(wù)系統(tǒng)，為氣象業(yè)務(wù)工作提供強(qiáng)大的系統(tǒng)性能支撐、完善的業(yè)務(wù)邏輯流程、完整的氣象業(yè)務(wù)功能、高效的業(yè)務(wù)處理服務(wù)平臺(tái)[8-9]。

1 系統(tǒng)組成

氣象預(yù)報(bào)服務(wù)系統(tǒng)標(biāo)準(zhǔn)體系架構(gòu)采用分層設(shè)計(jì)思想，綜合考慮數(shù)據(jù)流程、功能劃分，將系統(tǒng)架構(gòu)劃分為數(shù)據(jù)展示層、數(shù)據(jù)分析處理層、數(shù)據(jù)分發(fā)層、數(shù)據(jù)存儲(chǔ)層，如圖1所示。

圖1 氣象預(yù)報(bào)服務(wù)系統(tǒng)總體框架

(1)數(shù)據(jù)展示層。數(shù)據(jù)展示層WEBGIS采用Leaflet控件通過疊加地理信息展示氣象數(shù)據(jù)。采用Nginx+Apache應(yīng)用方案實(shí)現(xiàn)WEB訪問的負(fù)載均衡，達(dá)到可承載200人進(jìn)行極限操作訪問的高并發(fā)承載能力。

(2)數(shù)據(jù)分析處理層。數(shù)據(jù)分析處理層采用Storm分布式數(shù)據(jù)技術(shù)，實(shí)現(xiàn)圖片、數(shù)值預(yù)報(bào)產(chǎn)品、氣象標(biāo)準(zhǔn)格式數(shù)據(jù)的快速并發(fā)處理。

(3)數(shù)據(jù)分發(fā)層。數(shù)據(jù)分發(fā)層實(shí)現(xiàn)對(duì)產(chǎn)品數(shù)據(jù)的分發(fā)管理，將不同產(chǎn)品采用其相對(duì)應(yīng)的各種分發(fā)傳輸手段快速發(fā)送到對(duì)應(yīng)的服務(wù)用戶，包括政府用戶、部門用戶、行業(yè)用戶、公眾用戶。

(4)數(shù)據(jù)存儲(chǔ)層。數(shù)據(jù)存儲(chǔ)層主要采用HBase數(shù)據(jù)庫、Cassandra數(shù)據(jù)庫、Oracle數(shù)據(jù)庫、地理信息數(shù)據(jù)存儲(chǔ)庫，根據(jù)不同數(shù)據(jù)特性采用不同的數(shù)據(jù)庫進(jìn)行存儲(chǔ)，實(shí)現(xiàn)高效的數(shù)據(jù)存儲(chǔ)讀寫[10]。

2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 數(shù)據(jù)展示層

數(shù)據(jù)展示層采用B/S架構(gòu)的WEB+GIS頁面展示，通過Nginx的輪詢方式對(duì)3臺(tái)WEB服務(wù)器做負(fù)載均衡，增加系統(tǒng)高并發(fā)性和可靠性。Nginx的靜態(tài)處理能力較強(qiáng)，但是動(dòng)態(tài)處理能力不足，因此，在該系統(tǒng)中采用動(dòng)靜分離技術(shù)，即Nginx+Apache應(yīng)用方案，靜態(tài)頁面由Nginx處理，動(dòng)態(tài)頁面由Apache處理。在Nginx實(shí)現(xiàn)三臺(tái)服務(wù)器負(fù)載均衡后，部署配置相應(yīng)的Apache頁面和Nginx頁面。用戶向Nginx請(qǐng)求靜態(tài)數(shù)據(jù)，則Nginx直接應(yīng)答，當(dāng)向Nginx請(qǐng)求動(dòng)態(tài)數(shù)據(jù)時(shí)，Nginx將請(qǐng)求轉(zhuǎn)發(fā)到Apache頁面，通過這種代理方式，Apache提供動(dòng)態(tài)數(shù)據(jù)請(qǐng)求的WEB服務(wù)。該方案極大地提升了網(wǎng)站高并發(fā)性、穩(wěn)定性和用戶體驗(yàn)[11]。

2.2 數(shù)據(jù)分析處理層

氣象預(yù)報(bào)服務(wù)系統(tǒng)基于Storm分布式框架，實(shí)現(xiàn)實(shí)時(shí)快速的分布式數(shù)據(jù)處理，保證數(shù)據(jù)的處理和檢索效率。在Storm分布式框架中，nimbus部署在主節(jié)點(diǎn)上負(fù)責(zé)在集群中分發(fā)代碼，對(duì)節(jié)點(diǎn)分配任務(wù)，并監(jiān)視主機(jī)故障，nimbus通過在zookeeper上寫狀態(tài)信息來分配任務(wù)。supervisor部署在各工作節(jié)點(diǎn)上，負(fù)責(zé)監(jiān)聽工作節(jié)點(diǎn)上已經(jīng)分配的作業(yè)，啟動(dòng)和停止nimbus已分配的工作進(jìn)程，supervisor通過從zookeeper上讀取這些狀態(tài)信息領(lǐng)取任務(wù)，如圖2所示。

圖2 基于Storm的分布式數(shù)據(jù)處理結(jié)構(gòu)

Cassandra和HBase分布式數(shù)據(jù)庫為Storm框架提供數(shù)據(jù)源。Cassandra主要包括各種數(shù)值預(yù)報(bào)、高空、地面、雷達(dá)等非關(guān)系型數(shù)據(jù)和產(chǎn)品，通過Cassandra-monitor接口，redis實(shí)時(shí)獲取數(shù)據(jù)索引，并讀取數(shù)據(jù)，交由多個(gè)并發(fā)的topology任務(wù)對(duì)象進(jìn)行處理；HBase主要包括湖北省，華中區(qū)域，長江流域的分鐘、小時(shí)、日值氣象觀測(cè)數(shù)據(jù)，不同類型數(shù)據(jù)采用不同的分布式數(shù)據(jù)庫存儲(chǔ)，極大地提高了系統(tǒng)數(shù)據(jù)的并發(fā)處理能力[12-13]。前端WEBGIS通過redis并發(fā)檢索預(yù)處理后的json格式文件，快速顯示數(shù)據(jù)產(chǎn)品，保證了用戶體驗(yàn)。Storm部分配置代碼如下：

……

storm.zookeeper.servers:

- "10.104.xx.51"

nimbus.seeds:["storm51","storm52","storm53"] # nimbus集群

storm.zookeeper.session.timeout: 200000 # zookeeper會(huì)話的過期時(shí)間，默認(rèn)值10倍

nimbus.task.timeout.secs: 300 #30*10

nimbus.supervisor.timeout.secs: 600 #60*10

ui.port: 9999# UI端口

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6732

supervisor.worker.timeout.secs: 300 #30*10默認(rèn)值10倍

worker.heap.memory.mb: 51200 # worker內(nèi)存分配50G

……

2.3 數(shù)據(jù)分發(fā)層

氣象預(yù)報(bào)服務(wù)系統(tǒng)數(shù)據(jù)統(tǒng)一分發(fā)模塊的設(shè)計(jì)提高了產(chǎn)品分發(fā)的時(shí)效性、多樣性和可靠性。

數(shù)據(jù)統(tǒng)一分發(fā)基于生產(chǎn)者消費(fèi)者模型實(shí)現(xiàn)，采用RabbitMQ消息隊(duì)列機(jī)制，對(duì)生產(chǎn)者與消費(fèi)者實(shí)現(xiàn)異步與解耦。此外，RabbitMQ消息隊(duì)列具有跨平臺(tái)、健壯、穩(wěn)定、易用且有消息確認(rèn)機(jī)制和持久化機(jī)制、可靠性高等優(yōu)點(diǎn)，適用于數(shù)據(jù)分發(fā)任務(wù)管理的業(yè)務(wù)場(chǎng)景，具體功能設(shè)計(jì)如圖3所示。

圖3 數(shù)據(jù)分發(fā)管理功能設(shè)計(jì)

分發(fā)任務(wù)管理對(duì)省市縣各級(jí)業(yè)務(wù)系統(tǒng)提交過來的發(fā)布任務(wù)進(jìn)行管理，任務(wù)按照發(fā)布驅(qū)動(dòng)的不同(短信、傳真、郵件、FTP、大屏、大喇叭、電話、微信、微博)分別進(jìn)入對(duì)應(yīng)消息隊(duì)列，按照先進(jìn)先出原則向服務(wù)用戶分發(fā)數(shù)據(jù)和產(chǎn)品。

2.4 數(shù)據(jù)存儲(chǔ)層

預(yù)報(bào)服務(wù)系統(tǒng)管理的數(shù)據(jù)包括觀測(cè)資料(自動(dòng)站、雷達(dá)、衛(wèi)星、閃電、大氣成分、酸雨、負(fù)離子、雷達(dá)產(chǎn)品數(shù)據(jù)等)、數(shù)值預(yù)報(bào)、產(chǎn)品、行業(yè)數(shù)據(jù)(水文、電力、環(huán)境等部門的行業(yè)數(shù)據(jù))以及系統(tǒng)公共管理信息。由分布式數(shù)據(jù)庫和Oracle關(guān)系數(shù)據(jù)庫根據(jù)數(shù)據(jù)類型進(jìn)行分類存儲(chǔ)，并且通過webservice在線統(tǒng)一訪問接口提供數(shù)據(jù)訪問服務(wù)，保證數(shù)據(jù)庫訪問的穩(wěn)定性，其結(jié)構(gòu)如圖4所示。

(1)Oracle關(guān)系數(shù)據(jù)庫：為保證系統(tǒng)業(yè)務(wù)的延續(xù)性和數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一規(guī)劃，Oracle數(shù)據(jù)庫存儲(chǔ)建站以來的所有歷史數(shù)據(jù)。

(2)HBase分布式數(shù)據(jù)庫[14]：為保證系統(tǒng)加載實(shí)況數(shù)據(jù)的響應(yīng)速度，將長江流域、華中區(qū)域自動(dòng)站(國家站、區(qū)域站)實(shí)時(shí)5分鐘和小時(shí)數(shù)據(jù)存儲(chǔ)于HBase分布式數(shù)據(jù)庫，保存6個(gè)月。

(3)Cassandra分布式數(shù)據(jù)庫[15]：為提高數(shù)值預(yù)報(bào)模式的加載效率，將采用Cassandra數(shù)據(jù)庫作為數(shù)值預(yù)報(bào)、雷達(dá)、高空和地面填圖產(chǎn)品的直接數(shù)據(jù)源，數(shù)據(jù)保存15天。

3 系統(tǒng)分析

氣象預(yù)報(bào)服務(wù)系統(tǒng)以Java為主要開發(fā)語言，采用B/S架構(gòu)，模塊化設(shè)計(jì)各功能。通過Storm分布式技術(shù)和最新的html5語言，實(shí)現(xiàn)良好的用戶交互體驗(yàn)。

3.1 系統(tǒng)功能分析

相對(duì)于其他系統(tǒng)，文中建設(shè)的系統(tǒng)業(yè)務(wù)覆蓋范圍更全面，服務(wù)業(yè)務(wù)人員更廣泛，處理響應(yīng)性能更安全可靠。其分布式框架技術(shù)極大地提高了用戶高時(shí)效、高并發(fā)時(shí)的良好操作體驗(yàn)?；赗abbitMQ消息隊(duì)列的數(shù)據(jù)統(tǒng)一分發(fā)技術(shù)為業(yè)務(wù)人員提供了更穩(wěn)定、更多樣的多目標(biāo)多渠道分發(fā)服務(wù)。與其他系統(tǒng)的對(duì)比如表1所示[16-17]。

表1 系統(tǒng)對(duì)比

3.2 系統(tǒng)性能分析

系統(tǒng)性能測(cè)試主要表現(xiàn)在大數(shù)據(jù)量情況下訪問系統(tǒng)時(shí)隨著數(shù)據(jù)量增加響應(yīng)時(shí)間的變化，對(duì)于類似氣象這種擁有大數(shù)據(jù)吞吐量的行業(yè)，其響應(yīng)時(shí)間對(duì)于用戶體驗(yàn)至關(guān)重要。文中測(cè)試數(shù)據(jù)為長江流域20 000個(gè)觀測(cè)站小時(shí)降水?dāng)?shù)據(jù)，數(shù)據(jù)庫分別為分布式數(shù)據(jù)庫和傳統(tǒng)Oracle數(shù)據(jù)庫，存儲(chǔ)數(shù)據(jù)量為歷史所有氣象數(shù)據(jù)。測(cè)試系統(tǒng)為傳統(tǒng)單網(wǎng)頁系統(tǒng)和文中分布式框架系統(tǒng)。通過分別加載00點(diǎn)-12點(diǎn)12個(gè)時(shí)次長江流域降水?dāng)?shù)據(jù)統(tǒng)計(jì)，對(duì)比響應(yīng)時(shí)間，如圖4所示。

圖4 系統(tǒng)響應(yīng)時(shí)間對(duì)比分析

可以看出，隨著統(tǒng)計(jì)數(shù)量的增加，文中系統(tǒng)響應(yīng)時(shí)間均在2 s以內(nèi)，但傳統(tǒng)系統(tǒng)響應(yīng)時(shí)間急劇上升，無法滿足現(xiàn)有氣象大數(shù)據(jù)量應(yīng)用的需求。

4 結(jié)束語

提出了一種基于分布式處理框架，采用Cassandra、HBase分布式存儲(chǔ)技術(shù)的氣象預(yù)報(bào)服務(wù)系統(tǒng)，極大地提高了用戶高并發(fā)時(shí)的良好操作體驗(yàn)，實(shí)現(xiàn)了流域、省、市、縣用戶多功能、高效率、高并發(fā)、高可靠的集約化系統(tǒng)，解決了各部門間重復(fù)建設(shè)問題，提高了部門之間的信息交互和業(yè)務(wù)協(xié)調(diào)能力，為今后的信息化、智能化建設(shè)提供了較好的基礎(chǔ)和保障。