雷鳴 武國良 趙玉娟 姜罕盛

摘 要：針對原有省級CIMISS系統(tǒng)無法有效支撐現(xiàn)代化氣象數(shù)據(jù)服務(wù)的問題，利用分布式技術(shù)，構(gòu)建了天津省級氣象大數(shù)據(jù)服務(wù)中心，搭建了以HBase、GBase、分布式NAS為基礎(chǔ)的統(tǒng)一數(shù)據(jù)存儲環(huán)境，與省級CIMISS系統(tǒng)形成了無縫對接，滿足了天津氣象業(yè)務(wù)的現(xiàn)代化需求。在測試對比中發(fā)現(xiàn)，本系統(tǒng)的查詢性能得到較大提升：自動站數(shù)據(jù)比CIMISS系統(tǒng)提升了5.2-22.3倍（倍數(shù)隨著時間不斷擴(kuò)大），而格點數(shù)據(jù)則比原一體化平臺提升了5倍多，充分驗證了本方案的有效性。

關(guān)鍵詞：數(shù)據(jù)共享;CIMISS;分布式數(shù)據(jù)庫;關(guān)系數(shù)據(jù)庫

Abstract：In view of the problem that the original provincial CIMISS system can not effectively support the modern meteorological data service. By using the distributed technology， Tianjin provincial meteorological big data service center is built， a unified data storage environment based on HBase， Gbase and distributed NAS is built， and a seamless connection with the provincial CIMISS system is formed， which meets the modern needs of Tianjin meteorological business. In the test and comparison， it is found that the query performance of this system is greatly improved： the automatic station data is 5.2-22.3 times higher than the cimiss system （the multiple increases with time）， while the grid data is more than 5 times higher than the original integrated platform， which fully verifies the effectiveness of this scheme.

Key words：data sharing; CIMISS; distributed database; relational database management system（RDBMS）

隨著分布式技術(shù)的興起，現(xiàn)代化數(shù)據(jù)服務(wù)的能力越來越高，但目前，氣象系統(tǒng)的數(shù)據(jù)服務(wù)能力卻相對落后。業(yè)務(wù)平臺的集成力度和產(chǎn)品服務(wù)的質(zhì)量仍然不夠，產(chǎn)品和數(shù)據(jù)存在不一致，“信息孤島”現(xiàn)象仍然存在[1]。

同時，原有由國家氣象信息中心2009年建設(shè)的全國綜合氣象信息共享系統(tǒng)（CIMISS），于2013年推廣部署于全國各省級氣象數(shù)據(jù)中心，為各省氣象部門提供了良好的業(yè)務(wù)支撐與數(shù)據(jù)服務(wù)[2-6]，使上述問題得到一定程度的緩解。

但是CIMISS無法對本地化特色資料進(jìn)行有效支撐，而隨著氣象數(shù)據(jù)量的不斷增長和業(yè)務(wù)的不斷拓展，省級CIMISS的數(shù)據(jù)處理和服務(wù)能力已經(jīng)明顯不足，無法滿足現(xiàn)有的業(yè)務(wù)和數(shù)據(jù)服務(wù)的需求[7-10]。

基于以上原因，利用分布式技術(shù)，構(gòu)架天津省級氣象數(shù)據(jù)服務(wù)中心。同時，透過CIMISS系統(tǒng)中的全國氣象數(shù)據(jù)統(tǒng)一服務(wù)接口（MUSIC：Meteorological Unified Service Interface Community）[11-12]，將本地數(shù)據(jù)服務(wù)中心與省級CIMISS的數(shù)據(jù)源進(jìn)行整合服務(wù)，提供全國統(tǒng)一數(shù)據(jù)訪問服務(wù)和應(yīng)用編程接口（API），構(gòu)建無縫連接的數(shù)據(jù)服務(wù)中心。

1 系統(tǒng)數(shù)據(jù)架構(gòu)設(shè)計

為了更有效的提供數(shù)據(jù)服務(wù)，將天津省級數(shù)據(jù)分為冷熱兩級數(shù)據(jù)進(jìn)行處理，將實時性要求較高的自動站類數(shù)據(jù)透過分布式數(shù)據(jù)庫提供服務(wù)，而將需求實時性相對較低的數(shù)據(jù)，透過HDFS和Hbase提供服務(wù)。整個提供架構(gòu)圖如圖1所示：

其中，Hbase分為兩套不同的數(shù)據(jù)庫，熱數(shù)據(jù)中的Hbase為了有效保證查詢速度，僅存儲3個月的數(shù)據(jù)，其余的數(shù)據(jù)則存儲在另外一套Hbase中作為冷數(shù)據(jù)源，提供數(shù)據(jù)服務(wù)。

隨著業(yè)務(wù)搜索維度的不斷添加，使得跨表查詢需求越來越多，系統(tǒng)的慢查不斷報出，為此引入了Elasticsearch（簡稱ES，下同） 搜索引擎。

其中ES，是一個實時的分布式分析和搜索引擎，能夠快速處理大規(guī)模數(shù)據(jù)。常用于進(jìn)行全文搜索、結(jié)構(gòu)化搜索和分析。ES主要用來存儲有聚合和篩選的熱數(shù)據(jù)，特別是存儲近幾年的格點數(shù)據(jù)索引和站點數(shù)據(jù)，方便高速搜索和聚合查詢。

2 后臺數(shù)據(jù)庫流程設(shè)計

為了有效與CIMISS系統(tǒng)進(jìn)行對接，做到使用用戶對后臺變動無感。同時，又有效保證天津省局?jǐn)?shù)據(jù)服務(wù)的高速性。針對天津省局?jǐn)?shù)據(jù)：通信系統(tǒng)數(shù)據(jù)/報文數(shù)據(jù)、核心業(yè)務(wù)數(shù)據(jù)和CIMISS數(shù)據(jù)，進(jìn)行合理劃分，整體規(guī)劃如圖2所示：

圖2從左到右，依次是通信系統(tǒng)數(shù)據(jù)/報文數(shù)據(jù)、核心業(yè)務(wù)數(shù)據(jù)和CIMISS數(shù)據(jù)。

2.1 通信系統(tǒng)數(shù)據(jù)

當(dāng)通信系統(tǒng)（MDOS）產(chǎn)生報文后，利用GBase8t良好的事務(wù)性數(shù)據(jù)操作功能，進(jìn)行數(shù)據(jù)的入庫操作。同時，利用8t與8a之間高速的數(shù)據(jù)同步性能，透過RTSync進(jìn)行同步，從而實現(xiàn)安全性更高的數(shù)據(jù)庫讀寫分離。最終透過分布式數(shù)據(jù)庫GBase8a，藉由MUSIC接口提供服務(wù)。

其中，在要素表級別，8t與8a同用戶同表，兩者在列名稱，列類型，列數(shù)量上幾乎完全一樣（具體類型由于8t，8a是不同數(shù)據(jù)庫，因產(chǎn)品特性會導(dǎo)致列類型有細(xì)微差別），8t有聯(lián)合主鍵（觀測時間+臺站編碼），而8a在入庫邏輯層面上，控制數(shù)據(jù)的唯一性（而非依靠8a的分布式數(shù)據(jù)庫特性，該數(shù)據(jù)庫不支持主鍵）

2.2 核心業(yè)務(wù)數(shù)據(jù)

天津省局業(yè)務(wù)涉及到大量的核心數(shù)據(jù)，可以分為結(jié)構(gòu)化數(shù)據(jù)和半/非結(jié)構(gòu)化數(shù)據(jù)兩部分（如上圖中部所示），前者主要是站點數(shù)據(jù)，基于都是存儲在分布式關(guān)系型數(shù)據(jù)庫Mysql中。而半/非結(jié)構(gòu)化數(shù)據(jù)則主要是天氣實時應(yīng)用（實況、預(yù)報）數(shù)據(jù)。

為了優(yōu)化數(shù)據(jù)，提升數(shù)據(jù)的服務(wù)能力和集約化程度。另一方面，為保證核心業(yè)務(wù)不受影響，直接將Mysql中的數(shù)據(jù)同步到GBase8a當(dāng)中，形成集約化的數(shù)據(jù)匯集服務(wù)中心。這里同步的技術(shù)手段，采用成熟的阿里巴巴的Canal同步方案。Canal是通過模擬成為Mysql的slave的方式，監(jiān)聽Mysql的binlog日志來獲取數(shù)據(jù)，實時性強，對于應(yīng)用無任何侵入性，且性能更好，不會造成資源浪費。當(dāng)binlog設(shè)置為row模式以后，不僅能獲取到執(zhí)行的每一個增刪改的腳本，同時還能獲取到修改前和修改后的數(shù)據(jù)，基于這個特性，Canal就能高性能的獲取到Mysql數(shù)據(jù)的變更。針對數(shù)據(jù)庫進(jìn)行增刪改的操作，同時也進(jìn)行ES的增刪改操作，便于后續(xù)數(shù)據(jù)的高速準(zhǔn)確的查詢。

針對半/非結(jié)構(gòu)化數(shù)據(jù)的存儲需要。因為這些數(shù)據(jù)對服務(wù)的響應(yīng)速度要求非常高（毫秒級）。這里采用Hbase分布式數(shù)據(jù)庫進(jìn)行存儲。同時，利用氣象數(shù)據(jù)分塊壓縮技術(shù)，對數(shù)據(jù)進(jìn)行無損壓縮，減少傳輸數(shù)據(jù)量的大小，提升響應(yīng)速度。數(shù)據(jù)分塊壓縮技術(shù)路線示意圖如圖3所示：

在Hbase存儲中，數(shù)據(jù)常常是按照超級大表存儲的。為了增加查詢速度，針對HBase中的大表按區(qū)域進(jìn)行切分，設(shè)每塊名稱為HRegion1，HRegion2，HRegion3……HRegionN。HBase是集群結(jié)構(gòu)，會把這些塊分散存儲到多個服務(wù)器中，假設(shè)每個服務(wù)器名為HRegionServer。同時，為了方便的管理服務(wù)器，增加一個管理節(jié)點服務(wù)器HMaster，用來專門處理HRegionServer負(fù)載均衡處理和HRegion的分配等事務(wù)。當(dāng)數(shù)據(jù)庫中某個HRegion的大小達(dá)到閾值后，系統(tǒng)將會自動將其分割，新的HRegion也會由HMaster進(jìn)行分配，放置到相應(yīng)的HRegionServer中。

HRegion內(nèi)部會按照列族進(jìn)行切分，分為多個Store，每個Store保存一個列族，所以HRegion由一個或者多個Store組成。每個Strore又由一個MemStore和N個StoreFile組成。

其中，MemStore是內(nèi)存存儲單元，當(dāng)內(nèi)存中數(shù)據(jù)達(dá)到閾值后，寫入StoreFile中，而StoreFile則以HFile格式進(jìn)行保存。

而用來存儲半/非結(jié)構(gòu)化數(shù)據(jù)的HBase，其物理存儲是基于Hadoop的分布式存儲，整體的系統(tǒng)架構(gòu)如圖4所示：

3 數(shù)據(jù)服務(wù)設(shè)計

針對氣象數(shù)據(jù)的服務(wù)，共設(shè)計實現(xiàn)了三種方式：接口服務(wù)、FTP文件和訂單下載，并對省級氣象大數(shù)據(jù)服務(wù)中心的數(shù)據(jù)提供數(shù)據(jù)說明、數(shù)據(jù)檢索和數(shù)據(jù)下載等功能。為了滿足本地業(yè)務(wù)的需求，特增加了24種天津特色資料服務(wù)接口。

3.1 數(shù)據(jù)服務(wù)架構(gòu)設(shè)計

系統(tǒng)數(shù)據(jù)服務(wù)模塊具備數(shù)據(jù)與產(chǎn)品目錄導(dǎo)航功能，提供各類基礎(chǔ)數(shù)據(jù)及產(chǎn)品的數(shù)據(jù)摘要描述、數(shù)據(jù)來源、數(shù)據(jù)處理方式、空間屬性信息、時間屬性信息、相關(guān)引用文獻(xiàn)等相關(guān)信息的查詢及數(shù)據(jù)檢索和展示。數(shù)據(jù)與產(chǎn)品目錄導(dǎo)航提供的資料涵蓋氣象行業(yè)標(biāo)準(zhǔn)《氣象資料分類與編碼》（QX/T102-2009）的12大類資料、4類行業(yè)社會數(shù)據(jù)和質(zhì)量控制數(shù)據(jù)。整體數(shù)據(jù)服務(wù)架構(gòu)設(shè)計如圖5所示：

圖5中最底層的資料中，還含有更詳細(xì)的資料清單，如雷達(dá)基數(shù)據(jù)下面還包含：質(zhì)控前標(biāo)準(zhǔn)格式單站多普勒雷達(dá)基數(shù)據(jù)、質(zhì)控后標(biāo)準(zhǔn)格式單站多普勒雷達(dá)基數(shù)據(jù)和質(zhì)控前原始格式單站多普勒雷達(dá)基數(shù)據(jù)3類數(shù)據(jù)。限于篇幅，不贅述。下圖展示了自定義數(shù)據(jù)下載的展示界面如圖6所示：

3.2 數(shù)據(jù)下載功能實現(xiàn)

用戶可通過數(shù)據(jù)信息描述了解數(shù)據(jù)產(chǎn)品概況，通過檢索和下載獲取所需要的數(shù)據(jù)。模塊可實現(xiàn)通過配置方式調(diào)整（新增、修改、刪除）數(shù)據(jù)下載功能，實現(xiàn)對數(shù)據(jù)下載的自由配置，使數(shù)據(jù)下載種類可自由擴(kuò)展或縮減。數(shù)據(jù)下載的核心代碼如下所示：

3.3 系統(tǒng)服務(wù)性能測試

為了測試系統(tǒng)服務(wù)性能，特別針對氣象兩類關(guān)鍵數(shù)據(jù)：自動站和格點數(shù)據(jù)，進(jìn)行測試。

其中，自動站數(shù)據(jù)存儲在Gbase數(shù)據(jù)庫中，并收集了建站以來，即1951年至今70年的自動站數(shù)據(jù)，庫中數(shù)據(jù)記錄總數(shù)為：155，281，334，700條。下表展示了與CIMISS系統(tǒng)中oracle庫對比的查詢結(jié)果。

可以清楚看到系統(tǒng)查詢性能提高了5.2-22.3倍，且隨著時間延長，倍數(shù)還在不斷增大。

針對格點數(shù)據(jù)，采用過去6個月共計4萬天津1KM網(wǎng)格歷史數(shù)據(jù)，系統(tǒng)測試能夠在0.3 s內(nèi)到應(yīng)用終端（如下圖所示），與原有天津省局一體化平臺中格點數(shù)據(jù)的應(yīng)用相比，速度提升了5倍左右。

4 結(jié) 論

1）利用分布式技術(shù)，構(gòu)建了天津省級氣象大數(shù)據(jù)服務(wù)中心，搭建了以HBase、GBase、分布式NAS為基礎(chǔ)的統(tǒng)一數(shù)據(jù)存儲環(huán)境，并與省級CIMISS形成了無縫對接，滿足了天津本地的特色數(shù)據(jù)服務(wù)和業(yè)務(wù)的需求。

2） 在測試對比中發(fā)現(xiàn)，系統(tǒng)的查詢性能得到較大提升：自動站數(shù)據(jù)比CIMISS提升了5.2-22.3倍，且性能優(yōu)勢會隨著時間跨度延長而不斷增大，而格點數(shù)據(jù)則比原一體化平臺提升了5倍左右。

3） 同時，利用數(shù)據(jù)訂單技術(shù)，屏蔽了差異多變的后臺數(shù)據(jù)環(huán)境，形成和諧一致的數(shù)據(jù)訂單獲取平臺，極大便利了用戶對數(shù)據(jù)的獲取和管理。不但如此，利用分布式技術(shù)，形成多任務(wù)、多訂單的同步數(shù)據(jù)匯聚功能，極大縮短數(shù)據(jù)的獲取過程，響應(yīng)速度快。同時，系統(tǒng)便于移植，可靈活適配應(yīng)用到不同的數(shù)據(jù)服務(wù)環(huán)境當(dāng)中。但也應(yīng)當(dāng)看到，整個方案并沒有考慮如何優(yōu)化CIMISS系統(tǒng)的查詢性能，這方面有待在以后的工作中，進(jìn)一步強化和完善。

參考文獻(xiàn)

[1] 王甫棣，王帥，趙希鵬.氣象部門管理信息化系統(tǒng)設(shè)計初探[J].信息技術(shù)， 2019（3）： 156-160.

[2] 熊安元，趙芳，王穎，等.全國綜合氣象信息共享系統(tǒng)的設(shè)計與實現(xiàn)[J]. 應(yīng)用氣象學(xué)報， 2015， 26（4）： 500-512.

[3] 趙芳，熊安元，張小纓，等.全國綜合氣象信息共享平臺架構(gòu)設(shè)計技術(shù)特征[J]. 應(yīng)用氣象學(xué)報， 2017， 28（6）： 750-757.

[4] 馬渝勇，徐曉莉，宋智，等.省級氣象信息共享系統(tǒng)的設(shè)計與實現(xiàn)[J]. 應(yīng)用氣象學(xué)報， 2011， 22（4）： 505-512.

[5] ZHANG Zhi-qiang，ZHANG Qiang，HU Xing， al. Design and implementation of national meteorological service platform[J]. 亞洲農(nóng)業(yè)研究（英文版），2016，8（9）：77-81.

[6] 史彩霞，黎穎智，張許斌. 基于CIMISS的廣西氣象服務(wù)信息綜合業(yè)務(wù)系統(tǒng)的設(shè)計與實現(xiàn)[J]. 氣象研究與應(yīng)用， 2016， 37（4）：82-85.

[7] 宋智，徐曉莉，張常亮，等.應(yīng)用分布式存儲技術(shù)優(yōu)化省級CIMISS數(shù)據(jù)服務(wù)能力[J]. 熱氣象科技， 2019， 47（3）： 433-438.

[8] 李新慶，陳海波，楊有林，等.寧夏綜合氣象信息共享與管理系統(tǒng)設(shè)計研究[J]. 計算機技術(shù)與發(fā)展， 2019， 29（5）： 135-141.

[9] 陳晴，楊明，陳曄峰，等.基于CIMISS的省級氣象業(yè)務(wù)系統(tǒng)的應(yīng)用設(shè)計[J]. 計算機應(yīng)用與軟件， 2018， 4（35）： 117-121.

[10]向筱銘，徐曉莉，楊雪，等.CIMISS數(shù)據(jù)存儲管理系統(tǒng)結(jié)構(gòu)優(yōu)化及應(yīng)用[J]. 氣象科技， 2019， 2（47）： 237-243.

[11]曾行吉，李濤，詹利群，等.基于MUSIC的特色數(shù)據(jù)與產(chǎn)品回寫CIMISS方法研究[J]. 氣象研究與應(yīng)用， 2018， 39（1）： 111-114.

[12]曾行吉，任曉煒，宋瑤，等.微服務(wù)在氣象數(shù)據(jù)服務(wù)中的應(yīng)用研究[J]. 氣象研究與應(yīng)用， 2019， 40（1）： 80-83.