楊 鵬

（內(nèi)蒙古自治區(qū)氣象信息中心 內(nèi)蒙古 呼和浩特 010051）

0 引言

經(jīng)過(guò)多年發(fā)展，自治區(qū)氣象信息化能力不斷提高，氣象數(shù)據(jù)存儲(chǔ)與服務(wù)能力不斷增強(qiáng)，天氣預(yù)報(bào)、氣候預(yù)測(cè)和數(shù)值預(yù)報(bào)業(yè)務(wù)以及科研系統(tǒng)的基礎(chǔ)資源環(huán)境大幅改善，但面向大數(shù)據(jù)服務(wù)的現(xiàn)實(shí)需求，存儲(chǔ)、共享數(shù)據(jù)種類不完整，數(shù)據(jù)供應(yīng)不足，自治區(qū)特色生態(tài)氣象觀測(cè)、人工影響天氣觀測(cè)及多部門行業(yè)共享數(shù)據(jù)沒(méi)有實(shí)現(xiàn)快速采集并納入統(tǒng)一規(guī)范化管理，難以發(fā)揮應(yīng)用價(jià)值。

2016年氣象部門構(gòu)建了基于全國(guó)氣象綜合信息共享平臺(tái)（以下簡(jiǎn)稱“CIMISS”）的集約化數(shù)據(jù)環(huán)境，標(biāo)準(zhǔn)、統(tǒng)一地支撐氣象核心業(yè)務(wù)系統(tǒng)的氣象數(shù)據(jù)生態(tài)已初步形成，但數(shù)據(jù)采集形式單一，不能滿足行業(yè)、部門數(shù)據(jù)采集匯聚需求；無(wú)法支持分布式計(jì)算、流式計(jì)算、挖掘分析、機(jī)器學(xué)習(xí)等新型技術(shù)框架，不能快速響應(yīng)內(nèi)部、行業(yè)和決策用戶的數(shù)據(jù)加工、處理需求；無(wú)法滿足長(zhǎng)序列歷史數(shù)據(jù)及分鐘級(jí)數(shù)據(jù)檢索的性能需求，亟須實(shí)現(xiàn)歷史、實(shí)時(shí)資料一體化在線訪問(wèn)[1]。因此，內(nèi)蒙古自治區(qū)氣象大數(shù)據(jù)綜合用平臺(tái)應(yīng)運(yùn)而生，它將負(fù)責(zé)解決數(shù)據(jù)集約、業(yè)務(wù)集約問(wèn)題，有效支撐氣象業(yè)務(wù)系統(tǒng)和各類數(shù)據(jù)應(yīng)用，全面支撐“云+端”生態(tài)運(yùn)行。

1 數(shù)據(jù)分析

從數(shù)據(jù)形態(tài)來(lái)講，氣象數(shù)據(jù)主要分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)包括氣象臺(tái)站的各類觀測(cè)要素資料，如地面、高空、輻射、農(nóng)業(yè)氣象、大氣成分等；非結(jié)構(gòu)化數(shù)據(jù)包括數(shù)值預(yù)報(bào)、氣象災(zāi)害、雷達(dá)、衛(wèi)星等[2]。

1.1 數(shù)據(jù)量分析

（1）業(yè)務(wù)數(shù)據(jù)：基于CIMISS統(tǒng)一數(shù)據(jù)環(huán)境，自治區(qū)每日實(shí)時(shí)收集來(lái)自國(guó)內(nèi)外氣象觀測(cè)數(shù)據(jù)、加工處理后產(chǎn)品數(shù)據(jù)以及部門間交換數(shù)據(jù)等多種數(shù)據(jù)。數(shù)據(jù)種類包括：地面、高空、輻射、農(nóng)業(yè)氣象和生態(tài)氣象、大氣成分、衛(wèi)星、雷達(dá)、氣象災(zāi)害、數(shù)值預(yù)報(bào)產(chǎn)品、氣象服務(wù)產(chǎn)品和其他資料等共11大類[3]?，F(xiàn)有數(shù)據(jù)見(jiàn)表1。

表1 數(shù)據(jù)增量及存儲(chǔ)期限詳情信息表

其中結(jié)構(gòu)化數(shù)據(jù)包含地面、高空、海洋、輻射、農(nóng)業(yè)氣象、大氣成分等種類的數(shù)據(jù)，6種數(shù)據(jù)現(xiàn)存數(shù)據(jù)量為8.8 TB。非結(jié)構(gòu)化數(shù)據(jù)包含數(shù)值預(yù)報(bào)、氣象災(zāi)害、雷達(dá)、衛(wèi)星、服務(wù)產(chǎn)品等種類的數(shù)據(jù)，存數(shù)據(jù)量為141.7 TB。

未來(lái)5年的數(shù)據(jù)增量：考慮各個(gè)存儲(chǔ)庫(kù)的年增長(zhǎng)量，未來(lái)5年平均年增長(zhǎng)率按照20%計(jì)算，按照計(jì)算公式：S=a1×（1+q）5∑=a1×（1+q）5（a1為第1年數(shù)據(jù)存儲(chǔ)量，q為年增長(zhǎng)率）進(jìn)行計(jì)算：結(jié)構(gòu)化數(shù)據(jù)未來(lái)5年數(shù)據(jù)存儲(chǔ)量為8.8TB×（1+20%）5=22(TB)；非結(jié)構(gòu)化數(shù)據(jù)未來(lái)5年數(shù)據(jù)存儲(chǔ)量為141.7TB×（1+20%）5=352.59(TB)。

（2）其他數(shù)據(jù)：通過(guò)歷史資料拯救及數(shù)字化工作，收集整理了全區(qū)各類紙質(zhì)氣象記錄檔案資料、各類氣象記錄檔案數(shù)字化圖像文件、臺(tái)站歸檔電子資料、錄入的歷史資料數(shù)據(jù)集、國(guó)家氣象局下發(fā)數(shù)據(jù)集、整編數(shù)據(jù)等文本文件；通過(guò)定期制作和各臺(tái)站匯交的地面、高空、輻射月報(bào)和年報(bào)資料。累積長(zhǎng)序列數(shù)據(jù)集總量約20 TB。

未來(lái)5年的數(shù)據(jù)增量：考慮各個(gè)存儲(chǔ)庫(kù)的年增長(zhǎng)量，未來(lái)5年平均年增長(zhǎng)率按照20%計(jì)算，按照計(jì)算公式：S=a1×（1+q）5∑=a1×（1+q）5（a1為第一年數(shù)據(jù)存儲(chǔ)量，q為年增長(zhǎng)率）進(jìn)行計(jì)算：非結(jié)構(gòu)化數(shù)據(jù)未來(lái)5年數(shù)據(jù)存儲(chǔ)量為18.04TB×（1+20%）5=44.88(TB)。

1.2 存儲(chǔ)策略分析

對(duì)于結(jié)構(gòu)化數(shù)據(jù)可根據(jù)數(shù)據(jù)的交互需求采用關(guān)系型數(shù)據(jù)庫(kù)與NOSQL數(shù)據(jù)庫(kù)相結(jié)合的存儲(chǔ)設(shè)計(jì)，以滿足數(shù)據(jù)實(shí)時(shí)查詢檢索和統(tǒng)計(jì)計(jì)算分析的需求。針對(duì)非結(jié)構(gòu)化數(shù)據(jù)，根據(jù)數(shù)據(jù)檢索維度設(shè)計(jì)其分布式索引信息實(shí)時(shí)訪問(wèn)，采用分布式NAS文件類型存儲(chǔ)，用以滿足此類數(shù)據(jù)的各種業(yè)務(wù)訪問(wèn)需求。同時(shí)針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)共享訪問(wèn)需求，提供分布式KV數(shù)據(jù)庫(kù)存儲(chǔ)形式，將雷達(dá)、數(shù)值預(yù)報(bào)、衛(wèi)星數(shù)據(jù)進(jìn)行分片打散，從而提供更為高效的基于時(shí)空維度的數(shù)據(jù)實(shí)時(shí)訪問(wèn)及可視化顯示能力[3-4]。

2 數(shù)據(jù)庫(kù)設(shè)計(jì)

2.1 數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)

2.1.1 數(shù)據(jù)分庫(kù)分表設(shè)計(jì)

單表數(shù)據(jù)量限制在500萬(wàn)，表之間數(shù)據(jù)無(wú)傾斜，盡量均勻分布，因此應(yīng)盡量選好分庫(kù)分表鍵。元數(shù)據(jù)信息表，以廣播表的形式，在各分庫(kù)里均有副本，保證JOIN操作的高效檢索。數(shù)據(jù)的分庫(kù)分表數(shù)量按照數(shù)據(jù)的實(shí)際存儲(chǔ)時(shí)限來(lái)確定，并根據(jù)總數(shù)據(jù)容量進(jìn)行分布式數(shù)據(jù)庫(kù)資源規(guī)模的確定。進(jìn)行數(shù)據(jù)檢索時(shí)，加入分庫(kù)分表鍵條件，這樣數(shù)據(jù)將直接定位到分庫(kù)，極大縮短查詢時(shí)間。

2.1.2 讀寫分離設(shè)計(jì)

數(shù)據(jù)的解碼入庫(kù)，與數(shù)據(jù)的讀取，在數(shù)據(jù)庫(kù)IO層面會(huì)產(chǎn)生沖突，從而導(dǎo)致兩者的性能降低，采用分布式數(shù)據(jù)庫(kù)產(chǎn)品提供數(shù)據(jù)的讀寫分離能力，并保證讀庫(kù)與主庫(kù)主鍵具有很小的數(shù)據(jù)延時(shí)。

2.1.3 數(shù)據(jù)索引設(shè)計(jì)

分布式關(guān)系型數(shù)據(jù)庫(kù)，支持傳統(tǒng)的數(shù)據(jù)索引，從而為高頻訪問(wèn)數(shù)據(jù)的查詢進(jìn)行快速定位和緩沖，在針對(duì)各類匯交數(shù)據(jù)的訪問(wèn)，根據(jù)高頻檢索條件進(jìn)行索引設(shè)計(jì)，從而保證大部分查詢可以命中索引，實(shí)現(xiàn)數(shù)據(jù)的快速檢索。

2.1.4 提高數(shù)據(jù)庫(kù)運(yùn)行效率的辦法

在數(shù)據(jù)庫(kù)物理設(shè)計(jì)時(shí)，降低范式，增加冗余，少用觸發(fā)器，多用存儲(chǔ)過(guò)程。當(dāng)計(jì)算非常復(fù)雜，而且記錄條數(shù)非常巨大時(shí)，復(fù)雜計(jì)算要先在數(shù)據(jù)庫(kù)外面，以文件系統(tǒng)方式用C++語(yǔ)言計(jì)算處理完成之后，最后才入庫(kù)追加到表中去。對(duì)數(shù)據(jù)庫(kù)管理系統(tǒng)DBMS進(jìn)行系統(tǒng)優(yōu)化，即優(yōu)化各種系統(tǒng)參數(shù)，如緩沖區(qū)個(gè)數(shù)。使用面向數(shù)據(jù)的SQL語(yǔ)言進(jìn)行程序設(shè)計(jì)時(shí)，盡量采取優(yōu)化算法[5]。

2.2 數(shù)據(jù)庫(kù)技術(shù)選型

分布式關(guān)系型數(shù)據(jù)庫(kù)hbase，用于結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)查詢、檢索。分布式表格系統(tǒng)設(shè)計(jì)采用Cassandra數(shù)據(jù)庫(kù)集群存儲(chǔ)監(jiān)視指標(biāo)數(shù)據(jù)，支持高吞吐量的大量寫入、低延遲頁(yè)面刷新。采用數(shù)據(jù)庫(kù)集群存儲(chǔ)日志事件類數(shù)據(jù)，支持持續(xù)大量的寫入、關(guān)鍵字查詢、查詢統(tǒng)計(jì)等。分布式文件系統(tǒng)采用分布式NAS[6-7]。

2.3 數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)及策略設(shè)計(jì)

2.3.1 氣象結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)

根據(jù)結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)規(guī)范，利用關(guān)系型數(shù)據(jù)庫(kù)技術(shù)建設(shè)氣象結(jié)構(gòu)化數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，包括自動(dòng)站數(shù)據(jù)庫(kù)、其他站點(diǎn)數(shù)據(jù)庫(kù)、結(jié)構(gòu)化數(shù)據(jù)分析庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)索引庫(kù)等物理隔離的數(shù)據(jù)庫(kù)，用以存儲(chǔ)氣象觀測(cè)站點(diǎn)數(shù)據(jù)、文件產(chǎn)品的索引信息、新匯交數(shù)據(jù)。

2.3.2 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)

根據(jù)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)規(guī)范，利用分布式文件存儲(chǔ)系統(tǒng)和文件目錄結(jié)構(gòu)規(guī)范建設(shè)非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)庫(kù)和非結(jié)構(gòu)化數(shù)據(jù)歷史庫(kù)。非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)庫(kù)，主要滿足氣象核心業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)服務(wù)的需求。非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)庫(kù)具有實(shí)時(shí)性高、周期性短、訪問(wèn)速度快、數(shù)據(jù)量不超過(guò)5PB等特點(diǎn)，提供應(yīng)用系統(tǒng)的直接訪問(wèn)。非結(jié)構(gòu)化數(shù)據(jù)歷史庫(kù)，主要滿足科研用戶以及業(yè)務(wù)試驗(yàn)系統(tǒng)對(duì)數(shù)據(jù)在線訪問(wèn)的需求，保障歷史數(shù)據(jù)在線服務(wù)。非結(jié)構(gòu)化數(shù)據(jù)歷史庫(kù)具有全序列、歷史性、數(shù)據(jù)量大等特點(diǎn)，為應(yīng)用系統(tǒng)對(duì)歷史資料的分析提供數(shù)據(jù)資源。結(jié)構(gòu)化實(shí)時(shí)庫(kù)與歷史庫(kù)共同組成氣象結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)全集，提供直接數(shù)據(jù)訪問(wèn)[8-9]。

2.4 數(shù)據(jù)庫(kù)表設(shè)計(jì)

氣象大數(shù)據(jù)管理云平臺(tái)根據(jù)氣象應(yīng)用對(duì)數(shù)據(jù)訪問(wèn)的需求，分為結(jié)構(gòu)化數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化文件索引庫(kù)、緩沖庫(kù)、歷史分析庫(kù)、實(shí)時(shí)應(yīng)用庫(kù)。在進(jìn)行分布式數(shù)據(jù)庫(kù)分庫(kù)分表設(shè)計(jì)時(shí)，主要結(jié)合了各類數(shù)據(jù)庫(kù)的分庫(kù)分表特點(diǎn)，如針對(duì)hbase數(shù)據(jù)庫(kù)，主要按觀測(cè)時(shí)間進(jìn)行分庫(kù)分表設(shè)計(jì)，針對(duì)分析型數(shù)據(jù)庫(kù)，主要根據(jù)站點(diǎn)編號(hào)進(jìn)行hash分布鍵的設(shè)計(jì)。針對(duì)鍵表和要素表，則根據(jù)訪問(wèn)特點(diǎn)，對(duì)要素表按外鍵id進(jìn)行hash分布鍵的設(shè)計(jì)。

數(shù)據(jù)索引需要建立在一個(gè)全局共同遵守的標(biāo)準(zhǔn)之上，這個(gè)標(biāo)準(zhǔn)中規(guī)定了在不同數(shù)據(jù)分片場(chǎng)景下各個(gè)數(shù)據(jù)節(jié)點(diǎn)應(yīng)共同包含或通過(guò)邏輯映射的方式包含相應(yīng)的屬性，如在水平分片場(chǎng)景下，各個(gè)數(shù)據(jù)節(jié)點(diǎn)應(yīng)共同擁有日期屬性，日期屬性可分為年、月、旬等多個(gè)分類方式。如同屬于年分類的場(chǎng)景下，則需要共同擁有年屬性；如在垂直分片場(chǎng)景下，各個(gè)數(shù)據(jù)節(jié)點(diǎn)應(yīng)共同擁有要素類型屬性。分布式存儲(chǔ)的核心問(wèn)題是對(duì)數(shù)據(jù)分片和數(shù)據(jù)分配方式，分片的方式分為水平分片、垂直分片、導(dǎo)出分片和混合分片。

除對(duì)氣象數(shù)據(jù)進(jìn)行長(zhǎng)序列、分布式、分級(jí)在線存儲(chǔ)外，還針對(duì)天氣分析、決策服務(wù)、氣候預(yù)測(cè)等應(yīng)用設(shè)計(jì)多副本數(shù)據(jù)庫(kù)和數(shù)據(jù)表。比如，針對(duì)天氣分析，基于分布式表格系統(tǒng)建立氣象數(shù)據(jù)實(shí)時(shí)應(yīng)用庫(kù)；針對(duì)決策服務(wù)和氣候預(yù)測(cè)，基于分布式分析型數(shù)據(jù)庫(kù)對(duì)長(zhǎng)序列地面數(shù)據(jù)冗余存儲(chǔ)；針對(duì)應(yīng)用頻度和重要性不同，對(duì)地面分鐘和小時(shí)數(shù)據(jù)按國(guó)家站/區(qū)域站、常用要素/全要素的分表存儲(chǔ)，在接口層面進(jìn)行封裝，保障訪問(wèn)的高效。設(shè)計(jì)存儲(chǔ)緩沖區(qū)，暫存入庫(kù)后的數(shù)據(jù)，基于SSD構(gòu)建小型關(guān)系型數(shù)據(jù)庫(kù)；所有用于服務(wù)的數(shù)據(jù)庫(kù)都從該緩沖區(qū)獲取數(shù)據(jù)，基于數(shù)據(jù)庫(kù)提供的記錄變更信息開展數(shù)據(jù)同步。該同步方式實(shí)現(xiàn)了讀寫分離，除了高效、穩(wěn)定，還能適應(yīng)可能新增的副本需求[10-11]。見(jiàn)圖1。

3 數(shù)據(jù)訪問(wèn)接口

數(shù)據(jù)訪問(wèn)接口模塊實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)的接口封裝，包括數(shù)據(jù)庫(kù)數(shù)據(jù)訪問(wèn)接口、文件訪問(wèn)接口、安全認(rèn)證和請(qǐng)求監(jiān)聽(tīng)功能，由于接口讀寫的高并發(fā)性，需要考慮接口封裝的多線程特性，包括端口監(jiān)聽(tīng)、連接的建立以及數(shù)據(jù)傳輸?shù)目刂颇芰Α?shù)據(jù)訪問(wèn)接口遵循氣象數(shù)據(jù)統(tǒng)一服務(wù)接口標(biāo)準(zhǔn)規(guī)范進(jìn)行設(shè)計(jì)，通過(guò)符合氣象標(biāo)準(zhǔn)的開放接口，并在其基礎(chǔ)上進(jìn)行定制開發(fā)，保證各業(yè)務(wù)系統(tǒng)與大數(shù)據(jù)平臺(tái)的無(wú)縫對(duì)接，全面提升數(shù)據(jù)服務(wù)性能。

3.1 數(shù)據(jù)庫(kù)數(shù)據(jù)訪問(wèn)接口

數(shù)據(jù)庫(kù)接口服務(wù)面向?qū)ο鬄閷I(yè)和非專業(yè)的數(shù)據(jù)使用人員，專業(yè)地為數(shù)據(jù)庫(kù)管理員提供數(shù)據(jù)庫(kù)接口，非專業(yè)在系統(tǒng)界面提供查詢、導(dǎo)出功能。數(shù)據(jù)庫(kù)數(shù)據(jù)訪問(wèn)功能是當(dāng)系統(tǒng)對(duì)外提供結(jié)構(gòu)化數(shù)據(jù)訪問(wèn)服務(wù)時(shí)，數(shù)據(jù)訪問(wèn)請(qǐng)求首先通過(guò)數(shù)據(jù)訪問(wèn)安全控制功能實(shí)現(xiàn)安全認(rèn)證，然后通過(guò)統(tǒng)一的數(shù)據(jù)獲取服務(wù)獲得數(shù)據(jù)的存儲(chǔ)位置信息以及數(shù)據(jù)結(jié)構(gòu)信息，然后根據(jù)數(shù)據(jù)存儲(chǔ)位置，訪問(wèn)物理存儲(chǔ)的數(shù)據(jù)庫(kù)表，通過(guò)結(jié)構(gòu)信息可動(dòng)態(tài)給出訪問(wèn)形式化參數(shù)結(jié)構(gòu)，通過(guò)給定參數(shù)動(dòng)態(tài)拼裝查詢檢索和寫入信息對(duì)應(yīng)的SQL語(yǔ)句然后進(jìn)行真正的數(shù)據(jù)訪問(wèn)，最后將數(shù)據(jù)結(jié)果以用戶定義的形式化結(jié)構(gòu)參數(shù)形態(tài)返回給用戶[12]。

3.2 文件訪問(wèn)接口

文件訪問(wèn)接口功能就是給外部系統(tǒng)提供文件類氣象數(shù)據(jù)的調(diào)用服務(wù)接口，接口封裝了文件的數(shù)據(jù)操作API，對(duì)外提供統(tǒng)一的服務(wù)接口供外部調(diào)用。文件訪問(wèn)接口模塊主要完成的功能包括各類氣象專業(yè)化文件讀取，文件寫入功能。

（1）接收服務(wù)請(qǐng)求功能單元負(fù)責(zé)接收來(lái)自外部系統(tǒng)的服務(wù)請(qǐng)求，包括調(diào)用的API信息、調(diào)用者信息及調(diào)用參數(shù)信息。

（2）啟動(dòng)服務(wù)進(jìn)程功能單元根據(jù)服務(wù)請(qǐng)求信息自動(dòng)啟動(dòng)服務(wù)進(jìn)程，這些服務(wù)進(jìn)程會(huì)根據(jù)請(qǐng)求信息自動(dòng)匹配相關(guān)進(jìn)程。進(jìn)程啟動(dòng)之后，交與其他模塊進(jìn)行處理。

（3）提交處理結(jié)果功能單元是經(jīng)存儲(chǔ)管理控制中心動(dòng)態(tài)調(diào)度數(shù)據(jù)處理（融合、包處理等）和數(shù)據(jù)讀取服務(wù)（副本生成、壓縮、打包等）等操作后，將結(jié)果或結(jié)果集返回給請(qǐng)求服務(wù)的外部系統(tǒng)。文件訪問(wèn)接口模塊主要由接收服務(wù)請(qǐng)求、啟動(dòng)服務(wù)進(jìn)程和提交處理結(jié)果等功能組成。

4 結(jié)語(yǔ)

氣象大數(shù)據(jù)綜合應(yīng)用平臺(tái)對(duì)氣象大數(shù)據(jù)資源進(jìn)行全流程規(guī)范化管理，對(duì)氣象及相關(guān)領(lǐng)域數(shù)據(jù)進(jìn)行快速匯聚、交換、質(zhì)控和入庫(kù)；基于算法庫(kù)和加工流水線，對(duì)數(shù)據(jù)進(jìn)行加工處理，生產(chǎn)豐富和高質(zhì)量的統(tǒng)計(jì)類、網(wǎng)格化、組網(wǎng)拼圖、天氣氣候分析等產(chǎn)品；完成200余種數(shù)據(jù)產(chǎn)品服務(wù)，目前用戶數(shù)據(jù)達(dá)300個(gè)，預(yù)計(jì)同時(shí)支持動(dòng)態(tài)用戶數(shù)達(dá)1 500人，最大支持同時(shí)檢索和下載資料并發(fā)數(shù)達(dá)1 500次/min，實(shí)現(xiàn)部門內(nèi)外用戶亞秒級(jí)數(shù)據(jù)響應(yīng)。對(duì)氣象大數(shù)據(jù)進(jìn)行規(guī)范、實(shí)現(xiàn)實(shí)時(shí)歷史一體化的在線存儲(chǔ)，提供統(tǒng)一、便捷、豐富的數(shù)據(jù)服務(wù)接口。開放內(nèi)部的數(shù)據(jù)管理能力，包括數(shù)據(jù)交換、產(chǎn)品加工、存儲(chǔ)服務(wù)等，平臺(tái)建成后每小時(shí)收集、解碼、存儲(chǔ)、共享數(shù)據(jù)量約14 GB，資料全流程管理均通過(guò)氣象大數(shù)據(jù)管理云平臺(tái)自動(dòng)化實(shí)現(xiàn)。

氣象大數(shù)據(jù)綜合應(yīng)用平臺(tái)推動(dòng)氣象數(shù)據(jù)開放共享，使氣象深度滲透、融入其他行業(yè)中，實(shí)現(xiàn)功能的互補(bǔ)和延伸。匯聚氣象數(shù)據(jù)、社會(huì)數(shù)據(jù)、行業(yè)數(shù)據(jù)等數(shù)據(jù)資源，實(shí)現(xiàn)氣象與其他產(chǎn)業(yè)間功能的互補(bǔ)和延伸，向政府、行業(yè)部門、軍隊(duì)和公眾用戶提供6大類160子類數(shù)據(jù)產(chǎn)品共享服務(wù)，數(shù)據(jù)產(chǎn)品日服務(wù)量由原來(lái)的200 GB提升到500 G，支持1 000用戶并發(fā)訪問(wèn)，充分發(fā)揮氣象信息蘊(yùn)含的經(jīng)濟(jì)價(jià)值、社會(huì)價(jià)值。