王雙雙，杜建華，王立俊，趙 冰，劉驥超

(海南省氣象信息中心，?？?570203)

0 引言

隨著氣象信息化的發(fā)展，我國(guó)建成了“天地一體化”的通信系統(tǒng)，氣象數(shù)據(jù)呈幾何級(jí)數(shù)增長(zhǎng)，各行各業(yè)和社會(huì)公眾對(duì)氣象服務(wù)需求日益旺盛，涉及旅游、交通、農(nóng)業(yè)、林業(yè)、環(huán)保、水利、海洋等領(lǐng)域，氣象數(shù)據(jù)在國(guó)家發(fā)展和民生服務(wù)等領(lǐng)域發(fā)揮著日益重要的作用。但長(zhǎng)久以來(lái)各行業(yè)相互獨(dú)立，沒(méi)有形成共享數(shù)據(jù)的機(jī)制，很難利用大數(shù)據(jù)技術(shù)開(kāi)展數(shù)據(jù)挖掘和數(shù)據(jù)融合，也就不能更好地發(fā)揮數(shù)據(jù)的價(jià)值以及更好服務(wù)國(guó)計(jì)民生。因此，打破“數(shù)據(jù)孤島”，使氣象大數(shù)據(jù)安全有序地進(jìn)行流通和共享，提高數(shù)據(jù)交互效能，真正實(shí)現(xiàn)數(shù)據(jù)的融合，需要進(jìn)一步研究解決。

近年來(lái)，國(guó)內(nèi)氣象部門(mén)在氣象數(shù)據(jù)共享方面進(jìn)行了很多有益的研究工作，其中中國(guó)氣象局于2009年啟動(dòng)了全國(guó)綜合氣象信息共享系統(tǒng)建設(shè)(CIMISS，China integrated meteorological information sharing system),CIMISS系統(tǒng)集數(shù)據(jù)收集分發(fā)、質(zhì)量控制、數(shù)據(jù)解析、存儲(chǔ)管理、業(yè)務(wù)監(jiān)控為一體，為國(guó)省兩級(jí)氣象部門(mén)構(gòu)建了統(tǒng)一的數(shù)據(jù)環(huán)境[1]，實(shí)現(xiàn)了氣象數(shù)據(jù)的集約化管理。在此基礎(chǔ)上，各級(jí)氣象部門(mén)依托CIMISS建設(shè)了各部門(mén)本地化的共享系統(tǒng)。何林等[2]以省級(jí)集約化氣象數(shù)據(jù)環(huán)境及其服務(wù)接口為依托，研發(fā)了面向省、市、縣三級(jí)一線(xiàn)業(yè)務(wù)人員的統(tǒng)一氣象數(shù)據(jù)共享系統(tǒng)。隨著氣象數(shù)據(jù)觀測(cè)頻次不斷增高、加工產(chǎn)品的內(nèi)容和數(shù)量不斷豐富以及業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)訪(fǎng)問(wèn)時(shí)效的需求更高，CIMISS系統(tǒng)無(wú)法滿(mǎn)足對(duì)數(shù)據(jù)進(jìn)行全面的收集和管理，不能有效滿(mǎn)足智慧氣象和大數(shù)據(jù)服務(wù)的現(xiàn)實(shí)需求?；谠朴?jì)算、大數(shù)據(jù)等信息技術(shù)[3-4]，2017年國(guó)家氣象信息中心開(kāi)始構(gòu)建氣象大數(shù)據(jù)云平臺(tái)[5]，支撐國(guó)省兩級(jí)業(yè)務(wù)[6]，云平臺(tái)匯聚氣象部門(mén)內(nèi)外數(shù)據(jù)，提供云上加工、挖掘分析的計(jì)算服務(wù)，開(kāi)放平臺(tái)、數(shù)據(jù)、算法資源，提供數(shù)算一體的氣象服務(wù)，全面支撐“云+端”的氣象業(yè)務(wù)[7]，實(shí)現(xiàn)了對(duì)CIMISS的全面升級(jí)和替代。2020年海南省氣象部門(mén)搭建了省級(jí)氣象大數(shù)據(jù)云平臺(tái)，支撐海南省-市縣兩級(jí)業(yè)務(wù)，但更偏重于氣象部門(mén)內(nèi)部進(jìn)行了數(shù)據(jù)的交換和共享，在行業(yè)及外部門(mén)的共享探索較少。

隨著氣象防災(zāi)減災(zāi)、部門(mén)合作、專(zhuān)業(yè)專(zhuān)項(xiàng)服務(wù)等方面對(duì)氣象數(shù)據(jù)的需求日益凸顯，海南省氣象部門(mén)對(duì)外提供數(shù)據(jù)共享服務(wù)的范圍不斷擴(kuò)大，同時(shí)不同的服務(wù)對(duì)象對(duì)共享的數(shù)據(jù)范圍的需求有所不同，如瓊港合作項(xiàng)目、三防、部隊(duì)、環(huán)保等。目前的處理方式是根據(jù)各部門(mén)提出要求，分別開(kāi)發(fā)實(shí)現(xiàn)，氣象相關(guān)數(shù)據(jù)對(duì)外服務(wù)沒(méi)有統(tǒng)一的平臺(tái)，造成對(duì)外共享數(shù)據(jù)存在許多系統(tǒng)，共享方式雜亂，不利于對(duì)數(shù)據(jù)使用的管理；前期存在非氣象部門(mén)直接訪(fǎng)問(wèn)氣象部門(mén)內(nèi)網(wǎng)相關(guān)資源的現(xiàn)象，不利于氣象局內(nèi)網(wǎng)資源的安全與保密；由于系統(tǒng)分散，對(duì)數(shù)據(jù)分發(fā)共享的工作缺乏運(yùn)行保障，影響氣象部門(mén)的對(duì)外服務(wù)形象。所以亟需建立一套氣象數(shù)據(jù)分發(fā)平臺(tái)，實(shí)現(xiàn)對(duì)外數(shù)據(jù)共享服務(wù)的統(tǒng)一管理、統(tǒng)一出口、統(tǒng)一維護(hù)。

本文針對(duì)海南省氣象部門(mén)對(duì)外數(shù)據(jù)共享長(zhǎng)期存在的問(wèn)題，從外部門(mén)對(duì)氣象數(shù)據(jù)的需求出發(fā)，依托氣象大數(shù)據(jù)云平臺(tái)，基于分布式存儲(chǔ)技術(shù)和數(shù)據(jù)緩存技術(shù)，實(shí)現(xiàn)氣象數(shù)據(jù)共享分發(fā)管理的規(guī)范化和集約化，文中對(duì)氣象數(shù)據(jù)、系統(tǒng)設(shè)計(jì)、關(guān)鍵技術(shù)、系統(tǒng)功能和應(yīng)用等方面進(jìn)行介紹。

1 氣象數(shù)據(jù)概括

氣象數(shù)據(jù)資源涵蓋氣象業(yè)務(wù)、服務(wù)、科研、管理以及行業(yè)社會(huì)交換的所有數(shù)據(jù)，包括基礎(chǔ)數(shù)據(jù)、應(yīng)用支撐數(shù)據(jù)、管理與運(yùn)行信息。數(shù)據(jù)資源種類(lèi)繁多、格式多樣、數(shù)據(jù)量大?；A(chǔ)數(shù)據(jù)為氣象業(yè)務(wù)數(shù)據(jù)資源的全集，包含氣象觀測(cè)數(shù)據(jù)、氣象產(chǎn)品數(shù)據(jù)、行業(yè)社會(huì)數(shù)據(jù)、GIS數(shù)據(jù)和元數(shù)據(jù)。氣象觀測(cè)數(shù)據(jù)是氣象直接觀測(cè)和遙感觀測(cè)系統(tǒng)所產(chǎn)生的觀測(cè)數(shù)據(jù)，包括地面、高空、海洋、輻射、農(nóng)業(yè)和生態(tài)氣象、大氣成分、災(zāi)害預(yù)警、雷達(dá)、衛(wèi)星、人工影響天氣、空間天氣、科學(xué)考察、歷史氣候代用等數(shù)據(jù)，還包括部分?jǐn)?shù)字化數(shù)據(jù)。氣象產(chǎn)品數(shù)據(jù)是指氣象基礎(chǔ)統(tǒng)計(jì)產(chǎn)品、氣象監(jiān)測(cè)數(shù)據(jù)產(chǎn)品、氣象預(yù)報(bào)業(yè)務(wù)產(chǎn)品、氣象服務(wù)產(chǎn)品、氣象電子出版物和媒體數(shù)據(jù)。海南省氣象部門(mén)與外單位共享數(shù)據(jù)主要包括地面、高空、海洋、衛(wèi)星、雷達(dá)(基數(shù)據(jù))等各類(lèi)觀測(cè)數(shù)據(jù)，以及觀測(cè)數(shù)據(jù)生成的基礎(chǔ)統(tǒng)計(jì)產(chǎn)品如雷達(dá)產(chǎn)品(PUP產(chǎn)品、拼圖產(chǎn)品等)、衛(wèi)星產(chǎn)品，以及預(yù)報(bào)產(chǎn)品、預(yù)警信號(hào)等。

2 系統(tǒng)設(shè)計(jì)

2.1 總體架構(gòu)

海南省氣象數(shù)據(jù)共享平臺(tái)致力于解決現(xiàn)有為外單位共享數(shù)據(jù)方式雜亂、缺乏有效管理的問(wèn)題，實(shí)現(xiàn)共享數(shù)據(jù)的統(tǒng)一管理，為外單位外部門(mén)提供定制化的共享服務(wù)。根據(jù)海南省氣象局氣象信息系統(tǒng)集約化管理實(shí)施細(xì)則(試行)，數(shù)據(jù)環(huán)境統(tǒng)一使用氣象大數(shù)據(jù)云平臺(tái)，不再單獨(dú)建設(shè)數(shù)據(jù)庫(kù)，采用現(xiàn)有氣象大數(shù)據(jù)云平臺(tái)的數(shù)據(jù)環(huán)境，在遵循氣象大數(shù)據(jù)云平臺(tái)的數(shù)據(jù)標(biāo)準(zhǔn)和存儲(chǔ)規(guī)范下，將海南本地特色等資料存入數(shù)據(jù)庫(kù)，在其基礎(chǔ)上擴(kuò)建文件索引庫(kù)表用于存儲(chǔ)雷達(dá)產(chǎn)品(PUP產(chǎn)品、拼圖產(chǎn)品等)、衛(wèi)星產(chǎn)品索引信息，文件實(shí)體保存在分布式NAS和表格存儲(chǔ)等。同時(shí)建設(shè)數(shù)據(jù)緩存表，用于緩存經(jīng)常需要調(diào)用的數(shù)據(jù)如整點(diǎn)實(shí)況數(shù)據(jù)等以及衛(wèi)星云圖和雷達(dá)產(chǎn)品等較大數(shù)據(jù)的本地緩存，避免反復(fù)讀取數(shù)據(jù)，增加服務(wù)器性能的消耗。

系統(tǒng)基于B/S架構(gòu)[8-9]和SSH[10-11]框架，采用JAVA語(yǔ)言實(shí)現(xiàn)。系統(tǒng)設(shè)計(jì)采用四層結(jié)構(gòu)：自下而上依次為基礎(chǔ)支撐層、數(shù)據(jù)存儲(chǔ)層、業(yè)務(wù)邏輯層、界面層。系統(tǒng)總體架構(gòu)如圖1所示。基礎(chǔ)支撐層為系統(tǒng)提供所需要的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源、安全設(shè)備等硬件支撐及相關(guān)的軟件支撐，依托海南省氣象大數(shù)據(jù)云平臺(tái)和基礎(chǔ)設(shè)施資源池實(shí)現(xiàn)。數(shù)據(jù)存儲(chǔ)層包括氣象大數(shù)據(jù)云平臺(tái)業(yè)務(wù)數(shù)據(jù)庫(kù)、本地?cái)?shù)據(jù)、緩存數(shù)據(jù)庫(kù)表、共享目錄等，負(fù)責(zé)存儲(chǔ)海南省各類(lèi)氣象觀測(cè)數(shù)據(jù)、氣象產(chǎn)品、業(yè)務(wù)管理信息、運(yùn)行日志等，依托氣象大數(shù)據(jù)云平臺(tái)和擴(kuò)展存儲(chǔ)環(huán)境實(shí)現(xiàn)。業(yè)務(wù)邏輯層以數(shù)據(jù)存儲(chǔ)為基礎(chǔ)，包括數(shù)據(jù)處理、接口管理、系統(tǒng)管理、日志管理、數(shù)據(jù)監(jiān)控等。界面層表示系統(tǒng)以web網(wǎng)站的形式實(shí)現(xiàn)為外部門(mén)提供定制化數(shù)據(jù)共享服務(wù)，可靈活配置滿(mǎn)足共享需求，具有可擴(kuò)展性。

圖1 系統(tǒng)架構(gòu)

2.2 數(shù)據(jù)流程

海南省氣象數(shù)據(jù)共享平臺(tái)依托專(zhuān)線(xiàn)網(wǎng)絡(luò)、氣象大數(shù)據(jù)云平臺(tái)數(shù)據(jù)環(huán)境及統(tǒng)一數(shù)據(jù)服務(wù)接口，定時(shí)獲取氣象數(shù)據(jù)，按照需求推送定制化數(shù)據(jù)。由于氣象數(shù)據(jù)種類(lèi)繁多、不標(biāo)準(zhǔn)、不統(tǒng)一，缺乏和國(guó)際、業(yè)界一般采用標(biāo)準(zhǔn)格式的一致性，2019年根據(jù)中國(guó)氣象局統(tǒng)一規(guī)劃部署，海南省氣象部門(mén)開(kāi)始將觀測(cè)數(shù)據(jù)由國(guó)內(nèi)自定義數(shù)據(jù)格式逐步傳輸、使用標(biāo)準(zhǔn)格式氣象數(shù)據(jù)，目前還未完成所有數(shù)據(jù)的標(biāo)準(zhǔn)化切換。目前還存在原始格式數(shù)據(jù)和標(biāo)準(zhǔn)數(shù)據(jù)同時(shí)應(yīng)用的過(guò)渡期，根據(jù)需求單位需求數(shù)據(jù)的不同，文中考慮部分單位還在使用原始格式數(shù)據(jù)，可以根據(jù)需要進(jìn)行格式轉(zhuǎn)換。根據(jù)外單位需求數(shù)據(jù)類(lèi)型是原始格式、標(biāo)準(zhǔn)格式還是文件，其中國(guó)家站、區(qū)域站等地面自動(dòng)站數(shù)據(jù)、酸雨、輻射、雷達(dá)基數(shù)據(jù)目前已經(jīng)傳輸標(biāo)準(zhǔn)格式數(shù)據(jù)，可轉(zhuǎn)換為原始格式數(shù)據(jù)推送。如果后臺(tái)可通過(guò)緩存表讀取到所需數(shù)據(jù)，就從數(shù)據(jù)緩存表加載并打包相關(guān)數(shù)據(jù)并進(jìn)行推送，否則就讀取相關(guān)數(shù)據(jù)接口或相關(guān)共享目錄等方式獲取并打包推送，同時(shí)設(shè)置數(shù)據(jù)監(jiān)控模塊，監(jiān)控?cái)?shù)據(jù)是否推送完成。數(shù)據(jù)流程如圖2所示。

圖2 數(shù)據(jù)流程

3 功能模塊設(shè)計(jì)

氣象數(shù)據(jù)共享平臺(tái)主要由4個(gè)子系統(tǒng)組成，分別是用戶(hù)管理、系統(tǒng)配置、數(shù)據(jù)分發(fā)配置及數(shù)據(jù)統(tǒng)計(jì)查詢(xún)，平臺(tái)功能框架如圖3所示。

圖3 海南省氣象數(shù)據(jù)共享平臺(tái)功能模塊

用戶(hù)管理主要對(duì)本地用戶(hù)進(jìn)行管理，根據(jù)系統(tǒng)定義的不同級(jí)別用戶(hù)的操作權(quán)限創(chuàng)建不同的用戶(hù)，限制用戶(hù)對(duì)系統(tǒng)的操作，以保障用戶(hù)業(yè)務(wù)系統(tǒng)的穩(wěn)定及業(yè)務(wù)數(shù)據(jù)的安全。系統(tǒng)配置主要用于對(duì)站點(diǎn)管理、用戶(hù)單位的管理和數(shù)據(jù)權(quán)限的設(shè)置，便于系統(tǒng)的擴(kuò)展。站點(diǎn)管理是將海南省全部地面站、雨量站、交通站、浮標(biāo)站、船舶站、海島站、水文站通過(guò)站號(hào)、站名、所在省市縣、是否支持溫度濕度降水風(fēng)向風(fēng)速氣壓能見(jiàn)度六要素，可按照分類(lèi)及站號(hào)定制共享給需求單位；用戶(hù)單位管理是維護(hù)用戶(hù)單位基本信息，包括外部門(mén)負(fù)責(zé)人員聯(lián)系方式等；數(shù)據(jù)權(quán)限設(shè)置包括數(shù)據(jù)服務(wù)的期限、相關(guān)協(xié)議(包括保密協(xié)議)等，本平臺(tái)在服務(wù)期限范圍內(nèi)向該用戶(hù)單位提供數(shù)據(jù)服務(wù)。

數(shù)據(jù)分發(fā)設(shè)置主要包括數(shù)據(jù)源設(shè)置、數(shù)據(jù)分發(fā)單位設(shè)置、定制數(shù)據(jù)設(shè)置、數(shù)據(jù)監(jiān)控。目前氣象共享數(shù)據(jù)包括地面、高空、雷達(dá)、云圖、衛(wèi)星等各類(lèi)觀測(cè)數(shù)據(jù)，及基礎(chǔ)統(tǒng)計(jì)產(chǎn)品如雷達(dá)拼圖產(chǎn)品，以及預(yù)報(bào)產(chǎn)品、預(yù)警信號(hào)等。數(shù)據(jù)源設(shè)置是針對(duì)不同的數(shù)據(jù)類(lèi)型設(shè)置獲取方式，包括資料名稱(chēng)、分類(lèi)、獲取方式、賬戶(hù)、密碼、服務(wù)器IP、接口地址或共享文件目錄、時(shí)間格式、數(shù)據(jù)時(shí)區(qū)、文件類(lèi)型、更新頻率等信息以及數(shù)據(jù)緩存表存儲(chǔ)熱點(diǎn)數(shù)據(jù)或者較大的產(chǎn)品數(shù)據(jù)的方式，包括設(shè)置數(shù)據(jù)庫(kù)連接方式、表名等。數(shù)據(jù)分發(fā)單位設(shè)置是系統(tǒng)管理員根據(jù)管理部門(mén)批準(zhǔn)的數(shù)據(jù)分發(fā)范圍，填寫(xiě)分發(fā)用戶(hù)路徑，賬戶(hù)名密碼等信息。定制數(shù)據(jù)設(shè)置是按用戶(hù)單位進(jìn)行數(shù)據(jù)范圍的授權(quán)設(shè)置，包括數(shù)據(jù)的類(lèi)別(包括產(chǎn)品類(lèi)別)、自動(dòng)站站點(diǎn)、所需要素、所需數(shù)據(jù)頻率。為保證系統(tǒng)的穩(wěn)定運(yùn)行，以及數(shù)據(jù)共享分發(fā)的時(shí)效性，系統(tǒng)通過(guò)運(yùn)行監(jiān)控模塊對(duì)數(shù)據(jù)源的讀取情況、數(shù)據(jù)打包情況以及分發(fā)數(shù)據(jù)是否到達(dá)進(jìn)行監(jiān)控，實(shí)時(shí)反饋異常情況，方便運(yùn)維人員及時(shí)處理問(wèn)題，保障系統(tǒng)穩(wěn)定運(yùn)行。

系統(tǒng)根據(jù)用戶(hù)單位所需分發(fā)數(shù)據(jù)的配置，定時(shí)自動(dòng)到對(duì)應(yīng)數(shù)據(jù)源獲取相關(guān)的文件，并推送消息給打包服務(wù)，按照一定的數(shù)據(jù)規(guī)范進(jìn)行打包，并推送消息給分發(fā)服務(wù)，系統(tǒng)自動(dòng)將需要分發(fā)的數(shù)據(jù)包，推送到指定的目標(biāo)地址，并檢查目標(biāo)地址數(shù)據(jù)包是否到達(dá)、文件大小是否變化，同時(shí)給數(shù)據(jù)監(jiān)控模塊發(fā)送消息。數(shù)據(jù)統(tǒng)計(jì)查詢(xún)主要用于完成相關(guān)的報(bào)表工作。

4 關(guān)鍵技術(shù)

4.1 氣象大數(shù)據(jù)存儲(chǔ)管理技術(shù)

氣象數(shù)據(jù)的存儲(chǔ)技術(shù)與數(shù)據(jù)形態(tài)相關(guān)，氣象數(shù)據(jù)可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)技術(shù)相對(duì)獨(dú)立。隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)種類(lèi)持續(xù)增長(zhǎng)，數(shù)據(jù)量激增，傳統(tǒng)集中式存儲(chǔ)也無(wú)法滿(mǎn)足業(yè)務(wù)需求[12]。隨著大數(shù)據(jù)、云計(jì)算技術(shù)快速發(fā)展，分布式計(jì)算日趨成熟。分布式存儲(chǔ)技術(shù)具有天生的在線(xiàn)伸縮、高可用、水平擴(kuò)展等能力，能有效避免單點(diǎn)故障，氣象數(shù)據(jù)以分布式存儲(chǔ)技術(shù)為主[13-18]。

對(duì)于結(jié)構(gòu)化數(shù)據(jù)如地面、高空、輻射、農(nóng)氣等站點(diǎn)數(shù)據(jù)，經(jīng)過(guò)解析、簡(jiǎn)單處理之后可以用二維表結(jié)構(gòu)邏輯表達(dá)，使用關(guān)系型數(shù)據(jù)庫(kù)表示和存儲(chǔ)。分布式關(guān)系型數(shù)據(jù)庫(kù)、分布式分析型數(shù)據(jù)庫(kù)成為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的主流。對(duì)于這些站點(diǎn)數(shù)據(jù)，在分布式關(guān)系型數(shù)據(jù)庫(kù)中存儲(chǔ)近段時(shí)間數(shù)據(jù)(如1年)[19]，選用虛谷數(shù)據(jù)庫(kù)支撐實(shí)時(shí)結(jié)構(gòu)化數(shù)據(jù)的解碼入庫(kù)和存儲(chǔ)以及文件索引信息的存儲(chǔ)。在分布式分析型數(shù)據(jù)庫(kù)中存儲(chǔ)長(zhǎng)序列的數(shù)據(jù)，選用列式數(shù)據(jù)庫(kù)南大通用GBase 8a數(shù)據(jù)庫(kù)，對(duì)少量的氣象要素的檢索及分析具有較好的性能。對(duì)于雷達(dá)、衛(wèi)星等非結(jié)構(gòu)化數(shù)據(jù)采用分布式NAS存儲(chǔ)，支持氣象業(yè)務(wù)中進(jìn)行大量的統(tǒng)計(jì)加工算法直接讀寫(xiě)，同時(shí)非結(jié)構(gòu)化數(shù)據(jù)以較大的文件為主，在數(shù)據(jù)管理和共享訪(fǎng)問(wèn)性能上優(yōu)勢(shì)明顯。

本系統(tǒng)將海南本地特色等資料按照大數(shù)據(jù)云平臺(tái)數(shù)據(jù)接入流程和標(biāo)準(zhǔn)，根據(jù)數(shù)據(jù)格式規(guī)則，將結(jié)構(gòu)化數(shù)據(jù)解碼為要素存入虛谷緩沖庫(kù)(個(gè)別資料直接存入服務(wù)庫(kù))，為了提供數(shù)據(jù)服務(wù)，將數(shù)據(jù)同步至大數(shù)據(jù)云平臺(tái)的虛谷服務(wù)庫(kù)，同時(shí)，為了存儲(chǔ)長(zhǎng)時(shí)間序列的數(shù)據(jù)，還需要將數(shù)據(jù)從緩沖庫(kù)同步至GBase 8a分析庫(kù)；根據(jù)文件名規(guī)則，將雷達(dá)產(chǎn)品(雷達(dá)拼圖產(chǎn)品等)等非結(jié)構(gòu)化數(shù)據(jù)文件實(shí)體保存在分布式NAS和表格存儲(chǔ)，并按照文件名解析將索引信息存入索引表提供接口服務(wù)。對(duì)于數(shù)據(jù)模式預(yù)報(bào)數(shù)據(jù)需要把拆分出來(lái)的單場(chǎng)單要素的格點(diǎn)數(shù)據(jù)存儲(chǔ)表格存儲(chǔ)，重組后的文件存入分布式NAS并提取索引存入文件索引庫(kù)提供接口服務(wù)。在索引入庫(kù)成功和表格存儲(chǔ)入庫(kù)成功之后分別生成對(duì)應(yīng)的DI信息，通過(guò)本地DI容錯(cuò)代理應(yīng)用程序轉(zhuǎn)發(fā)到綜合業(yè)務(wù)監(jiān)控平臺(tái)，同時(shí)在處理的全過(guò)程中有異?；蛘咤e(cuò)誤信息生成EI告警信息發(fā)送綜合業(yè)務(wù)監(jiān)控平臺(tái)。

圖4 數(shù)據(jù)存儲(chǔ)流程

4.2 數(shù)據(jù)服務(wù)接口

氣象數(shù)據(jù)統(tǒng)一服務(wù)接口(MUSIC，meteorological unified service interface community)，基于大數(shù)據(jù)云平臺(tái)數(shù)據(jù)環(huán)境，為國(guó)-省-市縣各級(jí)氣象業(yè)務(wù)和科研用戶(hù)提供標(biāo)準(zhǔn)的數(shù)據(jù)訪(fǎng)問(wèn)服務(wù)以及應(yīng)用編程接口，為各類(lèi)應(yīng)用系統(tǒng)提供權(quán)威的數(shù)據(jù)接入服務(wù)[20],不僅提供全面的數(shù)據(jù)獲取功能，包括：站點(diǎn)資料的檢索、統(tǒng)計(jì)，格點(diǎn)資料的解析、裁剪和抽取，文件產(chǎn)品的查詢(xún)、下載，臺(tái)站信息的檢索等；同時(shí)支持本地特色等新增資料接口的發(fā)布以及提供數(shù)據(jù)回寫(xiě)功能，包括站點(diǎn)資料回寫(xiě)、文件產(chǎn)品回寫(xiě)、格點(diǎn)要素回寫(xiě)等。針對(duì)氣象應(yīng)用系統(tǒng)提供多種不同的服務(wù)方式，包括客戶(hù)端調(diào)用服務(wù)、web service、REST服務(wù)和腳本服務(wù)，針對(duì)不同的服務(wù)方式，提供多種調(diào)用方法，返回多種可選擇的格式，支持內(nèi)存對(duì)象(結(jié)構(gòu)體/類(lèi)對(duì)象)、序列化字符串(XML/JSON/HTML/TEXT 等)、數(shù)據(jù)文件(XML/JSON/HTML/TEXT 等)、以及GIS數(shù)據(jù)格式(KML)等等，滿(mǎn)足不同的應(yīng)用需求。本系統(tǒng)將海南本地特色等資料存入數(shù)據(jù)庫(kù)后，按照氣象大數(shù)據(jù)云平臺(tái)接口標(biāo)準(zhǔn)實(shí)現(xiàn)數(shù)據(jù)接口配置和發(fā)布，降低業(yè)務(wù)系統(tǒng)與數(shù)據(jù)環(huán)境間的耦合度，屏蔽底層業(yè)務(wù)數(shù)據(jù)庫(kù)變更帶來(lái)的影響，確保數(shù)據(jù)使用規(guī)范性和可擴(kuò)展性。

4.3 緩存技術(shù)

氣象數(shù)據(jù)的服務(wù)特點(diǎn)有特定的時(shí)間、空間規(guī)律[21]，呈現(xiàn)冷熱不均的分布，比如是整點(diǎn)的地面實(shí)況觀測(cè)數(shù)據(jù)以及有天氣過(guò)程的地區(qū)數(shù)據(jù)是需求熱點(diǎn)，這樣的在需求總量中需求頻次較高的數(shù)據(jù)被稱(chēng)作“熱數(shù)據(jù)”，需求頻次較低的數(shù)據(jù)被稱(chēng)作“冷數(shù)據(jù)”。海南省氣象數(shù)據(jù)共享分發(fā)平臺(tái)采用緩存技術(shù)，將熱點(diǎn)數(shù)據(jù)通過(guò)大數(shù)據(jù)云平臺(tái)進(jìn)行一次性調(diào)取，存入本地緩存表，同時(shí)將較大的雷達(dá)產(chǎn)品及云圖產(chǎn)品也存入本地緩存表，當(dāng)給外部門(mén)需求單位共享分發(fā)數(shù)據(jù)時(shí)優(yōu)先與速度更快的緩存交互，避免多次調(diào)用大數(shù)據(jù)云平臺(tái)接口同一種數(shù)據(jù)，增加省級(jí)節(jié)點(diǎn)并發(fā)訪(fǎng)問(wèn)壓力，影響全省業(yè)務(wù)使用，同時(shí)等待返回時(shí)間也會(huì)增加，命中緩存后有效提高響應(yīng)時(shí)效和需求單位體驗(yàn)。衛(wèi)星產(chǎn)品及雷達(dá)產(chǎn)品緩存表結(jié)構(gòu)如表1～2所示。

表1 衛(wèi)星產(chǎn)品數(shù)據(jù)表

表2 天氣雷達(dá)產(chǎn)品數(shù)據(jù)表

5 系統(tǒng)應(yīng)用

氣象大數(shù)據(jù)云平臺(tái)以“云+端”的氣象技術(shù)體制支撐氣象業(yè)務(wù)系統(tǒng)和各類(lèi)應(yīng)用，融數(shù)據(jù)收集、交換、存儲(chǔ)、加工和應(yīng)用支撐為一體，為業(yè)務(wù)、服務(wù)、政務(wù)、科研、培訓(xùn)等提供數(shù)據(jù)、算法和算力支撐的“數(shù)算一體”平臺(tái)，改變過(guò)去業(yè)務(wù)系統(tǒng)煙囪林立式的建設(shè)方式，各業(yè)務(wù)系統(tǒng)的輸入和輸出數(shù)據(jù)均由大數(shù)據(jù)云平臺(tái)統(tǒng)一管理，不再獨(dú)立建設(shè)數(shù)據(jù)庫(kù)冗余存儲(chǔ)，實(shí)現(xiàn)硬件、數(shù)據(jù)、流程、平臺(tái)、監(jiān)控的高度集約。氣象大數(shù)據(jù)云平臺(tái)共享和管理的數(shù)據(jù)主要包括核心氣象數(shù)據(jù)如地面、高空、輻射、海洋、農(nóng)氣、大氣成分、雷達(dá)(基數(shù)據(jù))、衛(wèi)星觀測(cè)數(shù)據(jù)、氣象災(zāi)害及預(yù)警數(shù)據(jù)等氣象觀測(cè)數(shù)據(jù)、加工處理的產(chǎn)品數(shù)據(jù)如基礎(chǔ)觀測(cè)數(shù)據(jù)生成的統(tǒng)計(jì)產(chǎn)品，雷達(dá)產(chǎn)品(PUP產(chǎn)品、拼圖產(chǎn)品等)、多源融合及再分析產(chǎn)品、衛(wèi)星產(chǎn)品等，以及社會(huì)數(shù)據(jù)、行業(yè)數(shù)據(jù)，如交通、農(nóng)業(yè)、國(guó)土、環(huán)境、地震、林業(yè)、環(huán)保、水利、海洋、航空等外部門(mén)交換的數(shù)據(jù)。這些數(shù)據(jù)匯聚至氣象大數(shù)據(jù)云平臺(tái),進(jìn)行規(guī)范的質(zhì)量控制和加工處理，生產(chǎn)豐富的統(tǒng)計(jì)類(lèi)、格點(diǎn)化、多源融合等產(chǎn)品，進(jìn)行全生命周期的存儲(chǔ)管理，提供標(biāo)準(zhǔn)統(tǒng)一、訪(fǎng)問(wèn)高效的服務(wù)接口，對(duì)數(shù)據(jù)和業(yè)務(wù)的全流程進(jìn)行可視化監(jiān)控。氣象大數(shù)據(jù)云平臺(tái)開(kāi)放數(shù)據(jù)交換、產(chǎn)品加工、挖掘分析、數(shù)據(jù)存儲(chǔ)和訪(fǎng)問(wèn)分析等能力，共享數(shù)據(jù)、算法和接口等資源，支撐全省氣象部門(mén)的應(yīng)用和共享服務(wù)。氣象部門(mén)內(nèi)部業(yè)務(wù)及科研用戶(hù)可申請(qǐng)氣象大數(shù)據(jù)云平臺(tái)存儲(chǔ)、算力、接口等資源，生成豐富的產(chǎn)品并提供服務(wù)，滿(mǎn)足智慧氣象和大數(shù)據(jù)服務(wù)的現(xiàn)實(shí)需求。

根據(jù)上述章節(jié)系統(tǒng)設(shè)計(jì)及關(guān)鍵技術(shù)的應(yīng)用，基于氣象大數(shù)據(jù)云平臺(tái)的海南省氣象數(shù)據(jù)共享平臺(tái)構(gòu)建了集約統(tǒng)一的省級(jí)共享氣象數(shù)據(jù)環(huán)境，將外部門(mén)所需要的海南省本地特色氣象資料按照流程和標(biāo)準(zhǔn)接入到氣象大數(shù)據(jù)云平臺(tái)后，共享各類(lèi)數(shù)據(jù)比如地面區(qū)域自動(dòng)站、國(guó)家站、海洋浮標(biāo)、雷達(dá)基數(shù)據(jù)、雷達(dá)產(chǎn)品等全部來(lái)源于氣象大數(shù)據(jù)云平臺(tái)，滿(mǎn)足氣象信息系統(tǒng)集約化要求，實(shí)現(xiàn)了為外部門(mén)單位提供數(shù)據(jù)共享分發(fā)服務(wù)，為海南省氣象部門(mén)跨部門(mén)共享數(shù)據(jù)提供支撐，滿(mǎn)足禁止非氣象部門(mén)直接訪(fǎng)問(wèn)氣象業(yè)務(wù)內(nèi)網(wǎng)資源要求，保證氣象部門(mén)內(nèi)部網(wǎng)絡(luò)可靠安全運(yùn)行。系統(tǒng)界面展示效果如圖5所示。

圖5 系統(tǒng)界面展示

6 結(jié)束語(yǔ)

針對(duì)海南省氣象部門(mén)與外部門(mén)現(xiàn)有數(shù)據(jù)共享方式雜亂、共享水平低、管理滯后等問(wèn)題，結(jié)合氣象數(shù)據(jù)特點(diǎn)，依托氣象大數(shù)據(jù)云平臺(tái)，依照氣象信息系統(tǒng)集約化要求，設(shè)計(jì)并實(shí)現(xiàn)了海南省氣象數(shù)據(jù)共享分發(fā)平臺(tái)，可為外單位提供定制化的數(shù)據(jù)服務(wù)，為打破“數(shù)據(jù)孤島”，推動(dòng)氣象數(shù)據(jù)跨行業(yè)跨部門(mén)融合使用奠定了堅(jiān)實(shí)的基礎(chǔ)，提高了海南省氣象業(yè)務(wù)內(nèi)網(wǎng)資源的安全與保密性，規(guī)范數(shù)據(jù)分發(fā)共享工作的使用流程，提升了海南省氣象部門(mén)的對(duì)外服務(wù)形象。平臺(tái)目前已投入業(yè)務(wù)運(yùn)行，各項(xiàng)功能運(yùn)行穩(wěn)定。