趙芳 何文春 張小纓 張志強(qiáng)
(國(guó)家氣象信息中心,北京 100081)
氣象觀探測(cè)數(shù)據(jù)和產(chǎn)品是氣象業(yè)務(wù)、服務(wù)和科研的基礎(chǔ)。隨著氣象業(yè)務(wù)的不斷發(fā)展,觀探測(cè)數(shù)據(jù)和產(chǎn)品的種類和數(shù)量不斷增加,國(guó)家級(jí)每日接收14大類[1]來自部門內(nèi)和行業(yè)、全球交換的氣象觀探測(cè)數(shù)據(jù)和產(chǎn)品,數(shù)據(jù)量達(dá)到約1 TB/日,已歸檔存儲(chǔ)的歷史數(shù)據(jù)也已達(dá)PB量級(jí)。建立海量氣象數(shù)據(jù)的科學(xué)化管理和服務(wù)系統(tǒng),為氣象業(yè)務(wù)和科研提供方便高效的數(shù)據(jù)支撐,已成為氣象業(yè)務(wù)發(fā)展的迫切要求。
自20世紀(jì)90年代以來,氣象數(shù)據(jù)管理和服務(wù)系統(tǒng)的建設(shè)得到普遍重視。通過9210工程的建設(shè),初步探索建立了基于商用數(shù)據(jù)庫(kù)管理系統(tǒng)的氣象數(shù)據(jù)庫(kù)系統(tǒng),但由于其所處理和管理的數(shù)據(jù)種類少、功能較為簡(jiǎn)單、服務(wù)方式較為單一,未能得到全國(guó)應(yīng)用。2006年,國(guó)家氣象信息中心建成國(guó)家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)(MDSS)[2],實(shí)現(xiàn)了對(duì)常用地面、高空、數(shù)值預(yù)報(bào)等實(shí)時(shí)資料和部分歷史資料的在線存儲(chǔ)管理,成為國(guó)家級(jí)天氣等業(yè)務(wù)的主要數(shù)據(jù)支撐平臺(tái),但未在省級(jí)進(jìn)行推廣使用。國(guó)家衛(wèi)星氣象中心建成了風(fēng)云氣象衛(wèi)星數(shù)據(jù)存檔與服務(wù)系統(tǒng)[3],實(shí)現(xiàn)風(fēng)云衛(wèi)星觀測(cè)數(shù)據(jù)和產(chǎn)品的存檔及服務(wù)。隨著氣象信息綜合分析處理系統(tǒng)(MICAPS)[4]和氣候信息交互顯示與分析平臺(tái)(CIPAS)[5]等業(yè)務(wù)應(yīng)用系統(tǒng)的建設(shè),也都自建了獨(dú)立的數(shù)據(jù)支撐環(huán)境。在省級(jí),各單位也大多自建了規(guī)模不等的小型數(shù)據(jù)庫(kù)系統(tǒng)。
在氣象數(shù)據(jù)庫(kù)管理和服務(wù)系統(tǒng)建設(shè)并發(fā)揮支撐作用的同時(shí),由于缺少統(tǒng)一規(guī)劃設(shè)計(jì)、資源分散、標(biāo)準(zhǔn)體系不完善等問題,越來越難以適應(yīng)觀測(cè)、預(yù)測(cè)預(yù)報(bào)和公共氣象服務(wù)業(yè)務(wù)的快速發(fā)展需求。一是數(shù)據(jù)資源分散,觀測(cè)數(shù)據(jù)和業(yè)務(wù)產(chǎn)品分散存儲(chǔ)在各單位自建的數(shù)據(jù)支撐環(huán)境中,無法形成統(tǒng)一支撐業(yè)務(wù)的氣象數(shù)據(jù)資源全集;二是數(shù)據(jù)反復(fù)搬家、重復(fù)存儲(chǔ)現(xiàn)象嚴(yán)重,數(shù)據(jù)資源不集約、小低散問題突出,有多少個(gè)應(yīng)用系統(tǒng)就建立多少套數(shù)據(jù)庫(kù),單一業(yè)務(wù)系統(tǒng)獨(dú)占一套存儲(chǔ)資源的現(xiàn)象嚴(yán)重,造成了人力物力的極大浪費(fèi);三是數(shù)據(jù)流程復(fù)雜,數(shù)據(jù)流轉(zhuǎn)環(huán)節(jié)增多,影響了數(shù)據(jù)服務(wù)應(yīng)用時(shí)效;四是由于數(shù)據(jù)重復(fù)處理、存儲(chǔ),缺少統(tǒng)一加工處理算法和數(shù)據(jù)同步機(jī)制,導(dǎo)致國(guó)省間、各業(yè)務(wù)系統(tǒng)間數(shù)據(jù)不一致,數(shù)據(jù)權(quán)威性難以確保;五是由于缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),造成各數(shù)據(jù)庫(kù)系統(tǒng)標(biāo)準(zhǔn)不兼容,導(dǎo)致業(yè)務(wù)應(yīng)用系統(tǒng)推廣困難;六是仍有大量氣象數(shù)據(jù)和產(chǎn)品在收集后,未經(jīng)過規(guī)范化處理、質(zhì)量控制、存儲(chǔ)管理和服務(wù)環(huán)節(jié)就直接交給了最終用戶,數(shù)據(jù)統(tǒng)一管理、服務(wù)能力亟待增強(qiáng);七是在各環(huán)節(jié)上下游銜接、公共信息管理使用及全業(yè)務(wù)流程監(jiān)視方面,存在各管一段無法有效銜接的現(xiàn)象,接口單一、低效,公共信息不一致且管理分散,業(yè)務(wù)監(jiān)視僅限某個(gè)業(yè)務(wù)環(huán)節(jié),無法實(shí)現(xiàn)全流程時(shí)效追蹤。隨著氣象信息化的不斷推進(jìn),建立國(guó)、省統(tǒng)一數(shù)據(jù)環(huán)境,為氣象業(yè)務(wù)和科研提供直接數(shù)據(jù)支撐,進(jìn)而帶動(dòng)數(shù)據(jù)資源整合和業(yè)務(wù)應(yīng)用集約,成為氣象信息化建設(shè)的關(guān)鍵問題和重要任務(wù)之一。
全國(guó)綜合氣象信息共享平臺(tái)(China Integrated Meteorological Information Sharing System,CIMISS)實(shí)現(xiàn)了在國(guó)家和31個(gè)省級(jí)中心間集數(shù)據(jù)收集與分發(fā)、質(zhì)量控制與產(chǎn)品生成、存儲(chǔ)管理、共享服務(wù)、業(yè)務(wù)監(jiān)控的一體化氣象信息共享,該系統(tǒng)2016年底投入業(yè)務(wù)運(yùn)行。CIMISS規(guī)范國(guó)家級(jí)和省級(jí)氣象資料業(yè)務(wù),實(shí)現(xiàn)各類氣象數(shù)據(jù)的統(tǒng)一、規(guī)范、高效管理,其業(yè)務(wù)化為國(guó)家級(jí)和省級(jí)氣象業(yè)務(wù)提供標(biāo)準(zhǔn)、一致的數(shù)據(jù)環(huán)境,將極大地發(fā)揮氣象數(shù)據(jù)的應(yīng)用效益[6]。
2012年,中國(guó)氣象局印發(fā)《氣象信息網(wǎng)絡(luò)系統(tǒng)總體設(shè)計(jì)(2012版)》,首次提出數(shù)據(jù)環(huán)境系統(tǒng)的概念。數(shù)據(jù)環(huán)境系統(tǒng)是氣象信息系統(tǒng)的核心組成部分,實(shí)現(xiàn)氣象資料和業(yè)務(wù)產(chǎn)品的統(tǒng)一、高效和完整的存儲(chǔ)管理,為氣象業(yè)務(wù)系統(tǒng)和科研用戶提供直接的、統(tǒng)一的數(shù)據(jù)服務(wù)。主要功能包括:數(shù)據(jù)處理、產(chǎn)品加工、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)服務(wù)等[7]。
2013年,國(guó)家氣象信息中心制定氣象現(xiàn)代化實(shí)施方案(2014—2020年)[8],明確提出“基于全國(guó)綜合氣象信息共享平臺(tái)(CIMISS),應(yīng)用分布式存儲(chǔ)技術(shù)、數(shù)據(jù)挖掘技術(shù)等,構(gòu)建數(shù)據(jù)資源完備、集約高效、存儲(chǔ)策略科學(xué)的國(guó)家級(jí)氣象業(yè)務(wù)數(shù)據(jù)環(huán)境,統(tǒng)一規(guī)范管理數(shù)據(jù),統(tǒng)一數(shù)據(jù)服務(wù)接口,管理集成滿足不同業(yè)務(wù)及應(yīng)用需求的氣象數(shù)據(jù)庫(kù)集群,面向國(guó)家級(jí)業(yè)務(wù)科研提供便捷、高效、可靠的直接數(shù)據(jù)服務(wù)與技術(shù)支持”。2015年,中國(guó)氣象局發(fā)布《氣象信息化行動(dòng)方案(2015—2016年)》,提出“優(yōu)化各類數(shù)據(jù)業(yè)務(wù)流程,搭建國(guó)省統(tǒng)一CIMISS數(shù)據(jù)環(huán)境,并以CIMISS為核心,以標(biāo)準(zhǔn)化為基礎(chǔ),整合功能重復(fù)的應(yīng)用“煙囪”,實(shí)現(xiàn)氣象核心業(yè)務(wù)系統(tǒng)的集約與互動(dòng)”的行動(dòng)目標(biāo),并把實(shí)現(xiàn)CIMISS業(yè)務(wù)化作為氣象信息化第一階段的重要任務(wù)[9]。
CIMISS平臺(tái)的業(yè)務(wù)定位即國(guó)省統(tǒng)一數(shù)據(jù)環(huán)境,是氣象業(yè)務(wù)、服務(wù)、管理的核心數(shù)據(jù)支撐平臺(tái),直接支撐天氣、氣候、公共服務(wù)和綜合觀測(cè)業(yè)務(wù)應(yīng)用。CIMISS平臺(tái)是氣象信息化數(shù)據(jù)資源整合集約、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)的落腳點(diǎn),是建立規(guī)范、高效業(yè)務(wù)流程的關(guān)鍵環(huán)節(jié),是實(shí)現(xiàn)業(yè)務(wù)扁平化的有效手段,是核心業(yè)務(wù)系統(tǒng)集約化整合、優(yōu)化氣象業(yè)務(wù)服務(wù)和管理信息流、建立氣象應(yīng)用生態(tài)的統(tǒng)一信息源,為實(shí)現(xiàn)氣象大數(shù)據(jù)在國(guó)省、省際流動(dòng)并創(chuàng)造價(jià)值奠定基礎(chǔ),并促進(jìn)信息業(yè)務(wù)從通信傳輸向數(shù)據(jù)資源服務(wù)轉(zhuǎn)型。
CIMISS平臺(tái)由數(shù)據(jù)收集與分發(fā)系統(tǒng)、數(shù)據(jù)加工處理系統(tǒng)、數(shù)據(jù)存儲(chǔ)管理系統(tǒng)、共享服務(wù)系統(tǒng)和業(yè)務(wù)監(jiān)控系統(tǒng)共5個(gè)業(yè)務(wù)應(yīng)用系統(tǒng),及計(jì)算機(jī)存儲(chǔ)、網(wǎng)絡(luò)與安全等基礎(chǔ)設(shè)施平臺(tái)及標(biāo)準(zhǔn)規(guī)范體系組成(圖1)。
1)數(shù)據(jù)收集與分發(fā)系統(tǒng)
數(shù)據(jù)收集與分發(fā)系統(tǒng)對(duì)包括新一代天氣雷達(dá)資料在內(nèi)的綜合氣象探測(cè)數(shù)據(jù)和信息產(chǎn)品進(jìn)行實(shí)時(shí)收集與分發(fā)。數(shù)據(jù)收集與分發(fā)系統(tǒng)主要包括數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分發(fā)和數(shù)據(jù)補(bǔ)調(diào)四個(gè)功能。
2)數(shù)據(jù)加工處理系統(tǒng)
數(shù)據(jù)加工處理系統(tǒng)負(fù)責(zé)對(duì)數(shù)據(jù)收集與分發(fā)系統(tǒng)收集獲得的各類氣象探測(cè)資料進(jìn)行加工處理,生成各類數(shù)據(jù)產(chǎn)品,供數(shù)據(jù)存儲(chǔ)管理系統(tǒng)入庫(kù)管理。數(shù)據(jù)加工處理系統(tǒng)主要包括數(shù)據(jù)解碼、質(zhì)量控制、統(tǒng)計(jì)加工、業(yè)務(wù)配置與監(jiān)控,臨時(shí)文件庫(kù)管理五個(gè)功能。
3)數(shù)據(jù)存儲(chǔ)管理系統(tǒng)
數(shù)據(jù)存儲(chǔ)管理系統(tǒng)負(fù)責(zé)實(shí)現(xiàn)對(duì)包括雷達(dá)數(shù)據(jù)和產(chǎn)品在內(nèi)的各類氣象探測(cè)資料和產(chǎn)品,進(jìn)行標(biāo)準(zhǔn)、規(guī)范的存儲(chǔ)管理。數(shù)據(jù)存儲(chǔ)管理系統(tǒng)主要包括數(shù)據(jù)結(jié)構(gòu)管理、數(shù)據(jù)入庫(kù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)清除、備份與恢復(fù)、數(shù)據(jù)遷移與回遷、元數(shù)據(jù)管理和更新、數(shù)據(jù)歸檔、數(shù)據(jù)接口訪問等功能。
圖1 CIMISS平臺(tái)構(gòu)成Fig. 1 Compositions of CIMISS
4)共享服務(wù)系統(tǒng)
共享服務(wù)系統(tǒng)是用戶獲取CIMISS平臺(tái)各類氣象數(shù)據(jù)資源的窗口,為部門內(nèi)用戶、部門外行業(yè)用戶和社會(huì)用戶提供平臺(tái)管理的各類氣象信息資源的定位、發(fā)現(xiàn)和獲取服務(wù)。共享服務(wù)系統(tǒng)建設(shè)包括數(shù)據(jù)服務(wù)、系統(tǒng)管理、業(yè)務(wù)監(jiān)視與統(tǒng)計(jì)等功能的實(shí)現(xiàn)。其中,數(shù)據(jù)服務(wù)功能包括:數(shù)據(jù)共享分發(fā)、元數(shù)據(jù)交換、Web檢索應(yīng)用服務(wù)、數(shù)據(jù)訪問服務(wù)調(diào)用。系統(tǒng)管理功能包括:用戶授權(quán)、認(rèn)證與管理、共享服務(wù)策略配置、元數(shù)據(jù)(主要為應(yīng)用型元數(shù)據(jù)與目錄信息)定義等系統(tǒng)配置與管理。
5)業(yè)務(wù)監(jiān)控系統(tǒng)
業(yè)務(wù)監(jiān)控系統(tǒng)是對(duì)來自于CIMISS平臺(tái)各個(gè)業(yè)務(wù)領(lǐng)域的監(jiān)視數(shù)據(jù)進(jìn)行匯集、整理,進(jìn)行存儲(chǔ)管理,并提供監(jiān)視信息檢索、統(tǒng)計(jì)、分析等服務(wù),為用戶提供實(shí)時(shí)狀態(tài)信息、故障信息及統(tǒng)計(jì)信息的發(fā)布與展現(xiàn)平臺(tái)。業(yè)務(wù)監(jiān)控系統(tǒng)主要包括監(jiān)視信息收集、監(jiān)視信息存儲(chǔ)管理、信息檢索統(tǒng)計(jì)與分析、信息發(fā)布與展現(xiàn)及監(jiān)控系統(tǒng)管理等功能。
6)計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)
計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)是應(yīng)用軟件和業(yè)務(wù)正常運(yùn)行的基礎(chǔ)平臺(tái)。其建設(shè)內(nèi)容包括配置滿足系統(tǒng)不同性能要求的、具有適當(dāng)處理能力的不同檔次的服務(wù)器集群;配置不同容量、不同性能的各種存儲(chǔ)設(shè)備(高端盤陣、低端盤陣、自動(dòng)磁帶庫(kù)等);充分利用現(xiàn)有網(wǎng)絡(luò)設(shè)備,根據(jù)建設(shè)需要,配置網(wǎng)絡(luò)接入配套設(shè)備、網(wǎng)絡(luò)管理與監(jiān)視系統(tǒng)等。
7)安全系統(tǒng)
根據(jù)CIMISS安全需求,采用適當(dāng)?shù)陌踩呗?,利用現(xiàn)有基礎(chǔ)設(shè)施,有針對(duì)性地增強(qiáng)網(wǎng)絡(luò)安全防護(hù)能力,搭建安全支撐平臺(tái),構(gòu)建安全管理體系,形成安全基礎(chǔ)防護(hù)系統(tǒng),保證系統(tǒng)安全性。該系統(tǒng)的主要建設(shè)內(nèi)容為安全策略的擬定、安全管理體系的構(gòu)建和安全防護(hù)設(shè)施的配備,主要包括防火墻系統(tǒng)、入侵檢測(cè)系統(tǒng)、防病毒系統(tǒng)等。
8)標(biāo)準(zhǔn)規(guī)范體系
本著標(biāo)準(zhǔn)先行的原則,CIMISS制定《全國(guó)綜合氣象信息共享平臺(tái)標(biāo)準(zhǔn)規(guī)范體系》,作為項(xiàng)目信息標(biāo)準(zhǔn)化建設(shè)指南和實(shí)施工作的技術(shù)依據(jù),并通過實(shí)踐不斷完善。《全國(guó)綜合氣象信息共享平臺(tái)標(biāo)準(zhǔn)規(guī)范體系》適用于項(xiàng)目系統(tǒng)設(shè)計(jì)、招標(biāo)投標(biāo)、軟件設(shè)計(jì)、系統(tǒng)測(cè)試、系統(tǒng)驗(yàn)收、業(yè)務(wù)運(yùn)行監(jiān)控、項(xiàng)目管理等各環(huán)節(jié),由參照標(biāo)準(zhǔn)和專用規(guī)范兩部分組成。其中,參照標(biāo)準(zhǔn)指在本項(xiàng)目的設(shè)計(jì)和建設(shè)中,要直接引用或參照使用的、國(guó)內(nèi)外有關(guān)組織或單位已經(jīng)公開發(fā)布的標(biāo)準(zhǔn)、規(guī)范,共53項(xiàng);專用規(guī)范指根據(jù)本項(xiàng)目建設(shè)的實(shí)際需要而研制的規(guī)范,共計(jì)6類33項(xiàng)專用標(biāo)準(zhǔn)規(guī)范。通過標(biāo)準(zhǔn)規(guī)范研制,提升氣象信息系統(tǒng)建設(shè)標(biāo)準(zhǔn)化水平,提升氣象數(shù)據(jù)標(biāo)準(zhǔn)化總體水平,推進(jìn)氣象數(shù)據(jù)格式標(biāo)準(zhǔn)化工作。
CIMISS平臺(tái)由1個(gè)國(guó)家中心(NDC)和31個(gè)省級(jí)中心(PDC)組成,所有中心通過全國(guó)氣象業(yè)務(wù)網(wǎng)聯(lián)結(jié)成一個(gè)物理分布、邏輯統(tǒng)一的信息共享平臺(tái)。CIMISS 實(shí)現(xiàn)了氣象數(shù)據(jù)的國(guó)省兩級(jí)大集中,初步形成兩級(jí)布局、四級(jí)應(yīng)用的數(shù)據(jù)業(yè)務(wù)技術(shù)體制,省級(jí)CIMISS 直接支撐省、市、縣三級(jí)的業(yè)務(wù)應(yīng)用(圖2)。
圖2 CIMISS平臺(tái)布局Fig. 2 Layout of CIMISS
1)國(guó)家級(jí)中心(NDC)
NDC位于北京,部署在國(guó)家氣象信息中心,負(fù)責(zé)全國(guó)范圍內(nèi)氣象數(shù)據(jù)和產(chǎn)品的收集、處理,生成全國(guó)范圍的氣象產(chǎn)品和氣象數(shù)據(jù),并對(duì)這些數(shù)據(jù)進(jìn)行完整的存儲(chǔ)、備份和歸檔,同時(shí)向國(guó)家級(jí)部門用戶或各省級(jí)中心和用戶提供氣象數(shù)據(jù)共享服務(wù)。NDC每天處理和存儲(chǔ)的數(shù)據(jù)量達(dá)到TB級(jí),其中包括雷達(dá)數(shù)據(jù)、衛(wèi)星、高空、地面和天氣個(gè)例等各類氣象數(shù)據(jù)資料,具備較高的存儲(chǔ)能力和數(shù)據(jù)處理能力。
2)省級(jí)中心(PDC)
PDC均部署在省級(jí)氣象信息部門,全國(guó)共31個(gè)。負(fù)責(zé)本省范圍內(nèi)觀探測(cè)數(shù)據(jù)、省級(jí)業(yè)務(wù)服務(wù)信息產(chǎn)品和國(guó)家級(jí)下發(fā)的各類資料的收集、處理、存儲(chǔ)和服務(wù),并負(fù)責(zé)本省各類資料的歸檔。其中,區(qū)域中心所在省還要負(fù)責(zé)本區(qū)域雷達(dá)資料的歸檔。省與省之間的信息共享服務(wù)由各省的數(shù)據(jù)共享服務(wù)系統(tǒng)承擔(dān),省級(jí)共享服務(wù)系統(tǒng)支持國(guó)家級(jí)用戶和各省級(jí)用戶的數(shù)據(jù)請(qǐng)求。
CIMISS 對(duì)國(guó)內(nèi)外及行業(yè)交換氣象觀測(cè)數(shù)據(jù)和業(yè)務(wù)產(chǎn)品進(jìn)行收集并按需分發(fā), 對(duì)氣象數(shù)據(jù)進(jìn)行解碼、質(zhì)量控制和產(chǎn)品加工處理,隨后使用數(shù)據(jù)庫(kù)技術(shù)對(duì)實(shí)時(shí)和歷史數(shù)據(jù)進(jìn)行一體化入庫(kù)管理,并通過數(shù)據(jù)統(tǒng)一服務(wù)接口為個(gè)人用戶和業(yè)務(wù)系統(tǒng)用戶提供數(shù)據(jù)調(diào)取服務(wù),業(yè)務(wù)應(yīng)用、氣象數(shù)據(jù)及系統(tǒng)資源的監(jiān)控信息統(tǒng)一發(fā)送至業(yè)務(wù)監(jiān)控系統(tǒng)進(jìn)行實(shí)時(shí)監(jiān)控。CIMISS平臺(tái)數(shù)據(jù)流程如圖3所示。
圖3 CIMISS平臺(tái)數(shù)據(jù)流程圖Fig. 3 Data flow of CIMISS
數(shù)據(jù)收集與分發(fā)系統(tǒng)通過多種網(wǎng)絡(luò)鏈路收集氣象數(shù)據(jù),在對(duì)外部進(jìn)行分發(fā)的同時(shí),也完成對(duì)節(jié)點(diǎn)內(nèi)部數(shù)據(jù)加工處理系統(tǒng)的數(shù)據(jù)分發(fā)。收發(fā)系統(tǒng)需要?dú)w檔的數(shù)據(jù),直接提交給數(shù)據(jù)存儲(chǔ)管理系統(tǒng)進(jìn)行歸檔。
數(shù)據(jù)收集與分發(fā)系統(tǒng)將需要全國(guó)廣播的數(shù)據(jù)分發(fā)到CMA-Cast系統(tǒng),如果省中心接收CMA-Cast數(shù)據(jù)出現(xiàn)缺失,則可以通過數(shù)據(jù)收集與分發(fā)系統(tǒng)的補(bǔ)調(diào)功能通過地面寬帶網(wǎng)進(jìn)行數(shù)據(jù)補(bǔ)調(diào)。
數(shù)據(jù)加工處理系統(tǒng)完成對(duì)氣象數(shù)據(jù)解碼、質(zhì)量控制和產(chǎn)品加工后,將生成的氣象產(chǎn)品提交給數(shù)據(jù)存儲(chǔ)管理系統(tǒng)進(jìn)行入庫(kù),同時(shí)將需要對(duì)外分發(fā)的氣象產(chǎn)品返回給數(shù)據(jù)收集與分發(fā)系統(tǒng)。數(shù)據(jù)加工處理系統(tǒng)在進(jìn)行產(chǎn)品加工時(shí),需要從數(shù)據(jù)存儲(chǔ)管理系統(tǒng)中提取已存儲(chǔ)的氣象數(shù)據(jù)。
數(shù)據(jù)存儲(chǔ)管理系統(tǒng)收到加工處理系統(tǒng)提交的氣象產(chǎn)品后,完成入庫(kù)操作,將數(shù)據(jù)存儲(chǔ)在實(shí)時(shí)庫(kù)、基礎(chǔ)庫(kù)中,并對(duì)數(shù)據(jù)加工處理系統(tǒng)和共享服務(wù)系統(tǒng)提供統(tǒng)一數(shù)據(jù)訪問接口,以實(shí)現(xiàn)數(shù)據(jù)的高效訪問。
共享服務(wù)系統(tǒng)響應(yīng)本地用戶、行業(yè)用戶和社會(huì)用戶的數(shù)據(jù)檢索請(qǐng)求,從數(shù)據(jù)存儲(chǔ)管理系統(tǒng)提取氣象數(shù)據(jù)返回給用戶,實(shí)現(xiàn)氣象數(shù)據(jù)的共享服務(wù)。
數(shù)據(jù)收集與分發(fā)系統(tǒng)、加工處理系統(tǒng)、數(shù)據(jù)存儲(chǔ)管理系統(tǒng)和共享服務(wù)系統(tǒng)將本系統(tǒng)的統(tǒng)計(jì)和監(jiān)控信息發(fā)送至業(yè)務(wù)監(jiān)控系統(tǒng),用于系統(tǒng)與應(yīng)用的實(shí)時(shí)監(jiān)控。
CIMISS實(shí)現(xiàn)了全球和國(guó)內(nèi)收集、行業(yè)交換的所有結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ),涵蓋地面、高空、海洋、輻射、農(nóng)氣、大氣成分、服務(wù)產(chǎn)品等,共計(jì)99種。提供T639/GRAPES/EC/日本等國(guó)內(nèi)外高分低分?jǐn)?shù)值預(yù)報(bào)產(chǎn)品、雷達(dá)基數(shù)據(jù)和產(chǎn)品、FY及NOAA等衛(wèi)星產(chǎn)品,共計(jì)228種非結(jié)構(gòu)化實(shí)時(shí)數(shù)據(jù)和產(chǎn)品的服務(wù),建立了地面全要素日、候、旬、月、年統(tǒng)計(jì)加工實(shí)時(shí)流程。CIMISS平臺(tái)完成了地面建站以來日、旬、月、年值及30年整編數(shù)據(jù),及閃電定位、L波段探空、GPS/MET等多種歷史數(shù)據(jù)整編工作,提供各省導(dǎo)入本地?cái)?shù)據(jù)庫(kù),形成國(guó)省一致的實(shí)時(shí)、歷史長(zhǎng)序列數(shù)據(jù)在線服務(wù)能力(表1)。
表1 CIMISS數(shù)據(jù)種類Table 1 Data types of CIMISS
CIMISS建立氣象數(shù)據(jù)統(tǒng)一服務(wù)接口(MUSIC),為全國(guó)天氣、氣候、服務(wù)等應(yīng)用系統(tǒng)提供統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)調(diào)用服務(wù),主要功能如下。
1)提供標(biāo)準(zhǔn)、豐富、高效的數(shù)據(jù)服務(wù)接口。制訂數(shù)據(jù)服務(wù)接口標(biāo)準(zhǔn),包括接口命名、參數(shù)定義和返回格式等;實(shí)現(xiàn)豐富的服務(wù)接口,支持跨平臺(tái)、多語言、多協(xié)議,提供數(shù)據(jù)讀取、寫入,以及統(tǒng)計(jì)、裁剪、抽取和可視化等計(jì)算功能;采用高效的緩存方式、傳輸協(xié)議和軟件架構(gòu),保障數(shù)據(jù)服務(wù)的高效。
2)發(fā)布豐富的接口信息,提供便捷的技術(shù)支持。開發(fā)專門的用戶支持網(wǎng)站,發(fā)布接口和資料的詳細(xì)說明信息,提供豐富的示例代碼和DEMO工程,支持用戶在線調(diào)用體驗(yàn)和測(cè)試,具備用戶行為“大數(shù)據(jù)”分析能力,多維度統(tǒng)計(jì)用戶訪問情況,診斷系統(tǒng)和用戶調(diào)用異常。
3)保障國(guó)省接口的同步統(tǒng)一和應(yīng)急互訪。服務(wù)接口隨著數(shù)據(jù)種類和應(yīng)用場(chǎng)景的增加,會(huì)不斷進(jìn)行豐富和補(bǔ)充,MUSIC系統(tǒng)建立同步機(jī)制保障國(guó)省接口的統(tǒng)一;在此基礎(chǔ)上,實(shí)現(xiàn)當(dāng)某省CIMISS數(shù)據(jù)環(huán)境異常時(shí),將應(yīng)用的接口調(diào)用快速透明切換到異地MUSIC,提供應(yīng)急服務(wù)保障[10]。
CIMISS平臺(tái)從頂層設(shè)計(jì)出發(fā),國(guó)省首次建立了統(tǒng)一、一致的數(shù)據(jù)平臺(tái)直接支撐業(yè)務(wù)(圖4),從而從根本上解決了數(shù)據(jù)支撐環(huán)境分散建設(shè)、數(shù)據(jù)重復(fù)存儲(chǔ)的問題,極大地提高了數(shù)據(jù)資源的整合集約水平。
CIMISS平臺(tái)初步建立了氣象數(shù)據(jù)資源標(biāo)準(zhǔn)體系框架(圖5),實(shí)現(xiàn)了國(guó)省數(shù)據(jù)的一致性。在基礎(chǔ)數(shù)據(jù)資源標(biāo)準(zhǔn)方面,CIMISS建立了氣象數(shù)據(jù)編目體系和數(shù)據(jù)目錄,規(guī)范了氣象數(shù)據(jù)的分類和編碼,統(tǒng)一了氣象要素的分類、編碼、單位、精度、代碼表和特征值,建立了氣象資料核心元數(shù)據(jù),統(tǒng)一了臺(tái)站元數(shù)據(jù)信息,定義了國(guó)省一致、實(shí)時(shí)歷史一體化的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和文件命名,實(shí)現(xiàn)了雷達(dá)基數(shù)據(jù)的格式標(biāo)準(zhǔn)化。在數(shù)據(jù)加工處理算法方面,CIMISS統(tǒng)一了數(shù)據(jù)格式檢查、解碼規(guī)則,規(guī)范了基礎(chǔ)數(shù)據(jù)的統(tǒng)計(jì)加工、質(zhì)量控制算法,各算法組件化、可插拔,便于算法的改進(jìn)升級(jí)。在數(shù)據(jù)服務(wù)接口方面,CIMISS統(tǒng)一了數(shù)據(jù)讀取接口和寫入接口定義,包括接口服務(wù)方式、接口定義命名、參數(shù)定義和命名、返回的數(shù)據(jù)格式等?;谝陨蠘?biāo)準(zhǔn)的CIMISS平臺(tái)作為業(yè)務(wù)、服務(wù)的統(tǒng)一和唯一數(shù)據(jù)來源,一方面有效解決了困擾業(yè)務(wù)多年的國(guó)省及業(yè)務(wù)系統(tǒng)間數(shù)據(jù)不一致、數(shù)據(jù)權(quán)威性無法保證問題,另一方面也解決了現(xiàn)有業(yè)務(wù)系統(tǒng)中因數(shù)據(jù)標(biāo)準(zhǔn)自成體系、不兼容導(dǎo)致的業(yè)務(wù)應(yīng)用推廣困難等問題,基于CIMISS的應(yīng)用系統(tǒng)可以無障礙地推廣到全國(guó)使用。
圖4 CIMISS數(shù)據(jù)環(huán)境示意圖Fig. 4 Illustration of CIMISS data environment
圖5 CIMISS氣象數(shù)據(jù)資源標(biāo)準(zhǔn)體系框架Fig. 5 Framework of meteorological data standardization in CIMISS
業(yè)務(wù)扁平化是衡量氣象業(yè)務(wù)信息化水平的標(biāo)志之一。CIMISS平臺(tái)實(shí)現(xiàn)氣象數(shù)據(jù)的國(guó)省兩級(jí)大集中,隨著省級(jí)CIMISS平臺(tái)的服務(wù)能力不斷增強(qiáng),將具備支撐地市、縣級(jí)業(yè)務(wù)系統(tǒng)的能力,統(tǒng)一提供數(shù)據(jù)資源云服務(wù),地市、縣將作為“端”點(diǎn),直接使用省級(jí)數(shù)據(jù)環(huán)境的數(shù)據(jù)。兩級(jí)布局、四級(jí)應(yīng)用這一數(shù)據(jù)業(yè)務(wù)格局的形成,將極大地促進(jìn)業(yè)務(wù)扁平化和業(yè)務(wù)數(shù)據(jù)流程簡(jiǎn)約化,有效減輕地市、縣維護(hù)工作量,實(shí)現(xiàn)縣級(jí)“零”維護(hù)。
CIMISS平臺(tái)對(duì)全局業(yè)務(wù)流程進(jìn)行簡(jiǎn)化和優(yōu)化,減少業(yè)務(wù)環(huán)節(jié),實(shí)現(xiàn)國(guó)省節(jié)點(diǎn)間及節(jié)點(diǎn)內(nèi)數(shù)據(jù)收集分發(fā)、數(shù)據(jù)加工處理、數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)共享服務(wù)和業(yè)務(wù)監(jiān)控等業(yè)務(wù)過程的無縫鏈接和高效對(duì)接,形成端到端規(guī)范化的氣象資料業(yè)務(wù)流程,通過流程間消息和事件觸發(fā)機(jī)制,縮短內(nèi)部流程耗時(shí),有效提高了平臺(tái)的數(shù)據(jù)服務(wù)時(shí)效性。CIMISS平臺(tái)對(duì)全業(yè)務(wù)流程范圍內(nèi)臺(tái)站元數(shù)據(jù)、氣象資料屬性、氣象要素屬性、核心元數(shù)據(jù)等公共信息進(jìn)行了統(tǒng)一管理和同步,確保一致性。CIMISS平臺(tái)確定了集約化運(yùn)維監(jiān)控集成擴(kuò)展接口規(guī)范和技術(shù)框架,初步實(shí)現(xiàn)了氣象數(shù)據(jù)、業(yè)務(wù)應(yīng)用和基礎(chǔ)設(shè)施資源的一體化運(yùn)維和集中告警處理,通過對(duì)數(shù)據(jù)流程的各個(gè)環(huán)節(jié)的處理狀態(tài)進(jìn)行記錄,實(shí)現(xiàn)氣象數(shù)據(jù)全流程監(jiān)視、可追溯和故障快速定位,為氣象信息化統(tǒng)一監(jiān)控、全流程監(jiān)控、綜合運(yùn)維打下良好基礎(chǔ)。
CIMISS制定了統(tǒng)一數(shù)據(jù)服務(wù)接口標(biāo)準(zhǔn),建立了標(biāo)準(zhǔn)、穩(wěn)定的數(shù)據(jù)統(tǒng)一服務(wù)接口MUSIC,為前端應(yīng)用和后端數(shù)據(jù)管理系統(tǒng)搭建了一座穩(wěn)固的橋梁,通過接口屏蔽后臺(tái)數(shù)據(jù)管理系統(tǒng),實(shí)現(xiàn)數(shù)據(jù)管理與數(shù)據(jù)應(yīng)用分離,使其各歸其位、各司其職、各盡其責(zé),數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)組織方式變化、技術(shù)系統(tǒng)升級(jí)改造、數(shù)據(jù)格式變化等對(duì)業(yè)務(wù)應(yīng)用系統(tǒng)“零”影響,用戶程序不需做任何修改,保持應(yīng)用系統(tǒng)“長(zhǎng)治久安”,徹底解決過去數(shù)據(jù)管理系統(tǒng)升級(jí)而導(dǎo)致應(yīng)用系統(tǒng)被迫改造的問題,大大提高天氣、氣候、科研等業(yè)務(wù)系統(tǒng)的穩(wěn)定性和可持續(xù)性,開啟數(shù)據(jù)應(yīng)用新模式。由于標(biāo)準(zhǔn)的統(tǒng)一,根據(jù)標(biāo)準(zhǔn)開發(fā)的數(shù)據(jù)服務(wù)接口可實(shí)現(xiàn)“一點(diǎn)開發(fā)、全國(guó)開花”,快速發(fā)揮業(yè)務(wù)支撐效益。
CIMISS數(shù)據(jù)環(huán)境國(guó)省兩級(jí)存儲(chǔ)的基礎(chǔ)觀測(cè)資料種類基本相同,在國(guó)家級(jí)管理數(shù)據(jù)的全集,每個(gè)省級(jí)中心存儲(chǔ)本省及周邊的數(shù)據(jù)?;跇?biāo)準(zhǔn)一致的數(shù)據(jù)環(huán)境和數(shù)據(jù)服務(wù)接口,CIMISS具備了國(guó)省、省際數(shù)據(jù)環(huán)境間的共享和互備支撐能力,當(dāng)一個(gè)節(jié)點(diǎn)的CIMISS出現(xiàn)故障時(shí),可通過在其MUSIC上配置數(shù)據(jù)訪問策略,將本地?cái)?shù)據(jù)服務(wù)請(qǐng)求切換到備份的省份或國(guó)家級(jí)備份中心,從而實(shí)現(xiàn)省與國(guó)家級(jí)、省與省之間的實(shí)時(shí)數(shù)據(jù)應(yīng)急服務(wù)支撐,保證應(yīng)急期間業(yè)務(wù)應(yīng)用透明訪問異地?cái)?shù)據(jù)環(huán)境,業(yè)務(wù)運(yùn)行不中斷。應(yīng)急備份根據(jù)故障范圍,可提供整體切換和按資料精細(xì)化切換兩種方式。
為使CIMISS真正成為氣象業(yè)務(wù)、服務(wù)、管理的數(shù)據(jù)支撐環(huán)境,國(guó)家氣象信息中心組織調(diào)動(dòng)全國(guó)百余名信息技術(shù)力量參與到項(xiàng)目建設(shè)各環(huán)節(jié)的工作中,極大地帶動(dòng)了國(guó)省信息領(lǐng)域技術(shù)人才的成長(zhǎng)。通過組建“兩總”,培養(yǎng)了總體架構(gòu)設(shè)計(jì)、軟件設(shè)計(jì)等技術(shù)設(shè)計(jì)人才,積累了大型工程項(xiàng)目建設(shè)管理經(jīng)驗(yàn);通過歷史數(shù)據(jù)整編、數(shù)據(jù)標(biāo)準(zhǔn)和算法研制等工作,為氣象數(shù)據(jù)處理、氣象信息化標(biāo)準(zhǔn)體系建設(shè)儲(chǔ)備了人才;通過簡(jiǎn)約化流程再造、數(shù)據(jù)統(tǒng)一服務(wù)接口(MUSIC)開發(fā)等工作,并對(duì)省開放CIMISS源代碼,初步建立了國(guó)省聯(lián)合軟件開發(fā)團(tuán)隊(duì),為組織全國(guó)技術(shù)力量、開放眾創(chuàng)共建信息系統(tǒng)提供了平臺(tái);成立了國(guó)省CIMISS系統(tǒng)運(yùn)維工作組,通過現(xiàn)場(chǎng)巡檢、培訓(xùn),并依托業(yè)務(wù)內(nèi)網(wǎng)建立了面向全國(guó)的運(yùn)維知識(shí)庫(kù),全面培養(yǎng)了運(yùn)維保障人才。
1)MICAPS4業(yè)務(wù)支撐
通過CIMISS-MICAPS4數(shù)據(jù)環(huán)境建設(shè),利用高效的分布式存儲(chǔ)技術(shù)和快速的數(shù)據(jù)處理流程,將MICAPS4常用的數(shù)據(jù)有效組織起來,解決了數(shù)據(jù)讀取效率和資料服務(wù)時(shí)效等關(guān)鍵技術(shù)問題,為MICAPS4客戶端提供毫秒級(jí)的數(shù)據(jù)訪問。實(shí)現(xiàn)了核心資料的接入,包括地面、高空、閃電、雷達(dá)基數(shù)據(jù)、雷達(dá)PUP產(chǎn)品、FY2E/2G衛(wèi)星數(shù)據(jù),以及EC、日本、NCEP、T639、GRAPES、德國(guó)等模式數(shù)據(jù),主要數(shù)據(jù)清單見表2。并且,整個(gè)數(shù)據(jù)環(huán)境已納入CIMISS的統(tǒng)一監(jiān)控和運(yùn)維。對(duì)接后的MICAPS4,在國(guó)家級(jí)已業(yè)務(wù)化運(yùn)行。此外,在湖北、湖南、安徽、云南等地進(jìn)行了推廣部署和運(yùn)行,實(shí)現(xiàn)了數(shù)據(jù)環(huán)境省級(jí)部署,支撐MICAPS4在省市縣三級(jí)應(yīng)用,數(shù)據(jù)訪問達(dá)秒級(jí)。
表2 CIMISS-MICAPS4分布式存儲(chǔ)數(shù)據(jù)種類Table 2 Data types of distributed storage in CIMISS-MICAPS4
2)精細(xì)化格點(diǎn)預(yù)報(bào)業(yè)務(wù)支撐
采用分布式存儲(chǔ)技術(shù),構(gòu)建了統(tǒng)一的精細(xì)化氣象格點(diǎn)預(yù)報(bào)數(shù)據(jù)環(huán)境,為國(guó)省兩級(jí)氣象格點(diǎn)預(yù)報(bào)業(yè)務(wù)提供數(shù)據(jù)支撐,實(shí)現(xiàn)氣象格點(diǎn)預(yù)報(bào)產(chǎn)品的存儲(chǔ)、管理與共享,整體流程見圖6。CIMISS 對(duì)格點(diǎn)產(chǎn)品進(jìn)行規(guī)范管理,實(shí)現(xiàn)了定時(shí)拼接、滾動(dòng)更新數(shù)據(jù)上云同步流程,提供云上共享服務(wù);遵循 MUSIC 接口標(biāo)準(zhǔn)規(guī)范,開發(fā)了數(shù)據(jù)服務(wù)接口提供業(yè)務(wù)內(nèi)網(wǎng)等應(yīng)用訪問;實(shí)現(xiàn)了業(yè)務(wù)流程的集中監(jiān)控和服務(wù)情況的實(shí)時(shí)展示。
3)MESIS業(yè)務(wù)支撐
圖6 精細(xì)化格點(diǎn)預(yù)報(bào)支撐流程圖Fig. 6 Data flow of supporting of refinement gridded forecast in CIMISS
按照信息化中關(guān)于集約化和標(biāo)準(zhǔn)化的建設(shè)要求,與氣象中心深入開展合作,將決策氣象服務(wù)信息系統(tǒng)(MESIS)的數(shù)據(jù)通過整合建設(shè),納入CIMISS統(tǒng)一存儲(chǔ)管理,對(duì)接MESIS2.0應(yīng)用。氣象中心與信息中心共同制定對(duì)接方案,剔除基礎(chǔ)觀測(cè)數(shù)據(jù)的冗余存儲(chǔ),將面向氣象決策服務(wù)的豐富的統(tǒng)計(jì)數(shù)據(jù),按照CIMISS存儲(chǔ)規(guī)范進(jìn)行整合處理、規(guī)范管理,包括地面日、候、旬、月、年值數(shù)據(jù)等,經(jīng)過仿真環(huán)境下的接入測(cè)試后,目前已完成遷移入業(yè)務(wù)平臺(tái)的實(shí)施。
1)CIPAS2.0業(yè)務(wù)支撐
補(bǔ)充了NCEP再分析數(shù)據(jù)、NOAA和風(fēng)云3B的OLR數(shù)據(jù)、130項(xiàng)環(huán)流指數(shù),以及BCC_CSM、DERF2.0、NCEP GFS等模式產(chǎn)品,滿足CIPAS2.0的應(yīng)用需求。此外,還補(bǔ)充了NOAA衛(wèi)星的海溫、降水、海冰數(shù)據(jù),以及氣候預(yù)測(cè)檢驗(yàn)產(chǎn)品等。對(duì)歷史數(shù)據(jù)進(jìn)行全面梳理和清洗,導(dǎo)入到CIMISS數(shù)據(jù)環(huán)境,并采用分布式數(shù)據(jù)庫(kù)技術(shù),極大地提高了高并發(fā)下數(shù)據(jù)訪問時(shí)效,并且保證了資料在時(shí)間和空間上的完整性。同時(shí)建立了多時(shí)間尺度,多要素的統(tǒng)計(jì)加工流程,形成了多要素覆蓋日、候、旬、月、季、年等多時(shí)間尺度的統(tǒng)計(jì)產(chǎn)品,有力支持了CIPAS2.0和氣候變化影響評(píng)估系統(tǒng)對(duì)基礎(chǔ)數(shù)據(jù)的多維度需求。同時(shí),建立了針對(duì)數(shù)據(jù)生產(chǎn)和存儲(chǔ)的全流程監(jiān)控體系并納入CIMISS統(tǒng)一監(jiān)控,確保了氣候業(yè)務(wù)的穩(wěn)定運(yùn)行。目前,基礎(chǔ)數(shù)據(jù)涵蓋了國(guó)內(nèi)外,地面、高空常規(guī)要素等多時(shí)間尺度統(tǒng)計(jì)產(chǎn)品,為系統(tǒng)的快速響應(yīng)和在線運(yùn)算,奠定了良好的基礎(chǔ)。
2)氣象災(zāi)害信息系統(tǒng)支撐
災(zāi)害信息基于業(yè)務(wù)內(nèi)網(wǎng)收集后,均按照CIMISS規(guī)范統(tǒng)一納入CIMISS進(jìn)行存儲(chǔ)和管理,通過服務(wù)接口提供氣象災(zāi)害信息綜合分析和應(yīng)用平臺(tái)使用。實(shí)現(xiàn)了在CIMISS中對(duì)災(zāi)害臨界致災(zāi)閾值數(shù)據(jù)、暴雨洪澇風(fēng)險(xiǎn)普查數(shù)據(jù)、歷史災(zāi)情數(shù)據(jù)、災(zāi)情直報(bào)數(shù)據(jù)、災(zāi)害個(gè)例數(shù)據(jù)以及民政部災(zāi)情數(shù)據(jù)等災(zāi)害信息的收集和存儲(chǔ)管理,支撐著災(zāi)害應(yīng)用平臺(tái)。
按照《氣象信息化行動(dòng)方案(2015—2016年)》的工作要求,對(duì)內(nèi)建立統(tǒng)一的國(guó)家氣象業(yè)務(wù)內(nèi)網(wǎng),構(gòu)建氣象部門內(nèi)部業(yè)務(wù)產(chǎn)品服務(wù)和業(yè)務(wù)管理的統(tǒng)一門戶,對(duì)外建設(shè)中國(guó)氣象數(shù)據(jù)網(wǎng),構(gòu)建面向民生的統(tǒng)一的公共氣象數(shù)據(jù)服務(wù)平臺(tái)。CIMISS作為兩網(wǎng)數(shù)據(jù)完全來源,有效支撐了各項(xiàng)數(shù)據(jù)服務(wù)工作。
基于CIMISS統(tǒng)一數(shù)據(jù)環(huán)境和MUSIC接口技術(shù),國(guó)家氣象業(yè)務(wù)內(nèi)網(wǎng)采用B/S架構(gòu)進(jìn)行設(shè)計(jì)[11],在技術(shù)選型方面,業(yè)務(wù)內(nèi)網(wǎng)采用了MUSIC接口的表述性狀態(tài)傳遞(Representational State Transfer,REST)模式進(jìn)行調(diào)用,REST是通用的網(wǎng)絡(luò)協(xié)議,專門針對(duì)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)和開發(fā)方式,以降低開發(fā)的復(fù)雜性,提高系統(tǒng)的可伸縮性?;贘2EE和SOA架構(gòu)體系進(jìn)行業(yè)務(wù)和數(shù)據(jù)資源的整合及集成,采用多層體系架構(gòu),保證功能自頂向下合理分解,實(shí)現(xiàn)設(shè)計(jì)單元的高內(nèi)聚、低耦合;采用組件化(Component)與插件機(jī)制結(jié)合進(jìn)行設(shè)計(jì)和開發(fā),保證系統(tǒng)強(qiáng)大且靈活的可擴(kuò)展性、可維護(hù)性以及可集成性;采用并行處理與負(fù)載均衡技術(shù),保證峰值數(shù)據(jù)到達(dá)情況下多種數(shù)據(jù)的高并發(fā)處理效率;采用XML數(shù)據(jù)封裝技術(shù),實(shí)現(xiàn)靈活的流程配置;采用關(guān)系型數(shù)據(jù)庫(kù)與文件系統(tǒng)結(jié)合,針對(duì)不同氣象數(shù)據(jù)特點(diǎn)進(jìn)行高效的數(shù)據(jù)存儲(chǔ)管理和統(tǒng)一數(shù)據(jù)支撐服務(wù);采用HTTP、TCP/IP通信協(xié)議FTP和WebService等通信技術(shù)實(shí)現(xiàn)組件間的通信和對(duì)外數(shù)據(jù)服務(wù),控制數(shù)據(jù)傳輸?shù)臏?zhǔn)確性及時(shí)效性,保證在Internet上的數(shù)據(jù)傳輸速度;采用門戶(Portal)技術(shù)實(shí)現(xiàn)數(shù)據(jù)與產(chǎn)品共享服務(wù)整合,滿足信息集成、個(gè)性化的內(nèi)容聚合和定制分發(fā)需求,實(shí)現(xiàn)面向不同用戶的氣象資料服務(wù)的集約化、個(gè)性化,保證數(shù)據(jù)共享服務(wù)的擴(kuò)展性。業(yè)務(wù)內(nèi)網(wǎng)利用適配器(adapter)技術(shù),動(dòng)態(tài)匹配MUSIC接口,針對(duì)氣象數(shù)據(jù)檢索服務(wù),在服務(wù)端對(duì)MUSIC接口進(jìn)行了二次封裝,方便用戶進(jìn)行數(shù)據(jù)檢索操作。在實(shí)況數(shù)據(jù)展示方面,通過MUSIC接口技術(shù),實(shí)時(shí)獲取CIMISS中最新的觀測(cè)數(shù)據(jù)。目前業(yè)務(wù)內(nèi)網(wǎng)共使用MUSIC接口48個(gè),其中涵蓋了站點(diǎn)資料檢索、站點(diǎn)資料統(tǒng)計(jì)和臺(tái)站信息查詢等內(nèi)容,對(duì)資料分別按照要素類型和文件類型進(jìn)行下載使用。截至2016年12月,業(yè)務(wù)內(nèi)網(wǎng)基于CIMISS發(fā)布包括探測(cè)業(yè)務(wù)、氣候業(yè)務(wù)、天氣業(yè)務(wù)等各類產(chǎn)品種類超過418種,2016年訪問用戶12035人,比2015年增長(zhǎng)18.6%,訪問量830萬次,比2015年增長(zhǎng)590%,有效提升了業(yè)務(wù)應(yīng)用效果和支撐質(zhì)量。
中國(guó)氣象數(shù)據(jù)網(wǎng)基于CIMISS數(shù)據(jù)向全社會(huì)提供5大類17小類1100種氣象數(shù)據(jù)產(chǎn)品服務(wù),采用MUSIC接口的REST模式進(jìn)行調(diào)用。依托CIMISS數(shù)據(jù)環(huán)境,數(shù)據(jù)網(wǎng)在Internet服務(wù)區(qū)建立定時(shí)作業(yè)任務(wù),有力保障氣象資料與元數(shù)據(jù)同步上傳阿里云,基于阿里云分布式數(shù)據(jù)庫(kù)服務(wù)和對(duì)象存儲(chǔ)服務(wù),構(gòu)建可按需擴(kuò)展的服務(wù)數(shù)據(jù)環(huán)境,有效提升了高可靠、高并發(fā)的服務(wù)能力。上線一年以來,累計(jì)注冊(cè)用戶超過16萬,新增注冊(cè)近5萬,同比增長(zhǎng)150%。據(jù)對(duì)用戶的反饋回訪,上線1年以來,服務(wù)領(lǐng)域涉及18個(gè)主要行業(yè),累計(jì)為企業(yè)節(jié)省開支近百萬元,產(chǎn)生效益超過1億元,占全部新增效益17%,中國(guó)氣象數(shù)據(jù)網(wǎng)建設(shè)成果入選“十二五”全國(guó)科技創(chuàng)新成果展[12],有效促進(jìn)各行業(yè)共同挖掘氣象數(shù)據(jù)的應(yīng)用價(jià)值。
CIMISS數(shù)據(jù)環(huán)境已實(shí)現(xiàn)與31省約114個(gè)主要業(yè)務(wù)應(yīng)用系統(tǒng)直接對(duì)接支撐??h級(jí)綜合觀測(cè)業(yè)務(wù)集成平臺(tái)(MOPS)所需地面、高空、輻射、大氣成分等氣象數(shù)據(jù)100%通過MUSIC從CIMISS中獲取,并基于MUSIC在全國(guó)進(jìn)行無障礙推廣應(yīng)用。在G20峰會(huì)保障中,人工影響天氣指揮系統(tǒng)數(shù)小時(shí)內(nèi)實(shí)現(xiàn)和浙江CIMISS應(yīng)用對(duì)接,發(fā)揮重要支撐作用。湖北省長(zhǎng)江流域氣象服務(wù)綜合業(yè)務(wù)平臺(tái)實(shí)現(xiàn)與CIMISS對(duì)接,獲取長(zhǎng)江流域國(guó)家站、區(qū)域站地面觀測(cè)數(shù)據(jù)及長(zhǎng)江流域雷達(dá)拼圖組網(wǎng)產(chǎn)品及衛(wèi)星數(shù)據(jù)。重慶氣象信息共享平臺(tái)通過改版,從CIMISS獲取觀測(cè)資料、統(tǒng)計(jì)數(shù)據(jù)和氣象產(chǎn)品,實(shí)現(xiàn)在共享平臺(tái)的檢索、展示、統(tǒng)計(jì)和產(chǎn)品瀏覽、動(dòng)畫,在重慶市局和35個(gè)區(qū)縣得到了應(yīng)用。貴州、廣西依照CIMISS統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),實(shí)現(xiàn)山洪地質(zhì)災(zāi)害風(fēng)險(xiǎn)預(yù)警產(chǎn)品、三維閃電定位產(chǎn)品等本地特色自有數(shù)據(jù)實(shí)時(shí)寫入CIMISS,并基于MUSIC提供服務(wù)。此外,陜西省決策支撐系統(tǒng)、內(nèi)蒙古氣象旗縣級(jí)綜合業(yè)務(wù)平臺(tái)、湖南縣級(jí)綜合氣象業(yè)務(wù)平臺(tái)等多個(gè)省級(jí)核心業(yè)務(wù)應(yīng)用實(shí)現(xiàn)和CIMISS對(duì)接。
全國(guó)綜合氣象信息共享平臺(tái)(CIMISS)對(duì)國(guó)內(nèi)外及行業(yè)交換氣象觀測(cè)數(shù)據(jù)和產(chǎn)品進(jìn)行收集與分發(fā),實(shí)現(xiàn)省際間氣象數(shù)據(jù)的交換與共享,具備氣象數(shù)據(jù)解碼、質(zhì)量控制及統(tǒng)計(jì)加工產(chǎn)品生成并滾動(dòng)更新能力,使用數(shù)據(jù)庫(kù)技術(shù)實(shí)現(xiàn)對(duì)氣象數(shù)據(jù)及產(chǎn)品的實(shí)時(shí)、歷史一體化存儲(chǔ)管理,并通過數(shù)據(jù)統(tǒng)一服務(wù)接口為個(gè)人用戶和業(yè)務(wù)系統(tǒng)用戶提供及時(shí)、便捷的數(shù)據(jù)共享服務(wù)。
CIMISS實(shí)現(xiàn)400余種基礎(chǔ)數(shù)據(jù)資源、CIPAS數(shù)據(jù)資源、災(zāi)害數(shù)據(jù)等管理,形成國(guó)省一致的實(shí)時(shí)、歷史長(zhǎng)序列數(shù)據(jù)在線服務(wù)能力,實(shí)現(xiàn)與國(guó)家級(jí)MICAPS 4.0、CIPAS 2.0、全國(guó)精細(xì)化氣象格點(diǎn)預(yù)報(bào)、中國(guó)氣象數(shù)據(jù)網(wǎng)等核心業(yè)務(wù)系統(tǒng),以及31?。▍^(qū)、市)約114個(gè)主要業(yè)務(wù)應(yīng)用系統(tǒng)直接對(duì)接支撐,已初步發(fā)揮建設(shè)效益。
CIMISS建立了國(guó)省統(tǒng)一數(shù)據(jù)環(huán)境,實(shí)現(xiàn)了對(duì)核心重要業(yè)務(wù)應(yīng)用系統(tǒng)的統(tǒng)一數(shù)據(jù)支撐,實(shí)現(xiàn)了氣象數(shù)據(jù)資源的集約化管理、標(biāo)準(zhǔn)化服務(wù)和高效率訪問,有效打破氣象“數(shù)據(jù)孤島”和“應(yīng)用煙囪”,標(biāo)志著《氣象信息化行動(dòng)方案(2015—2016年)》中“應(yīng)用導(dǎo)向,搭建國(guó)省統(tǒng)一CIMISS數(shù)據(jù)環(huán)境”重點(diǎn)任務(wù)取得重大進(jìn)展,推進(jìn)氣象信息化邁出堅(jiān)實(shí)一步。
CIMISS根據(jù)業(yè)務(wù)發(fā)展,建設(shè)目標(biāo)不斷調(diào)整與豐富,因此建設(shè)周期較長(zhǎng),完全外包的項(xiàng)目組織方式也帶來軟件質(zhì)量、進(jìn)度、集成困難等問題。隨著站點(diǎn)數(shù)、觀測(cè)頻次及數(shù)據(jù)種類的不斷增長(zhǎng),數(shù)據(jù)存儲(chǔ)量不斷提升,所采用的傳統(tǒng)集中式存儲(chǔ)技術(shù)難以滿足數(shù)據(jù)存取性能與并發(fā)訪問需求。
后續(xù),按照《氣象大數(shù)據(jù)行動(dòng)計(jì)劃(2017—2020年)》的要求[13],將以CIMISS 1.0為基礎(chǔ),引入云計(jì)算、大數(shù)據(jù)、分布式存儲(chǔ)等新興技術(shù),通過升級(jí)氣象信息基礎(chǔ)設(shè)施,結(jié)合公共云設(shè)施資源,優(yōu)化數(shù)據(jù)匯聚、加工、服務(wù)和應(yīng)用支撐全流程,打造“專有+公共”混合云的氣象大數(shù)據(jù)云平臺(tái)(New CIMISS),支持大數(shù)據(jù)匯集交換、多源挖掘分析和開放共享服務(wù),實(shí)現(xiàn)數(shù)據(jù)資源的規(guī)范和全面,顯著改善氣象信息資源的有效供給和精準(zhǔn)服務(wù),全面提升氣象大數(shù)據(jù)開放應(yīng)用能力?;跉庀蟠髷?shù)據(jù)云平臺(tái)統(tǒng)一、開放的數(shù)據(jù)資源和平臺(tái)能力,氣象應(yīng)用按需獲取數(shù)據(jù)資源、算法資源、接口資源和基礎(chǔ)設(shè)施資源,快速開發(fā)產(chǎn)品算法,編排應(yīng)用流程,在平臺(tái)上統(tǒng)一部署運(yùn)行,實(shí)現(xiàn)氣象業(yè)務(wù)應(yīng)用的集約、高效和標(biāo)準(zhǔn)化。
[1]熊安元, 王伯民, 王穎, 等. 氣象資料分類與編碼. 中華人民共和國(guó)氣象行業(yè)標(biāo)準(zhǔn)QX/T102-2009. 北京: 氣象出版社, 2009.
[2]沈文海, 趙芳, 高華云, 等. 國(guó)家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)的建立.應(yīng)用氣象學(xué)報(bào), 2004, 15(6): 727-736.
[3] 錢建梅, 孫安來, 徐喆, 等. 風(fēng)云氣象衛(wèi)星數(shù)據(jù)存檔與服務(wù)系統(tǒng). 應(yīng)用氣象學(xué)報(bào), 2012, 23(3): 369-376.
[4]李月安, 曹莉, 高嵩, 等. MICAPS預(yù)報(bào)業(yè)務(wù)平臺(tái)現(xiàn)狀與發(fā)展. 氣象,2010, 36(7): 50-55
[5]吳煥萍, 張永強(qiáng), 孫家民, 等. 氣候信息交互顯示與分析平臺(tái)(CIPAS)設(shè)計(jì)與實(shí)現(xiàn). 應(yīng)用氣象學(xué)報(bào), 2013, 24(5): 631-640.
[6]熊安元, 趙芳, 王穎, 等. 全國(guó)綜合氣象信息共享系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn). 應(yīng)用氣象學(xué)報(bào), 2015, 26(4): 500-512.
[7]中國(guó)氣象局關(guān)于印發(fā)《氣象信息網(wǎng)絡(luò)系統(tǒng)總體設(shè)計(jì)(2012年版)》的通知(氣發(fā)〔2012〕115號(hào)文). 中國(guó)氣象局, 2012.
[8]國(guó)家氣象信息中心氣象現(xiàn)代化實(shí)施方案(2014-2020年). 國(guó)家氣象信息中心, 2014.
[9]中國(guó)氣象局關(guān)于印發(fā)《氣象信息化行動(dòng)方案(2015-2016年)》的通知(氣發(fā)〔2015〕60號(hào)文). 中國(guó)氣象局, 2015.
[10]高峰, 王國(guó)復(fù), 喻雯, 等.氣象數(shù)據(jù)文件快速下載服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).應(yīng)用氣象學(xué)報(bào), 2010, 21(2): 243-249.
[11]張志強(qiáng), 張強(qiáng), 胡星, 等. 國(guó)家氣象業(yè)務(wù)內(nèi)網(wǎng)設(shè)計(jì)與實(shí)現(xiàn). 安徽農(nóng)業(yè)科學(xué), 2016(6): 224-227.
[12]張洪政, 張志強(qiáng), 李俊, 等. 氣象數(shù)據(jù)開放專題報(bào)告. 中國(guó)信息化,2016(7): 72-75.
[13]中國(guó)氣象局關(guān)于印發(fā)《氣象大數(shù)據(jù)行動(dòng)計(jì)劃(2017—2020年)》的通知(氣發(fā)〔2017〕78號(hào)).中國(guó)氣象局,2017.
Advances in Meteorological Science and Technology2018年1期