李新慶，陳海波，楊有林，衛(wèi)建國，馬 寧，陳增境

(1.中國氣象局 旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測預(yù)警與風(fēng)險管理重點實驗室，寧夏 銀川 750002；2.寧夏氣象防災(zāi)減災(zāi)重點實驗室，寧夏 銀川 750002)

1 概 述

隨著氣象信息化、現(xiàn)代化事業(yè)的不斷發(fā)展，寧夏回族自治區(qū)氣象業(yè)務(wù)信息化水平得到顯著提高，氣象業(yè)務(wù)系統(tǒng)建設(shè)也得到大幅度的提升，近些年自治區(qū)級氣象業(yè)務(wù)單位自建的重要業(yè)務(wù)系統(tǒng)46個，系統(tǒng)涉及綜合觀測、天氣預(yù)報、氣候預(yù)測、農(nóng)業(yè)氣象、人工影響天氣以及公共氣象服務(wù)等業(yè)務(wù)體系，并在實際業(yè)務(wù)工作中發(fā)揮了一定的效益。

但與此同時，在缺乏整體規(guī)劃的背景下，職能處室、業(yè)務(wù)單位之間缺乏溝通，悶頭自我發(fā)展成為歷史常態(tài)[1]，系統(tǒng)建設(shè)也暴露出了一些突出問題：業(yè)務(wù)系統(tǒng)建設(shè)整體規(guī)劃不夠，綜合統(tǒng)籌乏力，建設(shè)各自為政，造成系統(tǒng)設(shè)計隨意化、開發(fā)個人化、功能碎片化；在建系統(tǒng)“小而散”現(xiàn)象突出，各系統(tǒng)業(yè)務(wù)流程冗雜，應(yīng)用效率較低；各系統(tǒng)中數(shù)據(jù)格式、數(shù)據(jù)流向復(fù)雜，數(shù)據(jù)反復(fù)搬家，造成“信息孤島”遍布、“應(yīng)用煙囪”林立的局面。

打破數(shù)據(jù)壁壘、整合信息資源、簡化流程環(huán)節(jié)、推進業(yè)務(wù)融合與協(xié)同[2]，促進氣象數(shù)據(jù)共享和業(yè)務(wù)科學(xué)管理已經(jīng)成為寧夏氣象業(yè)務(wù)發(fā)展的亟待解決的關(guān)鍵問題。

寧夏回族自治區(qū)氣象局于2016年啟動智能化綜合氣象業(yè)務(wù)服務(wù)管理共享平臺“331”建設(shè)任務(wù)，即以全國綜合氣象信息共享平臺(China integrated meteorological information sharing system，CIMISS)環(huán)境構(gòu)建寧夏氣象綜合數(shù)據(jù)庫，包括基礎(chǔ)數(shù)據(jù)庫、業(yè)務(wù)產(chǎn)品庫、服務(wù)產(chǎn)品庫3個數(shù)據(jù)庫；建設(shè)業(yè)務(wù)產(chǎn)品生成系統(tǒng)、服務(wù)產(chǎn)品制作系統(tǒng)和綜合發(fā)布系統(tǒng)3類系統(tǒng)；建設(shè)1個綜合氣象信息共享與管理系統(tǒng)。其中，綜合氣象信息共享與管理系統(tǒng)旨在整合寧夏氣象內(nèi)部數(shù)據(jù)資源，為氣象行業(yè)用戶提供一個包括實況觀測資料、歷史氣候資料以及管理信息等功能于一體的信息共享與管理系統(tǒng)，實現(xiàn)天氣預(yù)報、氣候預(yù)測、農(nóng)業(yè)氣象、人影天氣、專業(yè)服務(wù)等核心業(yè)務(wù)的在線共享服務(wù)，同時為氣象業(yè)務(wù)管理提供輔助決策支持。

建立海量氣象數(shù)據(jù)的管理和服務(wù)系統(tǒng)是氣象業(yè)務(wù)和科學(xué)研究的先導(dǎo)性工作[3]，同時也是氣象信息化發(fā)展所面臨的難點工作之一。因此，近年來國家、各省級氣象部門專家紛紛開展了氣象信息共享系統(tǒng)的研究和建設(shè)工作，并取得一定的進展。文獻[3-4]提出全國綜合氣象信息共享平臺(CIMISS)的設(shè)計與實現(xiàn)，初步建成統(tǒng)一、標(biāo)準(zhǔn)的基礎(chǔ)氣象數(shù)據(jù)庫，包括實時觀測數(shù)據(jù)、歷史數(shù)據(jù)和業(yè)務(wù)產(chǎn)品等14大類，498個子類，1 500個細目的氣象資料集中存儲，為國家級和省級氣象行業(yè)用戶提供標(biāo)準(zhǔn)一致的數(shù)據(jù)環(huán)境，在一定程度上緩解了氣象數(shù)據(jù)共享不足的問題；何林等[5]依托CIMISS系統(tǒng)研發(fā)了陜西省氣象數(shù)據(jù)共享系統(tǒng)，實現(xiàn)了CIMISS所接入的地面、高空、農(nóng)氣、輻射、雷達、衛(wèi)星等14類資料的查詢下載、統(tǒng)計分析、可視化展示等功能，并針對CIMISS中缺少的本省特色數(shù)據(jù)進行適當(dāng)補充，為省級用戶提供完整、及時、穩(wěn)定、準(zhǔn)確的對內(nèi)氣象數(shù)據(jù)服務(wù)；王宏記等[6]提出了基于CIMISS的長江流域氣象水文信息共享系統(tǒng)的設(shè)計思路，研究了信息收集與處理、數(shù)據(jù)存儲管理和信息共享服務(wù)等關(guān)鍵技術(shù)問題，梳理了流域內(nèi)監(jiān)測產(chǎn)品、預(yù)報預(yù)測、災(zāi)情和應(yīng)急服務(wù)等綜合信息，初步建立了具有流域特色的水文氣象信息共享規(guī)范。除此之外，季剛[7]、張立[8]、楊偉明[9]、史彩霞[10]等均開展了省級綜合氣象信息共享系統(tǒng)的研究與應(yīng)用，均取得了一定進展。從上述整體業(yè)務(wù)應(yīng)用情況歸納來看，基于CIMISS統(tǒng)一數(shù)據(jù)環(huán)境構(gòu)建多方面業(yè)務(wù)應(yīng)用，已經(jīng)成為各地支撐氣象業(yè)務(wù)和服務(wù)系統(tǒng)的主要形式。

為實現(xiàn)氣象數(shù)據(jù)資源跨部門的充分流通與共享，有效解決省際氣象數(shù)據(jù)匯交、標(biāo)準(zhǔn)化存儲、數(shù)據(jù)可視化等問題，文中提出了寧夏綜合氣象信息共享與管理系統(tǒng)設(shè)計與實現(xiàn)的關(guān)鍵技術(shù)方法。首先，對寧夏綜合氣象信息共享與管理系統(tǒng)的總體框架設(shè)計和各功能模塊進行闡述。其次，基于CIMISS環(huán)境對數(shù)據(jù)存儲進行擴展，構(gòu)建寧夏氣象綜合數(shù)據(jù)庫，實現(xiàn)省(區(qū))級氣象數(shù)據(jù)的集中存儲，為共享與管理系統(tǒng)提供數(shù)據(jù)支撐。再次，為提高數(shù)據(jù)服務(wù)，提出了基于內(nèi)容相似度的個性化推薦算法實現(xiàn)氣象資料的智能篩選，為用戶提供更為個性化的數(shù)據(jù)推薦服務(wù)；然后，提出了一種基于ElasticSearch分布式搜索引擎的氣象數(shù)據(jù)智能檢索技術(shù)，為用戶提供快速、高效、可靠的氣象數(shù)據(jù)檢索和共享服務(wù)。最后，結(jié)合HTML5、Web GIS等Web技術(shù)，構(gòu)建了寧夏氣象綜合信息共享與管理系統(tǒng)，實現(xiàn)了多源氣象信息的集成展示，進一步提升了寧夏氣象信息共享服務(wù)水平。

2 系統(tǒng)設(shè)計

2.1 總體架構(gòu)

寧夏綜合氣象信息共享與管理系統(tǒng)致力于在氣象行業(yè)內(nèi)部滿足各業(yè)務(wù)信息系統(tǒng)之間的數(shù)據(jù)資源共享和交換，為省(區(qū))、市、縣三級氣象業(yè)務(wù)和管理用戶提供信息共享和一站式在線服務(wù)。歸納起來，共享信息主要包括基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)產(chǎn)品、服務(wù)產(chǎn)品和管理信息數(shù)據(jù)。

其中，基礎(chǔ)數(shù)據(jù)是指由觀測設(shè)備或國家氣象部門廣播上傳、下發(fā)的各類氣象基礎(chǔ)數(shù)據(jù)；業(yè)務(wù)產(chǎn)品主要是指由核心氣象業(yè)務(wù)系統(tǒng)在運行中，通過模型分析和計算所產(chǎn)生的統(tǒng)計值、圖形等中間加工產(chǎn)品；服務(wù)產(chǎn)品主要是指面向決策服務(wù)、防災(zāi)減災(zāi)、公眾服務(wù)等專業(yè)系統(tǒng)所生成的最終服務(wù)產(chǎn)品。

實現(xiàn)上述信息的統(tǒng)一共享和管理需求，系統(tǒng)必須制定標(biāo)準(zhǔn)、規(guī)范的數(shù)據(jù)存儲格式，實現(xiàn)多源、異構(gòu)數(shù)據(jù)的集中存儲和共享，功能上包括數(shù)據(jù)資源目錄管理、元數(shù)據(jù)管理、共享信息存儲管理、系統(tǒng)資源管理、數(shù)據(jù)服務(wù)接口管理和系統(tǒng)監(jiān)控等諸多信息[11]。為此，在遵循CIMISS數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范下，參考氣象資料和氣象要素分類編碼標(biāo)準(zhǔn)，對寧夏各部門數(shù)據(jù)資源進行梳理，在CIMISS數(shù)據(jù)庫的基礎(chǔ)上構(gòu)建了寧夏氣象綜合數(shù)據(jù)庫，在邏輯上劃分為基礎(chǔ)數(shù)據(jù)庫、業(yè)務(wù)產(chǎn)品庫和服務(wù)產(chǎn)品庫，實現(xiàn)對結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的集約、高效存儲。同時，以虛擬化資源池為基礎(chǔ)，采用“云+端”模式建立信息共享與管理系統(tǒng)，使其恰好滿足氣象業(yè)務(wù)“彈性擴展和計算”的需求[12]，為系統(tǒng)提供快速擴展、可定制的氣象數(shù)據(jù)加工處理和共享服務(wù)，以解決“信息孤島”、“煙囪林立”的業(yè)務(wù)碎片化局面。

圖1 綜合氣象信息共享與管理系統(tǒng)總體架構(gòu)

系統(tǒng)總體架構(gòu)如圖1所示，采用成熟的三層體系架構(gòu)[13]：表示層、業(yè)務(wù)邏輯層和數(shù)據(jù)層。表示層是系統(tǒng)門戶，采用標(biāo)準(zhǔn)的Web客戶端開發(fā)，負責(zé)與用戶進行交互，提供數(shù)據(jù)智能檢索、快速導(dǎo)航、個性化推薦和數(shù)據(jù)可視化展示等功能，通過Web GIS、圖形、表格等方式實現(xiàn)各類氣象數(shù)據(jù)的共享服務(wù)。業(yè)務(wù)邏輯層除了提供基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)產(chǎn)品、服務(wù)產(chǎn)品和管理信息的接口訪問，還提供對用戶行為、日志信息等系統(tǒng)本身的管理服務(wù)。數(shù)據(jù)層主要依賴CIMISS數(shù)據(jù)環(huán)境構(gòu)建寧夏氣象綜合數(shù)據(jù)庫，實現(xiàn)對實時數(shù)據(jù)、歷史數(shù)據(jù)和管理信息的集中存儲管理，通過數(shù)據(jù)服務(wù)接口響應(yīng)業(yè)務(wù)層的數(shù)據(jù)請求，為系統(tǒng)提供數(shù)據(jù)支撐。

2.2 功能設(shè)計

寧夏綜合氣象信息共享與管理系統(tǒng)包括基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)產(chǎn)品、服務(wù)產(chǎn)品和管理信息共四個功能模塊。

(1)首頁。首頁作為系統(tǒng)的訪問入口，綜合展示氣象基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)、服務(wù)和信息管理等重點關(guān)注的信息，功能除了包括各類導(dǎo)航、通知信息外，還包括智能檢索、個性化推薦、最新產(chǎn)品鏈接等。

(2)基礎(chǔ)數(shù)據(jù)?；A(chǔ)數(shù)據(jù)通常是行業(yè)用戶需求量最大的一類氣象科學(xué)數(shù)據(jù)，根據(jù)氣象資料的內(nèi)容屬性和CIMISS分類標(biāo)準(zhǔn)，功能分類包括地面、高空、輻射、農(nóng)氣生態(tài)、大氣成分、大氣環(huán)流及海洋、雷達、衛(wèi)星、數(shù)值預(yù)報產(chǎn)品和其他共10類氣象資料。除了包括查詢、統(tǒng)計和下載等常規(guī)功能外，還包括如時序圖、分布圖、等值線、色斑圖的在線制圖服務(wù)。

(3)業(yè)務(wù)產(chǎn)品。業(yè)務(wù)產(chǎn)品主要面向氣象業(yè)務(wù)、科研用戶，功能覆蓋氣象部門核心業(yè)務(wù)單位，包括天氣類、氣候類、農(nóng)氣類、專業(yè)服務(wù)類和人影類的業(yè)務(wù)產(chǎn)品。除提供常規(guī)查詢功能外，還提供加工統(tǒng)計值、分布圖等在線分析功能。

(4)服務(wù)產(chǎn)品。服務(wù)產(chǎn)品主要面向決策、公眾和專業(yè)服務(wù)，將氣象基礎(chǔ)數(shù)據(jù)、服務(wù)產(chǎn)品加工制作和產(chǎn)品分發(fā)有機融合，提供服務(wù)產(chǎn)品的可視化展示和下載功能。

(5)管理信息。管理信息面向氣象管理部門用戶，實現(xiàn)氣象業(yè)務(wù)、事務(wù)管理數(shù)據(jù)的規(guī)范化、扁平化，為氣象管理提供輔助決策支持，提升執(zhí)行力和預(yù)判力。功能上主要包括數(shù)據(jù)監(jiān)控、質(zhì)量監(jiān)控和信息通報。數(shù)據(jù)監(jiān)控包括基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)產(chǎn)品、服務(wù)產(chǎn)品從收集、解析、入庫到共享服務(wù)一體化、全流程的監(jiān)控管理[14]；質(zhì)量監(jiān)控包括傳輸質(zhì)量(CIMISS、MDOS)、預(yù)報質(zhì)量、預(yù)警質(zhì)量等信息的監(jiān)控；信息通報包括現(xiàn)代化建設(shè)、產(chǎn)品發(fā)布、數(shù)據(jù)下載通報等。

3 系統(tǒng)關(guān)鍵技術(shù)

3.1 海量異構(gòu)氣象數(shù)據(jù)存儲

氣象業(yè)務(wù)領(lǐng)域內(nèi)每天的數(shù)據(jù)增量以TB計算[15]，氣象數(shù)據(jù)對天氣預(yù)報、氣候研究、公共氣象服務(wù)以及各個行業(yè)的應(yīng)用都具有較為重要的價值，需要將各類數(shù)據(jù)按照統(tǒng)一的標(biāo)準(zhǔn)進行存儲和管理。CIMISS作為國省級的數(shù)據(jù)中心，為氣象行業(yè)用戶解決了氣象數(shù)據(jù)收集、加工處理、數(shù)據(jù)存儲的標(biāo)準(zhǔn)化、集約化等若干難點問題，但是CIMISS采用關(guān)系型數(shù)據(jù)庫存儲非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)信息、采用集群文件系統(tǒng)存儲非結(jié)構(gòu)化數(shù)據(jù)文件，上述傳統(tǒng)架構(gòu)對不斷增加的海量非結(jié)構(gòu)化氣象數(shù)據(jù)存儲服務(wù)功能不足[16]，易出現(xiàn)負載飽和、讀寫性能不足的瓶頸問題，影響了系統(tǒng)服務(wù)的時效性和穩(wěn)定性。

因此，對CIMISS數(shù)據(jù)存儲進行擴展應(yīng)用研究，提出基于Oracle數(shù)據(jù)庫集群和Hadoop分布式文件系統(tǒng)混合架構(gòu)的氣象綜合數(shù)據(jù)庫，實現(xiàn)省(區(qū))級氣象基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)產(chǎn)品、服務(wù)產(chǎn)品和管理信息的標(biāo)準(zhǔn)、統(tǒng)一、集約存儲環(huán)境。

結(jié)構(gòu)化數(shù)據(jù)作為共享和服務(wù)應(yīng)用范圍最廣，訪問最頻繁的氣象數(shù)據(jù)[17]，必須保證系統(tǒng)對結(jié)構(gòu)化數(shù)據(jù)的快速處理和存儲能力。

因此，該類數(shù)據(jù)以CIMISS數(shù)據(jù)源為基礎(chǔ)，數(shù)據(jù)標(biāo)準(zhǔn)保持與CIMISS數(shù)據(jù)環(huán)境的一致性，有利于本區(qū)域新增數(shù)據(jù)和氣象標(biāo)準(zhǔn)統(tǒng)一，達到現(xiàn)有業(yè)務(wù)與原有業(yè)務(wù)的有機融合。

對于大量非結(jié)構(gòu)化文件的快速處理和存儲是信息共享和服務(wù)的關(guān)鍵，特別是以雷達、衛(wèi)星為代表的大文件和報文為代表的海量小文件[18]，需要的耗時和占用的資源問題較為突出。為此，文獻[19-22]針對文件存儲都作了大量研究工作，有效解決了非結(jié)構(gòu)化數(shù)據(jù)存儲的問題。文中針對上述數(shù)據(jù)采用Hadoop HDFS分布式文件存儲，總?cè)萘恳?guī)劃為10 TB，設(shè)計了兩個數(shù)據(jù)節(jié)點(DataNode)，實現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)的集中存儲。

氣象綜合數(shù)據(jù)庫采用客戶端、Web Service和REST(representational state transfer)三種服務(wù)接口方式對外提供數(shù)據(jù)服務(wù)，提供基礎(chǔ)數(shù)據(jù)服務(wù)接口135個、業(yè)務(wù)產(chǎn)品服務(wù)接口452個、服務(wù)產(chǎn)品服務(wù)接口358個，實現(xiàn)了入庫數(shù)據(jù)和產(chǎn)品的全覆蓋。

3.2 氣象數(shù)據(jù)加工處理

氣象數(shù)據(jù)加工處理對收集的觀測數(shù)據(jù)進行數(shù)據(jù)抽取、數(shù)據(jù)融合、統(tǒng)計加工處理，根據(jù)用戶制定任務(wù)模板自動生成統(tǒng)計產(chǎn)品和圖形化產(chǎn)品，最終提交至氣象綜合數(shù)據(jù)庫中進行存儲管理和共享服務(wù)。其核心依賴于氣象常用算法模型庫(常用統(tǒng)計算法、差值算法和圖形化加工算法)，按照上述算法實時、準(zhǔn)實時和定時地生成各類加工產(chǎn)品。

加工處理系統(tǒng)按照業(yè)務(wù)功能分為常規(guī)統(tǒng)計產(chǎn)品加工、網(wǎng)格化產(chǎn)品加工和圖形化產(chǎn)品加工三類業(yè)務(wù)產(chǎn)品。常規(guī)統(tǒng)計產(chǎn)品以中國氣象局《地面氣象觀測規(guī)范》、《地面氣象資料實時統(tǒng)計處理業(yè)務(wù)規(guī)定(2017版)》為標(biāo)準(zhǔn)，功能包括日、候、旬、月、季、年、30年氣候統(tǒng)計值共2 126種氣象統(tǒng)計要素；網(wǎng)格化產(chǎn)品是以中國氣象局5×5公里實況格點化產(chǎn)品為基礎(chǔ)，融合寧夏區(qū)域小時、日等地面觀測數(shù)據(jù)，細化生成1×1公里的本地特色氣象要素格點化產(chǎn)品；圖形化產(chǎn)品以寧夏本地的圖形化產(chǎn)品標(biāo)準(zhǔn)，實時、準(zhǔn)實時地生成落區(qū)圖、分布圖等132種圖形化產(chǎn)品。

數(shù)據(jù)加工處理流程包括以下步驟：任務(wù)調(diào)度、數(shù)據(jù)加工、讀取接口、算法模型和寫入模塊。任務(wù)調(diào)度采用Quartz開源組件實現(xiàn)，Quartz是一個輕量級的企業(yè)調(diào)度框架，完全由Java編寫，其提供了強大的任務(wù)調(diào)度機制，同時保持了使用的簡單性[23]。加工處理系統(tǒng)首先通過Quartz任務(wù)調(diào)度框架定時觸發(fā)加工任務(wù)，加工任務(wù)再調(diào)用服務(wù)接口獲取任務(wù)要求的結(jié)果集；然后將結(jié)果集以及數(shù)據(jù)模型的統(tǒng)計參數(shù)傳入到算法模型，加工流程再根據(jù)算法模型返回統(tǒng)計或運算完成的結(jié)果集；最后將運算結(jié)果傳送到接口進行數(shù)據(jù)的寫入。數(shù)據(jù)加工處理中每個步驟都會進行日志記錄，為以后日志分析提供參考依據(jù)。

3.3 個性化推薦

為解決海量氣象數(shù)據(jù)服務(wù)問題，采用個性化推薦功能提高用戶訪問和獲取數(shù)據(jù)的服務(wù)能力。個性化推薦已經(jīng)作為處理“信息超載”問題的主流方法[24]，其優(yōu)勢在于主動收集用戶特征資料，根據(jù)用戶的興趣特征，從海量信息中挖掘用戶可能感興趣或需要的信息資源，對用戶做出相應(yīng)推薦。

基于用戶的個性化推薦算法涉及到用戶、產(chǎn)品之間的相似度計算[25]，利用大量用戶和產(chǎn)品關(guān)聯(lián)的歷史數(shù)據(jù)，采用基于余弦相似度算法來計算用戶和產(chǎn)品之間的相似度，查找與目標(biāo)用戶相似性較高的鄰近值，通過鄰近用戶集對其產(chǎn)品的評分來預(yù)測用戶對該產(chǎn)品的評分，得到智能推薦的產(chǎn)品集合，為氣象行業(yè)用戶提供個性化推薦服務(wù)。事實上，一個完整的推薦系統(tǒng)應(yīng)該由用戶模型、產(chǎn)品模型和推薦算法共同組成，具體算法定義如下[26]：

首先，收集用戶行為，設(shè)U=(U1,U2,…,Un)為用戶集合，G=(G1,G2,…,Gm)為給定產(chǎn)品集合，生成用戶對產(chǎn)品的評分矩為Rn,m。其中，n行表示共有n個用戶，m列表示共有m個產(chǎn)品，Rn,m表示第n個用戶對第m個產(chǎn)品的評分。

其次，建立用戶和鄰近對象的相似度，把用戶u和用戶v對(G1,G2,…,Gm)中的評分記作Ru和Rv兩個評分向量，那么，用戶u和用戶v的相似度等于Ru和Rv的余弦夾角。則sim(u,v)的相似性計算方法如下：

(1)

由于在余弦相似度度量方法中沒有考慮不同用戶評分尺度的問題[27]，根據(jù)Pearson修正的余弦相似度度量方法，通過減去用戶對項目的平均評分來改善上述問題。

(2)

再次，生成鄰近用戶，根據(jù)計算目標(biāo)用戶和其他用戶的相似度后，按照大小順序排列，得出前k個最大的鄰居組成目標(biāo)用戶的鄰近k個子集。

最后，產(chǎn)生推薦結(jié)果，利用公式計算出用戶對產(chǎn)品的預(yù)測分值。

(3)

上述算法復(fù)雜性不高，且能夠較好地挖掘氣象數(shù)據(jù)及相關(guān)產(chǎn)品，為氣象行業(yè)用戶提供個性化數(shù)據(jù)和產(chǎn)品需求。

3.4 智能搜索引擎

傳統(tǒng)的數(shù)據(jù)檢索方法已經(jīng)難以滿足日益增長的氣象數(shù)據(jù)高性能檢索需求，如何快速、高效地從海量氣象數(shù)據(jù)中檢索有用的數(shù)據(jù)資源已經(jīng)成為共享與管理系統(tǒng)的難點之一。

因此，結(jié)合個性化推薦和分布式搜索引擎，提出了基于ElasticSearch構(gòu)建智能搜索引擎，針對海量氣象數(shù)據(jù)實現(xiàn)自動檢索相關(guān)信息，同時為用戶提供快速信息查詢服務(wù)。

ElasticSearch是一個基于Lucene開源檢索引擎，具有多租戶支持、分布式、高可用性、全文搜索等特征，可以方便地嵌入到各種應(yīng)用中實現(xiàn)對應(yīng)用的全文索引和檢索功能[28]。ElasticSearch全文檢索引擎采用RESTful接口，提供了簡單易用的查詢和共享接口。ElasticSearch可以非常簡單地實現(xiàn)分布式搜索，自己帶有分布式管理模塊，可以方便、迅速地進行集群的橫向擴展并自動化進行集群的負載均衡，從而高效、穩(wěn)定地對PB級海量氣象數(shù)據(jù)進行檢索和分析。ElasticSearch能夠方便地建立索引，將一個索引分割成多個索引分片，然后將多個分片均衡分布在集群的所有節(jié)點上。

構(gòu)建ElasticSearch搜索引擎包括分布式集群設(shè)計、垂直領(lǐng)域?qū)I(yè)詞典構(gòu)建、數(shù)據(jù)索引、數(shù)據(jù)搜索和個性化推薦。ElasticSearch分布式集群根據(jù)現(xiàn)有寧夏氣象基礎(chǔ)數(shù)據(jù)、各類產(chǎn)品規(guī)模及相關(guān)性能進行集群設(shè)計，包括集群各節(jié)點設(shè)計、集群相關(guān)配置。在垂直領(lǐng)域?qū)I(yè)詞典構(gòu)建中，根據(jù)每一個垂直領(lǐng)域建立一個對應(yīng)的個性化詞典。當(dāng)檢索的數(shù)據(jù)或產(chǎn)品涉及到對應(yīng)的垂直領(lǐng)域時，就把對應(yīng)的個性化詞典加入到分詞詞庫中。雖然ElasticSearch內(nèi)置了多種分詞器，但是對中文處理效果不夠理想[29]，因此，文中采用jieba分詞組件，該組件是目前最好的python類中文分詞器[30]，支持精簡模式、全模式和搜索引擎模式進行分詞。個性化詞典庫的建立主要分為兩部分，一部分是基于氣象元數(shù)據(jù)建立通用詞典，根據(jù)梳理的氣象元數(shù)據(jù)，建立5 832個關(guān)鍵詞；另一部分是使用GET方法來定期對檢索數(shù)據(jù)的新詞進行發(fā)現(xiàn)，并將該新詞存儲到個性化詞庫中。當(dāng)使用ElasticSearch進行索引和搜索操作時，針對索引和搜索涉及的垂直領(lǐng)域不同，將分詞組件加載到不同的垂直領(lǐng)域個性化詞典，保證分詞處理更加高效、精準(zhǔn)。

3.5 面向氣象數(shù)據(jù)的可視化技術(shù)

可視化技術(shù)融合了信息可視化、科學(xué)可視化、數(shù)據(jù)挖掘、人機交互等學(xué)科，針對氣象數(shù)據(jù)具有多類型、高維度、弱模式等特點[31]，利用交互式界面對復(fù)雜氣象數(shù)據(jù)進行分析和展示，同時融入認知能力和計算能力，從而為用戶提供氣象數(shù)據(jù)的高效獲取和服務(wù)。

常用的可視化分析方法處理氣象數(shù)據(jù)包括二維、三維、多維、文本、網(wǎng)絡(luò)信息、時空信息等[32]。針對二維數(shù)據(jù)的展示，主要包括曲線圖、折線圖、散點圖、餅圖、柱狀圖等，Highcharts、FusionCharts、D3.js、Web GL等可視化工具都對上述類型提供了可靠的支持。文中采用Highcharts實現(xiàn)了氣象要素在時間序列上的趨勢圖，直觀反映了各種氣象要素按照小時、日、旬、月、季、年不同時間尺度的展示效果。針對等值面圖、落區(qū)圖的繪制，除了借助于GIS引擎之外，Matplotlib作為一款python編制的二維圖形庫[33]，提供了快速、準(zhǔn)確的繪圖能力，將其與basemap相結(jié)合，可提供一種繪制GIS地圖的有效解決方案。因此，文中采用WebService服務(wù)調(diào)用后臺Matplotlib繪圖引擎，實現(xiàn)氣象GIS圖像的繪制，最后再疊加至Web GIS地圖上進行展示。多維數(shù)據(jù)則需要采用幾何投影、圖標(biāo)、像素等多種方法，對其進行映射、投影和變換，從而進行降維展示，實現(xiàn)了雷達基本反射率、組合反射率、基本速度等圖形的可視化[34]。

4 系統(tǒng)測試及應(yīng)用

4.1 系統(tǒng)性能測試

文中主要針對查詢訪問響應(yīng)能力進行了系統(tǒng)性能測試，模擬50個用戶的并發(fā)量，以氣象綜合數(shù)據(jù)庫中的地面小時資料、日資料、月資料、年資料為測試對象，當(dāng)系統(tǒng)查詢時調(diào)用訪問接口，在時間上和數(shù)量上進行了對比測試，測試結(jié)果如表1所示。

根據(jù)測試結(jié)果，當(dāng)查詢數(shù)量小于10 000條記錄時，系統(tǒng)的響應(yīng)時間均小于1 s。當(dāng)用戶查詢記錄數(shù)在30 000條左右時，系統(tǒng)的平均響應(yīng)時間為1.5 s，當(dāng)用戶查詢記錄數(shù)在50 000條時，系統(tǒng)的平均響應(yīng)時間2.7 s。結(jié)果表明，在50個用戶并發(fā)測試下，當(dāng)查詢記錄數(shù)低于50 000條以下時，系統(tǒng)的響應(yīng)時間均低于3 s，系統(tǒng)查詢性能達到了業(yè)務(wù)化需求。

表1 系統(tǒng)查詢接口訪問測試

4.2 統(tǒng)應(yīng)用情況

系統(tǒng)采用HTML5、Web GIS、Java J2EE開發(fā)實現(xiàn)了省(區(qū))級氣象信息的共享與展示，該平臺不僅提供CIMISS中常用的地面、高空、雷達等10類基礎(chǔ)數(shù)據(jù)，還提供了1×1公里格點預(yù)報、首場透雨、K指數(shù)預(yù)測、氣候影響評價等業(yè)務(wù)和服務(wù)產(chǎn)品。

該系統(tǒng)已經(jīng)在全區(qū)各級氣象業(yè)務(wù)部門進行了推廣使用，系統(tǒng)存儲結(jié)構(gòu)化數(shù)據(jù)22.922億條，存儲非結(jié)構(gòu)化數(shù)據(jù)2.31 TB，為授權(quán)用戶提供基礎(chǔ)數(shù)據(jù)152種、業(yè)務(wù)產(chǎn)品70種、服務(wù)產(chǎn)品38種，用戶可在線瀏覽、查詢、下載各類數(shù)據(jù)。

5 結(jié)束語

綜合氣象信息共享與管理系統(tǒng)是支持氣象行業(yè)部門業(yè)務(wù)應(yīng)用的數(shù)據(jù)服務(wù)平臺，同時也是支撐氣象領(lǐng)域核心業(yè)務(wù)、提升氣象信息服務(wù)水平的重要基礎(chǔ)，該系統(tǒng)的設(shè)計與研究將有效解決氣象部門對多類型、規(guī)模大、業(yè)務(wù)邏輯復(fù)雜等數(shù)據(jù)共享和管理不足的難題。

文中的工作主要如下：針對海量數(shù)據(jù)存儲效率不足的問題，提出了Oracle集群和Hadoop HDFS分布式存儲的混合架構(gòu)的省(區(qū))級氣象綜合數(shù)據(jù)庫的設(shè)計實現(xiàn)，并對CIMISS數(shù)據(jù)資源管理和標(biāo)準(zhǔn)體系進行了擴展，解決了多源、異構(gòu)氣象數(shù)據(jù)集中存儲的問題；采用余弦相似度個性化推薦和ElasticSearch實現(xiàn)了共享系統(tǒng)的智能搜索引擎，提高氣象數(shù)據(jù)的主動檢索服務(wù)；系統(tǒng)除了提供查詢、下載各類實時、歷史基礎(chǔ)數(shù)據(jù)之外，還提供了省(區(qū))級基礎(chǔ)數(shù)據(jù)加工產(chǎn)品、中間業(yè)務(wù)產(chǎn)品和公共服務(wù)產(chǎn)品，實現(xiàn)了觀測、預(yù)報、氣候、服務(wù)等核心業(yè)務(wù)單位的數(shù)據(jù)共享全覆蓋。

目前，寧夏綜合氣象信息共享與管理系統(tǒng)已經(jīng)投入業(yè)務(wù)試運行，已經(jīng)成為寧夏區(qū)級氣象業(yè)務(wù)、服務(wù)、管理應(yīng)用的重要系統(tǒng)之一，該系統(tǒng)不僅適用于寧夏氣象信息共享服務(wù)，而且還可為其他省(區(qū))級氣象部門開展信息共享系統(tǒng)建設(shè)提供理論基礎(chǔ)和借鑒價值。