鐘艷雯 尹新懷 朱亮 馮冼 夏正龍
摘要:為了實現(xiàn)業(yè)務(wù)系統(tǒng)的集約整合,提供一站式數(shù)據(jù)在線訪問和共享服務(wù),建設(shè)了湖南省氣象業(yè)務(wù)內(nèi)網(wǎng)平臺。該平臺基于通用的J2EE應(yīng)用架構(gòu);使用統(tǒng)一數(shù)據(jù)源;采用分布式架構(gòu),利用大數(shù)據(jù)技術(shù)提升查詢統(tǒng)計速度;通過自定義各種組件實現(xiàn)地圖圖層疊加。該平臺為省市縣用戶提供統(tǒng)一業(yè)務(wù)數(shù)據(jù)、產(chǎn)品與信息服務(wù),為氣象預(yù)報、測報、管理等業(yè)務(wù)提供有效補充手段和數(shù)據(jù)支撐。
關(guān)鍵詞:氣象業(yè)務(wù)內(nèi)網(wǎng);數(shù)據(jù);分布式數(shù)據(jù)環(huán)境
中圖分類號:S163
文獻(xiàn)標(biāo)識碼:A
文章編號:0439-8114( 2020) 20-0155-04
DOl:10.1408 8/j .cnki.issn0439-8114.2020.20.035
隨著氣象事業(yè)的發(fā)展,多來源、高密度、精細(xì)化的氣象觀測資料及產(chǎn)品對數(shù)據(jù)處理、應(yīng)用、共享提出了新的要求,因此中國氣象局及各省氣象部門先后開展了內(nèi)部信息資源整合工作,構(gòu)建內(nèi)部“業(yè)務(wù)內(nèi)網(wǎng)”系統(tǒng)[1-5]。湖南省各類業(yè)務(wù)系統(tǒng)數(shù)量大、小而散現(xiàn)象突出,需要統(tǒng)一的平臺進(jìn)行集約整合;預(yù)測、預(yù)警、決策等用戶需要統(tǒng)一的數(shù)據(jù)環(huán)境提供數(shù)據(jù)支撐與服務(wù);基層各業(yè)務(wù)單位需要對各類氣象數(shù)據(jù)與產(chǎn)品集中、便捷的在線訪問[6,7]。為了充分發(fā)揮地面、高空、雷達(dá)、數(shù)值預(yù)報、衛(wèi)星云圖等氣象資料的整體效益,實時、準(zhǔn)確地獲取觀測數(shù)據(jù)與氣象產(chǎn)品,增強(qiáng)對暴雨、冰雹、大風(fēng)等災(zāi)害性天氣的監(jiān)測能力和氣象防災(zāi)減災(zāi)能力,助力公眾服務(wù)與農(nóng)業(yè)生產(chǎn),湖南省按照集約化發(fā)展思路,建設(shè)了氣象業(yè)務(wù)內(nèi)網(wǎng)平臺(以下簡稱平臺)。作為湖南省內(nèi)統(tǒng)一的業(yè)務(wù)產(chǎn)品展示、服務(wù)和業(yè)務(wù)管理信息綜合共享平臺,氣象業(yè)務(wù)內(nèi)網(wǎng)平臺滿足了省內(nèi)業(yè)務(wù)、管理和服務(wù)需求,實現(xiàn)了省一市一縣三級用戶信息共享和一站式在線訪問,同時為預(yù)報、測報、管理等業(yè)務(wù)提供有效補充手段和數(shù)據(jù)支撐。
1 系統(tǒng)設(shè)計與實現(xiàn)
平臺的建設(shè)目標(biāo)為基于統(tǒng)一數(shù)據(jù)環(huán)境,構(gòu)建湖南省氣象部門內(nèi)部統(tǒng)一的業(yè)務(wù)數(shù)據(jù)、產(chǎn)品與信息共享門戶系統(tǒng);面向省內(nèi)用戶信息的共享和應(yīng)用需求,向省一市一縣三級用戶提供快捷、高效的產(chǎn)品訪問與共享支撐;提供省內(nèi)實時觀測、預(yù)報預(yù)警、氣候業(yè)務(wù)、氣象信息業(yè)務(wù)等氣象信息與產(chǎn)品的一站式可視化展示。
1.1 系統(tǒng)架構(gòu)
采用“云端部署、終端應(yīng)用”的模式建設(shè),在省級分布式數(shù)據(jù)環(huán)境中建立一套部署在省級,以CIMISS(China Integrated Meteorological Information SharingSystem,即全國綜合氣象信息共享系統(tǒng))為主要數(shù)據(jù)源,為省一市一縣用戶提供統(tǒng)一業(yè)務(wù)數(shù)據(jù)、產(chǎn)品與信息服務(wù)[8]。該平臺包括信息收集與處理系統(tǒng)、數(shù)據(jù)存儲管理系統(tǒng)、信息共享服務(wù)系統(tǒng)等三個子系統(tǒng),總體結(jié)構(gòu)如圖1所示。
該平臺基于通用的J2EE應(yīng)用架構(gòu)(Velocity+SpringBoot),從邏輯上分為表現(xiàn)層、應(yīng)用層、數(shù)據(jù)層(圖2)。表現(xiàn)層是基于瀏覽器的客戶端,為用戶呈現(xiàn)一個豐富的、具有高交互性的可視化界面,以圖文一體化的方式顯示空間和屬性信息,同時也為用戶提供地圖交互、信息查詢、地圖分析的交互接口。應(yīng)用層接收來自客戶端的請求,并根據(jù)用戶請求類型做出相應(yīng)響應(yīng);通過WebCIS服務(wù)器Ⅱ向應(yīng)空間數(shù)據(jù)和屬性數(shù)據(jù)請求,對空間數(shù)據(jù)進(jìn)行分析和控制,同時利用應(yīng)用網(wǎng)關(guān)、遠(yuǎn)程服務(wù)與業(yè)務(wù)數(shù)據(jù)庫進(jìn)行交互,完成業(yè)務(wù)數(shù)據(jù)的查詢。數(shù)據(jù)層是平臺的底層,負(fù)責(zé)空間數(shù)據(jù)的存取機(jī)制,維護(hù)各種數(shù)據(jù)之間的關(guān)系,并提供數(shù)據(jù)備份、數(shù)據(jù)存檔、數(shù)據(jù)安全機(jī)制,為整個平臺提供數(shù)據(jù)保障。平臺建立了基于配置的產(chǎn)品發(fā)布模式,實現(xiàn)了數(shù)據(jù)獲取與前端顯示功能的獨立分離,屏蔽了大量的后臺數(shù)據(jù)獲取復(fù)雜邏輯,每個數(shù)據(jù)獲取邏輯只需在配置界面配置數(shù)據(jù)源、獲取頻次以及獲取方式,在顯示端即可通過制定ID方式獲取所需數(shù)據(jù),并使整個開發(fā)更專注于前端展示頁面,考慮業(yè)務(wù)用戶需求體驗,后端數(shù)據(jù)源甚至數(shù)據(jù)結(jié)構(gòu)的變化可以通過一鍵式配置快速調(diào)整,有效應(yīng)對氣象數(shù)據(jù)多樣性特點。
該平臺主要包括信息收集與處理系統(tǒng)、數(shù)據(jù)存儲管理系統(tǒng)、信息共享服務(wù)系統(tǒng)三個子系統(tǒng)。信息收集與處理子系統(tǒng)依托地面寬帶網(wǎng)以及CIMISS系統(tǒng),快速、完整地收集各類氣象資料數(shù)據(jù)及氣象服務(wù)產(chǎn)品;根據(jù)業(yè)務(wù)的需求,對相關(guān)數(shù)據(jù)進(jìn)行解碼、格式轉(zhuǎn)換、數(shù)據(jù)反演等處理加工,生成各類氣象監(jiān)測、服務(wù)產(chǎn)品等,并提供數(shù)據(jù)采集、分發(fā)、處理情況的監(jiān)控以及監(jiān)控信息的統(tǒng)計分析功能。數(shù)據(jù)存儲管理子系統(tǒng)以文件和結(jié)構(gòu)化數(shù)據(jù)庫相結(jié)合的方式,建立高效、安全、穩(wěn)定的數(shù)據(jù)存儲管理子系統(tǒng);采用科學(xué)合理的管理機(jī)制,提供統(tǒng)一、分級的數(shù)據(jù)檢索接口和服務(wù),滿足用戶對氣象數(shù)據(jù)資料檢索訪問的各種需求,具有歷史實時數(shù)據(jù)導(dǎo)入、追加、更新、數(shù)據(jù)的備份和恢復(fù)、數(shù)據(jù)清理維護(hù)等功能,并提供數(shù)據(jù)入庫、存儲資源使用情況的監(jiān)控以及監(jiān)控信息的統(tǒng)計分析功能。信息共享服務(wù)子系統(tǒng)采用共享文件目錄接口、Web網(wǎng)站等方式,發(fā)布和管理各種基礎(chǔ)數(shù)據(jù)、監(jiān)測、預(yù)測和預(yù)警服務(wù)綜合信息,為用戶提供針對性的氣象數(shù)據(jù)和產(chǎn)品的目錄導(dǎo)航、數(shù)據(jù)檢索、查看、下載以及數(shù)據(jù)統(tǒng)計分析等共享服務(wù),并提供信息發(fā)布、訪問情況的監(jiān)控,以及監(jiān)控信息的統(tǒng)計分析功能,具體功能結(jié)構(gòu)劃分如下圖3。
1.2 數(shù)據(jù)庫設(shè)計
為了提高訪問速度,需要對常用的觀測數(shù)據(jù)、預(yù)報產(chǎn)品、運維數(shù)據(jù)等進(jìn)行統(tǒng)一管理??紤]數(shù)據(jù)量達(dá)到TB級,通過對比選用了基于Hadoop的HBase大數(shù)據(jù)平臺。按照功能分為站點數(shù)據(jù)表,自動站觀測數(shù)據(jù)表以及業(yè)務(wù)數(shù)據(jù)表共35個。根據(jù)數(shù)據(jù)存儲時效,數(shù)據(jù)表可分為永久數(shù)據(jù)表和固定時間數(shù)據(jù)表。永久數(shù)據(jù)表表示數(shù)據(jù)存儲時效不受限制,可以永久保存。固定時間數(shù)據(jù)表指為保證數(shù)據(jù)的可維護(hù)性。數(shù)據(jù)表將從插入時間開始,根據(jù)存儲時效,將超過存儲時效的數(shù)據(jù)每日定時清理。根據(jù)不同數(shù)據(jù)表存儲量大小,為避免單表數(shù)據(jù)量過大,需要設(shè)計單表的分區(qū)策略。同時為加快數(shù)據(jù)查詢速度,可以建立對應(yīng)的索引信息[8,9]。
1.3 安裝部署
平臺硬件資源使用5臺通用X86服務(wù)器組成服務(wù)器集群,內(nèi)部數(shù)據(jù)交換采用兩個萬兆交換機(jī)堆疊,外部數(shù)據(jù)訪問采用兩個千兆交換機(jī)堆疊。平臺操作系統(tǒng)為CentOS Linux,建立基于Hadoop的分布式數(shù)據(jù)環(huán)境并進(jìn)行相關(guān)軟件部署。服務(wù)器部署情況如表1所示。
1.4 關(guān)鍵技術(shù)
1.4.1 基于CIMISS的統(tǒng)一數(shù)據(jù)環(huán)境基于模塊化和松耦合的設(shè)計思路,平臺對CIMISS的接口調(diào)用客戶端進(jìn)行了輕量級的封裝,并且提供了一個JS庫用來在瀏覽器端直接訪問CIMISS獲取數(shù)據(jù),方便和規(guī)范系統(tǒng)各模塊對CIMISS接口的調(diào)用。同時提供了超時處理,即保證在CIMISS無響應(yīng)的情況下不會導(dǎo)致該系統(tǒng)請求線程不釋放而耗盡線程資源。在需要查詢氣象數(shù)據(jù)資料的模塊,平臺主要通過調(diào)用CIMISS接口的方式獲取資料。對于目前無法從CIMISS獲取的數(shù)據(jù)資料,平臺暫時從其他數(shù)據(jù)庫或網(wǎng)絡(luò)文件夾上獲取,同時留下數(shù)據(jù)接口,以便下一步進(jìn)行對接。
1.4.2 分布式服務(wù)器集群技術(shù)內(nèi)網(wǎng)平臺對周邊6省將近2萬個自動站的分鐘實況數(shù)據(jù)進(jìn)行實時展示,對于此類大范圍、多要素、高頻次的數(shù)據(jù),平臺采取的策略是:一是在硬件上采用高性能服務(wù)器組成服務(wù)器集群;二是在軟件上采用Hadoop大數(shù)據(jù)分析技術(shù),利用HBase數(shù)據(jù)庫、Kafka、Tachyon,Spark、Phoenix等組件,提升自動站查詢統(tǒng)計速度的問題[10-12]。
1.4.3 WebCIS展示技術(shù)平臺設(shè)計基于JavaScript的WebGIS框架,通過自定義各種組件,實現(xiàn)地圖圖層疊加。表現(xiàn)層的各種顯示通過定制功能組件完成,各個組件互相通信,協(xié)同工作;利用ArcCIS APl完成地圖渲染、繪制及客戶端數(shù)據(jù)處理。應(yīng)用層地圖服務(wù)采用動態(tài)地圖渲染和地圖切片技術(shù)相結(jié)合的方式來發(fā)布,對于底層不經(jīng)常變化的地圖數(shù)據(jù)和地圖背景,利用地圖切片技術(shù),以四叉樹方式對同一地圖在n級不同比例尺下進(jìn)行切分,按照先比例尺等級再圖片所在行對地圖進(jìn)行切片,然后對圖片所在列的文件目錄方式進(jìn)行組織并存儲在服務(wù)端;上層實時變化的氣象數(shù)據(jù)則采用動態(tài)渲染。數(shù)據(jù)層利用WebGIS實現(xiàn)多源數(shù)據(jù)的疊加顯示、空間分析等綜合利用,主要實現(xiàn)自動站與雷達(dá)圖、云圖、預(yù)報產(chǎn)品、等值線分析產(chǎn)品的疊加顯示;自動站的要素平面填圖、基于地圖的站點要素統(tǒng)計查詢及動態(tài)顯示;雷達(dá)圖在WebCIS里面的時間序列動畫顯示等功能。
2 應(yīng)用效果
該平臺于2018年2月在湖南省測試運行,2019年7月正式運行,期間得到了省、市、縣三級用戶的廣泛應(yīng)用及高度好評。建立了預(yù)報服務(wù)產(chǎn)品集約共享機(jī)制,整合了省、市氣象臺的各類產(chǎn)品及水文、環(huán)保等行業(yè)交換數(shù)據(jù),實現(xiàn)了一體化查詢與展示,在為氣象部門內(nèi)部提供數(shù)據(jù)服務(wù)的同時,為湖南省防汛辦、長江流域氣象中心等部門提供了數(shù)據(jù)共享,充分發(fā)揮了數(shù)據(jù)的整體效益。目前平臺包含實況監(jiān)測、預(yù)報預(yù)警、服務(wù)產(chǎn)品以及業(yè)務(wù)管理4大板塊18個欄目,近2 000種產(chǎn)品,并隨著氣象業(yè)務(wù)服務(wù)需求拓展不斷增長,為基層氣象部門業(yè)務(wù)服務(wù)提供了豐富的數(shù)據(jù)與產(chǎn)品支撐。該平臺實現(xiàn)了管理規(guī)范查閱、傳輸質(zhì)量監(jiān)控統(tǒng)計、預(yù)報質(zhì)量評估結(jié)果展示等功能,融合了業(yè)務(wù)服務(wù)與管理,有效促進(jìn)了氣象業(yè)務(wù)質(zhì)量提升;湖南省傳輸及時率達(dá)到100%的資料種類由2017年的4類增長到2019年上半年的7類,數(shù)據(jù)可用性也明顯增長。在汛期關(guān)鍵時期,一線業(yè)務(wù)服務(wù)人員可直接采用平臺產(chǎn)品快速制作各類決策服務(wù)材料,利用高效的分鐘級實況數(shù)據(jù)及時發(fā)布監(jiān)測警報,在氣象防災(zāi)減災(zāi)中發(fā)揮了不可或缺的作用。
3 結(jié)語
內(nèi)網(wǎng)平臺根據(jù)業(yè)務(wù)特點,聚合數(shù)據(jù)和服務(wù),存儲、計算資源向省級集中,通信資源向外延伸,形成“一級部署、多級應(yīng)用”的業(yè)務(wù)布局,實現(xiàn)了“一平臺”提供省市縣三級應(yīng)用,“一窗口”支撐氣象預(yù)報預(yù)警服務(wù),“一站式”提供數(shù)據(jù)加工處理與共享,“一體化”整合信息業(yè)務(wù)服務(wù)與管理。隨著氣象業(yè)務(wù)及信息網(wǎng)絡(luò)技術(shù)發(fā)展,平臺將為省內(nèi)用戶提供更快捷、更高效、更智能的數(shù)據(jù)支撐與服務(wù)。
參考文獻(xiàn):
[1]張志強(qiáng),張強(qiáng),胡星,等.國家氣象業(yè)務(wù)內(nèi)網(wǎng)設(shè)計與實現(xiàn)[J].安徽農(nóng)業(yè)科學(xué),2016,44(6):224-227
[2]李新慶,衛(wèi)建國,單新蘭,等.寧夏氣象業(yè)務(wù)內(nèi)網(wǎng)的功能與實現(xiàn)[J].干旱氣象,2017,35(6):1077-1083。
[3]王會品,王洪祥,孫悅程,等.基于,ArcGIS的大連氣象內(nèi)網(wǎng)業(yè)務(wù)平臺設(shè)計與實現(xiàn)[J].湖北農(nóng)業(yè)科學(xué),2018,57(11):111-112,117
[4]詹利群,任曉煒,黃志,等廣西氣象業(yè)務(wù)內(nèi)網(wǎng)功能設(shè)計與實現(xiàn)[J].氣象研究與應(yīng)用,2019,40(1):71-76.
[5]朱倩雨,宋雅婷氣象業(yè)務(wù)內(nèi)網(wǎng)中業(yè)務(wù)管理模塊的應(yīng)用[J].沙漠與綠洲氣象,2016( Sl):140-141.
[6] QX/Tl02-2009,氣象資料分類與編碼[s].
[7]熊安元,趙芳,王穎,等.全國綜合氣象信息共享系統(tǒng)的設(shè)計與實現(xiàn)[J]應(yīng)用氣象學(xué)報,2015,26(4):500-512
[8]錢建梅,孫安來,徐韶,等.風(fēng)云氣象衛(wèi)星數(shù)據(jù)存檔與服務(wù)系統(tǒng)[J].應(yīng)用氣象學(xué)報,2012,23(3):369-376.
[9]張潔,薛勝軍云計算環(huán)境下氣象大數(shù)據(jù)服務(wù)的應(yīng)用[J].安徽農(nóng)業(yè)科學(xué),2016,44(5),298-301.
[10j LARS G.HBase權(quán)威指南[M]北京:人民郵電出版社,2013.
[11]陸嘉恒.Hadoop實戰(zhàn)[M].第2版北京:機(jī)械工業(yè)出版社,2012.
[12]肖衛(wèi)青,楊潤芝,胡開喜,等Hadoop在氣象數(shù)據(jù)密集型處理領(lǐng)域中的應(yīng)用[J]氣象科技,2015(5):53-58.
作者簡介:鐘艷雯(1976-),女,廣西柳州人,高級工程師,碩士,主要從事氣象信息處理方面的研究,(電話)0731-85600000(電子信箱)cs-yw@163.com;通信作者,尹新懷(1968-),男,湖南邵陽人,高級工程師,碩士,主要從事氣象信息處理與氣象業(yè)務(wù)系統(tǒng)開發(fā)方面的研究.(電話)0731-85534785(電子信箱)yinlb@foxmail.com。