徐曉慶,張 智,卓鳳艷,王添男

(1.中國(guó)氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)預(yù)警與風(fēng)險(xiǎn)管理重點(diǎn)實(shí)驗(yàn)室,寧夏 銀川 750002;2.寧夏氣象防災(zāi)減災(zāi)重點(diǎn)實(shí)驗(yàn)室,寧夏 銀川 750002)

0 引言

氣象資料是天氣氣候預(yù)測(cè)和規(guī)律研究的重要依據(jù)。隨著我國(guó)氣象探測(cè)設(shè)備現(xiàn)代化程度的不斷提高,氣象探測(cè)資料的種類和數(shù)量快速增長(zhǎng),信息化氣象資料的存儲(chǔ)及歸檔工作也越來(lái)越受到各級(jí)氣象部門(mén)的重視。沈文海等[1]設(shè)計(jì)了國(guó)家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng),實(shí)現(xiàn)了結(jié)構(gòu)化和非結(jié)構(gòu)化氣象資料的收集、存儲(chǔ)、檢索和備份等多項(xiàng)功能;王恕等[2]、閆蕎蕎等[3]設(shè)計(jì)了省級(jí)氣象資料歸檔管理檢索系統(tǒng),以磁盤(pán)陣列、移動(dòng)硬盤(pán)和DVD光盤(pán)為主要存儲(chǔ)介質(zhì),實(shí)現(xiàn)了結(jié)構(gòu)化和非結(jié)構(gòu)化氣象資料的自動(dòng)存儲(chǔ)與歸檔;滕水昌等[4]設(shè)計(jì)了市級(jí)地面資料數(shù)據(jù)管理系統(tǒng),實(shí)現(xiàn)了地面結(jié)構(gòu)化氣象資料的存儲(chǔ)與管理;虎文珺等[5]利用VB編程實(shí)現(xiàn)了天氣雷達(dá)觀測(cè)數(shù)據(jù)的自動(dòng)歸檔,免除了人工整理、壓縮、存儲(chǔ)各類雷達(dá)觀測(cè)資料的繁重低效工作;張恩紅等[6]建立了氣象數(shù)據(jù)光盤(pán)歸檔系統(tǒng),以藍(lán)光光盤(pán)為存儲(chǔ)介質(zhì),實(shí)現(xiàn)了省級(jí)氣象資料的不定時(shí)歸檔。

受存儲(chǔ)條件的限制,早期寧夏實(shí)時(shí)氣象探測(cè)資料主要存儲(chǔ)在各類服務(wù)器中,其中非結(jié)構(gòu)化氣象資料只存儲(chǔ)3—6個(gè)月。寧夏氣象檔案館僅能歸檔存儲(chǔ)各類月、年報(bào)表等結(jié)構(gòu)化數(shù)據(jù)文件,無(wú)法考慮實(shí)時(shí)報(bào)文等結(jié)構(gòu)化、雷達(dá)等非結(jié)構(gòu)化氣象資料的歸檔存儲(chǔ)問(wèn)題。2020年寧夏氣象信息中心建成1PB容量的存儲(chǔ)服務(wù)器(簡(jiǎn)稱NAS),為寧夏非結(jié)構(gòu)化氣象資料的歸檔提供了存儲(chǔ)條件。

本文在分析寧夏氣象資料歸檔流程的基礎(chǔ)上,設(shè)計(jì)開(kāi)發(fā)了“寧夏氣象資料自動(dòng)歸檔管理系統(tǒng)”(簡(jiǎn)稱“歸檔系統(tǒng)”),能夠?qū)崿F(xiàn)氣象資料自動(dòng)歸檔、網(wǎng)頁(yè)查詢下載、歸檔率統(tǒng)計(jì)等功能,提高了氣象資料業(yè)務(wù)的工作效率。

1 歸檔資料范圍

按照《氣象資料分類與編碼》[7]中氣象資料分類規(guī)定,歸檔系統(tǒng)將寧夏行政區(qū)域內(nèi)地面、高空、輻射、農(nóng)氣、大氣成分、雷達(dá)等氣象觀測(cè)數(shù)據(jù)列入自動(dòng)歸檔范圍;經(jīng)征詢省級(jí)天氣氣候業(yè)務(wù)單位需求,選定天氣預(yù)報(bào)核心業(yè)務(wù)系統(tǒng)所需基礎(chǔ)數(shù)值模式產(chǎn)品、天氣圖等資料也列入自動(dòng)歸檔范圍,共計(jì)7個(gè)大類、22種(表1)。

表1 自動(dòng)歸檔氣象資料種類表Tab.1 Automatic archiving of meteorological data type table

2 系統(tǒng)設(shè)計(jì)

2.1 總體架構(gòu)

歸檔系統(tǒng)以數(shù)據(jù)收發(fā)業(yè)務(wù)監(jiān)控系統(tǒng)(簡(jiǎn)稱CTS)和氣象信息綜合分析處理系統(tǒng)(簡(jiǎn)稱MICAPS)為數(shù)據(jù)源,以虛擬化服務(wù)器為硬件支撐,采用B /S體系架構(gòu),Web網(wǎng)站采用Windows+IIS+ASP.NET架構(gòu),資料歸檔程序采用Linux+Shell的結(jié)構(gòu),數(shù)據(jù)庫(kù)采用Linux+MySQL數(shù)據(jù)庫(kù)語(yǔ)言,服務(wù)器端包括Web 服務(wù)器、歸檔服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器,客戶端基于Web可視化技術(shù)采用瀏覽器方式實(shí)現(xiàn)歸檔氣象資料查詢下載和資料歸檔率統(tǒng)計(jì)結(jié)果展示[8,9]。

歸檔系統(tǒng)總體架構(gòu)在數(shù)據(jù)資源標(biāo)準(zhǔn)化體系的規(guī)范下和基礎(chǔ)設(shè)施的支持下設(shè)計(jì),采用3層體系架構(gòu):服務(wù)層、處理層和數(shù)據(jù)層[10,11](圖1)。其中服務(wù)層為標(biāo)準(zhǔn)的Web 客戶端,負(fù)責(zé)與用戶交互,并通過(guò)Bootstrap表格方式實(shí)現(xiàn)各類歸檔氣象資料的查詢展示;處理層通過(guò)定時(shí)任務(wù)、節(jié)目表實(shí)現(xiàn)氣象資料的自動(dòng)歸檔和日志信息入本地?cái)?shù)據(jù)庫(kù);數(shù)據(jù)層是數(shù)據(jù)的來(lái)源,包括CTS和MICAPS。

圖1 總體架構(gòu)圖Fig.1 Overall structure picture

2.2 功能設(shè)計(jì)

歸檔系統(tǒng)功能設(shè)計(jì)主要包括處理層的氣象資料自動(dòng)歸檔和服務(wù)層的歸檔氣象資料查詢2大模塊,其中氣象資料自動(dòng)歸檔模塊包括實(shí)時(shí)氣象資料歸檔、預(yù)報(bào)業(yè)務(wù)資料歸檔、歸檔資料日志入庫(kù)、歸檔資料日志信息統(tǒng)計(jì)等4個(gè)子模塊;歸檔氣象資料查詢模塊包括歸檔氣象資料查詢下載、資料歸檔率統(tǒng)計(jì)等2個(gè)子模塊。

2.2.1 自動(dòng)歸檔模塊設(shè)計(jì) 自動(dòng)歸檔策略(圖2):實(shí)時(shí)氣象資料的歸檔程序根據(jù)配置信息每日定時(shí)從CTS下載前1 d的氣象資料存入NAS盤(pán)陣;預(yù)報(bào)業(yè)務(wù)資料的歸檔程序根據(jù)配置信息每日定時(shí)從MICAPS數(shù)據(jù)庫(kù)下載前1 d的預(yù)報(bào)資料存入NAS盤(pán)陣;歸檔資料日志入庫(kù)程序遍歷NAS盤(pán)陣的歸檔目錄,并將歸檔信息存入歸檔文件日志表。歸檔資料日志信息統(tǒng)計(jì)程序每日定時(shí)生成當(dāng)日節(jié)目表,根據(jù)歸檔文件日志表統(tǒng)計(jì)前1 d歸檔資料入庫(kù)信息,并存入歸檔文件信息統(tǒng)計(jì)表。具體功能設(shè)計(jì)如下:

圖2 歸檔策略Fig.2 Archive policy

(1)實(shí)時(shí)氣象資料歸檔。歸檔系統(tǒng)從CTS系統(tǒng)獲取各類實(shí)時(shí)氣象資料。CTS系統(tǒng)具備資料推送功能,但推送失敗并達(dá)到一定程度會(huì)影響業(yè)務(wù)運(yùn)行。為減少對(duì)CTS系統(tǒng)的影響,歸檔系統(tǒng)采用Shell腳本編寫(xiě)自動(dòng)歸檔程序,定時(shí)從CTS系統(tǒng)通過(guò)FTP方式采集氣象資料。自動(dòng)歸檔程序部署在Linux系統(tǒng)中,該計(jì)算機(jī)掛載氣象資料歸檔存儲(chǔ)的NAS盤(pán)陣,通過(guò)基于Linux計(jì)劃任務(wù)(crontab)實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)下載。

(2)預(yù)報(bào)業(yè)務(wù)資料歸檔。用于MICAPS[12]產(chǎn)品數(shù)據(jù)文件的冷備份業(yè)務(wù),也可用于近實(shí)時(shí)預(yù)報(bào)業(yè)務(wù)資料的備份業(yè)務(wù)。預(yù)報(bào)業(yè)務(wù)資料歸檔程序部署在Windows計(jì)算機(jī)中。該計(jì)算機(jī)掛載氣象資料歸檔存儲(chǔ)的NAS盤(pán)陣,采用每日定時(shí)備份方式從MICAPS分布式數(shù)據(jù)庫(kù)系統(tǒng)中獲取歐洲中心模式產(chǎn)品(ECMWF)、地面天氣圖和高空天氣圖數(shù)據(jù)存儲(chǔ)至NAS盤(pán)陣。

(3)歸檔資料日志入庫(kù)。用于實(shí)現(xiàn)從歸檔氣象資料存儲(chǔ)NAS盤(pán)陣中列出歸檔資料,生成歸檔文件日志并寫(xiě)入歸檔文件日志表。歸檔氣象資料日志入庫(kù)程序遍歷歸檔氣象資料存儲(chǔ)NAS盤(pán)陣,列出已歸檔文件,并根據(jù)歸檔資料配置信息表獲取歸檔文件日志信息,寫(xiě)入歸檔文件日志表。歸檔氣象資料日志入庫(kù)程序采用Shell腳本編寫(xiě),部署在Linux系統(tǒng)中。該計(jì)算機(jī)掛載氣象資料歸檔存儲(chǔ)的NAS盤(pán)陣,通過(guò)計(jì)劃任務(wù)(crontab)實(shí)現(xiàn)每日定時(shí)歸檔資料日志入庫(kù)。

(4)歸檔資料日志信息統(tǒng)計(jì)。用于實(shí)現(xiàn)生成每日應(yīng)歸檔氣象資料數(shù)量,統(tǒng)計(jì)每日實(shí)際歸檔氣象資料數(shù)量。歸檔日志信息統(tǒng)計(jì)程序根據(jù)傳輸監(jiān)控系統(tǒng)監(jiān)控節(jié)目表或本地配置信息生成每日應(yīng)歸檔氣象資料節(jié)目表,并從歸檔文件日志表中統(tǒng)計(jì)實(shí)際歸檔氣象資料數(shù)量,寫(xiě)入歸檔文件信息統(tǒng)計(jì)表。

2.2.2 查詢下載模塊設(shè)計(jì) 目前寧夏氣象部門(mén)結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)云平臺(tái)入庫(kù)后可長(zhǎng)時(shí)間存儲(chǔ)并提供數(shù)據(jù)服務(wù),而非結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)云平臺(tái)一般存儲(chǔ)3～6個(gè)月。因此歸檔系統(tǒng)的歸檔氣象資料查詢下載只針對(duì)非結(jié)構(gòu)化數(shù)據(jù),主要包括模式產(chǎn)品(ECMWF、WRF)、雷達(dá)(全仰角、逐仰角、PUP產(chǎn)品)和天氣圖(地面、高空)等3大類。模式預(yù)報(bào)和天氣圖資料按時(shí)次查詢,雷達(dá)資料按時(shí)次、站號(hào)查詢,查詢后以表格形式顯示,并可從遠(yuǎn)程服務(wù)器實(shí)現(xiàn)歸檔氣象資料下載。

資料查詢的設(shè)計(jì):選擇查詢條件后,利用ajax方法將查詢條件傳入后臺(tái),從MySQL數(shù)據(jù)庫(kù)歸檔文件日志表中查詢資料的文件名、路徑、文件大小、觀測(cè)時(shí)間等信息,通過(guò)json串將查詢的數(shù)據(jù)傳入網(wǎng)頁(yè),并通過(guò)Bootstrap表格的形式展示。

資料下載的設(shè)計(jì):根據(jù)從MySQL數(shù)據(jù)庫(kù)歸檔文件日志表中查詢資料的文件名、路徑,通過(guò)ftp方式從遠(yuǎn)程服務(wù)器上逐個(gè)下載文件,判斷遠(yuǎn)程服務(wù)器上是否存在下載的文件,若存在則將文件依次下載至程序所在共享目錄share下,若不存在則繼續(xù)循環(huán)判斷下個(gè)文件是否存在。判斷下載的資料是否為ECMWF資料,若是則統(tǒng)計(jì)下載的文件大小sum值,判斷sum值是否大于2G,若是對(duì)下載的文件進(jìn)行打包壓縮;若下載的資料非ECMWF資料,則直接打包壓縮。將下載的文件名和路徑組成json串傳回至前臺(tái),前臺(tái)根據(jù)文件名和路徑從共享目錄下載資料。下載歸檔資料流程圖見(jiàn)圖3。

圖3 下載歸檔資料流程圖Fig.3 Download archived data flow chart

資料歸檔率統(tǒng)計(jì)。根據(jù)實(shí)際歸檔業(yè)務(wù)需求,實(shí)現(xiàn)7大類、22種歸檔氣象資料按不同時(shí)間段進(jìn)行歸檔率統(tǒng)計(jì)。查詢條件中的資料類型,資料種類,市、縣、站信息均來(lái)自MySQL數(shù)據(jù)庫(kù)歸檔文件信息統(tǒng)計(jì)表,根據(jù)該數(shù)據(jù)庫(kù)的表信息的變動(dòng)可以自動(dòng)變動(dòng)查詢條件,并以表格的形式顯示歸檔率統(tǒng)計(jì)情況。

3 關(guān)鍵技術(shù)

3.1 MySQL數(shù)據(jù)庫(kù)技術(shù)

MySQL作為一種關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng),所使用的 SQL 語(yǔ)言是用于訪問(wèn)數(shù)據(jù)庫(kù)的最常用標(biāo)準(zhǔn)化語(yǔ)言,支持多個(gè)開(kāi)發(fā)語(yǔ)言,特別是開(kāi)放源碼,被許多開(kāi)發(fā)選擇[13,14]。本歸檔系統(tǒng)亦選用MySQL作為數(shù)據(jù)庫(kù)管理軟件。

歸檔系統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)表包括:歸檔文件配置信息表、歸檔文件日志表、歸檔文件信息統(tǒng)計(jì)表、站號(hào)與行政編碼信息對(duì)照表。其中歸檔文件配置信息表(ARCHIVE_TYPE_INFO)用于存儲(chǔ)歸檔系統(tǒng)配置信息,包括資料類型、是否下載、下載路徑、歸檔路徑等;歸檔文件日志表(ARCHIVE_FILE_LOG_YYYY)用于存儲(chǔ)歸檔文件信息,包括文件名、文件大小、文件路徑等;歸檔文件信息統(tǒng)計(jì)表(ARCHIVE_FILE_STAT)用于存儲(chǔ)歸檔文件統(tǒng)計(jì)信息,包括資料類型、應(yīng)歸檔文件/站點(diǎn)數(shù)、實(shí)際歸檔文件/站點(diǎn)數(shù)等;站號(hào)與行政編碼信息對(duì)照表(ARCHIVE_FILE_PROGRAM)用于存儲(chǔ)歸檔系統(tǒng)站號(hào)、行政編碼對(duì)應(yīng)關(guān)系,包括資料類型、應(yīng)歸檔文件/站點(diǎn)數(shù)、實(shí)際歸檔文件/站點(diǎn)數(shù)等。

3.2 Shell腳本技術(shù)

Shell是一個(gè)命令行解釋器,采用C語(yǔ)言編寫(xiě),遵循一定的語(yǔ)法將輸入命令加以解釋并傳給系統(tǒng),是用戶使用Linux的橋梁。Linux服務(wù)器部署Shell腳本,結(jié)合crontab可實(shí)現(xiàn)腳本的定時(shí)高效執(zhí)行,提高了運(yùn)維工作效率[15]。

歸檔系統(tǒng)實(shí)時(shí)氣象資料歸檔程序和歸檔資料日志入庫(kù)程序均采用Shell腳本編寫(xiě),通過(guò)crontab定時(shí)執(zhí)行腳本,實(shí)現(xiàn)資料定時(shí)下載和歸檔資料寫(xiě)入數(shù)據(jù)庫(kù)。

3.3 NAS網(wǎng)絡(luò)存儲(chǔ)技術(shù)

NAS全稱為Network Attached Storage(網(wǎng)絡(luò)附屬存儲(chǔ)),是通過(guò)網(wǎng)絡(luò)訪問(wèn)一臺(tái)存儲(chǔ)服務(wù)器,其最大的特點(diǎn)是存儲(chǔ)空間共享,并可根據(jù)存儲(chǔ)容量需求進(jìn)行擴(kuò)展。

2020年寧夏氣象信息中心建成1PB容量的NAS存儲(chǔ),目前NAS資料存儲(chǔ)情況(表2),還有約910 TB空間可使用。歸檔氣象資料存儲(chǔ)空間需求大,不僅有結(jié)構(gòu)化資料,還有非結(jié)構(gòu)化資料,如模式預(yù)報(bào)1 a存儲(chǔ)量約10 TB?；贜AS的大容量和存儲(chǔ)空間共享的優(yōu)點(diǎn),歸檔系統(tǒng)選用NAS作為存儲(chǔ)設(shè)備,并可隨時(shí)擴(kuò)展歸檔存儲(chǔ)空間。

表2 NAS資料存儲(chǔ)情況表Tab.2 NAS data storage table

3.4 基于Bootstrap氣象數(shù)據(jù)可視化技術(shù)

Bootstrap是基于HTML、CSS、JavaScript 開(kāi)發(fā)的前端開(kāi)發(fā)框架,提供了窗體、字體排印、導(dǎo)航、按鈕等其它組件,使得 Web 開(kāi)發(fā)更加快捷[16]。

基于Bootstrap功能,歸檔系統(tǒng)采用基于Bootstrap的B/S開(kāi)發(fā)技術(shù),通過(guò)瀏覽器實(shí)現(xiàn)基于應(yīng)用層 http 協(xié)議提供的 Web 服務(wù),用戶通過(guò)瀏覽器即可查看Bootstrap表格形式的歸檔氣象資料。

4 應(yīng)用實(shí)現(xiàn)

歸檔系統(tǒng)于2022年1月開(kāi)始進(jìn)行業(yè)務(wù)試運(yùn)行,各模塊均運(yùn)行正常。

4.1 自動(dòng)歸檔

選取2022年2—4月,統(tǒng)計(jì)自動(dòng)歸檔程序歸檔氣象資料的運(yùn)行情況(表3)。氣象資料自動(dòng)歸檔約800萬(wàn)個(gè)數(shù)據(jù)文件、2.9 TB存儲(chǔ)量,其中雷達(dá)資料數(shù)量最多約580萬(wàn)個(gè),模式預(yù)報(bào)資料存儲(chǔ)量最大約2.8 TB。只有地面資料和輻射資料的歸檔率未達(dá)到100%,其中地面資料是因逐小時(shí)資料中有個(gè)別站上傳報(bào)文缺報(bào)導(dǎo)致,輻射資料是因1個(gè)站軟件故障一直未上傳報(bào)文導(dǎo)致。從歸檔率整體情況看,自動(dòng)歸檔模塊能夠及時(shí)、完整地自動(dòng)歸檔氣象資料。

4.2 查詢下載

以前氣象資料一般利用FTP從服務(wù)器共享目錄內(nèi)獲取,極大地限制了氣象資料的共享性。歸檔系統(tǒng)基于C#、jQuery、Bootstrap和json等技術(shù)[17-19]開(kāi)發(fā)歸檔氣象資料查詢下載頁(yè)面,通過(guò)瀏覽器即可在線查詢下載歸檔氣象資料。

根據(jù)界面選定的查詢條件,可將氣象資料查詢、資料歸檔率統(tǒng)計(jì)以Bootstrap表格格式顯示,使用表格右上角的搜索框可以快速查找用戶需要的資料。如需下載,可自動(dòng)將查詢到的歸檔氣象資料下載到本地谷歌瀏覽器的默認(rèn)路徑。

5 結(jié)論

根據(jù)寧夏現(xiàn)有氣象探測(cè)資料的種類和天氣預(yù)報(bào)核心業(yè)務(wù)系統(tǒng)所需基礎(chǔ)預(yù)報(bào)資料,制定符合氣象行業(yè)標(biāo)準(zhǔn)和省級(jí)氣象資料存儲(chǔ)管理規(guī)定的自動(dòng)歸檔策略,設(shè)計(jì)開(kāi)發(fā)“寧夏氣象資料自動(dòng)歸檔管理系統(tǒng)”,實(shí)現(xiàn)了寧夏氣象資料自動(dòng)歸檔、Web查詢下載和自動(dòng)歸檔資料統(tǒng)計(jì)等功能,不僅為天氣預(yù)報(bào)業(yè)務(wù)提供基礎(chǔ)預(yù)報(bào)資料,還可為各級(jí)業(yè)務(wù)管理部門(mén)了解掌握屬地氣象探測(cè)資料的歸檔情況提供查詢工具。同時(shí)系統(tǒng)具有可擴(kuò)展性和可維護(hù)性,能適應(yīng)今后新增氣象資料的自動(dòng)歸檔業(yè)務(wù)需求。