肖俊安,芒蘇爾·艾熱提
(新疆維吾爾自治區(qū)氣象臺,新疆 烏魯木齊 830002)
為適應(yīng)氣象預(yù)報業(yè)務(wù)智能精準(zhǔn)、客觀定量的發(fā)展要求,應(yīng)推進研究型業(yè)務(wù)發(fā)展,激勵廣大研發(fā)人員和預(yù)報員積極開展預(yù)報技術(shù)方法研發(fā)和業(yè)務(wù)應(yīng)用,促進預(yù)報關(guān)鍵技術(shù)突破和自主可控,提升預(yù)報技術(shù)的先進性和智能化水平,提高預(yù)報準(zhǔn)確率,實現(xiàn)創(chuàng)新驅(qū)動氣象預(yù)報高質(zhì)量發(fā)展。開發(fā)智能網(wǎng)格業(yè)務(wù)系統(tǒng)已成為智能網(wǎng)格預(yù)報的優(yōu)化方向之一,鄭波等[1]分析了智能網(wǎng)格預(yù)報業(yè)務(wù)的特點,闡述了全國綜合氣象信息共享平臺的精細(xì)化格點業(yè)務(wù)數(shù)據(jù)環(huán)境的數(shù)據(jù)流程、核心功能等相關(guān)技術(shù)。目前國內(nèi)很多省份也都完成了個性化的智能網(wǎng)格預(yù)報平臺的設(shè)計與實現(xiàn)[2-4]。本研究主體采用C/S 架構(gòu),監(jiān)控模塊采用B/S 架構(gòu),可以對每個環(huán)節(jié)生成的預(yù)報產(chǎn)品進行管理和監(jiān)控。設(shè)計與實現(xiàn)基于新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化系統(tǒng),對今后的新疆智能網(wǎng)格強對流短時預(yù)報業(yè)務(wù)也具有較好的支撐作用。
新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品中主要包含了3 個產(chǎn)品,即強降水預(yù)報產(chǎn)品、大風(fēng)預(yù)報產(chǎn)品和雷暴預(yù)報產(chǎn)品。強降水預(yù)報產(chǎn)品是基于CLDAS 格點融合產(chǎn)品基礎(chǔ)上對多個模式產(chǎn)品的檢驗加權(quán)分級訂正后生成的,短時大風(fēng)預(yù)報產(chǎn)品是利用CLDAS 格點融合產(chǎn)品和多模式的全格點滾動建模技術(shù)生成的,雷暴預(yù)報產(chǎn)品是主要基于高分辨率區(qū)域模式預(yù)報產(chǎn)品基礎(chǔ)上進行概率模糊和動態(tài)取優(yōu)方法后生成的。
本次強對流短時預(yù)報產(chǎn)品主要基于中國氣象局下發(fā)的GRAPES-MESO-3KM 模式產(chǎn)品、新疆本地的DOGRAFS 模式產(chǎn)品和中亞睿圖RMAPS 模式產(chǎn)品技術(shù)上制作產(chǎn)生的,綜合利用了國內(nèi)在新疆地區(qū)的主要模式產(chǎn)品,建立了時空統(tǒng)一的模式產(chǎn)品數(shù)據(jù)集。
新疆短時強降水預(yù)報產(chǎn)品和雷暴預(yù)報產(chǎn)品都是新研發(fā)產(chǎn)品,預(yù)估目標(biāo)不低于所有模式預(yù)報準(zhǔn)確率,大風(fēng)預(yù)報產(chǎn)品目前要遠(yuǎn)高于模式預(yù)報產(chǎn)品準(zhǔn)確率。
基于新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化系統(tǒng)的架構(gòu)采取統(tǒng)一標(biāo)準(zhǔn)的設(shè)計原則,采用分層架構(gòu)設(shè)計,自下而上依次是數(shù)據(jù)層、業(yè)務(wù)層,表現(xiàn)層。各層之間既相對獨立又形成一個統(tǒng)一的整體,實現(xiàn)系統(tǒng)的高內(nèi)聚、低耦合的特點。這樣不僅有利于系統(tǒng)獨立運行,同時也便于系統(tǒng)的維護和管理。系統(tǒng)整體架構(gòu)設(shè)計如圖1 所示。
圖1 基于新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化系統(tǒng)整體架構(gòu)
數(shù)據(jù)層主要是由新疆多模式集成滾動訂正的強對流預(yù)報技術(shù)方法生成的強對流初始產(chǎn)品、后處理產(chǎn)品和最終產(chǎn)品及備份報的本地存儲。
業(yè)務(wù)層—邏輯是整個系統(tǒng)的核心組成部分,主要是針對一系列產(chǎn)品的業(yè)務(wù)操作邏輯。主要分為產(chǎn)品匯總模塊、產(chǎn)品處理模塊、流程調(diào)度模塊、FTP 上傳模塊、產(chǎn)品壓縮編碼模塊和備份報模塊。
業(yè)務(wù)層—配置提供系統(tǒng)的管理和維護服務(wù),包括起報時和路徑信息的配置、短時強降水和大風(fēng)的閾值配置、流程調(diào)度信息配置、FTP 上傳信息配置、最終產(chǎn)品壓縮編碼信息配置和網(wǎng)絡(luò)站點配置。系統(tǒng)通過結(jié)合環(huán)境變量和ConfigParser 庫讀取外部ini 配置文件內(nèi)的多種參數(shù)來進行配置管理。
表現(xiàn)層主要是調(diào)用Rest 服務(wù)請求的接口,將數(shù)據(jù)層中產(chǎn)品明細(xì)和平臺層中各模塊的處理結(jié)果返回至前端,通過Javascript 腳本對返回信息處理生成監(jiān)控流程和報警信息,將其渲染至網(wǎng)頁上顯示。
新疆智能網(wǎng)格強對流短時預(yù)報集約化流程系統(tǒng)的主要功能設(shè)計包含系統(tǒng)運行、雙備份報、調(diào)度管理、產(chǎn)品監(jiān)控及信息展示5 個部分。
3.1.1 資料及產(chǎn)品歸檔入庫
為了后續(xù)對初始產(chǎn)品、后處理產(chǎn)品和最終產(chǎn)品的處理更加高效便捷,符合氣象目錄規(guī)范和使用習(xí)慣的統(tǒng)一存儲就顯得尤為重要。部分存儲目錄的結(jié)構(gòu)如表1所示,目錄結(jié)構(gòu)共設(shè)置為4 個層級,分別是根目錄和1、2、3 級子目錄。其中根目錄和1、2 級子目錄都是固定目錄,用于區(qū)分初始產(chǎn)品和最終產(chǎn)品以及各要素;3級子目錄是可變的,根據(jù)產(chǎn)品日期YYYY/YYYYMM DD(4 位數(shù)年份/4 位數(shù)年份+2 位數(shù)月份+2 位數(shù)日期)和起報時HH(2 位數(shù)小時數(shù))的變化建立,用于動態(tài)具體的歸檔產(chǎn)品。
表1 部分存儲目錄結(jié)構(gòu)
3.1.2 強對流產(chǎn)品加工處理
使用Pandas 和Numpy 兩種數(shù)學(xué)函數(shù)庫對數(shù)據(jù)進行加工:對新疆智能網(wǎng)格降水格點產(chǎn)品進行范圍切割、閾值篩選處理得到Micaps 第四類格式的強降水產(chǎn)品;對新疆智能網(wǎng)格陣風(fēng)和閃電格點預(yù)報產(chǎn)品進行閾值篩選后,分別得到由值為1(有)和0(無)構(gòu)成的大風(fēng)和閃電預(yù)報,通過二者對應(yīng)格點數(shù)值相交,得到Micaps第四類格式的雷暴大風(fēng)格點預(yù)報產(chǎn)品。對強降水和雷暴大風(fēng)預(yù)報產(chǎn)品進行插值處理,得到烏魯木齊市站單站強對流精細(xì)化報文。對強降水和雷暴大風(fēng)預(yù)報的Micaps 文件進行壓縮編碼,打包生成符合競賽標(biāo)準(zhǔn)的Grib2 文件格式的產(chǎn)品,并匯總在Final_Product 對應(yīng)要素的目錄中,等待FTP 程序自動上傳至競賽服務(wù)器。
3.1.3 產(chǎn)品推送
對最終產(chǎn)品路徑里符合命名規(guī)范的各類文件列表快速檢索,根據(jù)產(chǎn)品名稱中的關(guān)鍵字、日期和存儲格式,通過FTP 的方式,動態(tài)地將產(chǎn)品推送到競賽服務(wù)器對應(yīng)目錄中。
由于此次競賽規(guī)則中有一項主要考察各參賽隊上傳的參賽預(yù)報技術(shù)方法生成預(yù)報產(chǎn)品的穩(wěn)定性和到報及時率,為了避免出現(xiàn)服務(wù)器故障或其他不可抗力導(dǎo)致強對流產(chǎn)品無法按時生成的情況,系統(tǒng)采用了雙份備份報機制,2 份備份報最終都會推送至信息中心競賽服務(wù)器。如果到上傳中國氣象局時間點正式產(chǎn)品仍未生成,則自動優(yōu)先上傳訂正備份報,如果訂正備份報也未生成,則上傳基礎(chǔ)備份報。
3.2.1 生成基礎(chǔ)備份報
強對流服務(wù)器上部署了一套基礎(chǔ)備份報生成程序。每天17:00 基礎(chǔ)備份報生成程序?qū)⒐潭ǖ臒o強降水、無雷暴大風(fēng)的Micaps 模板文件名和內(nèi)容中的日期替換成次日的,經(jīng)過壓縮編碼后一次性生成次日的所有產(chǎn)品。
3.2.2 生成訂正備份報
備份服務(wù)器上部署了一套訂正備份報生成程序。訂正備份報則在正式產(chǎn)品上傳前一小時生成。訂正備份報采用中國氣象局下發(fā)的全國強降水和雷暴大風(fēng)指導(dǎo)產(chǎn)品作為基礎(chǔ)預(yù)報產(chǎn)品,在此之上進行新疆區(qū)域范圍裁剪及質(zhì)控,再進行壓縮編碼后生成。
3.3.1 系統(tǒng)運行流程調(diào)度
分別在01:00—01:30、07:00—07:30、13:00—13:30、19:00—19:30 這4 個時間段每分鐘并行執(zhí)行資料及產(chǎn)品歸納入庫、產(chǎn)品加工處理、強對流產(chǎn)品壓縮編碼、最終產(chǎn)品推送4 個子程序。
3.3.2 雙備份報生成調(diào)度
基礎(chǔ)備份報調(diào)度:每日17:00 執(zhí)行次日的強對流模板壓縮編碼、最終備份報推送2 個子程序。
訂正備份報調(diào)度:分別在00:00—01:30、06:30—07:30、12:30—13:30、18:30—19:30這4 個時間段每分鐘并行執(zhí)行中國氣象局下發(fā)的全國強降水和雷暴大風(fēng)指導(dǎo)產(chǎn)品歸納入庫、產(chǎn)品加工處理、強對流產(chǎn)品壓縮編碼、最終訂正備份報推送4 個子程序。
為方便管理人員對產(chǎn)品狀態(tài)有直觀的了解,配合Django 框架快速開發(fā)了新疆智能網(wǎng)格強對流競賽產(chǎn)品監(jiān)控模塊。該模塊實現(xiàn)一個簡單的單頁面應(yīng)用,模塊的查詢接口采用RESTful 架構(gòu)開發(fā),遵循RESTful API規(guī)范。用戶在模塊網(wǎng)頁前端選取日期和起報時等接口參數(shù),點擊查詢后,訪問URL 接口調(diào)用后端的監(jiān)控服務(wù)邏輯,將結(jié)果以JSON 的格式返回至前端渲染,管理人員可以清晰看到每次產(chǎn)品生成、推送的狀態(tài)和數(shù)量,及時發(fā)現(xiàn)問題的所在。
基于新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化系統(tǒng)對新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的定時匯總、處理、上傳、監(jiān)控等流程進行了統(tǒng)一的管理,各環(huán)節(jié)有序銜接。系統(tǒng)自投入使用以來,整體運行高效穩(wěn)定,確保了競賽產(chǎn)品完整準(zhǔn)時地上傳中國氣象局。目前系統(tǒng)在功能完整性方面還存在不足,例如Web 監(jiān)控應(yīng)用的后端邏輯尚未接入產(chǎn)品就位時間和系統(tǒng)報錯日志等信息。后期還需要繼續(xù)在產(chǎn)品監(jiān)控和故障告警等功能方面進行完善和升級,為新疆智能網(wǎng)格強對流短時預(yù)報產(chǎn)品的集約化管理提供更好的支撐作用。