王旖楠, 閆文輝, 張志龍

(1.內(nèi)蒙古自治區(qū)通遼市氣象局,通遼 028000;2.內(nèi)蒙古自治區(qū)興安盟氣象局,烏蘭浩特 137400;3.河北省唐山市豐南區(qū)氣象局,唐山 063300)

0 引言

2020-04-01,地面氣象觀測自動(dòng)化改革正式業(yè)務(wù)運(yùn)行,雖然改革后氣象觀測頻次、數(shù)據(jù)傳輸效率和數(shù)據(jù)量顯著提升,但是當(dāng)臺(tái)站地面或輻射正點(diǎn)數(shù)據(jù)部分或全部缺測或數(shù)據(jù)異常時(shí),仍需省級(jí)數(shù)據(jù)質(zhì)控業(yè)務(wù)部門值班人員聯(lián)系臺(tái)站業(yè)務(wù)人員進(jìn)行繁瑣的人工干預(yù),未能有效利用備份自動(dòng)氣象站(簡稱“備份站”)數(shù)據(jù)在省級(jí)完成數(shù)據(jù)處理[1-2]。同時(shí),大多數(shù)備份站為Ⅰ,Ⅱ,Milos型自動(dòng)氣象站,無法生成能在氣象資料業(yè)務(wù)系統(tǒng)和氣象大數(shù)據(jù)云平臺(tái)入庫的標(biāo)準(zhǔn)格式氣象數(shù)據(jù)(BUFR文件),數(shù)據(jù)無法實(shí)時(shí)進(jìn)入業(yè)務(wù)系統(tǒng),造成資源浪費(fèi)。將備份站全部更換為新型自動(dòng)氣象站的性價(jià)比很低,因此,研究備份站數(shù)據(jù)應(yīng)用方法,使其發(fā)揮應(yīng)有的效益,具有重要的現(xiàn)實(shí)意義。

研究數(shù)據(jù)格式差異及異常數(shù)據(jù)代替方法,在省級(jí)通過程序自動(dòng)實(shí)現(xiàn)用備份站等可用數(shù)據(jù)代替現(xiàn)用自動(dòng)氣象站(均為新型自動(dòng)站,簡稱“現(xiàn)用站”)正點(diǎn)異常數(shù)據(jù)的功能,將大大提高國家氣象觀測數(shù)據(jù)的準(zhǔn)確率、可用率和業(yè)務(wù)可用性,文章就省級(jí)自動(dòng)替換國家站異常數(shù)據(jù)的技術(shù)方案進(jìn)行探究,為省級(jí)數(shù)據(jù)質(zhì)控業(yè)務(wù)部門選擇數(shù)據(jù)處理方式提供有益參考。

1 異常數(shù)據(jù)替換規(guī)則

根據(jù)《地面氣象觀測業(yè)務(wù)技術(shù)規(guī)定實(shí)用手冊》可知,正點(diǎn)時(shí)次異常記錄按照正點(diǎn)前10 min內(nèi)接近正點(diǎn)的正常記錄、正點(diǎn)后10 min內(nèi)接近正點(diǎn)的正常記錄、備份站記錄、內(nèi)插記錄的順序代替[3]。風(fēng)、日照等記錄不可以內(nèi)插,日照、蒸發(fā)、降水量等不可以用分鐘記錄代替。正點(diǎn)前10 min內(nèi)接近正點(diǎn)的正常記錄代替工作已經(jīng)由地面綜合觀測業(yè)務(wù)軟件自動(dòng)實(shí)現(xiàn)[4-5]。文章重點(diǎn)研究利用正點(diǎn)后10 min內(nèi)接近正點(diǎn)的正常記錄、備份站記錄、內(nèi)插記錄代替異常數(shù)據(jù)(不包括日照、蒸發(fā)、降水量)的方法[6]。

2 數(shù)據(jù)替換方法探討

臺(tái)站BUFR文件在氣象資料業(yè)務(wù)系統(tǒng)和氣象大數(shù)據(jù)云平臺(tái)兩個(gè)業(yè)務(wù)系統(tǒng)入庫并對(duì)外提供數(shù)據(jù)查詢服務(wù),但該文件不支持編輯和修改;Z文件可編輯修改,但不能在氣象資料業(yè)務(wù)系統(tǒng)和氣象大數(shù)據(jù)云平臺(tái)入庫?，F(xiàn)用站能同時(shí)生成BUFR文件和Z文件,而Ⅰ,Ⅱ,Milos型備份站只能生成Z文件,再通過“Z轉(zhuǎn)BUFR”插件轉(zhuǎn)換得到BUFR文件。臺(tái)站地面或輻射正點(diǎn)數(shù)據(jù)(BUFR文件)部分或全部異常(錯(cuò)誤、缺測、缺報(bào)等)時(shí),需要由省級(jí)信息中心負(fù)責(zé)數(shù)據(jù)質(zhì)控的技術(shù)人員聯(lián)系臺(tái)站業(yè)務(wù)人員按照異常數(shù)據(jù)替換規(guī)則進(jìn)行人工干預(yù)。

研究Z文件格式發(fā)現(xiàn),文件內(nèi)容分為13段,其中與數(shù)據(jù)相關(guān)的是2～11段。每段的要素和字節(jié)量固定,通過自編小程序能夠讀取相關(guān)要素?cái)?shù)據(jù)并修改數(shù)據(jù)。因此,將臺(tái)站的現(xiàn)用站和備份站Z文件通過FTP傳輸至省級(jí)備用,當(dāng)臺(tái)站現(xiàn)用站出現(xiàn)設(shè)備故障等異常情況時(shí),能夠通過程序自動(dòng)實(shí)現(xiàn)數(shù)據(jù)替換功能。

正點(diǎn)后第1分鐘檢索該正點(diǎn)Z文件名稱,如果找不到該文件,說明全部要素?cái)?shù)據(jù)均缺測;找到正點(diǎn)Z文件時(shí),將其打開并按位讀取各要素?cái)?shù)據(jù),編報(bào)“/”的代表缺測,這兩種情況均需進(jìn)行異常數(shù)據(jù)處理。如果找到的正點(diǎn)Z文件中沒有缺測的要素,則不進(jìn)行處理。

2.1 用正點(diǎn)后10 min內(nèi)接近正點(diǎn)的正常記錄代替

某時(shí)次有要素缺測時(shí),正點(diǎn)后第1 min讀取該要素分鐘數(shù)據(jù)文件,若該要素不缺測,則用該值代替正點(diǎn)值,寫入正點(diǎn)Z文件中的相應(yīng)位置,并不再讀取該要素分鐘數(shù)據(jù)文件;若第1 min該要素缺測,則在第2 min繼續(xù)讀取該要素分鐘數(shù)據(jù)文件,若該要素不缺測,則用該值代替正點(diǎn)值,寫入正點(diǎn)Z文件中的相應(yīng)位置,并不再讀取該要素分鐘數(shù)據(jù)文件,以此類推。此過程持續(xù)到第10 min為止。

案例:某站2022-01-02T03:00正點(diǎn)氣壓、氣溫和相對(duì)濕度缺測,正點(diǎn)后10 min記錄如表1所示;備份站正點(diǎn)氣壓為1,003.5 hPa,氣溫為22.8 ℃,相對(duì)濕度為57%。03:08因供電異常導(dǎo)致計(jì)算機(jī)硬盤損壞,03:08—03:10的分鐘數(shù)據(jù)于2022-12-18修復(fù)計(jì)算機(jī)硬盤后讀出。按照數(shù)據(jù)處理流程,正點(diǎn)Z文件中的氣溫應(yīng)該用第6 min的22.6 ℃代替,相對(duì)濕度應(yīng)該用第7分鐘的56%代替;本站氣壓暫不處理,待12月硬盤修復(fù)后用第10 min的1,003.6 hPa代替。

表1 某站正點(diǎn)后10 min記錄

2.2 用備份站記錄代替

當(dāng)正點(diǎn)后第10分鐘該要素仍缺測時(shí),不再讀取該要素分鐘數(shù)據(jù)文件,并用備份站正點(diǎn)Z文件中對(duì)應(yīng)要素的值代替。

2.3 用內(nèi)插記錄代替

當(dāng)備份站正點(diǎn)Z文件中的氣象要素值缺測時(shí),用現(xiàn)用站該要素值上一時(shí)次與下一時(shí)次的平均值代替(不包括風(fēng))。

案例:某站2022-01-02T08:00正點(diǎn)氣溫缺測,正點(diǎn)前10 min和正點(diǎn)后10 min的記錄缺測,備份站記錄也缺測。07:00和09:00正點(diǎn)氣溫記錄如表2所示,可見,08:00 Z文件中的正點(diǎn)氣溫值應(yīng)該用內(nèi)插計(jì)算出來的22.5 ℃代替。

表2 某站1月2日07:00和09:00正點(diǎn)氣溫記錄

2.4 按缺測處理

如果現(xiàn)用站某要素連續(xù)2個(gè)時(shí)次缺測且無其他代替值,則該要素按缺測處理。

在上述處理流程中,如果某要素正點(diǎn)后10 min內(nèi)的記錄均缺測,會(huì)導(dǎo)致正點(diǎn)后10 min該要素得不到處理,影響了這段時(shí)間的數(shù)據(jù)準(zhǔn)確率。某時(shí)次有要素缺測時(shí),按照異常數(shù)據(jù)替換規(guī)則,在當(dāng)前時(shí)間能獲取的數(shù)據(jù)中選擇符合要求的數(shù)據(jù)進(jìn)行代替處理,即可以避免此類問題。如章節(jié)2.1的案例中,正點(diǎn)時(shí)無法獲取正點(diǎn)后10 min數(shù)據(jù),當(dāng)前本站氣壓、氣溫和相對(duì)濕度用備份站記錄代替,既符合要求又提高了數(shù)據(jù)可用率和到報(bào)時(shí)效;啟動(dòng)“用正點(diǎn)后10 min內(nèi)接近正點(diǎn)的正常記錄代替”的處理流程,用正點(diǎn)后第6 min氣溫代替正點(diǎn)氣溫,正點(diǎn)后第7 min相對(duì)濕度代替正點(diǎn)相對(duì)濕度,12月18日用正點(diǎn)后第10分鐘本站氣壓代替正點(diǎn)本站氣壓,能有效避免數(shù)據(jù)缺測率高、更正數(shù)據(jù)不及時(shí)的問題。

如果不采用自動(dòng)處理異常數(shù)據(jù)的方式,當(dāng)省級(jí)數(shù)據(jù)質(zhì)控業(yè)務(wù)部門值班人員發(fā)現(xiàn)數(shù)據(jù)異常時(shí),再聯(lián)系臺(tái)站業(yè)務(wù)人員人工進(jìn)行確認(rèn)處理,一般需要數(shù)小時(shí)甚至幾天時(shí)間,且存在一定的出錯(cuò)概率。因此,自動(dòng)處理異常數(shù)據(jù)的兩種方案明顯比人工處理異常數(shù)據(jù)具有更高的效率和準(zhǔn)確度。

3 數(shù)據(jù)替換流程設(shè)計(jì)

經(jīng)過比較數(shù)據(jù)異常時(shí)幾種處理方案的效果發(fā)現(xiàn),正點(diǎn)時(shí)次異常記錄用備份站記錄代替,正點(diǎn)后10 min內(nèi)接近正點(diǎn)有正常記錄時(shí)再替換備份站記錄,備份站記錄和正點(diǎn)后10 min內(nèi)記錄均缺測時(shí)用內(nèi)插記錄代替,具有較高的時(shí)效性和準(zhǔn)確性。

4 結(jié)束語

實(shí)現(xiàn)異常數(shù)據(jù)記錄自動(dòng)代替,能夠充分發(fā)揮備份站的備份作用。文章提出了現(xiàn)用站數(shù)據(jù)缺測時(shí)自動(dòng)實(shí)時(shí)使用現(xiàn)用站分鐘數(shù)據(jù)和備份站數(shù)據(jù)代替的兩種技術(shù)方案,并與人工處理異常數(shù)據(jù)的方法進(jìn)行比較,結(jié)果表明:

1)人工處理異常數(shù)據(jù)流程繁瑣,有一定的出錯(cuò)概率,效率低;

2)兩種自動(dòng)處理異常數(shù)據(jù)方案具有更高的效率和準(zhǔn)確度,可解決Ⅰ,Ⅱ,Milos型備份站Z文件不能在氣象資料業(yè)務(wù)系統(tǒng)和氣象大數(shù)據(jù)云平臺(tái)入庫的問題,同時(shí)極大地減少了人工處理數(shù)據(jù)工作量,對(duì)提高國家級(jí)地面氣象觀測站數(shù)據(jù)的準(zhǔn)確率、及時(shí)率、可用率有很大幫助。