范宏飛

(湖北省氣象信息與技術保障中心,武漢 430074)

0 引 言

質量控制(QC:Quality Control)是質量管理的一部分,重點是要達到各項質量要求；包括為達到各項質量要求所使用的各種業(yè)務技術方法和各項活動。資料質量控制是質量管理體系中最為熟知的組成部分,它包括對臺站和信息中心的資料進行審核,旨在檢測誤差。

由于各種原因(例如硬件缺陷、設備故障、傳輸問題),在給定位置的氣象觀察資料可能是不準確的。資料的準確度對資料的分析、計算和科學應用都至關重要。因此,需要對觀測資料的質量進行控制,這是一項重要的基礎性工作,它涉及到資料的一致性和準確度。質量控制可以幫助確定哪些氣象觀測資料不準確,并進行訂正。

對氣象觀測資料進行質量控制是氣象業(yè)務、科研和服務的基礎技術工作,在觀測資料種類越來越多,站點密度和觀測頻次越來越大的情況下,能自動運行且疑誤檢測效率較高的質量控制方法顯得尤為重要[1]。針對不同的氣象資料,國內報道了許多質量控制(QC)系統(tǒng)和方法[2-6]。

觀測資料質量控制的主要目的是檢測缺失的數(shù)據和誤差,以及對可能的誤差進行訂正。觀測資料的質量控制包括對臺站和信息中心的資料進行審核,以檢測出缺失的數(shù)據和誤差；確認資料并加以標識,以及必要時對資料進行估算和訂正,以消除主要的誤差來源,確保達到盡可能高的質量標準,使所有用戶可以最佳地利用這些資料。

隨著自動氣象觀測取代人工觀測,數(shù)據傳輸和處理流程、處理時效以及存儲管理均發(fā)生了很大變化,所以氣象資料業(yè)務系統(tǒng)質量控制方案與以前存在較大差異,有必要重新設計與完善,以適應其變化。

為確保高質量的自動氣象站資料,一個精心設計的質量控制系統(tǒng)是至關重要的。筆者結合自動氣象站觀測資料要素多、復雜性和實時性的特點,基于資料所反映的大氣變量的物理、氣候特征和資料必須遵循的基本規(guī)律,研制了一套基于有效性和一致性檢查的3 級可操作性強、能實現(xiàn)計算機自動化運行且可疑錯誤數(shù)據檢測效率較高的自動氣象站(含區(qū)域站)資料質量控制系統(tǒng)。

與國內質量控制系統(tǒng)和方法對比,該系統(tǒng)首次設計開發(fā)了一套由簡入繁的3 級質量控制系統(tǒng),可以由粗入細對錯誤和可疑資料進行逐級質控,提高了檢測效率和檢測質量。相比其他技術,有效性檢查實現(xiàn)簡單,可剔除粗大誤差,檢測效率非常高。時間一致性檢查包括:時變檢查和持續(xù)性檢查兩種技術,可檢查數(shù)據的突變和不變,能直觀地反映數(shù)據的變化規(guī)律和設備狀態(tài)。內部一致性檢查技術分為3 種:1) 同類要素之間的關系,2) 不同類型要素之間的關系,3) 統(tǒng)計值之間的關系?？紤]上述3 種不同的情況,使檢測更加精細準確。空間一致性檢查采用最優(yōu)插值(OI:Optimal Interpolation)技術是均方差最小的線性插值方法,獲得的插值是通過重新分析選取最優(yōu)的,插值更具有代表性和相關性,質量控制效果更佳。該系統(tǒng)技術成果已應用于省級氣象信息中心的氣象數(shù)據業(yè)務系統(tǒng)(MDOS:Meteorological Data Operation System),在全國省級氣象部門進行推廣應用。

1 自動氣象站資料3 級質量控制系統(tǒng)整體設計

根據自動氣象站觀測資料的特點,筆者設計了一套3 級自動氣象站資料自動質量控制(QC)系統(tǒng),針對不同氣象要素的特點和氣候物理規(guī)律,設計了不同級別檢查的方法,可以很好地提高疑誤氣象數(shù)據的檢查效率。該系統(tǒng)已應用于省級氣象信息中心的自動氣象站資料的質量控制[7-9]。具體為:1 級為有效性檢查；2 級為內部一致性和時間一致性檢查；3 級為空間一致性檢查。其中1 級質量控制是最簡單有效的檢查,2 級是非常有效的檢查,3 級是最復雜的檢查。自動氣象站氣象資料部分要素3 級質量控制技術設計的詳細描述如表1 所示。表1 中√表示執(zhí)行該QC,(1)、(2)、(3)、(4)、(5)、(6)、(7)為內部一致性檢查的主要檢查技術條款。

表1 自動氣象站氣象資料部分要素3 級質量控制技術設計Tab.1 Three-level quality control technology design of some meteorological elements data in automatic weather station

2 質量控制系統(tǒng)數(shù)據流程設計

自動氣象站資料3 級自動質量控制技術具體的質量控制流程為:C-粗通過,通過1 級；X-錯誤,1 級失??；S-篩選,通過1 級和2 級；Q-可疑,通過了1 級,沒有通過2 級或3 級；V-驗證,通過1 級、2 級和3 級。并標注相應的質量控制碼。每級都設計主觀干預(人機交互檢查)。3 級質量控制系統(tǒng)數(shù)據流程圖如圖1 所示,圖1 中N 為未通過質控,Y 為通過質控。

圖1 3 級質量控制系統(tǒng)數(shù)據流程圖Fig.1 Data flow chart of three-level quality control system

3 1級質量控制技術--有效性檢查

1 級質量控制技術采用有效性檢查,可以對觀測數(shù)據進行物理和氣候極值的檢查,適用于自動氣象站資料的所有要素。從氣候學和物理學角度上不可能出現(xiàn)的要素臨界值稱之為要素的有效性檢查。不在界限范圍內的自動氣象站數(shù)據被標記為未通過一級QC 檢查,即標記為錯誤數(shù)據,這樣可以剔除粗誤差數(shù)據,并標記質量控制碼1。選取部分氣象要素的有效性檢查的界限范圍[10-12],也就是從物理意義和氣候學角度不可能出現(xiàn)的極值,筆者參考多方資料進行了優(yōu)化處理。各要素對應的有限性檢查范圍如表2 所示。

表2 氣象要素有效性檢查界限范圍表Tab.2 Limits and range of meteorological element validity check

4 2級質量控制技術--一致性檢查

2 級質量控制技術即一致性檢查,包括時間一致性檢查和內部一致性檢查[13-15]。這兩項技術可以對自動氣象站數(shù)據進行更加精準的質量控制,以進一步確定可疑和錯誤數(shù)據,并標記質量控制碼。

4.1 時間一致性檢查

首先2 級質量控制采用時間一致性檢查。2 級QC的時間一致性檢查就是檢查每個觀察值的時間變化率是否在一定的變化范圍(或閾值)內。本系統(tǒng)時間一致性檢查包括:時變檢查和持續(xù)性檢查兩種技術。兩種方法適用于本站氣壓、海平面氣壓、3 h 變壓、氣溫、露點溫度、相對濕度、水氣壓、風速、風向、地面溫度、地溫和草溫等氣象要素。

時變檢查主要根據要素在某一時段內可能的變化范圍(或閾值)判斷該要素值的質量。此項檢查的目的是校驗瞬時資料的時間變化率,即檢查不合實際的數(shù)值峰值或跳變,或因傳感器堵塞而引起的死區(qū)。不在閾值內的觀察數(shù)據被標記為未通過時間一致性檢查,數(shù)據標識為可疑,標記質控碼2。

持續(xù)性檢查是檢查在一段時間內(如1 d),許多氣象要素值隨著時間、地域的變化出現(xiàn)的波動。如果某要素值長時間沒有發(fā)生變化,則數(shù)據錯誤,有可能是觀測儀器或傳輸設備出現(xiàn)故障。在質量控制中,用標準差σ衡量某要素一組數(shù)值中某一數(shù)值與其平均值差異程度,用于評估某要素值可能的變化或波動程度。標準差越大,要素值波動的范圍就越大。σ的取值隨地理區(qū)域和要素而不同。筆者用σ=stdev()函數(shù)計算標準差。

時變檢查和持續(xù)性檢查算法如表3、表4 所示,其中avgP=avg(P-1,P1)；α1=8、α2=16 hPa。avg()為計算平均值,stdev()為計算標準差。

表3 小時氣壓時變檢查算法Tab.3 Time-varying air pressure inspection algorithm

表4 小時氣壓持續(xù)性檢查算法Tab.4 Hour air pressure continuity check algorithm

4.2 內部一致性檢查

其次2 級質量控制采用內部一致性檢查。該檢查適應于本站氣壓、海平面氣壓、3 h 變壓、氣溫、露點溫度、水氣壓、風速、風向等要素。內部一致性檢查技術分為3 種:

1) 檢查同類要素之間的關系。氣壓內部一致性檢查包括將每個站的氣壓變化觀測值與當前本站氣壓和3 h 前的本站氣壓之差進行比較,并將報告的海平面氣壓與計算的海平面氣壓進行比較。在前一次檢查中,如果報告的3 h 氣壓變化觀測值與計算值不匹配,則報告的觀測值被標記為錯誤。然而,在后一種檢查中,如果報告的海平面壓力與計算的值不匹配,則海平面氣壓和本站氣壓值都被標記為錯誤。

2) 檢查要素之間的關系。露點溫度觀測值不能超過同一站的溫度觀測值,否則露點和溫度觀測值都會被標記為內部一致性檢查失敗。如可以通過露點溫度與水汽壓之間的函數(shù)關系計算露點溫度,若計算的露點溫度與實測值相差較大(絕對值大于0.5 ℃),則露點溫度與水汽壓至少有一個要素有疑誤。水汽壓、露點溫度、海平面氣壓3 個要素采用直接計算進行質量控制。

3) 檢查與統(tǒng)計值之間的關系。如可以通過前兩個小時前的正點本站氣壓與當前小時的正點本站氣壓的差值計算3 h 變壓,若計算的值與臺站上傳的3 h 變壓統(tǒng)計值不一致,則兩個小時前的正點本站氣壓、當前小時的正點本站氣壓與臺站上傳的3 h 變壓統(tǒng)計值至少有一個要素有疑誤。

內部性一致性檢查的主要檢查技術條款如下[16-20]。

1) 海拔高度大于0 時,海平面氣壓大于本站氣壓；海拔高度等于0 時,海平面氣壓等于本站氣壓；海拔高度小于0 時,海平面氣壓小于本站氣壓。海平面氣壓-海平面氣壓的計算值1.2 hPa,則海平面氣壓值錯誤。

2) 本站氣壓-3 h 前本站氣壓≠3 h 變壓,則3 h 變壓數(shù)據錯誤。

3) 露點溫度觀測值不能超過同一站的溫度觀測值,否則露點溫度值錯誤。

5) 在下列情況下,風向風速信息被認為是錯誤的:風向=00(靜風)且風速≠00；風向≠00 且風速=00；風向=99(缺測)且風速=00 或風速≥0.5 m/s。

6) 當計算的水汽壓與當前小時水汽壓數(shù)據相差0.5 hPa 時,數(shù)據錯誤。

5 空間一致性檢查

空間一致性檢查通常利用與被檢查臺站鄰近的臺站同一時間觀測的氣象要素值與其進行比較,或利用鄰近測站觀測值通過一定的插值方法計算出被檢查臺站的分析值,對觀測值與分析值進行比較,這是一種非常有效的質量控制方法。

3 級質量控制技術采用空間一致性(或“伙伴”)檢查,通過對比分析,具體采用最優(yōu)插值(OI)技術。該檢查適用于本站氣壓、海平面氣壓、3 h 變壓、氣溫、露點溫度、相對濕度、水氣壓、風速和風向等要素。最優(yōu)插值法是從統(tǒng)計意義上均方差最小的線性插值方法。利用特定的空間分析方法,與只考慮距離權重的Cressman、kriging 或Shepard 插值方法不同,OI 方法應用到空間內插時,除了距離還要考慮格點與站點以及站點與站點之間的空間相關性,其插值結果具有一定優(yōu)勢[21-23]。

具體的空間一致性檢查方法如下。在每個觀測位置處,選取5 個以上的相鄰位置觀測值作為插值樣本,計算觀測值與由OI 插值出的分析值之間的差異。如果兩個值之間的差異幅度很小,則觀測結果與其鄰居分析值一致,并被認為是正確的。但如果兩者差異很大,則被檢查的觀測值和分析中使用的分析值,兩者之一是錯誤的。為了確定是哪種情況,通過一次消除一個相鄰的觀測值對觀測位置進行重新分析。如果連續(xù)消除每個鄰居值都不能產生與目標觀測值一致的分析(正在檢查的觀測值),則觀測值被標記為錯誤。如果消除其中一個相鄰觀測值產生的分析值與目標觀測值一致,則目標觀測值被標記為正確,相鄰觀測值被標記為可疑。在隨后的OI 分析中不使用可疑觀測值。圖2 說明了再分析的程序過程。

圖2 再分析程序Fig.2 Reanalysis procedure

6 系統(tǒng)實際應用效果

該系統(tǒng)技術已在氣象數(shù)據業(yè)務系統(tǒng)(MDOS)的開發(fā)與升級中得到了應用,并在全國氣象部門省級信息中心得到推廣[24-27],提高了全國自動氣象站資料的質量一致性和準確度,減少人工勞動,發(fā)揮了很好的效益。該系統(tǒng)對湖北省國家級自動氣象站資料的部分質量控制結果如圖3 所示。通過質量控制發(fā)現(xiàn)的錯誤數(shù)據舉例如下:80 cm 地溫未通過范圍值檢查(偏高)(見圖4),露點溫度未通過內部一致性檢查(見圖5),草溫未通過時變檢查(見圖6)。

圖3 MDOS 系統(tǒng)質控結果圖Fig.3 Quality control results of MDOS system

圖4 發(fā)現(xiàn)80 cm 地溫未通過范圍值檢查(偏高)的錯誤數(shù)據圖Fig.4 The wrong data diagram that the ground temperature of 80 cm failed the range value check (on the high side)

圖5 發(fā)現(xiàn)露點溫度未通過內部一致性檢查的錯誤數(shù)據圖Fig.5 The error data diagram of dew point temperature failing to pass the internal consistency check

圖6 發(fā)現(xiàn)草溫未通過時變檢查的錯誤數(shù)據圖Fig.6 The error data of grass temperature failing time-varying check

7 結 語

筆者設計了一套基于數(shù)據有效性和一致性檢查的自動氣象站資料3 級自動質量控制技術。該系統(tǒng)能很好地結合自動氣象站觀測資料復雜性和實時性的特點,基于資料所反映的大氣變量的物理、氣候特征和資料必須遵循的基本規(guī)律,具有很強的針對性和檢測效率高的優(yōu)點,較好地適用于自動氣象觀測的新形勢。研制確定的質量控制技術包括有效性檢查、時間一致性檢查、內部一致性檢查和空間一致性檢查等,其中時間一致性檢查還包括時變檢查和持續(xù)性檢查兩種技術；內部一致性檢查包括同類要素之間、不同要素之間、要素值與統(tǒng)計值之間檢查3 種技術；空間一致性檢查采用最優(yōu)插值法技術。該系統(tǒng)具有很好的操作性和實用性,可以實現(xiàn)計算機自動化且疑誤檢測效率較高,部分技術已投入氣象數(shù)據業(yè)務系統(tǒng)(MDOS)應用,對自動氣象站數(shù)據的質量控制系統(tǒng)開發(fā)與改進具有參考價值。