【摘要】 海濱觀測資料的前端質(zhì)量控制,不涉及控制符,可以根據(jù)萊茵達(dá)準(zhǔn)則和肖維勒準(zhǔn)則判斷數(shù)據(jù)異常的真正原因,區(qū)分出含有過失誤差的異常值以及因周邊海況變化導(dǎo)致的正確異常值。本文在水文氣象自動觀測系統(tǒng)配備的計(jì)算機(jī)質(zhì)量自動控制的基礎(chǔ)上,優(yōu)化設(shè)置各要素的測量范圍,通過報(bào)警短信的模式發(fā)現(xiàn)異常數(shù)據(jù),挑出非誤差產(chǎn)生而是因環(huán)境變化造成的正確異常數(shù)據(jù),從而確定出海洋站的水文氣象要素?cái)?shù)據(jù)合理性檢驗(yàn)值。
【關(guān)鍵詞】 實(shí)時(shí)觀測數(shù)據(jù);前端質(zhì)控;異常值;識別;檢驗(yàn)值
1、引 言
觀測資料數(shù)據(jù)文件質(zhì)量控制根據(jù)數(shù)據(jù)傳輸節(jié)點(diǎn),實(shí)行“海洋站-中心站-海區(qū)信息中心-國家海洋信息中心”四級質(zhì)控體系,分成前端質(zhì)控和后端質(zhì)控兩個(gè)階段。前端質(zhì)控的內(nèi)容是是在計(jì)算機(jī)錄入前的預(yù)審,對錯誤或可疑記錄進(jìn)行查詢、修改和處理,以及在計(jì)算機(jī)錄入或轉(zhuǎn)換過程中進(jìn)行計(jì)算機(jī)自動質(zhì)量控制。
這些數(shù)據(jù)采集錄入計(jì)算機(jī)后首先需經(jīng)過計(jì)算機(jī)自動質(zhì)量控制(自診斷)。質(zhì)量控制的結(jié)果不是改變或簡單剔除數(shù)據(jù),而是通過質(zhì)量控制,實(shí)事求是地反應(yīng)真實(shí)情況。雖然計(jì)算的“自診斷技術(shù)”可以剔除一部分“錯誤”數(shù)據(jù)以達(dá)到數(shù)據(jù)質(zhì)量控制的前端處理(前端質(zhì)控),但是不可能解決數(shù)據(jù)前端處理的所有質(zhì)量問題。與機(jī)器故障有關(guān)的異常數(shù)據(jù)固然是錯誤數(shù)據(jù)可以被剔除。然而,對一些特殊情況如周邊環(huán)境的新變化導(dǎo)致該海域海洋環(huán)境的變化,從而造成數(shù)據(jù)與以往的歷史數(shù)據(jù)不同,這些情況產(chǎn)生的異常數(shù)據(jù)也許并非是錯誤數(shù)據(jù),而恰恰是有可能成為有價(jià)值的數(shù)據(jù),這是需要技術(shù)人員進(jìn)行判斷后再做處理的。這些數(shù)據(jù)如果在海洋站-中心站沒有及時(shí)發(fā)現(xiàn),在海區(qū)級或國家級質(zhì)量控制中發(fā)現(xiàn)時(shí),技術(shù)人員很難重現(xiàn)當(dāng)時(shí)的環(huán)境找尋答案并加以判斷。
2、設(shè)計(jì)實(shí)現(xiàn)
2.1 整體思路
在自動觀測系統(tǒng)配備的計(jì)算機(jī)自動質(zhì)量控制技術(shù)上(自動控制),利用質(zhì)量檢查模塊和人機(jī)互動的方式研究判斷數(shù)據(jù)異常的真正情況(是機(jī)器異常抑或是海域周邊環(huán)境變化導(dǎo)致的結(jié)果),從而重新界定測量范圍,確定出特定環(huán)境變化下水文氣象各要素?cái)?shù)據(jù)合理性檢驗(yàn)值,有效地防止遺漏有價(jià)值的數(shù)據(jù)。
2.2 選取測量范圍
精準(zhǔn)、恰當(dāng)?shù)剡x取要素測量范圍,才能確定出數(shù)據(jù)合理性檢驗(yàn)值。如果上下界限設(shè)置太大,就變成要素允許方位檢查。如果范圍過小就會出現(xiàn)誤檢現(xiàn)象。因此,參照工程設(shè)計(jì)中極值方法提取要素設(shè)計(jì)值的置信區(qū)間的上下限作為要素極值的上下界值。
具體分成兩步驟實(shí)施:
第一步:保留計(jì)算機(jī)的自動質(zhì)控技術(shù)的非法碼、合理性、唯一性檢驗(yàn)方法完成第一步質(zhì)控:促發(fā)短信報(bào)警,判斷是對規(guī)定的類型、格式、代碼不符合的數(shù)據(jù),直接進(jìn)行改正。
第二部:增加極值的概念,將范圍檢驗(yàn)、相關(guān)性檢驗(yàn)方法引入到海濱觀測資料中異常數(shù)據(jù)的判別方法和處理上來。
該步驟中,數(shù)據(jù)質(zhì)量檢查模塊通過“范圍檢驗(yàn)、相關(guān)性檢驗(yàn)方法”檢查出超出原有測量范圍的異常數(shù)據(jù)。這些異常數(shù)據(jù)通過短信報(bào)警及時(shí)發(fā)現(xiàn),并顯示在計(jì)算機(jī)可視化窗口上,然后通過人機(jī)互動方式,根據(jù)萊茵達(dá)準(zhǔn)則和肖維勒準(zhǔn)則進(jìn)行判斷,具體如下:
如觀測值中含有隨機(jī)誤差,當(dāng) N 足夠大的時(shí)候,剩余誤差服從正態(tài)分布。萊因達(dá)準(zhǔn)則規(guī)定凡是剩余誤差超出±3σ,即 | Vi |>3σ則認(rèn)為該剩余誤差Vi 為過失誤差;
肖維勒準(zhǔn)則:當(dāng)樣本的觀測次數(shù) N 較少時(shí),若出現(xiàn)概率小于或等于1/2N的剩余誤差,則認(rèn)為是過失誤差。過失誤差判別公式為下式:
| Vi |>Zgσ
用 Vi 的標(biāo)準(zhǔn)差 S 代替 σ,Zg可從標(biāo)準(zhǔn)正態(tài)分布表查出。
3、數(shù)據(jù)處理
a)對于過失誤差的異常值,根據(jù)《海濱觀測規(guī)范》的要求在資料的質(zhì)控中加以標(biāo)識或刪除,留待后端質(zhì)控上加以判斷處理;
b)對判斷出有可能因海況急劇變化造成的異常數(shù)據(jù),短信呈現(xiàn)給海洋站值班員進(jìn)行實(shí)地考察核實(shí),核實(shí)確認(rèn)清楚后將正確的異常數(shù)據(jù)更正為正確值,并且在原有區(qū)間下參照統(tǒng)計(jì)學(xué)計(jì)算置信區(qū)間的方法,重新界定測量范圍上下限極值——也就是測量范圍(區(qū)間),然后將要素極值用乘以;一個(gè)放大系統(tǒng)代替通過概率分布函數(shù)推求的極值。計(jì)算公式如下:
其中Ei+ Ei- 分別代表各要素第i月的上下界值; Emax,i Emin,i分別為第i月各要素從建站到所測年份的最大最小值,a 為范圍放大因子,與要素的變率有關(guān);σ為要素的標(biāo)準(zhǔn)差, 分別表示向上和向下取整。從而確定出特定環(huán)境變化下該海洋站潮汐、風(fēng)要素?cái)?shù)據(jù)合理性檢驗(yàn)值。
參考文獻(xiàn):
[1].海洋水文氣象實(shí)時(shí)數(shù)據(jù)質(zhì)量控制
[2].王海軍,楊志彪等. 自動氣象站實(shí)時(shí)資料自動質(zhì)量控制方法及其應(yīng)用