基于實(shí)況氣象服務(wù)產(chǎn)品的數(shù)據(jù)質(zhì)量控制方法研究

在如今資訊等手段迅猛發(fā)展的今天，各種氣象服務(wù)產(chǎn)品應(yīng)運(yùn)而生，我們可以有更好的條件，自如的應(yīng)用自動(dòng)控制和人機(jī)交互、 利用氣候背景資料和程序編譯等技術(shù)， 并適當(dāng)結(jié)合自身所在區(qū)域與氣象相關(guān)服務(wù)產(chǎn)品需求， 來(lái)設(shè)計(jì)所在區(qū)域的氣象數(shù)據(jù)質(zhì)量控制方法。

基于產(chǎn)品的數(shù)據(jù)需求分析

為“我的沈陽(yáng)”應(yīng)用提供實(shí)況數(shù)據(jù)

由沈陽(yáng)市大數(shù)據(jù)局主導(dǎo)開發(fā)“我的沈陽(yáng)”主要應(yīng)用于便民服務(wù)，是重要的民生工程。沈陽(yáng)市氣象局為“我的沈陽(yáng)”提供氣象實(shí)況數(shù)據(jù)，對(duì)外提供的實(shí)況數(shù)據(jù)應(yīng)進(jìn)行質(zhì)量控制。主要數(shù)據(jù)質(zhì)量控制要素為地面溫度、壓強(qiáng)、濕度、氣壓、風(fēng)向、風(fēng)速。

氣象數(shù)據(jù)的社會(huì)化運(yùn)營(yíng)

通過2015年初李克強(qiáng)總理講話，貫徹“互聯(lián)網(wǎng)+”戰(zhàn)略將逐步開放氣象數(shù)據(jù)，提供氣象數(shù)據(jù)的社會(huì)化運(yùn)營(yíng)，自動(dòng)站數(shù)據(jù)是其中一個(gè)組成部分，地面自動(dòng)站六要素中環(huán)境溫度、氣壓、環(huán)境濕度、風(fēng)向、風(fēng)速、降雨量等要素作為對(duì)外開放的數(shù)據(jù)需要先進(jìn)行數(shù)據(jù)質(zhì)量控制，為氣象、水文、農(nóng)林、航空、海洋、科考等領(lǐng)域提供氣象數(shù)據(jù)支撐。

自動(dòng)預(yù)警產(chǎn)品發(fā)布

沈陽(yáng)自動(dòng)預(yù)警發(fā)布手段將進(jìn)一步整合廣播、電視、報(bào)刊、互聯(lián)網(wǎng)、微博、手機(jī)短信、智能終端、電子顯示屏等信息發(fā)布渠道，不斷提升信息發(fā)布的能力，使得各類重要預(yù)警信息能在第一時(shí)間發(fā)送至公眾手中，最大限度地降低突發(fā)事件造成的損失，提高政府應(yīng)對(duì)突發(fā)事件和風(fēng)險(xiǎn)的能力，因此確保自動(dòng)預(yù)警發(fā)布平臺(tái)為全市各類突發(fā)事件預(yù)警信息發(fā)布提供權(quán)威、有效的綜合平臺(tái)尤為重要。自動(dòng)的預(yù)警產(chǎn)品發(fā)布需要有實(shí)況數(shù)據(jù)為基礎(chǔ)，如出現(xiàn)錯(cuò)誤的實(shí)況數(shù)據(jù)很有可能觸發(fā)預(yù)警判斷條件，進(jìn)而影響自動(dòng)預(yù)警產(chǎn)品發(fā)布的準(zhǔn)確性。因此通過對(duì)實(shí)況數(shù)據(jù)進(jìn)行質(zhì)量控制可提高自動(dòng)預(yù)警產(chǎn)品發(fā)布準(zhǔn)確性。

質(zhì)量控制方法

主要方法

在質(zhì)量控制方法上主要采取效果較好的傳統(tǒng)方法，主要為設(shè)置質(zhì)量控制碼，通過極值檢查、時(shí)變檢查、時(shí)間一致性檢查、空間一致性檢查，內(nèi)部一致性等方法，將其編譯成程序語(yǔ)句來(lái)對(duì)數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)篩選，主要流程如下。

功能設(shè)計(jì)與實(shí)現(xiàn)

資源分析

沈陽(yáng)市氣象局“基礎(chǔ)數(shù)據(jù)平臺(tái)”數(shù)據(jù)庫(kù)使用Oracle DataBase 11G 數(shù)據(jù)庫(kù)系統(tǒng)，沈陽(yáng)市已有的230個(gè)自動(dòng)站數(shù)據(jù)保存在其中，也可作為系統(tǒng)支撐數(shù)據(jù)庫(kù)使用。系統(tǒng)采用Oracle JDeveloper Studio 工具，主要開發(fā)語(yǔ)言為JAVA是由Oracle提供快速程序開發(fā)工具系統(tǒng)，針對(duì)Oracle數(shù)據(jù)的開發(fā)具有較強(qiáng)優(yōu)勢(shì)。

數(shù)據(jù)層設(shè)計(jì)

系統(tǒng)使用沈陽(yáng)市氣象局“基礎(chǔ)數(shù)據(jù)平臺(tái)”數(shù)據(jù)庫(kù)，質(zhì)量控制可能包括數(shù)據(jù)的修改、刪除、和歷史數(shù)據(jù)保存操作。采集的實(shí)況數(shù)據(jù)應(yīng)分別保存在2個(gè)表中，一個(gè)用于長(zhǎng)期保存數(shù)據(jù)，另一個(gè)用于應(yīng)用開發(fā)顯示讀取。新建自動(dòng)站數(shù)據(jù)表用于保存歷史數(shù)據(jù)。對(duì)于質(zhì)量異常數(shù)據(jù)應(yīng)進(jìn)行修改或刪除的操作，但僅限于對(duì)用于應(yīng)用開發(fā)的數(shù)據(jù)表，歷史數(shù)據(jù)表應(yīng)確保不做修改，但設(shè)計(jì)歷史數(shù)據(jù)統(tǒng)計(jì)是也需要參考質(zhì)量控制結(jié)果。系統(tǒng)設(shè)計(jì)數(shù)據(jù)質(zhì)量控制表用于校對(duì)歷史數(shù)據(jù)表中數(shù)據(jù)，質(zhì)量控制表通過站點(diǎn)編號(hào)、觀測(cè)時(shí)效與歷史數(shù)據(jù)相關(guān)聯(lián)，查詢歷史數(shù)據(jù)是通過對(duì)應(yīng)查詢語(yǔ)法可剔除或更正質(zhì)量不合格數(shù)據(jù)。

一些特殊情況下會(huì)出現(xiàn)由于設(shè)備和系統(tǒng)導(dǎo)致的數(shù)據(jù)質(zhì)量問題。例如，出現(xiàn)“///”占位符和“9999”的情況，還有出現(xiàn)溫度出現(xiàn)-60℃或60℃，等一些明顯可判斷為異常的值。應(yīng)通過設(shè)計(jì)Oracle響應(yīng)機(jī)制在入庫(kù)的同時(shí)即完成初步數(shù)據(jù)質(zhì)量控制。系統(tǒng)通過建立觸發(fā)器并調(diào)用Oracle sql/plsql塊完成數(shù)據(jù)處理。新建基于寫入數(shù)據(jù)的觸發(fā)器用于調(diào)用sql/ plsql塊

圖1　基于產(chǎn)品的數(shù)據(jù)質(zhì)量控制流程

應(yīng)用層設(shè)計(jì)

系統(tǒng)由界面層 、核心層 、存儲(chǔ)層 3 個(gè)部分組成 。界面層由繪圖用戶界面組成， 用戶使用人工QC 圖形交互或Web 瀏覽 ； 核心層由運(yùn)算法則、Java代碼、 分析設(shè)計(jì)模式組成； 存儲(chǔ)層由 Oracle 數(shù)據(jù)庫(kù)構(gòu)成， 包括臺(tái)站和儀器詳細(xì)信息、QC 標(biāo)識(shí) 、錯(cuò)誤信息等 。

圖2　數(shù)據(jù)庫(kù)質(zhì)量控制判定流程

應(yīng)用層采用Oracle JDeveloper Studio 工具，主要開發(fā)語(yǔ)言為JAVA是由Oracle提供快速程序開發(fā)工具系統(tǒng)，針對(duì)Oracle數(shù)據(jù)的開發(fā)具有較強(qiáng)優(yōu)勢(shì)。

系統(tǒng)支撐架構(gòu)設(shè)計(jì)

使用B/S實(shí)現(xiàn)開發(fā)支撐架構(gòu)，主要實(shí)現(xiàn)功能：①任務(wù)運(yùn)行管理模塊，使用JAVA開發(fā)數(shù)據(jù)質(zhì)量控制部分進(jìn)行任務(wù)的調(diào)度管理、狀態(tài)監(jiān)督、參數(shù)配置；②綜合數(shù)據(jù)管理模塊，完成支撐數(shù)據(jù)功能③質(zhì)量控制模塊，完成極值檢查模塊、時(shí)間一致性模塊、空間一致性模塊、內(nèi)部一致性模塊開發(fā)。④系統(tǒng)管理模塊，實(shí)現(xiàn)權(quán)限及日志等管理功能；使用B/S結(jié)構(gòu)實(shí)現(xiàn)開發(fā)數(shù)據(jù)的修改和補(bǔ)入界面，用于修改和補(bǔ)入實(shí)況數(shù)據(jù)。

結(jié)語(yǔ)

實(shí)況氣象數(shù)據(jù)的質(zhì)量控制是關(guān)系到氣象資料應(yīng)用的基礎(chǔ)，也是數(shù)據(jù)社會(huì)化運(yùn)營(yíng)的關(guān)鍵一步，本文實(shí)現(xiàn)基于產(chǎn)品的自動(dòng)氣象站實(shí)時(shí)資料質(zhì)量控制系統(tǒng)設(shè)計(jì)能夠?qū)崟r(shí)對(duì)中心站收集的逐小時(shí)觀測(cè)數(shù)據(jù)進(jìn)行質(zhì)量控制，主要方法是通過極值檢查、時(shí)間一致性、空間一致性和內(nèi)部一致性檢查觀測(cè)數(shù)據(jù)質(zhì)量，并應(yīng)用Oracle DataBase 11G 數(shù)據(jù)庫(kù)系統(tǒng)建立環(huán)境，應(yīng)用JAVA語(yǔ)言建立應(yīng)用模塊，在時(shí)間一致性上采用相鄰小時(shí)一致性檢查和時(shí)變檢查控制方法，空間一致性采用了克里金差值法，在氣象要素超出時(shí)間一致性規(guī)則時(shí)，通過內(nèi)部一致性相關(guān)聯(lián)的數(shù)據(jù)序列對(duì)異常值進(jìn)行估算，并進(jìn)而判別異常值的可信度，質(zhì)量控制貫穿在整個(gè)數(shù)據(jù)采集到可作為產(chǎn)品提供氣象參數(shù)的整個(gè)過程中，加強(qiáng)了對(duì)觀測(cè)數(shù)據(jù)的質(zhì)量控制。

10.3969/j.issn.1001- 8972.2016.15.021