基于實況氣象服務(wù)產(chǎn)品的數(shù)據(jù)質(zhì)量控制方法研究

在如今資訊等手段迅猛發(fā)展的今天，各種氣象服務(wù)產(chǎn)品應(yīng)運(yùn)而生，我們可以有更好的條件，自如的應(yīng)用自動控制和人機(jī)交互、 利用氣候背景資料和程序編譯等技術(shù)， 并適當(dāng)結(jié)合自身所在區(qū)域與氣象相關(guān)服務(wù)產(chǎn)品需求， 來設(shè)計所在區(qū)域的氣象數(shù)據(jù)質(zhì)量控制方法。

基于產(chǎn)品的數(shù)據(jù)需求分析

為“我的沈陽”應(yīng)用提供實況數(shù)據(jù)

由沈陽市大數(shù)據(jù)局主導(dǎo)開發(fā)“我的沈陽”主要應(yīng)用于便民服務(wù)，是重要的民生工程。沈陽市氣象局為“我的沈陽”提供氣象實況數(shù)據(jù)，對外提供的實況數(shù)據(jù)應(yīng)進(jìn)行質(zhì)量控制。主要數(shù)據(jù)質(zhì)量控制要素為地面溫度、壓強(qiáng)、濕度、氣壓、風(fēng)向、風(fēng)速。

氣象數(shù)據(jù)的社會化運(yùn)營

通過2015年初李克強(qiáng)總理講話，貫徹“互聯(lián)網(wǎng)+”戰(zhàn)略將逐步開放氣象數(shù)據(jù)，提供氣象數(shù)據(jù)的社會化運(yùn)營，自動站數(shù)據(jù)是其中一個組成部分，地面自動站六要素中環(huán)境溫度、氣壓、環(huán)境濕度、風(fēng)向、風(fēng)速、降雨量等要素作為對外開放的數(shù)據(jù)需要先進(jìn)行數(shù)據(jù)質(zhì)量控制，為氣象、水文、農(nóng)林、航空、海洋、科考等領(lǐng)域提供氣象數(shù)據(jù)支撐。

自動預(yù)警產(chǎn)品發(fā)布

沈陽自動預(yù)警發(fā)布手段將進(jìn)一步整合廣播、電視、報刊、互聯(lián)網(wǎng)、微博、手機(jī)短信、智能終端、電子顯示屏等信息發(fā)布渠道，不斷提升信息發(fā)布的能力，使得各類重要預(yù)警信息能在第一時間發(fā)送至公眾手中，最大限度地降低突發(fā)事件造成的損失，提高政府應(yīng)對突發(fā)事件和風(fēng)險的能力，因此確保自動預(yù)警發(fā)布平臺為全市各類突發(fā)事件預(yù)警信息發(fā)布提供權(quán)威、有效的綜合平臺尤為重要。自動的預(yù)警產(chǎn)品發(fā)布需要有實況數(shù)據(jù)為基礎(chǔ)，如出現(xiàn)錯誤的實況數(shù)據(jù)很有可能觸發(fā)預(yù)警判斷條件，進(jìn)而影響自動預(yù)警產(chǎn)品發(fā)布的準(zhǔn)確性。因此通過對實況數(shù)據(jù)進(jìn)行質(zhì)量控制可提高自動預(yù)警產(chǎn)品發(fā)布準(zhǔn)確性。

質(zhì)量控制方法

主要方法

在質(zhì)量控制方法上主要采取效果較好的傳統(tǒng)方法，主要為設(shè)置質(zhì)量控制碼，通過極值檢查、時變檢查、時間一致性檢查、空間一致性檢查，內(nèi)部一致性等方法，將其編譯成程序語句來對數(shù)據(jù)庫進(jìn)行數(shù)據(jù)篩選，主要流程如下。

功能設(shè)計與實現(xiàn)

資源分析

沈陽市氣象局“基礎(chǔ)數(shù)據(jù)平臺”數(shù)據(jù)庫使用Oracle DataBase 11G 數(shù)據(jù)庫系統(tǒng)，沈陽市已有的230個自動站數(shù)據(jù)保存在其中，也可作為系統(tǒng)支撐數(shù)據(jù)庫使用。系統(tǒng)采用Oracle JDeveloper Studio 工具，主要開發(fā)語言為JAVA是由Oracle提供快速程序開發(fā)工具系統(tǒng)，針對Oracle數(shù)據(jù)的開發(fā)具有較強(qiáng)優(yōu)勢。

數(shù)據(jù)層設(shè)計

系統(tǒng)使用沈陽市氣象局“基礎(chǔ)數(shù)據(jù)平臺”數(shù)據(jù)庫，質(zhì)量控制可能包括數(shù)據(jù)的修改、刪除、和歷史數(shù)據(jù)保存操作。采集的實況數(shù)據(jù)應(yīng)分別保存在2個表中，一個用于長期保存數(shù)據(jù)，另一個用于應(yīng)用開發(fā)顯示讀取。新建自動站數(shù)據(jù)表用于保存歷史數(shù)據(jù)。對于質(zhì)量異常數(shù)據(jù)應(yīng)進(jìn)行修改或刪除的操作，但僅限于對用于應(yīng)用開發(fā)的數(shù)據(jù)表，歷史數(shù)據(jù)表應(yīng)確保不做修改，但設(shè)計歷史數(shù)據(jù)統(tǒng)計是也需要參考質(zhì)量控制結(jié)果。系統(tǒng)設(shè)計數(shù)據(jù)質(zhì)量控制表用于校對歷史數(shù)據(jù)表中數(shù)據(jù)，質(zhì)量控制表通過站點編號、觀測時效與歷史數(shù)據(jù)相關(guān)聯(lián)，查詢歷史數(shù)據(jù)是通過對應(yīng)查詢語法可剔除或更正質(zhì)量不合格數(shù)據(jù)。

一些特殊情況下會出現(xiàn)由于設(shè)備和系統(tǒng)導(dǎo)致的數(shù)據(jù)質(zhì)量問題。例如，出現(xiàn)“///”占位符和“9999”的情況，還有出現(xiàn)溫度出現(xiàn)-60℃或60℃，等一些明顯可判斷為異常的值。應(yīng)通過設(shè)計Oracle響應(yīng)機(jī)制在入庫的同時即完成初步數(shù)據(jù)質(zhì)量控制。系統(tǒng)通過建立觸發(fā)器并調(diào)用Oracle sql/plsql塊完成數(shù)據(jù)處理。新建基于寫入數(shù)據(jù)的觸發(fā)器用于調(diào)用sql/ plsql塊

圖1　基于產(chǎn)品的數(shù)據(jù)質(zhì)量控制流程

應(yīng)用層設(shè)計

系統(tǒng)由界面層 、核心層 、存儲層 3 個部分組成 。界面層由繪圖用戶界面組成， 用戶使用人工QC 圖形交互或Web 瀏覽 ； 核心層由運(yùn)算法則、Java代碼、 分析設(shè)計模式組成； 存儲層由 Oracle 數(shù)據(jù)庫構(gòu)成， 包括臺站和儀器詳細(xì)信息、QC 標(biāo)識 、錯誤信息等 。

圖2　數(shù)據(jù)庫質(zhì)量控制判定流程

應(yīng)用層采用Oracle JDeveloper Studio 工具，主要開發(fā)語言為JAVA是由Oracle提供快速程序開發(fā)工具系統(tǒng)，針對Oracle數(shù)據(jù)的開發(fā)具有較強(qiáng)優(yōu)勢。

系統(tǒng)支撐架構(gòu)設(shè)計

使用B/S實現(xiàn)開發(fā)支撐架構(gòu)，主要實現(xiàn)功能：①任務(wù)運(yùn)行管理模塊，使用JAVA開發(fā)數(shù)據(jù)質(zhì)量控制部分進(jìn)行任務(wù)的調(diào)度管理、狀態(tài)監(jiān)督、參數(shù)配置；②綜合數(shù)據(jù)管理模塊，完成支撐數(shù)據(jù)功能③質(zhì)量控制模塊，完成極值檢查模塊、時間一致性模塊、空間一致性模塊、內(nèi)部一致性模塊開發(fā)。④系統(tǒng)管理模塊，實現(xiàn)權(quán)限及日志等管理功能；使用B/S結(jié)構(gòu)實現(xiàn)開發(fā)數(shù)據(jù)的修改和補(bǔ)入界面，用于修改和補(bǔ)入實況數(shù)據(jù)。

結(jié)語

實況氣象數(shù)據(jù)的質(zhì)量控制是關(guān)系到氣象資料應(yīng)用的基礎(chǔ)，也是數(shù)據(jù)社會化運(yùn)營的關(guān)鍵一步，本文實現(xiàn)基于產(chǎn)品的自動氣象站實時資料質(zhì)量控制系統(tǒng)設(shè)計能夠?qū)崟r對中心站收集的逐小時觀測數(shù)據(jù)進(jìn)行質(zhì)量控制，主要方法是通過極值檢查、時間一致性、空間一致性和內(nèi)部一致性檢查觀測數(shù)據(jù)質(zhì)量，并應(yīng)用Oracle DataBase 11G 數(shù)據(jù)庫系統(tǒng)建立環(huán)境，應(yīng)用JAVA語言建立應(yīng)用模塊，在時間一致性上采用相鄰小時一致性檢查和時變檢查控制方法，空間一致性采用了克里金差值法，在氣象要素超出時間一致性規(guī)則時，通過內(nèi)部一致性相關(guān)聯(lián)的數(shù)據(jù)序列對異常值進(jìn)行估算，并進(jìn)而判別異常值的可信度，質(zhì)量控制貫穿在整個數(shù)據(jù)采集到可作為產(chǎn)品提供氣象參數(shù)的整個過程中，加強(qiáng)了對觀測數(shù)據(jù)的質(zhì)量控制。

10.3969/j.issn.1001- 8972.2016.15.021