韓仲強(qiáng)

(內(nèi)蒙古自治區(qū)氣象信息中心，內(nèi)蒙古 呼和浩特 010051)

農(nóng)業(yè)氣象學(xué)是研究農(nóng)業(yè)生產(chǎn)對象和過程與氣象條件之間的相互關(guān)系，以利用、創(chuàng)造有利并抗避不利氣象條件為目的，為農(nóng)業(yè)的高產(chǎn)、優(yōu)質(zhì)、低消耗而服務(wù)的一門學(xué)科。隨著農(nóng)業(yè)科學(xué)技術(shù)的飛速發(fā)展，我國農(nóng)業(yè)已進(jìn)入了一個高產(chǎn)、優(yōu)質(zhì)、高效、生態(tài)、安全為發(fā)展方向的新階段，農(nóng)業(yè)對氣象服務(wù)提出了更高的要求，迫切需要農(nóng)業(yè)氣象為現(xiàn)代農(nóng)業(yè)的發(fā)展提供時效更快、內(nèi)容更多、水平更高的、針對性更強(qiáng)的服務(wù)產(chǎn)品。然而，當(dāng)前的農(nóng)業(yè)氣象觀測技術(shù)手段、時效遠(yuǎn)不能滿足現(xiàn)代農(nóng)業(yè)氣象業(yè)務(wù)和服務(wù)發(fā)展需求[1]。

內(nèi)蒙古自治區(qū)幅員遼闊，有豐富的氣候資源與土地資源,農(nóng)作物種植多樣化，是我國農(nóng)業(yè)生產(chǎn)大省。農(nóng)業(yè)氣象觀測數(shù)據(jù)包含作物生長發(fā)育、天然牧草生長狀況、自然物候、土壤水分等觀測內(nèi)容，是農(nóng)業(yè)氣象的基礎(chǔ)。通過農(nóng)業(yè)氣象觀測可以鑒定農(nóng)業(yè)氣象條件對作物生長發(fā)育和產(chǎn)量形成以及品質(zhì)影響，為農(nóng)業(yè)氣象情報、預(yù)報，以及農(nóng)作物的氣候條件評價等提供理論依據(jù)，為高產(chǎn)、優(yōu)質(zhì)、高效的農(nóng)業(yè)生產(chǎn)提供服務(wù)。因此對農(nóng)業(yè)氣象觀測數(shù)據(jù)進(jìn)行質(zhì)量控制十分有必要。

目前在農(nóng)業(yè)氣象觀測數(shù)據(jù)質(zhì)量控制過程中，主要由農(nóng)業(yè)氣象資料審核員依托AgMODOS（農(nóng)業(yè)氣象測報業(yè)務(wù)系統(tǒng)）軟件，每年對各臺站上傳的C文件[2]進(jìn)行集中審核。上述質(zhì)量控制過程不僅時效性差，而且耗費(fèi)時間多，不能及時做到農(nóng)業(yè)氣象觀測數(shù)據(jù)質(zhì)量控制，增加了工作量。為有效解決上述問題，推進(jìn)觀測自動化觀測進(jìn)程與現(xiàn)行業(yè)務(wù)流程相適應(yīng)，完成觀測業(yè)務(wù)轉(zhuǎn)型，因此有必要開發(fā)一個高精度、高時效性的自動數(shù)據(jù)質(zhì)量控制系統(tǒng)。

1 總體設(shè)計及相關(guān)技術(shù)

1.1 系統(tǒng)設(shè)計

農(nóng)業(yè)氣象數(shù)據(jù)自動質(zhì)量控制系統(tǒng)基于CIMISS數(shù)據(jù)環(huán)境，通過獲取CIMISS數(shù)據(jù)庫中由各臺站上傳的農(nóng)業(yè)氣象觀測數(shù)據(jù)，按照《農(nóng)業(yè)氣象觀測規(guī)范》[3](后簡稱《規(guī)范》)建立和優(yōu)選農(nóng)業(yè)氣象數(shù)據(jù)質(zhì)量控制方法，開展對全區(qū)29個農(nóng)業(yè)氣象觀測站所觀測的牧草發(fā)育期、牧草生長高度、牧草產(chǎn)量、牧草蓋度、作物生長發(fā)育期、干物質(zhì)與葉面積測定、灌漿速度等數(shù)據(jù)的質(zhì)量控制，開發(fā)自動質(zhì)量控制系統(tǒng)并將質(zhì)控后的疑誤信息通過推送至臺站，實(shí)現(xiàn)疑誤數(shù)據(jù)及時處理與更正。

農(nóng)業(yè)氣象觀測數(shù)據(jù)質(zhì)量控制系統(tǒng)邏輯結(jié)構(gòu)上可分為基礎(chǔ)層、數(shù)據(jù)層以及應(yīng)用層3層（圖1）?；A(chǔ)層主要提供農(nóng)業(yè)氣象觀測數(shù)據(jù)質(zhì)量控制系統(tǒng)開發(fā)運(yùn)行環(huán)境、CIMISS中的Oracle數(shù)據(jù)庫及基于Python開發(fā)的相關(guān)質(zhì)量控制方法。數(shù)據(jù)層主要處理牧草發(fā)育期、牧草生長高度、牧草產(chǎn)量、牧草蓋度、作物生長發(fā)育期、干物質(zhì)與葉面積測定、灌漿速度等農(nóng)業(yè)氣象觀測數(shù)據(jù)，采用Oracle關(guān)系型數(shù)據(jù)庫進(jìn)行存儲和管理。應(yīng)用層是與省級數(shù)據(jù)處理人員與臺站人員進(jìn)行業(yè)務(wù)交互的平臺，MUSIC接口為對外數(shù)據(jù)服務(wù)的統(tǒng)一接口。

圖1 農(nóng)業(yè)氣象觀測數(shù)據(jù)質(zhì)量控制系統(tǒng)總體架構(gòu)

1.2 Python簡介

農(nóng)業(yè)氣象數(shù)據(jù)自動質(zhì)量控制系統(tǒng)采用Python語言進(jìn)行開發(fā)，基于Orcale數(shù)據(jù)庫管理系統(tǒng)對本系統(tǒng)中的數(shù)據(jù)持久化進(jìn)行操作。

Python由荷蘭數(shù)學(xué)和計算機(jī)科學(xué)研究學(xué)會的Guido van Rossum于1990年代初設(shè)計，作為一門叫做ABC語言的替代品。由于其具有簡單易學(xué)、用途廣泛、可移至性以及可擴(kuò)展性、可擴(kuò)充性等優(yōu)點(diǎn)，Python提供了高效的高級數(shù)據(jù)結(jié)構(gòu)，還能簡單有效地面向?qū)ο缶幊?。Python語法和動態(tài)類型，以及解釋型語言的本質(zhì)，使它成為多數(shù)平臺上寫腳本和快速開發(fā)應(yīng)用的編程語言，隨著版本的不斷更新和語言新功能的添加，逐漸被用于獨(dú)立的、大型項(xiàng)目的開發(fā)。

2 質(zhì)量控制碼規(guī)定

在對數(shù)據(jù)進(jìn)行質(zhì)量控制的過程中，隨著質(zhì)量控制進(jìn)程的進(jìn)行，需要不斷地對被檢數(shù)據(jù)設(shè)置或修改質(zhì)量控制碼,簡稱QC碼。QC碼的規(guī)定如下，見表1。

表1 質(zhì)量控制碼規(guī)定

3 農(nóng)業(yè)氣象觀測數(shù)據(jù)質(zhì)量控制方法

3.1 質(zhì)量控制流程

對AgoMDOS上傳的農(nóng)業(yè)氣象觀測數(shù)據(jù)采用完整性檢查、數(shù)據(jù)小數(shù)位檢查、值域檢查、內(nèi)部一致性檢查[4,5]。農(nóng)業(yè)氣象觀測數(shù)據(jù)對應(yīng)的要素表見《規(guī)范》發(fā)育期觀測部分。表2給出了農(nóng)業(yè)氣象觀測數(shù)據(jù)中各要素實(shí)施的檢查項(xiàng)目，圖2給出了數(shù)據(jù)處理和質(zhì)量控制流程圖。

表2 快速質(zhì)量控制對報文數(shù)據(jù)中各要素實(shí)施的檢查步驟

圖2 農(nóng)業(yè)氣象觀測數(shù)據(jù)質(zhì)量控制流程圖

3.2 質(zhì)量控制方法

作物部分質(zhì)量控制對象包含作物生長發(fā)育期、干物質(zhì)與葉面積測定、灌漿速度共三張數(shù)據(jù)表。牧草部分質(zhì)量控制對象包含牧草發(fā)育期、牧草生長高度、牧草產(chǎn)量、牧草蓋度共4張數(shù)據(jù)表。對上述農(nóng)業(yè)氣象觀測數(shù)據(jù)主要進(jìn)行完整性檢查、數(shù)據(jù)小數(shù)位檢查、值域檢查以及內(nèi)部一致性檢查。

3.2.1 完整性檢查。完整性檢查指對原始觀測數(shù)據(jù)的種類、項(xiàng)目進(jìn)行檢查，以確保觀測數(shù)據(jù)完整無遺漏。

對于作物部分的觀測數(shù)據(jù)，完整性檢查應(yīng)包括作物觀測基礎(chǔ)數(shù)據(jù)、作物發(fā)育期觀測數(shù)據(jù)、作物密度觀測數(shù)據(jù)、作物葉面積與干物質(zhì)質(zhì)量觀測數(shù)據(jù)以及灌漿速度觀測數(shù)據(jù)。其中作物觀測基礎(chǔ)數(shù)據(jù)包括：農(nóng)業(yè)氣象觀測臺站名稱、農(nóng)業(yè)氣象觀測臺站號、觀測作物名稱、觀測作物品種名稱、觀測作物成熟年份。作物葉面積和干物質(zhì)重量觀測包括作物名稱、旬內(nèi)作物發(fā)育名稱、生長率、含水率、葉面積指數(shù)。灌漿速度觀測包括作物名稱、含水率、千粒重。各類作物的發(fā)育期觀測要求及觀測項(xiàng)目見《規(guī)范》發(fā)育期觀測部分。作物密度觀測項(xiàng)目及觀測時間見《規(guī)范》生長狀況測定部分。對于牧草部分的觀測數(shù)據(jù)，完整性檢查應(yīng)包括牧草發(fā)育期觀測數(shù)據(jù)、牧草生長高度觀測數(shù)據(jù)、牧草產(chǎn)量觀測數(shù)據(jù)、牧草蓋度觀測數(shù)據(jù)。其中牧草發(fā)育期觀測數(shù)據(jù)應(yīng)包括牧業(yè)氣象觀測臺站名稱、牧業(yè)氣象觀測臺站號、（動）物名稱/牧草名稱、旬內(nèi)作物發(fā)育期名稱、發(fā)育期百分率。牧草生長高度觀測數(shù)據(jù)應(yīng)包括牧草名稱、植（動）物名稱/牧草名稱、植株高度。牧草產(chǎn)量觀測數(shù)據(jù)應(yīng)包括牧草名稱、植（動）物名稱/牧草名稱、干重、鮮重、干鮮比（計算方法為干重/鮮重）×100%。牧草蓋度觀測數(shù)據(jù)應(yīng)包括覆蓋度、草層狀況評定、采食率、采食度。

根據(jù)《規(guī)范》中要求的觀測項(xiàng)目無相應(yīng)觀測值、調(diào)查值或記載值的為缺測數(shù)據(jù)時，賦質(zhì)控碼為8，不再作為后續(xù)質(zhì)量控制步驟中的質(zhì)量控制對象或參考數(shù)據(jù)，并作為疑誤數(shù)據(jù)及時告知臺站進(jìn)行修正或補(bǔ)發(fā)。否則賦為質(zhì)控碼0，進(jìn)入下一步檢查。

3.2.2 數(shù)據(jù)小數(shù)位檢查?！兑?guī)范》中明確要求了各類觀測要素的小數(shù)位，按照《規(guī)范》中附錄D中規(guī)定對主要作物觀測要素值的小數(shù)位進(jìn)行檢查，對于小數(shù)位不正確的數(shù)據(jù)，質(zhì)控碼置為2，標(biāo)記為錯誤數(shù)據(jù)并告知臺站進(jìn)行修改。

3.2.3 數(shù)據(jù)值域檢查。值域檢查指對農(nóng)業(yè)氣象觀測數(shù)據(jù)進(jìn)行氣候?qū)W、生態(tài)學(xué)的閾值檢查。在《規(guī)范》中明確了各類觀測作物以及牧草的閾值范圍，對于超出閾值范圍的觀測值，系統(tǒng)將該條記錄的質(zhì)控碼置為2，并反饋臺站進(jìn)行數(shù)據(jù)修正。具體質(zhì)控方法如下：

屬于下列值域范圍的數(shù)據(jù)為錯誤數(shù)據(jù)：（1）作物生長發(fā)育普遍期生長高度大于其上限值（主要作物各發(fā)育期生長高度最大值見《規(guī)范》中附錄E）；（2）作物生長發(fā)育普遍期密度值大于其上限值（主要作物各發(fā)育期密度最大值見《規(guī)范》中附錄F）；（3）作物生長狀況評定記錄不為“1”，“2”，“3”；（4）草層狀況評定記錄不為“1”，“2”，“3”,“4”，“5”。

屬于下列值域范圍的數(shù)據(jù)為可疑數(shù)據(jù)：（1）作物各發(fā)育期生長高度值大于其最大值而小于其上限值（主要作物各發(fā)育期生長高度最大值見《規(guī)范》中附錄E）；（2）作物各發(fā)育普遍期密度值大于其最大觀測值而小于其上限值（主要作物各發(fā)育期密度最大值見《規(guī)范》中附錄F）；除a),b)所列要素之外暫不做值域檢查。

3.2.4 內(nèi)部一致性檢查。內(nèi)部一致性指同一時間觀測的農(nóng)業(yè)氣象要素記錄之間的關(guān)系必須符合一定規(guī)律的檢查。農(nóng)業(yè)氣象觀測數(shù)據(jù)未通過以下一致性檢查時，相應(yīng)數(shù)據(jù)為可疑數(shù)據(jù)，質(zhì)控碼置為1，具體質(zhì)控方法如下：（1）前一發(fā)育期觀測日期在后一發(fā)育期觀測日期之前；（2）前一發(fā)育植株生長高度小于或等于后一發(fā)育期植株生長高度。

4 結(jié)語

針對于文件上傳不及時、不規(guī)范出現(xiàn)的上報文件不完整、農(nóng)業(yè)氣象觀測數(shù)據(jù)審核不及時等情況，本文以Python為開發(fā)工具，基于CIMISS數(shù)據(jù)環(huán)境，開發(fā)并建立了一套農(nóng)業(yè)氣象觀測數(shù)據(jù)自動質(zhì)量控制系統(tǒng)，該系統(tǒng)提高了農(nóng)業(yè)氣象觀測數(shù)據(jù)審核效率，極大地減小了省級資料審核人員的工作負(fù)擔(dān)，并且對于各單位的用戶來說可以及時獲取經(jīng)過質(zhì)量控制后的農(nóng)業(yè)氣象觀測數(shù)據(jù)，這對于提高農(nóng)業(yè)生產(chǎn)，指導(dǎo)農(nóng)事活動具有重要意義。

本文開發(fā)的質(zhì)量控制系統(tǒng)目前僅針對于農(nóng)業(yè)氣象中的作物與牧草兩部分內(nèi)容進(jìn)行了質(zhì)量控制，對于其他觀測數(shù)據(jù)例如自然物候觀測、農(nóng)業(yè)氣象災(zāi)害觀測等內(nèi)容暫時未進(jìn)行自動質(zhì)量控制。本文所采取的質(zhì)量控制方法目前只有完整性檢查、數(shù)據(jù)小數(shù)位檢查、數(shù)據(jù)值域檢查、內(nèi)部一致性檢查共4種方法，后續(xù)應(yīng)該考慮加入更多方法進(jìn)行數(shù)據(jù)質(zhì)量控制進(jìn)行優(yōu)化。