卞曉豐

國家氣象信息中心，北京 100081

引言

隨著中尺度、精細(xì)化天氣預(yù)報以及各種探測技術(shù)迅速發(fā)展，氣象觀測資料種類與數(shù)量增長迅猛，綜合觀測系統(tǒng)、預(yù)報預(yù)測系統(tǒng)、公共服務(wù)系統(tǒng)對信息技術(shù)支撐系統(tǒng)提出了越來越高的要求[1]。氣象資料的特點是：數(shù)據(jù)種類的多樣化、時效性要求高以及數(shù)據(jù)量特別大[2]，從使用的角度看，往往是要求高時效、大批量，且多數(shù)用戶通常都集中在同一個時段使用數(shù)據(jù)。氣象行業(yè)傳統(tǒng)的質(zhì)量控制主要依據(jù)氣象學(xué)、天氣學(xué)、氣候?qū)W原理，以及氣象要素的時間、空間變化規(guī)律和各要素間相互聯(lián)系的規(guī)律為線索，分析氣象資料是否合理[3]?？梢赃@么說，數(shù)據(jù)質(zhì)量控制主要解決氣象數(shù)據(jù)的科學(xué)性問題。如何構(gòu)建一個分層次的業(yè)務(wù)系統(tǒng)，用以有效地收集和處理海量的原始?xì)庀髷?shù)據(jù)是氣象信息系統(tǒng)首先要解決的問題[4]。

數(shù)據(jù)質(zhì)量管理不同于對氣象資料的質(zhì)量控制，它是一個持續(xù)的過程，并貫穿數(shù)據(jù)的整個生命周期。在信息技術(shù)發(fā)展的不同時期，數(shù)據(jù)質(zhì)量有著不同的概念和標(biāo)準(zhǔn)。20世紀(jì)80年代以前，關(guān)于數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)基本上以提高數(shù)據(jù)準(zhǔn)確性為出發(fā)點。但是隨著質(zhì)量含義的不斷延伸，對數(shù)據(jù)質(zhì)量的認(rèn)識也從狹義向廣義轉(zhuǎn)變。目前數(shù)據(jù)質(zhì)量有著不同的定義，一種看法認(rèn)為數(shù)據(jù)質(zhì)量是數(shù)據(jù)適用于使用（fit for use）[6]，另一種看法認(rèn)為數(shù)據(jù)質(zhì)量是數(shù)據(jù)對其期望目的的適應(yīng)度[7]，還有一種看法認(rèn)為，數(shù)據(jù)質(zhì)量是模式（schema）和數(shù)據(jù)實例（instance）的一致性程度[8]。從數(shù)據(jù)質(zhì)量整體框架和方法論上講，首先我們要確定目標(biāo)，然后要清楚用什么人，通過怎樣的流程，采用什么樣的技術(shù)支撐來達(dá)成目標(biāo)，信息、人員、流程、技術(shù)缺一不可。本文從數(shù)據(jù)質(zhì)量管理角度出發(fā)，介紹種類繁多以及不同生命周期的氣象數(shù)據(jù)以不同形式并存情況下的質(zhì)量管理方法。

1.數(shù)據(jù)質(zhì)量管理概述

數(shù)據(jù)質(zhì)量具有個性化，多樣性，不穩(wěn)定等特點，不同行業(yè)可以根據(jù)自身背景，建立一組業(yè)內(nèi)認(rèn)可的質(zhì)量維度和指標(biāo)體系并制定其采集辦法。隨著氣象行業(yè)的發(fā)展，各種數(shù)據(jù)正在以難以想象的速度急劇膨脹。比如數(shù)據(jù)種類繁多、數(shù)據(jù)檢索困難、數(shù)據(jù)流向不明、數(shù)據(jù)無法共享，甚至更為嚴(yán)重的數(shù)據(jù)泛濫。如果在數(shù)量巨大的數(shù)據(jù)在通信系統(tǒng)上以不同形式并存，產(chǎn)品種類越多，生命周期越長，那么管理數(shù)據(jù)的難度也就越大。實現(xiàn)數(shù)據(jù)質(zhì)量管理以及建立相關(guān)的管理流程，需要考慮以下因素：

1） 注重從氣象數(shù)據(jù)使用者的角度來衡量數(shù)據(jù)質(zhì)量，數(shù)據(jù)質(zhì)量是由用戶以及數(shù)據(jù)的使用價值來評判的[10]。只有當(dāng)數(shù)據(jù)被用戶接受并使用時，對數(shù)據(jù)質(zhì)量管理的討論才具有意義；

2） 數(shù)據(jù)質(zhì)量本身不可測度，通常根據(jù)需求分為若干維度逐個加以識別。一般來說，準(zhǔn)確性，及時性，完整性，一致性等構(gòu)成了數(shù)據(jù)質(zhì)量的基本因素[8]；

3） 數(shù)據(jù)是持續(xù)更新的，數(shù)據(jù)質(zhì)量管理是一個持續(xù)的過程而不是一次性的活動

[14]。

數(shù)據(jù)的不同使用目的導(dǎo)致了數(shù)據(jù)質(zhì)量目標(biāo)不同。如果數(shù)據(jù)的使用主要是為了業(yè)務(wù)流程的正常運(yùn)轉(zhuǎn)，只要數(shù)據(jù)流向和某些數(shù)據(jù)統(tǒng)計正常，就可以認(rèn)為數(shù)據(jù)質(zhì)量滿足需求；如果數(shù)據(jù)是用于后續(xù)業(yè)務(wù)中的分析和計算，那么數(shù)據(jù)的使用目的則多種多樣，所以這種情況下的數(shù)據(jù)質(zhì)量需求是數(shù)據(jù)質(zhì)量管理目標(biāo)的主要方面。氣象通信系統(tǒng)中流轉(zhuǎn)的數(shù)據(jù)大多屬于后者，用作下游業(yè)務(wù)系統(tǒng)的輸入。

2.氣象通信系統(tǒng)中的數(shù)據(jù)質(zhì)量

氣象通信系統(tǒng)是數(shù)據(jù)收集、分發(fā)、交換控制以及傳輸監(jiān)視的綜合業(yè)務(wù)系統(tǒng)，承擔(dān)實時氣象數(shù)據(jù)傳輸和交換[1]。它主要由國際氣象通信系統(tǒng)、國內(nèi)氣象通信系統(tǒng)組成（圖1），其中國際通信系統(tǒng)承擔(dān)世界氣象組織全球通信系統(tǒng)亞洲區(qū)域樞紐職責(zé)的業(yè)務(wù)系統(tǒng)。國內(nèi)通信系統(tǒng)有臺站通信系統(tǒng)、縣級和地級通信系統(tǒng)、省級通信系統(tǒng)和國家級通信系統(tǒng)組成，負(fù)責(zé)國內(nèi)氣象數(shù)據(jù)的收集、國內(nèi)外氣象數(shù)據(jù)的分發(fā)服務(wù)，用戶不只是各級氣象部門，還包括民航、水利、海洋等相關(guān)行業(yè)部門。

圖1 氣象通信系統(tǒng)的組成

作為基礎(chǔ)業(yè)務(wù)平臺，氣象通信系統(tǒng)主要考慮以下四種影響數(shù)據(jù)質(zhì)量的因素：

1) 科學(xué)性。氣象數(shù)據(jù)必須真實的反應(yīng)實際狀況，避免出現(xiàn)誤差或者誤操作，控制數(shù)據(jù)的準(zhǔn)確程度；

2) 標(biāo)準(zhǔn)化和共享性。傳統(tǒng)上提供服務(wù)的各個信息系統(tǒng)相互獨立，在它們設(shè)計實施階段都沒有統(tǒng)一規(guī)劃，各個系統(tǒng)往往采用不同的技術(shù)和架構(gòu)，不同的業(yè)務(wù)規(guī)范和數(shù)據(jù)模式，導(dǎo)致數(shù)據(jù)分散、不完整甚至可能會有沖突。

3) 時效性和穩(wěn)定性。數(shù)據(jù)的交換過程并不是完全可控的，存在一定的變化。氣象行業(yè)要求規(guī)定時間內(nèi)得到最新的數(shù)據(jù)，并且要求業(yè)務(wù)系統(tǒng)是穩(wěn)定可靠的。

4) 可維護(hù)性。缺乏針對業(yè)務(wù)系統(tǒng)的數(shù)據(jù)質(zhì)量監(jiān)督管理措施。在系統(tǒng)的建設(shè)過程中，往往關(guān)心的是數(shù)據(jù)應(yīng)該往哪里去，應(yīng)該由誰處理它。數(shù)據(jù)不只是業(yè)務(wù)的副產(chǎn)品，應(yīng)提高對數(shù)據(jù)質(zhì)量的重視。

2.1 編碼技術(shù)對氣象數(shù)據(jù)質(zhì)量的影響

影響其質(zhì)量的因素有很多，在數(shù)據(jù)的生產(chǎn)、傳輸和處理過程中，任何環(huán)節(jié)的問題都會對信息系統(tǒng)的數(shù)據(jù)質(zhì)量產(chǎn)生負(fù)面影響。一種普遍認(rèn)可數(shù)據(jù)質(zhì)量研究主要集中在模式層和實例層。加入對數(shù)據(jù)來源的考慮，數(shù)據(jù)質(zhì)量問題可分為如下4類（圖2）：數(shù)據(jù)源模式層問題、單數(shù)據(jù)源實例層問題、多數(shù)據(jù)源模式層問題和多數(shù)據(jù)源實例層問題[9]。

單數(shù)據(jù)源情形中出現(xiàn)的問題在多數(shù)據(jù)源的情況下會變得更為嚴(yán)重。上圖對多數(shù)據(jù)源沒有列出在單數(shù)據(jù)源情形中就已經(jīng)出現(xiàn)的問題。模式層次上的問題也會體現(xiàn)在實例層次上，而實例層次上的問題在模式層次上不可見[12]。

圖2 數(shù)據(jù)質(zhì)量問題分析

氣象數(shù)據(jù)的數(shù)據(jù)編碼技術(shù)基本可分為兩大類：字符編碼和二進(jìn)制編碼。字符編碼簡單直觀，人工可讀、可編碼和解碼的。字符編碼對通信要求不高，適應(yīng)于早期電路速率低，只能以電報形式傳輸?shù)臈l件。二進(jìn)制編碼既能反映氣象信息的全貌，又能適應(yīng)高速通信線路的傳輸，便于計算機(jī)處理。二進(jìn)制的表格驅(qū)動碼不僅包含數(shù)據(jù)本身，還包含對數(shù)據(jù)的完整描述，具備良好的擴(kuò)展性與靈活性。這種數(shù)據(jù)格式的自描述信息能夠規(guī)避模式層，甚至實例層的很多問題，而且使編解碼簡單化。所以，隨著二進(jìn)制編碼的推廣和應(yīng)用，氣象數(shù)據(jù)會逐漸轉(zhuǎn)為二進(jìn)制編碼以規(guī)避數(shù)據(jù)質(zhì)量問題。

2.2 氣象數(shù)據(jù)質(zhì)量的維度

數(shù)據(jù)質(zhì)量是一個多維的概念[9]，理論上不是完全可控的。而數(shù)據(jù)質(zhì)量維度是數(shù)據(jù)質(zhì)量的評估標(biāo)準(zhǔn)，提供測量和管理信息和數(shù)據(jù)的方式。因此，將維度與業(yè)務(wù)需求相匹配，可較好地界定數(shù)據(jù)質(zhì)量管理的范圍?？紤]氣象數(shù)據(jù)特點，數(shù)據(jù)質(zhì)量維度的提出即從技術(shù)和業(yè)務(wù)兩個層面對目標(biāo)進(jìn)行定義。

一方面，在技術(shù)層面普遍認(rèn)可的四個基本要素是：

1） 完整性：數(shù)據(jù)的記錄和信息是否完整，主要包括是否存在文件缺失、要素缺失、記錄缺失和字段缺失等問題；

2） 一致性：數(shù)據(jù)的記錄是否符合規(guī)范，是否與前后及其他數(shù)據(jù)集合統(tǒng)一，主要包括數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)邏輯的一致性；

3） 準(zhǔn)確性：數(shù)據(jù)中記錄的信息是否真實有效，是否存在異?；蛘咤e誤，比如誤差，異常大或者異常小的數(shù)據(jù)等；

4） 及時性：數(shù)據(jù)的延時時長是否滿足時效性要求。當(dāng)然，對不同時間尺度的數(shù)據(jù)時延的要求是不同的。

另一方面，業(yè)務(wù)層面的需求從用戶視角衡量數(shù)據(jù)質(zhì)量，重視用戶對數(shù)據(jù)質(zhì)量的滿意程度。如何建立數(shù)據(jù)質(zhì)量監(jiān)控流程，及時發(fā)現(xiàn)、報告、處理數(shù)據(jù)質(zhì)量問題。在發(fā)展的不同階段，對數(shù)據(jù)質(zhì)量的關(guān)注點也有所不同。早期對數(shù)據(jù)質(zhì)量的關(guān)注點在于提高數(shù)據(jù)的準(zhǔn)確性，隨著系統(tǒng)功能的不斷完善和擴(kuò)展，用戶的關(guān)注重點逐步轉(zhuǎn)向其它方面。完成數(shù)據(jù)質(zhì)量的維度以及業(yè)務(wù)需求分析之后，應(yīng)評估一個特定的數(shù)據(jù)質(zhì)量問題在數(shù)據(jù)使用方面帶來的影響，定義可以接受的數(shù)據(jù)質(zhì)量閾值。根據(jù)影響分析可以確定數(shù)據(jù)質(zhì)量問題的重要性和優(yōu)先級別。

以地面觀測資料為例，數(shù)據(jù)質(zhì)量管理分為三個部分：傳輸質(zhì)量檢查、數(shù)據(jù)質(zhì)量檢查和網(wǎng)絡(luò)系統(tǒng)工作情況檢查。傳輸質(zhì)量主要考察數(shù)據(jù)傳輸階段的完整性和及時性，考核指標(biāo)分別是及時到達(dá)文件數(shù)量、逾限到達(dá)文件數(shù)量和缺失文件數(shù)量。實時數(shù)據(jù)質(zhì)量則主要針對數(shù)據(jù)采集階段的準(zhǔn)確性和完整性，考核指標(biāo)有數(shù)據(jù)可用率、數(shù)據(jù)錯誤率、數(shù)據(jù)可疑率和數(shù)據(jù)缺測率。上述兩種質(zhì)量對于不同種類的數(shù)據(jù)有著不同的閾值要求[1]。而網(wǎng)絡(luò)系統(tǒng)工作情況是對氣象通信網(wǎng)絡(luò)、系統(tǒng)等支撐環(huán)境的要求，考核指標(biāo)為系統(tǒng)的可靠性，要求系統(tǒng)全年7×24小時不間斷運(yùn)行，可用率在99.8%以上且每月平均故障時間不超過1個小時。

3.基于數(shù)據(jù)生命流程的數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量的需求與實際之間的差距，通常是由信息、流程、技術(shù)、人員所造成的。建立和實施數(shù)據(jù)質(zhì)量管理體系的方法包括以下步驟：首先，確定數(shù)據(jù)使用者的需求和期望。其次，制定質(zhì)量目標(biāo)，確定實現(xiàn)該目標(biāo)必需的業(yè)務(wù)流程和職責(zé)，確定和提供實現(xiàn)質(zhì)量目標(biāo)必需的資源。然后，規(guī)定測量業(yè)務(wù)流程的有效性和效率，應(yīng)用測量方法確定每個流程的有效性和效率，確定防止不合格并消除產(chǎn)生原因的措施；最后，建立和應(yīng)用持續(xù)改進(jìn)質(zhì)量管理體系的過程。采用上述方法對過程和產(chǎn)品質(zhì)量樹立信心，為持續(xù)改進(jìn)提供基礎(chǔ)，從而增進(jìn)用戶滿意并使氣象信息系統(tǒng)滿足設(shè)計要求。

針對氣象數(shù)據(jù)的來源多樣性、類型多樣性等特點，面向數(shù)據(jù)生命流程的框架體系的是實現(xiàn)數(shù)據(jù)質(zhì)量控制的較好選擇。對于數(shù)據(jù)而言，雖然在內(nèi)容、格式等方面存在差異，但生命流程是具有共性的[16]。對于數(shù)據(jù)生命流程的分類多種多樣，但總的說來大同小異，只是具體細(xì)節(jié)方面的不同。氣象通信系統(tǒng)中數(shù)據(jù)的重要生命階段大致可分為數(shù)據(jù)收集、數(shù)據(jù)管理和存儲、數(shù)據(jù)應(yīng)用和服務(wù)三個階段。

數(shù)據(jù)質(zhì)量的提高策略多種多樣[13]，從數(shù)據(jù)生命流程來看，一類從預(yù)防的角度，即在數(shù)據(jù)生命流程的任何一個階段，都有嚴(yán)格的數(shù)據(jù)規(guī)劃和約束來防止數(shù)據(jù)質(zhì)量問題的產(chǎn)生；另一類是事后診斷，即由于數(shù)據(jù)的演化或集成，會有臟數(shù)據(jù)逐漸涌現(xiàn)。從數(shù)據(jù)質(zhì)量問題解決依賴的知識來看，數(shù)據(jù)質(zhì)量提高策略分為兩類：一類提高策略不依賴特定業(yè)務(wù)規(guī)則，是應(yīng)用獨立的，如誤差、數(shù)據(jù)異常、某些缺失值的處理等，這類問題不依賴于特定規(guī)則，可以從數(shù)據(jù)本身中尋找特征來解決

[12]；另一類解決方法與特定業(yè)務(wù)規(guī)則相關(guān)，是應(yīng)用依賴的，這些相關(guān)領(lǐng)域知識是消除數(shù)據(jù)邏輯錯誤的必需條件。由于數(shù)據(jù)質(zhì)量問題涉及方方面面，成功的數(shù)據(jù)質(zhì)量提高方案必然是綜合應(yīng)用以上各種策略。

綜上所述，改善數(shù)據(jù)質(zhì)量從兩個方面著手，一個是在數(shù)據(jù)進(jìn)入系統(tǒng)時引入各種規(guī)則來保證數(shù)據(jù)的正確性；另一個是在數(shù)據(jù)整合時引入專門的工具進(jìn)行數(shù)據(jù)清洗。后一種方法的成本較高，而且需要持續(xù)不斷的進(jìn)行。相對而言，前一種方法更加主動，成本也較低。

3.1 數(shù)據(jù)收集

數(shù)據(jù)交換是數(shù)據(jù)生命流程的開始，數(shù)據(jù)通過各種方式進(jìn)入氣象信息系統(tǒng)內(nèi)部。氣象數(shù)據(jù)具有多源性和復(fù)雜性，數(shù)據(jù)交換與多方面的因素直接相關(guān)，這些直接相關(guān)的因素都不同程度對數(shù)據(jù)質(zhì)量情況有所影響，比如模式設(shè)計、傳輸方式、設(shè)備的工作狀態(tài)等。

以觀測資料為例，目前用于提高數(shù)據(jù)的準(zhǔn)確性的管理方法包括：格式檢查、范圍檢查、極值檢查、內(nèi)部一致性檢查、空間一致性檢查、氣象學(xué)公式檢查、統(tǒng)計學(xué)檢查、均一性檢查等。臺站、地市和縣級、省級、國家級資料部門的四級質(zhì)量控制業(yè)務(wù)系統(tǒng)在數(shù)據(jù)源頭確保數(shù)據(jù)的完整性、正確性，根據(jù)數(shù)據(jù)時效性區(qū)分實時和非實時業(yè)務(wù)，保證數(shù)據(jù)的及時性[5]。

3.2 數(shù)據(jù)管理和存儲

一般來說，數(shù)據(jù)管理和存儲不會對數(shù)據(jù)有直接改變的操作，通常是把數(shù)據(jù)以具體的形式存儲和管理。除了數(shù)據(jù)自身的質(zhì)量，存儲介質(zhì)、環(huán)境、歸檔策略等也都是和質(zhì)量管理緊密相關(guān)的，數(shù)據(jù)管理應(yīng)該在保證數(shù)據(jù)安全性的前提下提供用戶訪問。在這一階段中，還應(yīng)當(dāng)重點關(guān)注存儲介質(zhì)、環(huán)境以及管理系統(tǒng)的安全性、可訪問性等因素。另外，數(shù)據(jù)管理流程不清晰、資料標(biāo)準(zhǔn)不統(tǒng)一等問題給業(yè)務(wù)人員和用戶都增加了一定的工作量。需要增加對數(shù)據(jù)進(jìn)行詳細(xì)、深入的了解，注重解決元數(shù)據(jù)管理、數(shù)據(jù)整合等方面的細(xì)節(jié)問題。

數(shù)據(jù)進(jìn)入數(shù)據(jù)庫管理之前，根據(jù)來源、種類等信息對上一階段的數(shù)據(jù)進(jìn)行清理和驗證。具體的方式有重復(fù)性檢查、數(shù)據(jù)補(bǔ)調(diào)、錯報調(diào)閱及修改等。通過文件級、公報級、報告級數(shù)據(jù)收發(fā)情況和傳輸時效的監(jiān)視、統(tǒng)計，按照規(guī)定生成指定的報告級報表，對重要數(shù)據(jù)質(zhì)量問題應(yīng)當(dāng)做持續(xù)監(jiān)控。通過數(shù)據(jù)質(zhì)量檢查和監(jiān)控來測量和監(jiān)控數(shù)據(jù)項對數(shù)據(jù)質(zhì)量的符合度，提高識別和糾正數(shù)據(jù)質(zhì)量問題的可能性，從而避免對業(yè)務(wù)的重大沖擊。對于一些實驗性的項目而言，巨大的數(shù)據(jù)量和高時效的要求促使技術(shù)人員正在尋找新的架構(gòu)實現(xiàn)智能動態(tài)管理，以方便對其進(jìn)行高效存儲和訪問。

3.3 數(shù)據(jù)應(yīng)用和服務(wù)

數(shù)據(jù)應(yīng)用和服務(wù)階段是根據(jù)業(yè)務(wù)需求將數(shù)據(jù)傳遞給下游的過程，在該階段最容易暴露數(shù)據(jù)本身及其所產(chǎn)生的信息內(nèi)容的質(zhì)量問題。因為數(shù)據(jù)的使用決定了數(shù)據(jù)質(zhì)量問題的定義，很多質(zhì)量問題都是在使用時首次發(fā)現(xiàn)。除此之外，從用戶角度出發(fā)，數(shù)據(jù)服務(wù)系統(tǒng)的友好性、易用性也可作為該階段數(shù)據(jù)質(zhì)量控制和保證的維度。

氣息通信系統(tǒng)提供各種傳輸協(xié)議接口，實現(xiàn)數(shù)據(jù)交換控制、傳輸處理以及作業(yè)調(diào)度。通過管理入口技術(shù)人員對系統(tǒng)做業(yè)務(wù)管理、維護(hù)和運(yùn)行監(jiān)視，保證數(shù)據(jù)能夠及時分發(fā)，及時到達(dá)。在日常業(yè)務(wù)工作中，業(yè)務(wù)人員逐步認(rèn)識到數(shù)據(jù)質(zhì)量是一個嚴(yán)重的，需要高昂的成本的問題。很多數(shù)據(jù)使用者并不能完全了解數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因，他們認(rèn)為數(shù)據(jù)質(zhì)量的問題主要是技術(shù)層面的問題。但是，數(shù)據(jù)質(zhì)量問題又不可能僅僅通過氣象通信系統(tǒng)的改善來實現(xiàn)，更需要其他業(yè)務(wù)部門的積極、主動參與。

數(shù)據(jù)質(zhì)量問題的產(chǎn)生往往主要在數(shù)據(jù)收集階段，然后隨著數(shù)據(jù)生命流程的發(fā)展而逐漸減少，而數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)則相反（圖3）。數(shù)據(jù)收集階段最開始只能發(fā)現(xiàn)業(yè)務(wù)流程相關(guān)的數(shù)據(jù)質(zhì)量問題，而且僅限于本系統(tǒng)內(nèi)部。預(yù)防比修正的成本低，而且效果更好，因此數(shù)據(jù)質(zhì)量的問題最好在源頭得到修正。相比較其它階段，在數(shù)據(jù)收集階段預(yù)防數(shù)據(jù)質(zhì)量缺陷發(fā)生的意義更大。對于數(shù)據(jù)管理和存儲階段，應(yīng)當(dāng)利用基礎(chǔ)數(shù)據(jù)平臺類系統(tǒng)對數(shù)據(jù)質(zhì)量問題的解決情況進(jìn)行跟蹤，作為數(shù)據(jù)質(zhì)量監(jiān)控的一個重要組成部分，也是數(shù)據(jù)質(zhì)量提高的一個依據(jù)。作為數(shù)據(jù)的使用者，在數(shù)據(jù)應(yīng)用和服務(wù)階段對數(shù)據(jù)質(zhì)量進(jìn)行評估和反饋，用于設(shè)定下一階段數(shù)據(jù)管理目標(biāo)。

圖3 數(shù)據(jù)生命流程

3.4 設(shè)計并實施質(zhì)量管理管理操作程序

數(shù)據(jù)質(zhì)量管理的有效實施依賴于建立數(shù)據(jù)質(zhì)量事件解決報告與跟蹤機(jī)制。記錄數(shù)據(jù)質(zhì)量事件的評估、初步診斷和后續(xù)行動提供績效報告。包括問題解決的平均時間、問題發(fā)生頻次、問題類型、問題來源以及糾正或者消除問題的常規(guī)做法。從質(zhì)量管理的持續(xù)改進(jìn)原則出發(fā)，不斷的改進(jìn)數(shù)據(jù)質(zhì)量是一個永恒的目標(biāo)。數(shù)據(jù)是持續(xù)更新的，數(shù)據(jù)質(zhì)量管理是一個持續(xù)的過程而不是一次性的活動，沒有持續(xù)的監(jiān)控和預(yù)防措施，數(shù)據(jù)質(zhì)量缺陷仍有可能再次出現(xiàn)。一般通過預(yù)定義的規(guī)則進(jìn)行數(shù)據(jù)質(zhì)量驗證，提供了將數(shù)據(jù)監(jiān)控與主動數(shù)據(jù)質(zhì)量管理日常操作流程相融合的方式來。因此，數(shù)據(jù)質(zhì)量日常工作的四項活動有：檢查和監(jiān)控；診斷和評估補(bǔ)救辦法；解決問題；形成報告。

不同的業(yè)務(wù)對數(shù)據(jù)質(zhì)量的要求是不同的，在具體的實踐中可以根據(jù)質(zhì)量控制、評估等具體需要增加質(zhì)量維度，輔以相應(yīng)的質(zhì)量對象實現(xiàn)理論和方法，評估、控制和保證相應(yīng)的數(shù)據(jù)質(zhì)量內(nèi)容。為了最大范圍進(jìn)行有效的數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)質(zhì)量管理的功能點應(yīng)該合理分布在流程的各個階段。數(shù)據(jù)質(zhì)量管理的最佳選擇是將數(shù)據(jù)、業(yè)務(wù)系統(tǒng)、技術(shù)人員和用戶都納入到數(shù)據(jù)質(zhì)量的發(fā)現(xiàn)、修正、跟蹤和評估的閉環(huán)流程之中，數(shù)據(jù)質(zhì)量管理成敗的關(guān)鍵在于合理有效的組織架構(gòu)和流程。

4.結(jié)束語

氣象科學(xué)數(shù)據(jù)作為國家基礎(chǔ)性、公益性科學(xué)數(shù)據(jù)資源的重要組成部分，良好設(shè)計和規(guī)劃的信息系統(tǒng)并不能保證在所有的情況下都能滿足氣象行業(yè)對數(shù)據(jù)業(yè)務(wù)的要求。數(shù)據(jù)質(zhì)量管理應(yīng)該作為業(yè)務(wù)系統(tǒng)中一項關(guān)鍵的支撐流程，在業(yè)務(wù)系統(tǒng)的設(shè)計改造、業(yè)務(wù)的變更整合，以及業(yè)務(wù)的遷移過程中統(tǒng)籌考慮，否則就會影響所存放的數(shù)據(jù)的質(zhì)量。而且，對數(shù)據(jù)短期的清理也許會帶來一定的改善，但并不解決數(shù)據(jù)缺陷的根本原因。應(yīng)當(dāng)根據(jù)發(fā)展需求制定的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，為提升數(shù)據(jù)質(zhì)量提供合理有效的解決方案。

數(shù)據(jù)質(zhì)量管理過程是一個沒有終點的過程，也沒有統(tǒng)一架構(gòu)原則。數(shù)據(jù)質(zhì)量是一個多維的概念，貫穿于數(shù)據(jù)生命流程的各個階段。為了防患于未然，定位、解決和避免數(shù)據(jù)質(zhì)量問題，需要構(gòu)建可長期持續(xù)保持的數(shù)據(jù)質(zhì)量流程，減少業(yè)務(wù)中數(shù)據(jù)流程風(fēng)險。將數(shù)據(jù)質(zhì)量管理和質(zhì)量提高等流程制度化，識別業(yè)務(wù)對高質(zhì)量數(shù)據(jù)的需求，確定如何度量、監(jiān)控和報告數(shù)據(jù)質(zhì)量的最佳方式。根據(jù)數(shù)據(jù)質(zhì)量問題的定義、分類和特性，可從技術(shù)和管理兩個方面分析并解決氣象通信系統(tǒng)中的可能存在的數(shù)據(jù)質(zhì)量問題。氣象數(shù)據(jù)質(zhì)量的研究工作仍有許多可以改善的地方，這需要在今后的業(yè)務(wù)工作中將這部分研究工作將和氣象通信系統(tǒng)的建設(shè)和發(fā)展結(jié)合起來，根據(jù)下游業(yè)務(wù)的反饋和意見做進(jìn)一步的完善和豐富。

[1]趙立成，氣象信息系統(tǒng)[M]氣象出版社，2011.

[2]林潤生, 孫周軍, 譚小華, 等. 新一代國內(nèi)氣象通信系統(tǒng)設(shè)計與實現(xiàn)[J]. 氣象, 2011, 37(3)：356-362.

[3]李集明，熊安元.氣象科學(xué)數(shù)據(jù)共享系統(tǒng)研究綜述[J]. 應(yīng)用氣象學(xué)報，2004，15(Z1).

[4]李集明, 沈文海, 王國復(fù). 氣象信息共享平臺及其關(guān)鍵技術(shù)研究[J]. 應(yīng)用氣象學(xué)報, 2006,17(5)： 621-628.

[5]劉小寧, 任芝花. 地面氣象資料質(zhì)量控制方法研究概述[J]. 氣象科技, 2005, 33(3)： 199-203.

[6]Wang R Y, Strong D M, Guarascio L M.Beyond accuracy： What data quality means to data consumers[J]. J. of Management Information Systems,1996, 12(4)： 5-33.

[7]Beverly K. Kahn, Diane M. Strong. Product and Service Performance Model for Information Quality： An Update[J]. IQ 1998： 102-115, 1998.

[8]Aebi D, Perrochon L. Towards Improving Data Quality[C]//CISMOD. 1993： 273-281.

[9]Rahm E, Do H H. Data cleaning： Problems and current approaches[J]. IEEE Data Eng. Bull., 2000,23(4)： 3-13.

[10]DAMA著，馬歡，劉晨等譯，DAMA數(shù)據(jù)管理知識體系指南[M]，清華大學(xué)出版社，2012

[11]宋敏, 覃正. 國外數(shù)據(jù)質(zhì)量管理研究綜述[J]. 情報雜志, 2007, 2： 7-9.

[12]郭志懋, 周傲英. 數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述[J]. 軟件學(xué)報, 2002, 13(11)： 2076-2082.

[13]韓京宇, 徐立臻, 董逸生. 數(shù)據(jù)質(zhì)量研究綜述[J]. 計算機(jī)科學(xué), 2008, 35(2)： 1-5.

[14]孫中東. 企業(yè)級數(shù)據(jù)治理框架下的數(shù)據(jù)質(zhì)量管理[J]. 金融電子化, 2011 (6)： 57-60.

[15]王國復(fù), 徐楓, 吳增祥. 氣象元數(shù)據(jù)標(biāo)準(zhǔn)與信息發(fā)布技術(shù)研究[J]. 應(yīng)用氣象學(xué)報, 2005,16(1)： 114-121.

[16]胡良霖. 科學(xué)數(shù)據(jù)資源的質(zhì)量控制和評估[J]. E-Science, 2009 (1)： 50-55.