亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        淺析氣象通信系統(tǒng)中的數(shù)據(jù)質(zhì)量管理

        2013-10-08 03:04:46卞曉豐
        中國科技信息 2013年16期
        關(guān)鍵詞:氣象流程質(zhì)量

        卞曉豐

        國家氣象信息中心,北京 100081

        引言

        隨著中尺度、精細(xì)化天氣預(yù)報以及各種探測技術(shù)迅速發(fā)展,氣象觀測資料種類與數(shù)量增長迅猛,綜合觀測系統(tǒng)、預(yù)報預(yù)測系統(tǒng)、公共服務(wù)系統(tǒng)對信息技術(shù)支撐系統(tǒng)提出了越來越高的要求[1]。氣象資料的特點是:數(shù)據(jù)種類的多樣化、時效性要求高以及數(shù)據(jù)量特別大[2],從使用的角度看,往往是要求高時效、大批量,且多數(shù)用戶通常都集中在同一個時段使用數(shù)據(jù)。氣象行業(yè)傳統(tǒng)的質(zhì)量控制主要依據(jù)氣象學(xué)、天氣學(xué)、氣候?qū)W原理,以及氣象要素的時間、空間變化規(guī)律和各要素間相互聯(lián)系的規(guī)律為線索,分析氣象資料是否合理[3]??梢赃@么說,數(shù)據(jù)質(zhì)量控制主要解決氣象數(shù)據(jù)的科學(xué)性問題。如何構(gòu)建一個分層次的業(yè)務(wù)系統(tǒng),用以有效地收集和處理海量的原始?xì)庀髷?shù)據(jù)是氣象信息系統(tǒng)首先要解決的問題[4]。

        數(shù)據(jù)質(zhì)量管理不同于對氣象資料的質(zhì)量控制,它是一個持續(xù)的過程,并貫穿數(shù)據(jù)的整個生命周期。在信息技術(shù)發(fā)展的不同時期,數(shù)據(jù)質(zhì)量有著不同的概念和標(biāo)準(zhǔn)。20世紀(jì)80年代以前,關(guān)于數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)基本上以提高數(shù)據(jù)準(zhǔn)確性為出發(fā)點。但是隨著質(zhì)量含義的不斷延伸,對數(shù)據(jù)質(zhì)量的認(rèn)識也從狹義向廣義轉(zhuǎn)變。目前數(shù)據(jù)質(zhì)量有著不同的定義,一種看法認(rèn)為數(shù)據(jù)質(zhì)量是數(shù)據(jù)適用于使用(fit for use)[6],另一種看法認(rèn)為數(shù)據(jù)質(zhì)量是數(shù)據(jù)對其期望目的的適應(yīng)度[7],還有一種看法認(rèn)為,數(shù)據(jù)質(zhì)量是模式(schema)和數(shù)據(jù)實例(instance)的一致性程度[8]。從數(shù)據(jù)質(zhì)量整體框架和方法論上講,首先我們要確定目標(biāo),然后要清楚用什么人,通過怎樣的流程,采用什么樣的技術(shù)支撐來達(dá)成目標(biāo),信息、人員、流程、技術(shù)缺一不可。本文從數(shù)據(jù)質(zhì)量管理角度出發(fā),介紹種類繁多以及不同生命周期的氣象數(shù)據(jù)以不同形式并存情況下的質(zhì)量管理方法。

        1.數(shù)據(jù)質(zhì)量管理概述

        數(shù)據(jù)質(zhì)量具有個性化,多樣性,不穩(wěn)定等特點,不同行業(yè)可以根據(jù)自身背景,建立一組業(yè)內(nèi)認(rèn)可的質(zhì)量維度和指標(biāo)體系并制定其采集辦法。隨著氣象行業(yè)的發(fā)展,各種數(shù)據(jù)正在以難以想象的速度急劇膨脹。比如數(shù)據(jù)種類繁多、數(shù)據(jù)檢索困難、數(shù)據(jù)流向不明、數(shù)據(jù)無法共享,甚至更為嚴(yán)重的數(shù)據(jù)泛濫。如果在數(shù)量巨大的數(shù)據(jù)在通信系統(tǒng)上以不同形式并存,產(chǎn)品種類越多,生命周期越長,那么管理數(shù)據(jù)的難度也就越大。實現(xiàn)數(shù)據(jù)質(zhì)量管理以及建立相關(guān)的管理流程,需要考慮以下因素:

        1) 注重從氣象數(shù)據(jù)使用者的角度來衡量數(shù)據(jù)質(zhì)量,數(shù)據(jù)質(zhì)量是由用戶以及數(shù)據(jù)的使用價值來評判的[10]。只有當(dāng)數(shù)據(jù)被用戶接受并使用時,對數(shù)據(jù)質(zhì)量管理的討論才具有意義;

        2) 數(shù)據(jù)質(zhì)量本身不可測度,通常根據(jù)需求分為若干維度逐個加以識別。一般來說,準(zhǔn)確性,及時性,完整性,一致性等構(gòu)成了數(shù)據(jù)質(zhì)量的基本因素[8];

        3) 數(shù)據(jù)是持續(xù)更新的,數(shù)據(jù)質(zhì)量管理是一個持續(xù)的過程而不是一次性的活動

        [14]。

        數(shù)據(jù)的不同使用目的導(dǎo)致了數(shù)據(jù)質(zhì)量目標(biāo)不同。如果數(shù)據(jù)的使用主要是為了業(yè)務(wù)流程的正常運(yùn)轉(zhuǎn),只要數(shù)據(jù)流向和某些數(shù)據(jù)統(tǒng)計正常,就可以認(rèn)為數(shù)據(jù)質(zhì)量滿足需求;如果數(shù)據(jù)是用于后續(xù)業(yè)務(wù)中的分析和計算,那么數(shù)據(jù)的使用目的則多種多樣,所以這種情況下的數(shù)據(jù)質(zhì)量需求是數(shù)據(jù)質(zhì)量管理目標(biāo)的主要方面。氣象通信系統(tǒng)中流轉(zhuǎn)的數(shù)據(jù)大多屬于后者,用作下游業(yè)務(wù)系統(tǒng)的輸入。

        2.氣象通信系統(tǒng)中的數(shù)據(jù)質(zhì)量

        氣象通信系統(tǒng)是數(shù)據(jù)收集、分發(fā)、交換控制以及傳輸監(jiān)視的綜合業(yè)務(wù)系統(tǒng),承擔(dān)實時氣象數(shù)據(jù)傳輸和交換[1]。它主要由國際氣象通信系統(tǒng)、國內(nèi)氣象通信系統(tǒng)組成(圖1),其中國際通信系統(tǒng)承擔(dān)世界氣象組織全球通信系統(tǒng)亞洲區(qū)域樞紐職責(zé)的業(yè)務(wù)系統(tǒng)。國內(nèi)通信系統(tǒng)有臺站通信系統(tǒng)、縣級和地級通信系統(tǒng)、省級通信系統(tǒng)和國家級通信系統(tǒng)組成,負(fù)責(zé)國內(nèi)氣象數(shù)據(jù)的收集、國內(nèi)外氣象數(shù)據(jù)的分發(fā)服務(wù),用戶不只是各級氣象部門,還包括民航、水利、海洋等相關(guān)行業(yè)部門。

        圖1 氣象通信系統(tǒng)的組成

        作為基礎(chǔ)業(yè)務(wù)平臺,氣象通信系統(tǒng)主要考慮以下四種影響數(shù)據(jù)質(zhì)量的因素:

        1) 科學(xué)性。氣象數(shù)據(jù)必須真實的反應(yīng)實際狀況,避免出現(xiàn)誤差或者誤操作,控制數(shù)據(jù)的準(zhǔn)確程度;

        2) 標(biāo)準(zhǔn)化和共享性。傳統(tǒng)上提供服務(wù)的各個信息系統(tǒng)相互獨立,在它們設(shè)計實施階段都沒有統(tǒng)一規(guī)劃,各個系統(tǒng)往往采用不同的技術(shù)和架構(gòu),不同的業(yè)務(wù)規(guī)范和數(shù)據(jù)模式,導(dǎo)致數(shù)據(jù)分散、不完整甚至可能會有沖突。

        3) 時效性和穩(wěn)定性。數(shù)據(jù)的交換過程并不是完全可控的,存在一定的變化。氣象行業(yè)要求規(guī)定時間內(nèi)得到最新的數(shù)據(jù),并且要求業(yè)務(wù)系統(tǒng)是穩(wěn)定可靠的。

        4) 可維護(hù)性。缺乏針對業(yè)務(wù)系統(tǒng)的數(shù)據(jù)質(zhì)量監(jiān)督管理措施。在系統(tǒng)的建設(shè)過程中,往往關(guān)心的是數(shù)據(jù)應(yīng)該往哪里去,應(yīng)該由誰處理它。數(shù)據(jù)不只是業(yè)務(wù)的副產(chǎn)品,應(yīng)提高對數(shù)據(jù)質(zhì)量的重視。

        2.1 編碼技術(shù)對氣象數(shù)據(jù)質(zhì)量的影響

        影響其質(zhì)量的因素有很多,在數(shù)據(jù)的生產(chǎn)、傳輸和處理過程中,任何環(huán)節(jié)的問題都會對信息系統(tǒng)的數(shù)據(jù)質(zhì)量產(chǎn)生負(fù)面影響。一種普遍認(rèn)可數(shù)據(jù)質(zhì)量研究主要集中在模式層和實例層。加入對數(shù)據(jù)來源的考慮,數(shù)據(jù)質(zhì)量問題可分為如下4類(圖2):數(shù)據(jù)源模式層問題、單數(shù)據(jù)源實例層問題、多數(shù)據(jù)源模式層問題和多數(shù)據(jù)源實例層問題[9]。

        單數(shù)據(jù)源情形中出現(xiàn)的問題在多數(shù)據(jù)源的情況下會變得更為嚴(yán)重。上圖對多數(shù)據(jù)源沒有列出在單數(shù)據(jù)源情形中就已經(jīng)出現(xiàn)的問題。模式層次上的問題也會體現(xiàn)在實例層次上,而實例層次上的問題在模式層次上不可見[12]。

        圖2 數(shù)據(jù)質(zhì)量問題分析

        氣象數(shù)據(jù)的數(shù)據(jù)編碼技術(shù)基本可分為兩大類:字符編碼和二進(jìn)制編碼。字符編碼簡單直觀,人工可讀、可編碼和解碼的。字符編碼對通信要求不高,適應(yīng)于早期電路速率低,只能以電報形式傳輸?shù)臈l件。二進(jìn)制編碼既能反映氣象信息的全貌,又能適應(yīng)高速通信線路的傳輸,便于計算機(jī)處理。二進(jìn)制的表格驅(qū)動碼不僅包含數(shù)據(jù)本身,還包含對數(shù)據(jù)的完整描述,具備良好的擴(kuò)展性與靈活性。這種數(shù)據(jù)格式的自描述信息能夠規(guī)避模式層,甚至實例層的很多問題,而且使編解碼簡單化。所以,隨著二進(jìn)制編碼的推廣和應(yīng)用,氣象數(shù)據(jù)會逐漸轉(zhuǎn)為二進(jìn)制編碼以規(guī)避數(shù)據(jù)質(zhì)量問題。

        2.2 氣象數(shù)據(jù)質(zhì)量的維度

        數(shù)據(jù)質(zhì)量是一個多維的概念[9],理論上不是完全可控的。而數(shù)據(jù)質(zhì)量維度是數(shù)據(jù)質(zhì)量的評估標(biāo)準(zhǔn),提供測量和管理信息和數(shù)據(jù)的方式。因此,將維度與業(yè)務(wù)需求相匹配,可較好地界定數(shù)據(jù)質(zhì)量管理的范圍??紤]氣象數(shù)據(jù)特點,數(shù)據(jù)質(zhì)量維度的提出即從技術(shù)和業(yè)務(wù)兩個層面對目標(biāo)進(jìn)行定義。

        一方面,在技術(shù)層面普遍認(rèn)可的四個基本要素是:

        1) 完整性:數(shù)據(jù)的記錄和信息是否完整,主要包括是否存在文件缺失、要素缺失、記錄缺失和字段缺失等問題;

        2) 一致性:數(shù)據(jù)的記錄是否符合規(guī)范,是否與前后及其他數(shù)據(jù)集合統(tǒng)一,主要包括數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)邏輯的一致性;

        3) 準(zhǔn)確性:數(shù)據(jù)中記錄的信息是否真實有效,是否存在異?;蛘咤e誤,比如誤差,異常大或者異常小的數(shù)據(jù)等;

        4) 及時性:數(shù)據(jù)的延時時長是否滿足時效性要求。當(dāng)然,對不同時間尺度的數(shù)據(jù)時延的要求是不同的。

        另一方面,業(yè)務(wù)層面的需求從用戶視角衡量數(shù)據(jù)質(zhì)量,重視用戶對數(shù)據(jù)質(zhì)量的滿意程度。如何建立數(shù)據(jù)質(zhì)量監(jiān)控流程,及時發(fā)現(xiàn)、報告、處理數(shù)據(jù)質(zhì)量問題。在發(fā)展的不同階段,對數(shù)據(jù)質(zhì)量的關(guān)注點也有所不同。早期對數(shù)據(jù)質(zhì)量的關(guān)注點在于提高數(shù)據(jù)的準(zhǔn)確性,隨著系統(tǒng)功能的不斷完善和擴(kuò)展,用戶的關(guān)注重點逐步轉(zhuǎn)向其它方面。完成數(shù)據(jù)質(zhì)量的維度以及業(yè)務(wù)需求分析之后,應(yīng)評估一個特定的數(shù)據(jù)質(zhì)量問題在數(shù)據(jù)使用方面帶來的影響,定義可以接受的數(shù)據(jù)質(zhì)量閾值。根據(jù)影響分析可以確定數(shù)據(jù)質(zhì)量問題的重要性和優(yōu)先級別。

        以地面觀測資料為例,數(shù)據(jù)質(zhì)量管理分為三個部分:傳輸質(zhì)量檢查、數(shù)據(jù)質(zhì)量檢查和網(wǎng)絡(luò)系統(tǒng)工作情況檢查。傳輸質(zhì)量主要考察數(shù)據(jù)傳輸階段的完整性和及時性,考核指標(biāo)分別是及時到達(dá)文件數(shù)量、逾限到達(dá)文件數(shù)量和缺失文件數(shù)量。實時數(shù)據(jù)質(zhì)量則主要針對數(shù)據(jù)采集階段的準(zhǔn)確性和完整性,考核指標(biāo)有數(shù)據(jù)可用率、數(shù)據(jù)錯誤率、數(shù)據(jù)可疑率和數(shù)據(jù)缺測率。上述兩種質(zhì)量對于不同種類的數(shù)據(jù)有著不同的閾值要求[1]。而網(wǎng)絡(luò)系統(tǒng)工作情況是對氣象通信網(wǎng)絡(luò)、系統(tǒng)等支撐環(huán)境的要求,考核指標(biāo)為系統(tǒng)的可靠性,要求系統(tǒng)全年7×24小時不間斷運(yùn)行,可用率在99.8%以上且每月平均故障時間不超過1個小時。

        3.基于數(shù)據(jù)生命流程的數(shù)據(jù)質(zhì)量管理

        數(shù)據(jù)質(zhì)量的需求與實際之間的差距,通常是由信息、流程、技術(shù)、人員所造成的。建立和實施數(shù)據(jù)質(zhì)量管理體系的方法包括以下步驟:首先,確定數(shù)據(jù)使用者的需求和期望。其次,制定質(zhì)量目標(biāo),確定實現(xiàn)該目標(biāo)必需的業(yè)務(wù)流程和職責(zé),確定和提供實現(xiàn)質(zhì)量目標(biāo)必需的資源。然后,規(guī)定測量業(yè)務(wù)流程的有效性和效率,應(yīng)用測量方法確定每個流程的有效性和效率,確定防止不合格并消除產(chǎn)生原因的措施;最后,建立和應(yīng)用持續(xù)改進(jìn)質(zhì)量管理體系的過程。采用上述方法對過程和產(chǎn)品質(zhì)量樹立信心,為持續(xù)改進(jìn)提供基礎(chǔ),從而增進(jìn)用戶滿意并使氣象信息系統(tǒng)滿足設(shè)計要求。

        針對氣象數(shù)據(jù)的來源多樣性、類型多樣性等特點,面向數(shù)據(jù)生命流程的框架體系的是實現(xiàn)數(shù)據(jù)質(zhì)量控制的較好選擇。對于數(shù)據(jù)而言,雖然在內(nèi)容、格式等方面存在差異,但生命流程是具有共性的[16]。對于數(shù)據(jù)生命流程的分類多種多樣,但總的說來大同小異,只是具體細(xì)節(jié)方面的不同。氣象通信系統(tǒng)中數(shù)據(jù)的重要生命階段大致可分為數(shù)據(jù)收集、數(shù)據(jù)管理和存儲、數(shù)據(jù)應(yīng)用和服務(wù)三個階段。

        數(shù)據(jù)質(zhì)量的提高策略多種多樣[13],從數(shù)據(jù)生命流程來看,一類從預(yù)防的角度,即在數(shù)據(jù)生命流程的任何一個階段,都有嚴(yán)格的數(shù)據(jù)規(guī)劃和約束來防止數(shù)據(jù)質(zhì)量問題的產(chǎn)生;另一類是事后診斷,即由于數(shù)據(jù)的演化或集成,會有臟數(shù)據(jù)逐漸涌現(xiàn)。從數(shù)據(jù)質(zhì)量問題解決依賴的知識來看,數(shù)據(jù)質(zhì)量提高策略分為兩類:一類提高策略不依賴特定業(yè)務(wù)規(guī)則,是應(yīng)用獨立的,如誤差、數(shù)據(jù)異常、某些缺失值的處理等,這類問題不依賴于特定規(guī)則,可以從數(shù)據(jù)本身中尋找特征來解決

        [12];另一類解決方法與特定業(yè)務(wù)規(guī)則相關(guān),是應(yīng)用依賴的,這些相關(guān)領(lǐng)域知識是消除數(shù)據(jù)邏輯錯誤的必需條件。由于數(shù)據(jù)質(zhì)量問題涉及方方面面,成功的數(shù)據(jù)質(zhì)量提高方案必然是綜合應(yīng)用以上各種策略。

        綜上所述,改善數(shù)據(jù)質(zhì)量從兩個方面著手,一個是在數(shù)據(jù)進(jìn)入系統(tǒng)時引入各種規(guī)則來保證數(shù)據(jù)的正確性;另一個是在數(shù)據(jù)整合時引入專門的工具進(jìn)行數(shù)據(jù)清洗。后一種方法的成本較高,而且需要持續(xù)不斷的進(jìn)行。相對而言,前一種方法更加主動,成本也較低。

        3.1 數(shù)據(jù)收集

        數(shù)據(jù)交換是數(shù)據(jù)生命流程的開始,數(shù)據(jù)通過各種方式進(jìn)入氣象信息系統(tǒng)內(nèi)部。氣象數(shù)據(jù)具有多源性和復(fù)雜性,數(shù)據(jù)交換與多方面的因素直接相關(guān),這些直接相關(guān)的因素都不同程度對數(shù)據(jù)質(zhì)量情況有所影響,比如模式設(shè)計、傳輸方式、設(shè)備的工作狀態(tài)等。

        以觀測資料為例,目前用于提高數(shù)據(jù)的準(zhǔn)確性的管理方法包括:格式檢查、范圍檢查、極值檢查、內(nèi)部一致性檢查、空間一致性檢查、氣象學(xué)公式檢查、統(tǒng)計學(xué)檢查、均一性檢查等。臺站、地市和縣級、省級、國家級資料部門的四級質(zhì)量控制業(yè)務(wù)系統(tǒng)在數(shù)據(jù)源頭確保數(shù)據(jù)的完整性、正確性,根據(jù)數(shù)據(jù)時效性區(qū)分實時和非實時業(yè)務(wù),保證數(shù)據(jù)的及時性[5]。

        3.2 數(shù)據(jù)管理和存儲

        一般來說,數(shù)據(jù)管理和存儲不會對數(shù)據(jù)有直接改變的操作,通常是把數(shù)據(jù)以具體的形式存儲和管理。除了數(shù)據(jù)自身的質(zhì)量,存儲介質(zhì)、環(huán)境、歸檔策略等也都是和質(zhì)量管理緊密相關(guān)的,數(shù)據(jù)管理應(yīng)該在保證數(shù)據(jù)安全性的前提下提供用戶訪問。在這一階段中,還應(yīng)當(dāng)重點關(guān)注存儲介質(zhì)、環(huán)境以及管理系統(tǒng)的安全性、可訪問性等因素。另外,數(shù)據(jù)管理流程不清晰、資料標(biāo)準(zhǔn)不統(tǒng)一等問題給業(yè)務(wù)人員和用戶都增加了一定的工作量。需要增加對數(shù)據(jù)進(jìn)行詳細(xì)、深入的了解,注重解決元數(shù)據(jù)管理、數(shù)據(jù)整合等方面的細(xì)節(jié)問題。

        數(shù)據(jù)進(jìn)入數(shù)據(jù)庫管理之前,根據(jù)來源、種類等信息對上一階段的數(shù)據(jù)進(jìn)行清理和驗證。具體的方式有重復(fù)性檢查、數(shù)據(jù)補(bǔ)調(diào)、錯報調(diào)閱及修改等。通過文件級、公報級、報告級數(shù)據(jù)收發(fā)情況和傳輸時效的監(jiān)視、統(tǒng)計,按照規(guī)定生成指定的報告級報表,對重要數(shù)據(jù)質(zhì)量問題應(yīng)當(dāng)做持續(xù)監(jiān)控。通過數(shù)據(jù)質(zhì)量檢查和監(jiān)控來測量和監(jiān)控數(shù)據(jù)項對數(shù)據(jù)質(zhì)量的符合度,提高識別和糾正數(shù)據(jù)質(zhì)量問題的可能性,從而避免對業(yè)務(wù)的重大沖擊。對于一些實驗性的項目而言,巨大的數(shù)據(jù)量和高時效的要求促使技術(shù)人員正在尋找新的架構(gòu)實現(xiàn)智能動態(tài)管理,以方便對其進(jìn)行高效存儲和訪問。

        3.3 數(shù)據(jù)應(yīng)用和服務(wù)

        數(shù)據(jù)應(yīng)用和服務(wù)階段是根據(jù)業(yè)務(wù)需求將數(shù)據(jù)傳遞給下游的過程,在該階段最容易暴露數(shù)據(jù)本身及其所產(chǎn)生的信息內(nèi)容的質(zhì)量問題。因為數(shù)據(jù)的使用決定了數(shù)據(jù)質(zhì)量問題的定義,很多質(zhì)量問題都是在使用時首次發(fā)現(xiàn)。除此之外,從用戶角度出發(fā),數(shù)據(jù)服務(wù)系統(tǒng)的友好性、易用性也可作為該階段數(shù)據(jù)質(zhì)量控制和保證的維度。

        氣息通信系統(tǒng)提供各種傳輸協(xié)議接口,實現(xiàn)數(shù)據(jù)交換控制、傳輸處理以及作業(yè)調(diào)度。通過管理入口技術(shù)人員對系統(tǒng)做業(yè)務(wù)管理、維護(hù)和運(yùn)行監(jiān)視,保證數(shù)據(jù)能夠及時分發(fā),及時到達(dá)。在日常業(yè)務(wù)工作中,業(yè)務(wù)人員逐步認(rèn)識到數(shù)據(jù)質(zhì)量是一個嚴(yán)重的,需要高昂的成本的問題。很多數(shù)據(jù)使用者并不能完全了解數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因,他們認(rèn)為數(shù)據(jù)質(zhì)量的問題主要是技術(shù)層面的問題。但是,數(shù)據(jù)質(zhì)量問題又不可能僅僅通過氣象通信系統(tǒng)的改善來實現(xiàn),更需要其他業(yè)務(wù)部門的積極、主動參與。

        數(shù)據(jù)質(zhì)量問題的產(chǎn)生往往主要在數(shù)據(jù)收集階段,然后隨著數(shù)據(jù)生命流程的發(fā)展而逐漸減少,而數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)則相反(圖3)。數(shù)據(jù)收集階段最開始只能發(fā)現(xiàn)業(yè)務(wù)流程相關(guān)的數(shù)據(jù)質(zhì)量問題,而且僅限于本系統(tǒng)內(nèi)部。預(yù)防比修正的成本低,而且效果更好,因此數(shù)據(jù)質(zhì)量的問題最好在源頭得到修正。相比較其它階段,在數(shù)據(jù)收集階段預(yù)防數(shù)據(jù)質(zhì)量缺陷發(fā)生的意義更大。對于數(shù)據(jù)管理和存儲階段,應(yīng)當(dāng)利用基礎(chǔ)數(shù)據(jù)平臺類系統(tǒng)對數(shù)據(jù)質(zhì)量問題的解決情況進(jìn)行跟蹤,作為數(shù)據(jù)質(zhì)量監(jiān)控的一個重要組成部分,也是數(shù)據(jù)質(zhì)量提高的一個依據(jù)。作為數(shù)據(jù)的使用者,在數(shù)據(jù)應(yīng)用和服務(wù)階段對數(shù)據(jù)質(zhì)量進(jìn)行評估和反饋,用于設(shè)定下一階段數(shù)據(jù)管理目標(biāo)。

        圖3 數(shù)據(jù)生命流程

        3.4 設(shè)計并實施質(zhì)量管理管理操作程序

        數(shù)據(jù)質(zhì)量管理的有效實施依賴于建立數(shù)據(jù)質(zhì)量事件解決報告與跟蹤機(jī)制。記錄數(shù)據(jù)質(zhì)量事件的評估、初步診斷和后續(xù)行動提供績效報告。包括問題解決的平均時間、問題發(fā)生頻次、問題類型、問題來源以及糾正或者消除問題的常規(guī)做法。從質(zhì)量管理的持續(xù)改進(jìn)原則出發(fā),不斷的改進(jìn)數(shù)據(jù)質(zhì)量是一個永恒的目標(biāo)。數(shù)據(jù)是持續(xù)更新的,數(shù)據(jù)質(zhì)量管理是一個持續(xù)的過程而不是一次性的活動,沒有持續(xù)的監(jiān)控和預(yù)防措施,數(shù)據(jù)質(zhì)量缺陷仍有可能再次出現(xiàn)。一般通過預(yù)定義的規(guī)則進(jìn)行數(shù)據(jù)質(zhì)量驗證,提供了將數(shù)據(jù)監(jiān)控與主動數(shù)據(jù)質(zhì)量管理日常操作流程相融合的方式來。因此,數(shù)據(jù)質(zhì)量日常工作的四項活動有:檢查和監(jiān)控;診斷和評估補(bǔ)救辦法;解決問題;形成報告。

        不同的業(yè)務(wù)對數(shù)據(jù)質(zhì)量的要求是不同的,在具體的實踐中可以根據(jù)質(zhì)量控制、評估等具體需要增加質(zhì)量維度,輔以相應(yīng)的質(zhì)量對象實現(xiàn)理論和方法,評估、控制和保證相應(yīng)的數(shù)據(jù)質(zhì)量內(nèi)容。為了最大范圍進(jìn)行有效的數(shù)據(jù)質(zhì)量管理,數(shù)據(jù)質(zhì)量管理的功能點應(yīng)該合理分布在流程的各個階段。數(shù)據(jù)質(zhì)量管理的最佳選擇是將數(shù)據(jù)、業(yè)務(wù)系統(tǒng)、技術(shù)人員和用戶都納入到數(shù)據(jù)質(zhì)量的發(fā)現(xiàn)、修正、跟蹤和評估的閉環(huán)流程之中,數(shù)據(jù)質(zhì)量管理成敗的關(guān)鍵在于合理有效的組織架構(gòu)和流程。

        4.結(jié)束語

        氣象科學(xué)數(shù)據(jù)作為國家基礎(chǔ)性、公益性科學(xué)數(shù)據(jù)資源的重要組成部分,良好設(shè)計和規(guī)劃的信息系統(tǒng)并不能保證在所有的情況下都能滿足氣象行業(yè)對數(shù)據(jù)業(yè)務(wù)的要求。數(shù)據(jù)質(zhì)量管理應(yīng)該作為業(yè)務(wù)系統(tǒng)中一項關(guān)鍵的支撐流程,在業(yè)務(wù)系統(tǒng)的設(shè)計改造、業(yè)務(wù)的變更整合,以及業(yè)務(wù)的遷移過程中統(tǒng)籌考慮,否則就會影響所存放的數(shù)據(jù)的質(zhì)量。而且,對數(shù)據(jù)短期的清理也許會帶來一定的改善,但并不解決數(shù)據(jù)缺陷的根本原因。應(yīng)當(dāng)根據(jù)發(fā)展需求制定的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn),為提升數(shù)據(jù)質(zhì)量提供合理有效的解決方案。

        數(shù)據(jù)質(zhì)量管理過程是一個沒有終點的過程,也沒有統(tǒng)一架構(gòu)原則。數(shù)據(jù)質(zhì)量是一個多維的概念,貫穿于數(shù)據(jù)生命流程的各個階段。為了防患于未然,定位、解決和避免數(shù)據(jù)質(zhì)量問題,需要構(gòu)建可長期持續(xù)保持的數(shù)據(jù)質(zhì)量流程,減少業(yè)務(wù)中數(shù)據(jù)流程風(fēng)險。將數(shù)據(jù)質(zhì)量管理和質(zhì)量提高等流程制度化,識別業(yè)務(wù)對高質(zhì)量數(shù)據(jù)的需求,確定如何度量、監(jiān)控和報告數(shù)據(jù)質(zhì)量的最佳方式。根據(jù)數(shù)據(jù)質(zhì)量問題的定義、分類和特性,可從技術(shù)和管理兩個方面分析并解決氣象通信系統(tǒng)中的可能存在的數(shù)據(jù)質(zhì)量問題。氣象數(shù)據(jù)質(zhì)量的研究工作仍有許多可以改善的地方,這需要在今后的業(yè)務(wù)工作中將這部分研究工作將和氣象通信系統(tǒng)的建設(shè)和發(fā)展結(jié)合起來,根據(jù)下游業(yè)務(wù)的反饋和意見做進(jìn)一步的完善和豐富。

        [1]趙立成,氣象信息系統(tǒng)[M]氣象出版社,2011.

        [2]林潤生, 孫周軍, 譚小華, 等. 新一代國內(nèi)氣象通信系統(tǒng)設(shè)計與實現(xiàn)[J]. 氣象, 2011, 37(3):356-362.

        [3]李集明,熊安元.氣象科學(xué)數(shù)據(jù)共享系統(tǒng)研究綜述[J]. 應(yīng)用氣象學(xué)報,2004,15(Z1).

        [4]李集明, 沈文海, 王國復(fù). 氣象信息共享平臺及其關(guān)鍵技術(shù)研究[J]. 應(yīng)用氣象學(xué)報, 2006,17(5): 621-628.

        [5]劉小寧, 任芝花. 地面氣象資料質(zhì)量控制方法研究概述[J]. 氣象科技, 2005, 33(3): 199-203.

        [6]Wang R Y, Strong D M, Guarascio L M.Beyond accuracy: What data quality means to data consumers[J]. J. of Management Information Systems,1996, 12(4): 5-33.

        [7]Beverly K. Kahn, Diane M. Strong. Product and Service Performance Model for Information Quality: An Update[J]. IQ 1998: 102-115, 1998.

        [8]Aebi D, Perrochon L. Towards Improving Data Quality[C]//CISMOD. 1993: 273-281.

        [9]Rahm E, Do H H. Data cleaning: Problems and current approaches[J]. IEEE Data Eng. Bull., 2000,23(4): 3-13.

        [10]DAMA著,馬歡,劉晨等譯,DAMA數(shù)據(jù)管理知識體系指南[M],清華大學(xué)出版社,2012

        [11]宋敏, 覃正. 國外數(shù)據(jù)質(zhì)量管理研究綜述[J]. 情報雜志, 2007, 2: 7-9.

        [12]郭志懋, 周傲英. 數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述[J]. 軟件學(xué)報, 2002, 13(11): 2076-2082.

        [13]韓京宇, 徐立臻, 董逸生. 數(shù)據(jù)質(zhì)量研究綜述[J]. 計算機(jī)科學(xué), 2008, 35(2): 1-5.

        [14]孫中東. 企業(yè)級數(shù)據(jù)治理框架下的數(shù)據(jù)質(zhì)量管理[J]. 金融電子化, 2011 (6): 57-60.

        [15]王國復(fù), 徐楓, 吳增祥. 氣象元數(shù)據(jù)標(biāo)準(zhǔn)與信息發(fā)布技術(shù)研究[J]. 應(yīng)用氣象學(xué)報, 2005,16(1): 114-121.

        [16]胡良霖. 科學(xué)數(shù)據(jù)資源的質(zhì)量控制和評估[J]. E-Science, 2009 (1): 50-55.

        猜你喜歡
        氣象流程質(zhì)量
        氣象
        氣象樹
        “質(zhì)量”知識鞏固
        吃水果有套“清洗流程”
        《內(nèi)蒙古氣象》征稿簡則
        質(zhì)量守恒定律考什么
        做夢導(dǎo)致睡眠質(zhì)量差嗎
        違反流程 致命誤判
        大國氣象
        本刊審稿流程
        未满十八18禁止免费无码网站| 久久精品视频中文字幕无码| 少妇特殊按摩高潮对白| 日本在线观看一区二区三| 亚洲av无码一区二区乱孑伦as | 久久天堂av综合合色| av中文字幕一区不卡| 国语对白做受xxxxx在线| 成人a在线观看| 免费一区二区三区av| 日韩中文字幕版区一区二区三区| 国产二级一片内射视频插放| 国产免费一区二区三区最新不卡| 久久网站在线免费观看| 黄片大全视频在线播放| 无码骚夜夜精品| 最新国产女主播福利在线观看 | 青青草免费手机视频在线观看| 久久精品国产亚洲av麻豆| 欧美亚洲高清日韩成人| 白白色青青草视频免费观看| 无码av天天av天天爽| 国产精品白浆在线观看无码专区| 国产欧美日本亚洲精品一4区| 中文字幕人妻精品一区| 中文字幕网伦射乱中文| 无码欧亚熟妇人妻AV在线外遇 | 蜜桃视频网站在线免费观看| 综合图区亚洲另类偷窥| 精品亚洲成a人在线观看青青| 欧美激情国产一区在线不卡| 日本va中文字幕亚洲久伊人| 免费人成视频x8x8入口| 亚洲天堂免费视频| 国产精品丝袜美腿诱惑| 日本真人边吃奶边做爽动态图| 欧美熟妇精品一区二区三区| 国产精品久久一区性色a| 国产亚洲av看码精品永久| 国产99久久精品一区二区| 人妻无码人妻有码不卡|