郭會珍

數(shù)據(jù)質(zhì)量管理（Data Quality Management）是指對數(shù)據(jù)從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進行識別、度量、監(jiān)控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進一步提高。數(shù)據(jù)質(zhì)量管理是循環(huán)管理過程，其最終目標是通過可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價值，為企業(yè)贏得經(jīng)濟效益。一個完整的數(shù)據(jù)質(zhì)量管理，是人、流程和技術的完美配合，才能達到我們數(shù)據(jù)質(zhì)量管理的目標。那數(shù)據(jù)質(zhì)量處理的流程是怎樣的呢？對于數(shù)據(jù)質(zhì)量的處理，我們把它分成兩大部分，一是面向數(shù)據(jù)質(zhì)量的分析過程，二是針對分析結(jié)果進行增強的過程。首先要識別和量化數(shù)據(jù)質(zhì)量，然后定義數(shù)據(jù)質(zhì)量和目標，接下來就要交給相關部門設計質(zhì)量提升的流程，其后就是實現(xiàn)質(zhì)量提升的過程，把原有低質(zhì)量數(shù)據(jù)變成高質(zhì)量數(shù)據(jù)，并交付給業(yè)務人員使用。同時，在整個環(huán)境中，還需要有相關的一些監(jiān)控和對比來評估是否達成了目標，決定是否需要進行新一輪的數(shù)據(jù)質(zhì)量提升。這是一個周而復始、螺旋上升的過程，并不是一蹴而就，一次就可以解決全部問題。

影響數(shù)據(jù)質(zhì)量的因素主要來源于四方面：信息因素、技術因素、流程因素和管理因素。

信息因素：主要有：元數(shù)據(jù)描述及理解錯誤、數(shù)據(jù)度量的各種性質(zhì)（如：數(shù)據(jù)源規(guī)格不統(tǒng)一，信息系統(tǒng)編碼不規(guī)范）得不到保證和變化頻度不恰當；計算機處理系統(tǒng)的用戶界面不方便用戶的錄入，或是不符合用戶常規(guī)的操作習慣，導致用戶容易出錯或是錄入工作量大，對重要的錄入信息沒有加強效驗。

技術因素：主要是指由于具體數(shù)據(jù)處理的各技術環(huán)節(jié)的異常造成的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量問題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護等方面的內(nèi)容。

流程因素：是指由于系統(tǒng)作業(yè)流程和人工操作流程設置不當造成的數(shù)據(jù)質(zhì)量問題，主要來源于系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護流程等各環(huán)節(jié)。

管理因素：是指由于人員素質(zhì)及管理機制方面的原因造成的數(shù)據(jù)質(zhì)量問題。由于數(shù)據(jù)錄入人員的輸入失誤，或是違反操作流程，是造成數(shù)據(jù)質(zhì)量不高一個重要原因。這個問題，可以從兩個方面來看待：數(shù)據(jù)錄入人員的責任心不強和業(yè)務素質(zhì)不高?；鶎宇I導對數(shù)據(jù)質(zhì)量的不重視，業(yè)務收入是基層的生命線，基層領導不會投入大量的人力和物力來抓數(shù)據(jù)質(zhì)量，由于市場競爭的激烈，有時基層領導為了自身經(jīng)濟利益甚至會讓錄入人員作出一些違規(guī)的操作，基層領導對數(shù)據(jù)的認識與管理與高層領導對數(shù)據(jù)的需求形成矛盾，這一矛盾是造成數(shù)據(jù)質(zhì)量不高的一個核心矛盾。

新一代客戶數(shù)據(jù)整合（CDI）軟件和主數(shù)據(jù)管理（MDM）軟件給數(shù)據(jù)質(zhì)量的管理帶來了很大方便。但是，數(shù)據(jù)質(zhì)量的保證僅靠軟件顯然是不行的。實際上，在整個數(shù)據(jù)質(zhì)量的控制過程中，人仍然是關鍵因素。要想真正長期保證數(shù)據(jù)的高質(zhì)量，還必須從以下方面著手。

提高對數(shù)據(jù)的認識，我們只有認識到數(shù)據(jù)在管理中的重要作用，才會反過來重視數(shù)據(jù)質(zhì)量問題。要讓企業(yè)的每一個員工都能認識到數(shù)據(jù)是企業(yè)重要的戰(zhàn)略資源，企業(yè)的一切決策都來源于數(shù)據(jù)。沒有正確的高質(zhì)量的數(shù)據(jù)，就沒有正確的決策。

信息技術要得到保證，采用先進的開發(fā)技術，開發(fā)出用戶界面比較友好的系統(tǒng)，減少操作員的錄入工作量和出現(xiàn)錯誤的可能性；同時在開發(fā)前要充分考慮用戶的需求，防止出現(xiàn)業(yè)務處理軟件不能滿足客戶要求、操作員采取違規(guī)操作的現(xiàn)象。開發(fā)數(shù)據(jù)檢測、檢查工具，及時的發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，及時糾正。

完善制度管理，在企業(yè)上下建立起完善的數(shù)據(jù)負責制度，并與員工的績效掛鉤，對于那些負責數(shù)據(jù)的產(chǎn)生、數(shù)據(jù)的合理化以及對數(shù)據(jù)進行清理和維護的人，應該給他們的活動制訂明確的指標，這樣他們才能真正理解人們到底希望他們達到什么目標。有條件的企業(yè)可以成立專門的組織和機構(gòu)負責數(shù)據(jù)管理工作。把責任落實到人，

建立數(shù)據(jù)標準，明確數(shù)據(jù)定義。通常，獨立的應用系統(tǒng)會有一個比較模糊的、有時也會有比較清晰的數(shù)據(jù)標準和數(shù)據(jù)定義。為了保證系統(tǒng)的正常運行，這些系統(tǒng)的用戶必須在數(shù)據(jù)的標準和數(shù)據(jù)的定義上達成一致。不過，這些標準和定義大多數(shù)時候與企業(yè)中其他系統(tǒng)中的數(shù)據(jù)標準和定義并不一致。因此，需要從整個企業(yè)的角度出發(fā)，建立統(tǒng)一的數(shù)據(jù)標準和數(shù)據(jù)定義，同時，整個企業(yè)必須就這個數(shù)據(jù)標準和數(shù)據(jù)定義達成共識。在具體建立新的數(shù)據(jù)標準和數(shù)據(jù)定義時，需要仔細權(quán)衡，哪些定義和標準是出于企業(yè)內(nèi)部的原因（比如出于方便、習慣等）制訂的，哪些定義和標準是因為要有效反映外部的真實世界而制訂的。

建立一個可重復的數(shù)據(jù)收集、數(shù)據(jù)修改和數(shù)據(jù)維護流程。數(shù)據(jù)管理面臨的兩個主要挑戰(zhàn)是企業(yè)本身的復雜性和身份信息不斷變化。這兩個客觀原因的存在意味著企業(yè)的數(shù)據(jù)質(zhì)量保證行動永遠沒有結(jié)束之日，因此，企業(yè)在制訂數(shù)據(jù)質(zhì)量的保證措施和數(shù)據(jù)質(zhì)量指標時，必須保證這些措施和指標能夠不斷重復。

在數(shù)據(jù)轉(zhuǎn)化流程中設立多個性能監(jiān)控點。數(shù)據(jù)的質(zhì)量高低可以根據(jù)最終用戶的需求來評價，也可以通過與同類數(shù)據(jù)源的比較來評價，還可以通過與前一階段的數(shù)據(jù)質(zhì)量進行比較來評價。但在制訂數(shù)據(jù)質(zhì)量的戰(zhàn)略時，比較理想的辦法還是根據(jù)最終用戶的需求來進行。不過這里存在一個問題是，等到最終用戶拿到數(shù)據(jù)時再針對數(shù)據(jù)的問題進行修正已經(jīng)太遲了。一個有效的數(shù)據(jù)質(zhì)量保證辦法是在每當數(shù)據(jù)發(fā)生轉(zhuǎn)換后就與前一時期進行比較，從而對數(shù)據(jù)質(zhì)量進行評估。如果此前所采用的數(shù)據(jù)質(zhì)量改進方法有助于提高最終用戶的滿意度，那么，這些中間指標的達標也預示著項目的最終成功。

對流程不斷進行改善和優(yōu)化。我們常常聽到有人說，他們制訂了很多辦法來迅速而且大幅度提升數(shù)據(jù)的質(zhì)量，但很少聽說最后他們能真正得到滿意的結(jié)果。其原因就在于數(shù)據(jù)的質(zhì)量改進絕非一朝一夕的事情，而是一個持續(xù)的過程。正確的辦法是通過一個不斷改進的流程，持續(xù)不斷地排除錯誤、對數(shù)據(jù)進行整合和標準化，最后達到流程的自動化，從而降低數(shù)據(jù)質(zhì)量，保證計劃的總體開銷。