孔令虎，冉 彬，陳 劍

（湖北中煙工業(yè)有限責任公司恩施卷煙廠，湖北 恩施 445000）

1 數(shù)據(jù)質(zhì)量定義

數(shù)據(jù)質(zhì)量是指數(shù)據(jù)在多大程度上是無錯誤的，并能夠服務于預期的目的。數(shù)據(jù)質(zhì)量管理是指在數(shù)據(jù)創(chuàng)建、加工、使用和遷移等過程中，通過開展數(shù)據(jù)質(zhì)量定義、過程控制、監(jiān)測、問題分析和整改、評估與考核等一系列管理活動，提高數(shù)據(jù)質(zhì)量以滿足業(yè)務發(fā)展需要?？砂凑铡罢l創(chuàng)建、誰負責；誰加工、誰負責；誰提供、誰負責”的原則界定數(shù)據(jù)質(zhì)量管理責任，由數(shù)據(jù)流轉(zhuǎn)環(huán)節(jié)的各責任方對管轄范圍內(nèi)的數(shù)據(jù)質(zhì)量負責。對數(shù)據(jù)質(zhì)量規(guī)則優(yōu)先采取系統(tǒng)程序的自動化控制措施，并盡可能前移管控點，從源頭上控制數(shù)據(jù)質(zhì)量[1]。

數(shù)據(jù)質(zhì)量的高低是保證數(shù)據(jù)應用效果好壞的前提，是描述數(shù)據(jù)價值含量的指標，決定著數(shù)據(jù)價值的高低。缺少對數(shù)據(jù)質(zhì)量管理，容易造成臟數(shù)據(jù)、錯數(shù)據(jù)、冗余數(shù)據(jù)、信息缺失、標準不統(tǒng)一、信息不能融合、管理責任缺失，以及糟糕客戶服務等低劣數(shù)據(jù)品質(zhì)現(xiàn)象，錯誤或不充分的數(shù)據(jù)造成的損失是無法估計的。因此，對企業(yè)而言，提高數(shù)據(jù)質(zhì)量的需求變得越來越強烈。

2 卷煙工廠數(shù)據(jù)質(zhì)量存在的問題

良好的數(shù)據(jù)質(zhì)量可以確保數(shù)據(jù)發(fā)揮出高價值。卷煙工廠由于信息系統(tǒng)建設(shè)的時間和要求各不相同，數(shù)據(jù)質(zhì)量管理的現(xiàn)狀普遍不夠樂觀，以下是卷煙工廠歸納的一些數(shù)據(jù)質(zhì)量常見問題。如圖1所示。

圖1 數(shù)據(jù)質(zhì)量常見問題

2.1 定義缺失問題

指關(guān)鍵業(yè)務元數(shù)據(jù)定義不清晰，導致對同一內(nèi)容理解有偏差。由于各個信息系統(tǒng)建設(shè)的時間不一樣，系統(tǒng)建設(shè)方對業(yè)務的理解和定位不一致，導致各個系統(tǒng)中對同一元數(shù)據(jù)的類型、長度、含義理解都不一致。

2.2 數(shù)據(jù)異常問題

指個別數(shù)據(jù)內(nèi)容出現(xiàn)了異?，F(xiàn)象，比如，人的身高超過5米，當月卷煙產(chǎn)量超過往年卷煙年產(chǎn)量、卷煙零售價低于卷煙調(diào)撥價等問題。

2.3 數(shù)據(jù)不一致問題

（1）系統(tǒng)間數(shù)據(jù)維護不一致。由于各系統(tǒng)建設(shè)時間不同，系統(tǒng)開發(fā)語言和規(guī)范存在差異，為提高數(shù)據(jù)訪問速率和減少數(shù)據(jù)傳輸過程，一份同樣的數(shù)據(jù)往往要在不同系統(tǒng)進行存放，這些數(shù)據(jù)如果不及時進行同步或更新，則容易引起這些數(shù)據(jù)內(nèi)容不一致。例如，MES的產(chǎn)品報產(chǎn)產(chǎn)量和卷包數(shù)采的產(chǎn)量存在不一致的問題。

（2）系統(tǒng)之間數(shù)據(jù)同步時效性造成的不一致。例如，SAP預算系統(tǒng)提供的預算執(zhí)行情況與SAP財務系統(tǒng)提供的預算執(zhí)行情況存在差異，SAP預算系統(tǒng)的執(zhí)行數(shù)是T+1日從SAP財務系統(tǒng)獲取的，而SAP財務系統(tǒng)的預算執(zhí)行數(shù)是實時計算的，由于同步時間不一致進而導致系統(tǒng)間數(shù)據(jù)的不一致。

2.4 數(shù)據(jù)完整性問題

（1）數(shù)據(jù)域完整性：數(shù)據(jù)值輸入的有效性，關(guān)鍵內(nèi)容是否允許為空值，是否必填內(nèi)容。

（2）實體完整性：數(shù)據(jù)表中所有的行唯一。

（3）參照完整性：確保數(shù)據(jù)表主鍵（被引用表）和外鍵（引用表）之間的參照關(guān)系一致性。例如，生產(chǎn)計劃表記錄了計劃號，但是在計劃表中無法找到相關(guān)記錄。

2.5 數(shù)據(jù)生命周期問題

數(shù)據(jù)的生命周期是指某個集合的數(shù)據(jù)從產(chǎn)生或獲取到銷毀的過程，分為采集、存儲、整合、呈現(xiàn)與使用、分析與應用、歸檔和銷毀幾個階段。一般而言，數(shù)據(jù)質(zhì)量決定著數(shù)據(jù)生命周期的長度，數(shù)據(jù)價值會隨著時間的變化而遞減。

2.6 數(shù)據(jù)標準代碼問題

（1）業(yè)務部門參與程度不夠。數(shù)據(jù)標準工作一般由信息部門主導，業(yè)務部門在標準制定環(huán)節(jié)參與度不高，進而導致數(shù)據(jù)的業(yè)務屬性沒有準確地表達，部分術(shù)語無法表達業(yè)務含義，降低了數(shù)據(jù)標準的可讀性、可用性。

（2）數(shù)據(jù)標準周期長、見效慢。由于數(shù)據(jù)標準在制定時需要盡可能涵蓋企業(yè)相關(guān)業(yè)務活動，這樣就容易導致數(shù)據(jù)標準的編制、維護工作復雜，數(shù)據(jù)標準管理推動力不夠，影響數(shù)據(jù)標準管理工作的后期推廣和應用。

3 提升數(shù)據(jù)質(zhì)量的方法

基于卷煙工廠存在的6類數(shù)據(jù)質(zhì)量問題，可從以下幾個方面進行數(shù)據(jù)質(zhì)量的改進。如圖2所示。

3.1 明確數(shù)據(jù)質(zhì)量需求

數(shù)據(jù)質(zhì)量需求一般來源于組織的業(yè)務需要。數(shù)據(jù)質(zhì)量管理工作首先關(guān)注企業(yè)最核心的數(shù)據(jù)，確定需要提高質(zhì)量的關(guān)鍵數(shù)據(jù)。這些數(shù)據(jù)往往是企業(yè)最關(guān)注的數(shù)據(jù)、經(jīng)濟價值高的數(shù)據(jù)、客戶影響面大的數(shù)據(jù)，以及支持企業(yè)部門直接業(yè)務協(xié)作的數(shù)據(jù)。例如，成品智能物流管理中發(fā)現(xiàn)很多發(fā)貨站點（倉庫）信息是不完整的，因此物流中心針對物料相關(guān)信息可以提出如下質(zhì)量需求：倉庫信息需要明確具體地址（省、市、縣、區(qū)、街道、經(jīng)緯度）等；發(fā)貨倉庫與到貨倉庫的具體里程、里程單價。

3.2 定義數(shù)據(jù)質(zhì)量規(guī)則

通過制定數(shù)據(jù)質(zhì)量規(guī)則幫助企業(yè)提高數(shù)據(jù)質(zhì)量，明確企業(yè)數(shù)據(jù)質(zhì)量管理的目標、需求、范圍、分法、維度等，對關(guān)鍵業(yè)務數(shù)據(jù)進行質(zhì)量問題評估，質(zhì)量問題分析，以及質(zhì)量問題影響分析，確定下一步數(shù)據(jù)質(zhì)量工作的重點，形成數(shù)據(jù)質(zhì)量規(guī)則度量表。數(shù)據(jù)質(zhì)量預警機制是數(shù)據(jù)質(zhì)量規(guī)則一項內(nèi)容，預警信息的產(chǎn)生和發(fā)布需要明確定義的流程，數(shù)據(jù)質(zhì)量規(guī)則通常從以下八個方面開展。如圖2所示。

圖2 數(shù)據(jù)質(zhì)量規(guī)則

（1）準確性：指數(shù)據(jù)正確表示“真實”實體的程度。

（2）完備性：指是否存在必要的數(shù)據(jù)。

（3）完整性：完整性包括與完備性、準確性和一致性相關(guān)的要求。

（4）一致性：一致性指確保數(shù)據(jù)值在數(shù)據(jù)集內(nèi)和數(shù)據(jù)集之間表達的相符程度。

（5）合理性：合理性是指數(shù)據(jù)模式符合預期的程度。

（6）及時性：指數(shù)據(jù)的更新頻度符合預期。

（7）唯一性：是指數(shù)據(jù)集內(nèi)的任何實體都不會重復出現(xiàn)。

（8）有效性：是指數(shù)據(jù)值與定義值域一致。

3.3 制定數(shù)據(jù)質(zhì)量管理辦法

（1）為保證數(shù)據(jù)質(zhì)量，數(shù)據(jù)生產(chǎn)部門須指定專人承擔導入公司數(shù)據(jù)中心數(shù)據(jù)的數(shù)據(jù)質(zhì)量審核工作，通過對本部門業(yè)務數(shù)據(jù)的日常補充、修正、更新和刪除等操作，確保數(shù)據(jù)的及時性、完整性、準確性。

（2）數(shù)據(jù)生產(chǎn)部門須建立電子數(shù)據(jù)臺賬，采集數(shù)據(jù)須嚴格依據(jù)原始資料如實反映，數(shù)據(jù)交換完成后，如源數(shù)據(jù)內(nèi)容出現(xiàn)變更，需提前告知數(shù)據(jù)主管部門，以避免數(shù)據(jù)異常。

（3）經(jīng)過數(shù)據(jù)主管部門確認后，數(shù)據(jù)質(zhì)量要求公開頒布，數(shù)據(jù)使用部門遵照執(zhí)行。

3.4 歷史數(shù)據(jù)清洗、改造

數(shù)據(jù)清洗是指發(fā)現(xiàn)和糾正數(shù)據(jù)文件中明顯錯誤的過程，包括檢查數(shù)據(jù)一致性、處理無效值和缺失值等。

對于卷煙廠中的歷史主數(shù)據(jù)按照最新的編碼標準和數(shù)據(jù)模型進行清洗整理。在整理過程中應解決數(shù)據(jù)不標準、不完整、數(shù)據(jù)重復和數(shù)據(jù)粒度不適應等數(shù)據(jù)質(zhì)量問題。通過清洗改造，為卷煙廠提供權(quán)威的主數(shù)據(jù)視圖，在卷煙廠內(nèi)保證數(shù)據(jù)的一致性和完整性。

3.5 數(shù)據(jù)質(zhì)量驗證檢查

數(shù)據(jù)質(zhì)量驗證檢查是根據(jù)數(shù)據(jù)清洗情況與定義的數(shù)據(jù)質(zhì)量指標進行對比分析的過程，該過程主要有兩個目的：一是確定清洗后的數(shù)據(jù)是否滿足定義的數(shù)據(jù)質(zhì)量要求；二是對數(shù)據(jù)質(zhì)量指標合理性進行調(diào)整。

3.6 異常檢查和規(guī)則完善

數(shù)據(jù)異常值是指執(zhí)行質(zhì)量檢查的數(shù)據(jù)樣本中的個別值異常，其數(shù)值明顯偏離其余的參考值。異常內(nèi)容檢查可以先對數(shù)值做一個描述性統(tǒng)計，進而查看哪些數(shù)據(jù)是不合理的。常用的統(tǒng)計量是最大值和最小值，來判斷這個變量是否超出合理范圍。例如，標準煙支長度是84毫米，取值一般為70毫米、84毫米、90毫米、100毫米的卷煙，如果該卷煙長度達到150毫米，則該變量的取值存在異常。同時也可以根據(jù)異常檢查結(jié)果不斷優(yōu)化檢查規(guī)則。

3.7 溝通行動和結(jié)果，循環(huán)評估組織管理流程

保證數(shù)據(jù)利益相關(guān)者持續(xù)地參與到數(shù)據(jù)質(zhì)量管理的過程中，例如，數(shù)據(jù)質(zhì)量管理策略和流程的制訂需要聽取利益相關(guān)者的意見和建議，并得到批準，數(shù)據(jù)質(zhì)量需求應當包含利益相關(guān)者的訴求。數(shù)據(jù)信息操作過程應當被記錄，并作為改進數(shù)據(jù)質(zhì)量管理策略和流程的依據(jù)。

3.8 改進數(shù)據(jù)質(zhì)量管理流程

很多企業(yè)希望通過制定相關(guān)管理辦法和考核要求來提升企業(yè)數(shù)據(jù)質(zhì)量，但很少有企業(yè)取得真正滿意的結(jié)果。根本原因在于數(shù)據(jù)質(zhì)量的改進是一個循序漸進、逐步調(diào)整和優(yōu)化的過程。好的方式是通過PDCA循環(huán)流程，持續(xù)不斷地發(fā)現(xiàn)問題、對問題數(shù)據(jù)進行檢查、核對、轉(zhuǎn)換和標準化，最后達到發(fā)現(xiàn)問題和解決問題自動化，從而提升企業(yè)數(shù)據(jù)質(zhì)量，減少數(shù)據(jù)質(zhì)量帶來的成本開銷。從項目實踐經(jīng)驗來看，發(fā)現(xiàn)問題、解決問題、數(shù)據(jù)整合和數(shù)據(jù)規(guī)范化是執(zhí)行流程比較長的工作。

通過對數(shù)據(jù)質(zhì)量規(guī)則進行檢查，找到數(shù)據(jù)質(zhì)量問題的根本原因，這些問題可能來自數(shù)據(jù)規(guī)范、組織與人員、管理制度、技術(shù)等環(huán)節(jié)，制訂有針對性改進方案，尤其是要改進數(shù)據(jù)質(zhì)量管理制度流程。制定了質(zhì)量管理流程和規(guī)范后，數(shù)據(jù)質(zhì)量管理負責人就應明確數(shù)據(jù)質(zhì)量管控的目標，制定目標后就進入質(zhì)量管控的執(zhí)行階段，并根據(jù)執(zhí)行流程過程中發(fā)現(xiàn)的問題不斷優(yōu)化執(zhí)行過程。

3.9 充分利用數(shù)據(jù)管理新技術(shù)

數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)治理項目中一項關(guān)鍵的工作，它決定了企業(yè)數(shù)據(jù)在決策應用上的準確性和確定性。數(shù)據(jù)質(zhì)量管理的目標是促進數(shù)據(jù)應用價值的充分發(fā)揮，提升企業(yè)經(jīng)濟效益，可利用大數(shù)據(jù)處理的一些新技術(shù)為質(zhì)量管理賦能，如主動元數(shù)據(jù)管理Data Fabric、湖倉一體架構(gòu)等。

4 結(jié)束語

結(jié)合卷煙工廠數(shù)據(jù)質(zhì)量存在的問題以及數(shù)據(jù)質(zhì)量管理提升方法，企業(yè)數(shù)據(jù)質(zhì)量管理工作應遵循業(yè)務引領(lǐng)的原則，確定重點質(zhì)量管控范圍，動態(tài)調(diào)整階段性管控重點并結(jié)合質(zhì)量管理辦法持續(xù)優(yōu)化。可按照“誰創(chuàng)建、誰負責；誰加工、誰負責；誰提供、誰負責”的原則界定數(shù)據(jù)質(zhì)量管理責任，數(shù)據(jù)質(zhì)量管理工作遵循PDCA，對數(shù)據(jù)質(zhì)量規(guī)則優(yōu)先采取系統(tǒng)程序的自動化控制措施，并盡可能前移管控點，從源頭上控制數(shù)據(jù)質(zhì)量，為企業(yè)高質(zhì)量數(shù)據(jù)應用保駕護航?！?/p>