趙宏偉 馮濤 于海濤

摘? 要： 當(dāng)前，電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量水平不能滿足業(yè)務(wù)需要，嚴重制約了企業(yè)管理水平的提升。本文結(jié)合電網(wǎng)企業(yè)業(yè)務(wù)實際，研究、提出一套包括識別業(yè)務(wù)問題、開展數(shù)據(jù)探查、定義評估模型、開展質(zhì)量核查、分析質(zhì)量問題和解決質(zhì)量問題在內(nèi)的數(shù)據(jù)質(zhì)量管理模式，明確了協(xié)助解決業(yè)務(wù)問題這一數(shù)據(jù)質(zhì)量管理切入點，設(shè)計了各環(huán)節(jié)工作內(nèi)容和方法，指導(dǎo)和規(guī)范電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理工作開展，促進電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理水平持續(xù)提升。

關(guān)鍵詞： 數(shù)據(jù)質(zhì)量;管理模式;電網(wǎng)企業(yè)

中圖分類號： TP311.13? ? 文獻標(biāo)識碼： A? ? DOI：10.3969/j.issn.1003-6970.2019.01.016

【Abstract】： At present， the data quality level of power grid enterprises can not meet the business needs， which seriously restricts the improvement of enterprise management level. This paper studies and puts forward a set of data quality management modes， including identifying business problems， conducting data exploration， defining evaluation models， carrying out quality verification， analyzing quality problems and solving quality problems， based on the business reality of power grid enterprises. It is proposed that helping to solve business problems is the entry point of data quality management， and design the work content and method of each link， to guide and standardize the power grid enterprise data quality management work， and to promote the continuous improvement of data quality management level in power grid enterprises.

【Key words】： Data quality; Management mode; Power grid enterprise

0? 引言

近年來，隨著信息化的高速發(fā)展，電網(wǎng)企業(yè)數(shù)據(jù)呈爆炸式增長，這些數(shù)據(jù)覆蓋范圍廣、數(shù)據(jù)量大、類型多樣、數(shù)據(jù)價值高[1]。同時，隨著我國經(jīng)濟進入新常態(tài)、國企改革和電力體制改革深入推進，電網(wǎng)企業(yè)發(fā)展面臨諸多挑戰(zhàn)。因此，向數(shù)據(jù)要價值，以數(shù)據(jù)應(yīng)用支撐企業(yè)精細化管理，促進企業(yè)創(chuàng)新發(fā)展成為電網(wǎng)企業(yè)必然選擇。但是，電網(wǎng)企業(yè)在數(shù)據(jù)應(yīng)用過程中發(fā)現(xiàn)數(shù)據(jù)質(zhì)量水平難以滿足數(shù)據(jù)應(yīng)用的需要，數(shù)據(jù)質(zhì)量管理水平的提升速度遠遠落后于數(shù)據(jù)規(guī)模增加的速度，數(shù)據(jù)價值無法充分發(fā)揮。

為此，本文結(jié)合電網(wǎng)企業(yè)業(yè)務(wù)及數(shù)據(jù)管理實際，

研究、設(shè)計了以業(yè)務(wù)需求為導(dǎo)向的數(shù)據(jù)質(zhì)量管理模式，指導(dǎo)和規(guī)范電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理，促進數(shù)據(jù)質(zhì)量提升和數(shù)據(jù)價值充分發(fā)揮。

1? 數(shù)據(jù)質(zhì)量管理面臨的挑戰(zhàn)

經(jīng)調(diào)研，電網(wǎng)企業(yè)各專業(yè)均不同程度開展了數(shù)據(jù)質(zhì)量管理，對數(shù)據(jù)質(zhì)量的提升有一定的促進作用，但是依然存在如下挑戰(zhàn)[2]。

（1）有效的數(shù)據(jù)質(zhì)量管理模式尚未形成

在電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理過程中，有的借鑒信息化建設(shè)經(jīng)驗，由上至下全面開展，有的根據(jù)業(yè)務(wù)需要，由各業(yè)務(wù)部門分散開展，但是這兩種方式工作成效均不顯著。從何處入手、以什么方式開展數(shù)據(jù)質(zhì)量管理困擾著電網(wǎng)企業(yè)。

（2）常態(tài)數(shù)據(jù)質(zhì)量管理機制缺失

電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理工作多是因為在數(shù)據(jù)應(yīng)用過程中發(fā)現(xiàn)了明顯影響統(tǒng)計分析、管理決策等數(shù)據(jù)質(zhì)量問題，才會相應(yīng)的開展數(shù)據(jù)質(zhì)量整改工作，當(dāng)數(shù)據(jù)質(zhì)量水平提升到一定程度之后，對數(shù)據(jù)質(zhì)量管理工作重視程度就會降低，甚至停止開展，往往造成“前清后亂”的情況發(fā)生。

（3）數(shù)據(jù)質(zhì)量管理工作沒有工具支撐

電網(wǎng)企業(yè)缺乏有效的數(shù)據(jù)質(zhì)量管理工具支撐，數(shù)據(jù)質(zhì)量管理工作存在工作量大、對核查人員要求高、核查周期長、存在安全隱患等問題。

2? 數(shù)據(jù)質(zhì)量管理模式研究

2.1? 數(shù)據(jù)質(zhì)量管理模式設(shè)計原則

應(yīng)充分考慮電網(wǎng)企業(yè)業(yè)務(wù)實際開展數(shù)據(jù)質(zhì)量管理模式設(shè)計，設(shè)計成果應(yīng)實用、易用，能夠在不影響電網(wǎng)安全生產(chǎn)的同時，快速彰顯價值。因此，本文按照如下原則開展數(shù)據(jù)質(zhì)量管理模式設(shè)計。

（1）業(yè)務(wù)驅(qū)動，快速見效。以協(xié)助業(yè)務(wù)部門解決業(yè)務(wù)問題和應(yīng)用數(shù)據(jù)入手開展數(shù)據(jù)質(zhì)量管理，通過提升數(shù)據(jù)質(zhì)量促進業(yè)務(wù)順利開展，進而體現(xiàn)數(shù)據(jù)質(zhì)量管理價值，提升業(yè)務(wù)部門開展數(shù)據(jù)質(zhì)量管理工作的積極性。

（2）由點及面，急用先行。數(shù)據(jù)質(zhì)量管理不應(yīng)貪大求全，應(yīng)從業(yè)務(wù)角度評估優(yōu)先級，分業(yè)務(wù)點逐步開展，不斷釋放管理價值，積累工作成果，并逐步擴大管理范圍，最終將全部業(yè)務(wù)納入數(shù)據(jù)質(zhì)量管理。

（3）工具支撐，安全高效。數(shù)據(jù)質(zhì)量管理應(yīng)依托專業(yè)的數(shù)據(jù)質(zhì)量管理工具開展，避免人工開展存在工作量大、對人員要求高、工作周期長、存在安全隱患等問題。

（4）機制引領(lǐng)，常態(tài)運行。要構(gòu)建常態(tài)的、閉環(huán)的數(shù)據(jù)質(zhì)量管理工作機制，杜絕項目式數(shù)據(jù)質(zhì)量管理易出現(xiàn)的“前清后亂”的情況發(fā)生;數(shù)據(jù)質(zhì)量核查規(guī)則應(yīng)根據(jù)核查結(jié)果及業(yè)務(wù)需要迭代更新，確保數(shù)據(jù)質(zhì)量始終符合最新業(yè)務(wù)需求。

2.2? 數(shù)據(jù)質(zhì)量治理模式設(shè)計

本文借鑒數(shù)據(jù)質(zhì)量管理相關(guān)理論以及業(yè)界最佳實踐[3-5]，結(jié)合上述原則，設(shè)計包括識別業(yè)務(wù)問題、開展數(shù)據(jù)探查、定義評估模型、開展質(zhì)量核查、分析質(zhì)量問題、解決質(zhì)量問題等步驟在內(nèi)的業(yè)務(wù)導(dǎo)向的、閉環(huán)的電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理模式，指導(dǎo)和規(guī)范電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理工作開展。

（1）識別業(yè)務(wù)問題

該步驟工作思路：通過調(diào)研、評估，識別相關(guān)業(yè)務(wù)存在的主要問題，理清這些業(yè)務(wù)問題對應(yīng)的數(shù)據(jù)，明確本次數(shù)據(jù)質(zhì)量提升涉及的數(shù)據(jù)范圍。

該步驟主要做法：

一是梳理業(yè)務(wù)問題和對應(yīng)數(shù)據(jù)。協(xié)同業(yè)務(wù)部門，從數(shù)據(jù)質(zhì)量問題已經(jīng)對業(yè)務(wù)正常開展造成影響的業(yè)務(wù)或?qū)?shù)據(jù)質(zhì)量依賴程度較深的業(yè)務(wù)入手，通過業(yè)務(wù)人員訪談、系統(tǒng)查詢等方式收集該業(yè)務(wù)存在的與數(shù)據(jù)質(zhì)量相關(guān)的問題，梳理每個問題涉及的數(shù)據(jù)，形成業(yè)務(wù)問題清單。

二是評估業(yè)務(wù)問題影響，識別關(guān)鍵問題。通過業(yè)務(wù)問題影響評估模型，評估業(yè)務(wù)問題的影響程度，將影響程度高的業(yè)務(wù)問題納入本次數(shù)據(jù)質(zhì)量治理范圍，進而明確了本次數(shù)據(jù)質(zhì)量治理的數(shù)據(jù)范圍（表和字段層面）。

業(yè)務(wù)問題影響評估模型基于電網(wǎng)企業(yè)日常經(jīng)營管理的實際情況，分析相關(guān)數(shù)據(jù)對企業(yè)業(yè)務(wù)正常開展和提升的影響程度，按照影響范圍、影響層級、影響類型等三項指標(biāo)進行評估，三項指標(biāo)評分按需進行相乘或相加得出影響程度總得分。

問題影響評估模型說明：

公司：業(yè)務(wù)對應(yīng)的數(shù)據(jù)是支撐公司日常業(yè)務(wù)運轉(zhuǎn)必不可少的數(shù)據(jù)，低質(zhì)量的數(shù)據(jù)會在公司范圍內(nèi)造成影響，分值為9;

局部：業(yè)務(wù)對應(yīng)的數(shù)據(jù)是公司日常業(yè)務(wù)運轉(zhuǎn)中經(jīng)常使用的數(shù)據(jù)，低質(zhì)量的數(shù)據(jù)會在局部范圍造成影響，分值為3;

個體：業(yè)務(wù)對應(yīng)的數(shù)據(jù)是公司日常業(yè)務(wù)運轉(zhuǎn)中偶爾使用的數(shù)據(jù)，低質(zhì)量的數(shù)據(jù)會在部門或下屬單位內(nèi)造成影響，分值為1。

影響層級說明：

戰(zhàn)略：業(yè)務(wù)對應(yīng)的數(shù)據(jù)是支撐公司戰(zhàn)略決策的關(guān)鍵數(shù)據(jù)，低質(zhì)量的數(shù)據(jù)會對公司戰(zhàn)略決策產(chǎn)生誤導(dǎo)，分值為9分;

策略：業(yè)務(wù)對應(yīng)的數(shù)據(jù)是支撐公司經(jīng)營管理的關(guān)鍵數(shù)據(jù)，低質(zhì)量的數(shù)據(jù)會導(dǎo)致公司中層管理者的管理決策產(chǎn)生偏差，分值為3分;

操作：業(yè)務(wù)對應(yīng)的數(shù)據(jù)是公司日常業(yè)務(wù)操作使用的數(shù)據(jù)，低質(zhì)量的數(shù)據(jù)會導(dǎo)致公司業(yè)務(wù)出現(xiàn)差錯，分值為1分。

影響類別說明：

經(jīng)濟效益：業(yè)務(wù)對應(yīng)的數(shù)據(jù)與公司業(yè)務(wù)經(jīng)營的效益緊密相關(guān)，低質(zhì)量的數(shù)據(jù)給公司造成直接的經(jīng)濟損失，分值為9分;

業(yè)務(wù)支持：業(yè)務(wù)對應(yīng)的數(shù)據(jù)與支持公司業(yè)務(wù)開展的活動緊密相關(guān)，低質(zhì)量的數(shù)據(jù)會影響公司業(yè)務(wù)的正常開展，分值為3分;

后勤管理：業(yè)務(wù)對應(yīng)的數(shù)據(jù)與公司日常后勤管理活動緊密相關(guān)，數(shù)據(jù)的異常會影響公司后勤工作開展，分值為1分。

三是確定數(shù)據(jù)質(zhì)量管理的數(shù)據(jù)范圍。根據(jù)問題影響評估結(jié)果，確定本次數(shù)據(jù)質(zhì)量治理需要解決的業(yè)務(wù)問題，進而確定數(shù)據(jù)質(zhì)量提升的數(shù)據(jù)范圍。

（2）開展數(shù)據(jù)探查[6]

該步驟工作思路：開展數(shù)據(jù)探查，快捷的了解表數(shù)據(jù)的總體情況，判斷可能存在的數(shù)據(jù)質(zhì)量問題的位置和類型，為后續(xù)有針對性開展數(shù)據(jù)質(zhì)量核查提供支撐。

該步驟主要做法：

一是開展數(shù)據(jù)探查，了解表數(shù)據(jù)總體情況。依托數(shù)據(jù)質(zhì)量管理工具，從表、字段、記錄等層面開展數(shù)據(jù)探查，準(zhǔn)確把握表數(shù)據(jù)情況。具體探查內(nèi)容如下：

表層面探查內(nèi)容：表結(jié)構(gòu)信息、表名稱、表描述、字段數(shù)、記錄數(shù)等;

字段層面探查內(nèi)容：字段名稱、字段描述、去重后值數(shù)量、空值數(shù)、最大/小值、值分布等;

記錄層面內(nèi)容：隨機抽取若干條記錄。

二是準(zhǔn)確評估數(shù)據(jù)質(zhì)量位置及類型。根據(jù)數(shù)據(jù)探查結(jié)果，結(jié)合業(yè)務(wù)人員反饋的業(yè)務(wù)問題，準(zhǔn)確判斷數(shù)據(jù)質(zhì)量問題的類型及存在的表及字段的位置，為進一步有針對性的開展數(shù)據(jù)質(zhì)量核查提供支持。

（3）定義評估模型[7]

該步驟工作思路：確定包括數(shù)據(jù)質(zhì)量評估維度、數(shù)據(jù)質(zhì)量約束規(guī)則和數(shù)據(jù)質(zhì)量核查規(guī)則在內(nèi)的數(shù)據(jù)質(zhì)量評估體系，明確量化的數(shù)據(jù)質(zhì)量計算方法。

該步驟主要做法：

一是確定數(shù)據(jù)質(zhì)量評估體系。根據(jù)上述數(shù)據(jù)質(zhì)量位置及類型評估結(jié)果，從及時性、完整性、合規(guī)性、準(zhǔn)確性和一致性等五個方面，有選擇的確定本次數(shù)據(jù)質(zhì)量核查的評估維度及其約束規(guī)則，相應(yīng)的依據(jù)數(shù)據(jù)標(biāo)準(zhǔn)編制數(shù)據(jù)質(zhì)量核查規(guī)則[8][9]，并設(shè)計數(shù)據(jù)質(zhì)量評估指標(biāo)及指標(biāo)子項，確定本次數(shù)據(jù)質(zhì)量核查的評估體系。

（4）開展質(zhì)量評估

該步驟工作思路：基于數(shù)據(jù)質(zhì)量核查規(guī)則，開展數(shù)據(jù)質(zhì)量核查，獲取數(shù)據(jù)質(zhì)量問題，量化評估數(shù)據(jù)質(zhì)量情況。

該步驟主要做法：

一是開展數(shù)據(jù)質(zhì)量核查。依托數(shù)據(jù)質(zhì)量管理工具，按照數(shù)據(jù)質(zhì)量核查規(guī)則開展數(shù)據(jù)質(zhì)量核查工作，并根據(jù)核查結(jié)果整理形成數(shù)據(jù)質(zhì)量問題清單。

對于一些不易直接通過核查規(guī)則發(fā)現(xiàn)的問題，可以用變通的方式開展。如：文本類字段難以核查其準(zhǔn)確性，某電網(wǎng)公司通過核查“用電地址”長度的方式，發(fā)現(xiàn)大量用電地址包含漢字數(shù)少于5個，可以判斷此類用電地址存在不精確的問題。

二是量化數(shù)據(jù)質(zhì)量情況。根據(jù)數(shù)據(jù)質(zhì)量量化計算公式，結(jié)合數(shù)據(jù)質(zhì)量核查結(jié)果，開展數(shù)據(jù)質(zhì)量量化評估，計算出數(shù)據(jù)質(zhì)量評估指標(biāo)及指標(biāo)子項值。

（5）分析質(zhì)量問題

該步驟工作思路：基于核查發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，分析問題產(chǎn)生的根本原因，編制數(shù)據(jù)質(zhì)量整改方案，指導(dǎo)數(shù)據(jù)質(zhì)量問題整改。

該步驟主要做法：

一是分析數(shù)據(jù)質(zhì)量問題。按類逐個對數(shù)據(jù)質(zhì)量問題進行分析，確定問題產(chǎn)生的根本原因和數(shù)據(jù)生命周期具體環(huán)節(jié)，明確問題數(shù)據(jù)產(chǎn)生的源端系統(tǒng)，并按照問題產(chǎn)生的根本原因，從管理、業(yè)務(wù)和技術(shù)等三個方面對數(shù)據(jù)質(zhì)量問題進行分類。

二是出具數(shù)據(jù)質(zhì)量問題整改方案。根據(jù)數(shù)據(jù)質(zhì)量問題分析結(jié)果，制定整改方案，明確整改方法、整改責(zé)任單位、整改計劃等。

（6）解決質(zhì)量問題

該步驟工作思路：組織落實數(shù)據(jù)質(zhì)量整改方案，評估整改成效，形成常態(tài)的數(shù)據(jù)質(zhì)量管理機制，確保數(shù)據(jù)質(zhì)量始終符合業(yè)務(wù)需要。

該步驟主要做法：

一是落實數(shù)據(jù)質(zhì)量整改方案。以業(yè)務(wù)部門為主，根據(jù)數(shù)據(jù)質(zhì)量問題整改方案從預(yù)防問題數(shù)據(jù)產(chǎn)生、糾正數(shù)據(jù)錯誤兩個方面開展數(shù)據(jù)質(zhì)量整改工作。預(yù)防問題數(shù)據(jù)產(chǎn)生的目的在于“治本”，每個數(shù)據(jù)管理職能都有助于提高數(shù)據(jù)資產(chǎn)的質(zhì)量[10]，一般從管理和業(yè)務(wù)流程優(yōu)化、數(shù)據(jù)架構(gòu)、數(shù)據(jù)開發(fā)、系統(tǒng)功能完善、校驗規(guī)則固化等方面開展工作，降低問題數(shù)據(jù)產(chǎn)生的可能性;糾正錯誤數(shù)據(jù)的目的在于“治標(biāo)”，針對已經(jīng)產(chǎn)生的問題數(shù)據(jù)，通過前臺操作整改、批量后臺處理等方式糾正問題數(shù)據(jù)。

二是評估數(shù)據(jù)質(zhì)量治理成效。數(shù)據(jù)質(zhì)量整改完成后的一定時間（如一個月）后，再次開展數(shù)據(jù)質(zhì)量核查，并將核查結(jié)果與上一次對比，分析數(shù)據(jù)質(zhì)量整改成效以及當(dāng)前數(shù)據(jù)質(zhì)量情況是否符合預(yù)期，必要時組織完善數(shù)據(jù)質(zhì)量問題整改方案，再次開展數(shù)據(jù)質(zhì)量整改工作。

三是開展常態(tài)數(shù)據(jù)質(zhì)量管理。對于已經(jīng)完成數(shù)據(jù)質(zhì)量整改的業(yè)務(wù)，應(yīng)依托數(shù)據(jù)質(zhì)量管理工具定期開展數(shù)據(jù)質(zhì)量核查，當(dāng)數(shù)據(jù)質(zhì)量相關(guān)指標(biāo)低于預(yù)先設(shè)定的閾值時，重啟數(shù)據(jù)質(zhì)量管理工作，確保數(shù)據(jù)質(zhì)量始終符合業(yè)務(wù)需求。

3? 結(jié)束語

本文針對當(dāng)前電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理存在的工作開展方式不明確、常態(tài)管理工作機制缺失等問題，結(jié)合電網(wǎng)企業(yè)業(yè)務(wù)管理實際，設(shè)計了閉環(huán)的數(shù)據(jù)質(zhì)量管理模式，提出了協(xié)助解決業(yè)務(wù)問題這一數(shù)據(jù)質(zhì)量管理切入點，設(shè)計了模式各環(huán)節(jié)工作內(nèi)容和方法，常態(tài)數(shù)據(jù)質(zhì)量開展工作機制，以及需要通過數(shù)據(jù)質(zhì)量管理工具支撐的工作內(nèi)容，可以很好的指導(dǎo)和支撐電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理工作開展，促進電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理水平持續(xù)提升。該數(shù)據(jù)質(zhì)量管理模式應(yīng)隨著電網(wǎng)企業(yè)數(shù)據(jù)質(zhì)量管理實踐的深入開展以及數(shù)據(jù)管理模式的變化而持續(xù)優(yōu)化，確保持續(xù)適用于電網(wǎng)企業(yè)。

參考文獻

趙宏偉， 馮濤， 于海濤. 全面數(shù)據(jù)質(zhì)量管理框架在電網(wǎng)行業(yè)中的應(yīng)用[J]. 信息技術(shù)與標(biāo)準(zhǔn)化， 2017（7）： 62.

趙陽立. 淺談供電企業(yè)“大營銷”體系下的營銷數(shù)據(jù)質(zhì)量管理[J]. 電子世界 2013（4）： 156-157.

Danette McGilvray. Executing Data Quality Projects： Ten Steps to Quality Data and Trusted Information[M]. 北京：電子工業(yè)出版社， 2010： 59-60.

陸顧新， 陳石軍， 王立等. 銀行數(shù)據(jù)治理[M]. 北京：機械工業(yè)出版社， 2016： 95-102.

劉景義， 張暉， 趙偉濤等. 中國石油A1A2系統(tǒng)數(shù)據(jù)質(zhì)量管理體系建設(shè)實踐[J]. 信息技術(shù)與信息化， 2011（3）： 61-66.

馬凱航， 高永明， 吳止鍰等. 大數(shù)據(jù)時代數(shù)據(jù)管理技術(shù)研究綜述[J].軟件， 2015， 36（10）： 46-49.

國家電網(wǎng)公司. 電網(wǎng)運營數(shù)據(jù)質(zhì)量評估通用準(zhǔn)則（Q/GDW 11570—2016）[Z]. 北京： 國家電網(wǎng)公司， 2017： 3-8.

楊棟樞， 郭振， 蔡云飛. 企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)及其管理體系研究[J]. 軟件， 2017， 38（12）： 258-260.

Ching-Heng Lin， Nai-Yuan Wu， Der-Ming Liou. A multi-te- chnique approach to bridge electronic case report from design and data standard adoption[J]. Journal of Biomedical Informatics， 2015， 53（2）： 49-57.

DAMA International. The DAMA Guide to the Data Management Body of Knowledge[M]. 北京： 清華大學(xué)出版社， 2012： 12.