馮 楠，賈大江，高 杰

（1.國(guó)網(wǎng)山西省電力公司，山西 太原 030001；2.南京南瑞集團(tuán)公司，江蘇 南京 211000）

0 引言

數(shù)據(jù)在企業(yè)生產(chǎn)、經(jīng)營(yíng)管理過(guò)程中生成，直觀反映了公司運(yùn)營(yíng)的基本狀況，對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行深度挖掘?qū)μ嵘具\(yùn)營(yíng)效率和效益，有效防范風(fēng)險(xiǎn)具有重要意義。國(guó)網(wǎng)公司開(kāi)展全業(yè)務(wù)數(shù)據(jù)中心建設(shè)，為各級(jí)運(yùn)監(jiān)中心開(kāi)展數(shù)據(jù)資產(chǎn)管理，挖掘數(shù)據(jù)資產(chǎn)價(jià)值創(chuàng)造了有利條件。2017年，為加快推動(dòng)公司全業(yè)務(wù)數(shù)據(jù)中心建設(shè)，按照總部工作安排，山西公司負(fù)責(zé)開(kāi)展電網(wǎng)調(diào)度管理系統(tǒng)OMS（power dispatching management system） 系統(tǒng)、營(yíng)銷(xiāo)基礎(chǔ)數(shù)據(jù)平臺(tái)數(shù)據(jù)資源梳理工作，并對(duì)接入全業(yè)務(wù)數(shù)據(jù)中心的數(shù)據(jù)開(kāi)展數(shù)據(jù)質(zhì)量監(jiān)測(cè)。應(yīng)用技術(shù)手段，發(fā)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典關(guān)鍵備注信息缺失、部分業(yè)務(wù)系統(tǒng)的數(shù)據(jù)表中包含垃圾數(shù)據(jù)、數(shù)據(jù)字段或記錄缺失、數(shù)據(jù)不符合標(biāo)準(zhǔn)等問(wèn)題。針對(duì)發(fā)現(xiàn)的問(wèn)題，通過(guò)完善數(shù)據(jù)字典關(guān)鍵信息，開(kāi)展源端數(shù)據(jù)整治，督促業(yè)務(wù)系統(tǒng)提升數(shù)據(jù)質(zhì)量，推動(dòng)全業(yè)務(wù)數(shù)據(jù)中心分析域建設(shè)水平提升。

1 數(shù)據(jù)資源梳理及數(shù)據(jù)核查工作思路

根據(jù)公司全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心建設(shè)方案，運(yùn)監(jiān)中心充分發(fā)揮數(shù)據(jù)管理和應(yīng)用方面的優(yōu)勢(shì)，開(kāi)展厘清數(shù)據(jù)資源、開(kāi)展數(shù)據(jù)核查、完善數(shù)據(jù)管理體系等工作，提升公司數(shù)據(jù)質(zhì)量及自主維護(hù)能力，挖掘和發(fā)揮數(shù)據(jù)價(jià)值。

a）全面厘清業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源，編制完整清晰的數(shù)據(jù)資源手冊(cè)，構(gòu)建數(shù)據(jù)全景視圖。

b）建立數(shù)據(jù)核查規(guī)則庫(kù)，開(kāi)展數(shù)據(jù)核查，發(fā)現(xiàn)問(wèn)題并督促整改，大力提升數(shù)據(jù)質(zhì)量。

c）建立健全數(shù)據(jù)管理制度，統(tǒng)一標(biāo)準(zhǔn)并落實(shí)到位，強(qiáng)化評(píng)價(jià)考核措施，構(gòu)建數(shù)據(jù)管理體系[1]。

2 開(kāi)展數(shù)據(jù)資源梳理工作

以產(chǎn)生結(jié)構(gòu)化、一手業(yè)務(wù)數(shù)據(jù)為主的業(yè)務(wù)系統(tǒng)為對(duì)象，對(duì)公司業(yè)務(wù)系統(tǒng)逐個(gè)開(kāi)展數(shù)據(jù)資源梳理、數(shù)據(jù)核查，基于現(xiàn)有數(shù)據(jù)構(gòu)建公司業(yè)務(wù)數(shù)據(jù)體系。

2.1 收集整理設(shè)計(jì)文檔

收集各業(yè)務(wù)系統(tǒng)設(shè)計(jì)文檔，對(duì)照系統(tǒng)實(shí)際運(yùn)行情況核對(duì)文檔的完整性、規(guī)范性和一致性，組織廠商補(bǔ)全信息并迭代整改。開(kāi)展設(shè)計(jì)文檔與實(shí)際環(huán)境一致性比對(duì)，并完善數(shù)據(jù)字典設(shè)計(jì)文檔。標(biāo)記一手?jǐn)?shù)據(jù)，編制涵蓋數(shù)據(jù)存儲(chǔ)卷、應(yīng)用場(chǎng)景卷的數(shù)據(jù)資源手冊(cè)。

根據(jù)下發(fā)的業(yè)務(wù)系統(tǒng)相關(guān)設(shè)計(jì)文檔，包括數(shù)據(jù)字典文檔等。協(xié)調(diào)業(yè)務(wù)系統(tǒng)運(yùn)維單位，獲取業(yè)務(wù)系統(tǒng)生產(chǎn)環(huán)境數(shù)據(jù)字典信息，作為數(shù)據(jù)字典設(shè)計(jì)文檔核查的標(biāo)準(zhǔn)，主要通過(guò)兩種方式獲取：一是基于省公司部署的數(shù)據(jù)管理服務(wù)平臺(tái)實(shí)現(xiàn)，二是通過(guò)在生產(chǎn)庫(kù)中執(zhí)行腳本導(dǎo)出數(shù)據(jù)字典?；谙掳l(fā)的數(shù)據(jù)字典設(shè)計(jì)文檔，與運(yùn)行態(tài)數(shù)據(jù)字典比對(duì)，生成核查比對(duì)結(jié)果。

2.2 編制數(shù)據(jù)資源手冊(cè)并持續(xù)優(yōu)化

2.2.1 完善數(shù)據(jù)存儲(chǔ)卷

組織支撐人員完成對(duì)應(yīng)系統(tǒng)數(shù)據(jù)字典[2]（表、字段） 缺失信息補(bǔ)充完整和完善（包含表名、表備注、列名、列備注，是否主鍵，是否外鍵，數(shù)據(jù)類(lèi)型、精度、長(zhǎng)度、取值范圍，是否為空，取值范圍等）。

a）業(yè)務(wù)域描述信息。按照公司數(shù)據(jù)資源梳理和數(shù)據(jù)核查要求，提供完整的業(yè)務(wù)域信息，不僅要完成業(yè)務(wù)域的層級(jí)劃分，同時(shí)也要提供詳細(xì)業(yè)務(wù)描述信息。

b）表描述信息。按照公司數(shù)據(jù)資源梳理和數(shù)據(jù)核查要求，提供完整的表備注信息。

c）字段信息。按照公司數(shù)據(jù)資源梳理和數(shù)據(jù)核查要求，提供完整的字段信息（包括是否為標(biāo)準(zhǔn)編碼[3]和鍵值枚舉、業(yè)務(wù)信息描述、缺失單位、計(jì)算公式和主外鍵關(guān)系等）。

2.2.2 標(biāo)記一手?jǐn)?shù)據(jù)

一手?jǐn)?shù)據(jù)指業(yè)務(wù)信息經(jīng)過(guò)計(jì)算機(jī)人機(jī)界面后，在業(yè)務(wù)系統(tǒng)中形成的第一批數(shù)據(jù)。對(duì)一手?jǐn)?shù)據(jù)進(jìn)行復(fù)制、加工計(jì)算能進(jìn)一步形成二手、三手?jǐn)?shù)據(jù)（衍生數(shù)據(jù)）。一手?jǐn)?shù)據(jù)是業(yè)務(wù)系統(tǒng)中最精煉的核心數(shù)據(jù)，承載了未經(jīng)加工處理的原生態(tài)業(yè)務(wù)信息，并可依據(jù)計(jì)算模型推導(dǎo)出所有衍生數(shù)據(jù)。

一手?jǐn)?shù)據(jù)包括用戶錄入（檔案、單據(jù)等信息）、系統(tǒng)自動(dòng)采集（采集數(shù)據(jù)、日志數(shù)據(jù)） 以及批量導(dǎo)入的數(shù)據(jù)（采購(gòu)的外部數(shù)據(jù)等）。

2.2.3 編寫(xiě)業(yè)務(wù)場(chǎng)景

依據(jù)功能點(diǎn)清單，梳理典型應(yīng)用場(chǎng)景及數(shù)據(jù)支撐關(guān)系，包括涉及的底層表、字段、編碼以及相應(yīng)的計(jì)算邏輯。依照總部統(tǒng)一下發(fā)的應(yīng)用場(chǎng)景卷樣例和模板，按系統(tǒng)編制應(yīng)用場(chǎng)景卷。

編寫(xiě)對(duì)應(yīng)系統(tǒng)業(yè)務(wù)場(chǎng)景（包含場(chǎng)景名稱、業(yè)務(wù)操作、單據(jù)流程信息、服務(wù)對(duì)象、訪問(wèn)路徑、設(shè)計(jì)業(yè)務(wù)領(lǐng)域、數(shù)據(jù)字典、系統(tǒng)輸入與輸出，數(shù)據(jù)層處理邏輯）。

2.2.4 編制數(shù)據(jù)資源手冊(cè)

按照公司要求將業(yè)務(wù)數(shù)據(jù)映射關(guān)系同源端系統(tǒng)設(shè)計(jì)文檔比對(duì)，修改完善映射關(guān)系；同時(shí)對(duì)比應(yīng)有數(shù)據(jù)集，完善業(yè)務(wù)數(shù)據(jù)資源，據(jù)此編制數(shù)據(jù)資源手冊(cè)。手冊(cè)與系統(tǒng)實(shí)際運(yùn)行情況能夠?qū)?yīng)完整、規(guī)范、一致，數(shù)據(jù)資源手冊(cè)能夠體現(xiàn)關(guān)鍵的業(yè)務(wù)信息，構(gòu)建數(shù)據(jù)全景視圖，指導(dǎo)數(shù)據(jù)的快速查詢、應(yīng)用。

2.2.5 核查數(shù)據(jù)字典關(guān)鍵信息缺失情況

組織人員通過(guò)對(duì)OMS系統(tǒng)、營(yíng)銷(xiāo)基礎(chǔ)數(shù)據(jù)平臺(tái)開(kāi)展數(shù)據(jù)資源梳理，發(fā)現(xiàn)數(shù)據(jù)字典存在關(guān)鍵信息缺失，主要體現(xiàn)在以下幾個(gè)方面，即數(shù)據(jù)表備注信息不全或者沒(méi)有備注信息，數(shù)據(jù)表字段信息描述不清楚或者缺失，主外鍵關(guān)系表述不清楚或者缺失，涉及到標(biāo)準(zhǔn)編碼和鍵值枚舉在字段注釋沒(méi)有詳細(xì)描述等。其中營(yíng)銷(xiāo)基礎(chǔ)數(shù)據(jù)平臺(tái)梳理數(shù)據(jù)字段關(guān)鍵信息缺失情況如表1所示，OMS系統(tǒng)梳理數(shù)據(jù)字段關(guān)鍵信息缺失情況如表2所示。

表2 OMS系統(tǒng)數(shù)據(jù)字典信息缺失情況表

2.2.6 數(shù)據(jù)字典關(guān)鍵信息完善及改進(jìn)

組織相關(guān)部門(mén)收集OMS系統(tǒng)、營(yíng)銷(xiāo)基礎(chǔ)數(shù)據(jù)平臺(tái)的數(shù)據(jù)字典和功能設(shè)計(jì)文檔，根據(jù)設(shè)計(jì)文檔業(yè)務(wù)描述將業(yè)務(wù)域、數(shù)據(jù)表、字段、主外鍵關(guān)系等相關(guān)信息補(bǔ)充完整。其中存在問(wèn)題較大，嚴(yán)重缺失的信息，協(xié)調(diào)業(yè)務(wù)部門(mén)組織原系統(tǒng)廠商完善，OMS系統(tǒng)、營(yíng)銷(xiāo)基礎(chǔ)數(shù)據(jù)平臺(tái)數(shù)據(jù)字典關(guān)鍵信息經(jīng)過(guò)逐項(xiàng)補(bǔ)充完善后，數(shù)據(jù)字典質(zhì)量得到顯著提升。

a）OMS系統(tǒng)梳理功能業(yè)務(wù)域850項(xiàng)，數(shù)據(jù)表3490張，字段90921個(gè)。其中梳理涉及標(biāo)準(zhǔn)編碼字段有503個(gè)，鍵值枚舉的字段有3406個(gè)，外鍵關(guān)聯(lián)的字段有14個(gè)，鍵值碼表24個(gè)。

b） 營(yíng)銷(xiāo)基礎(chǔ)數(shù)據(jù)平臺(tái)梳理功能業(yè)務(wù)域276項(xiàng)，數(shù)據(jù)表3582張，字段53160個(gè)。其中梳理涉及標(biāo)準(zhǔn)編碼和鍵值枚舉的字段有733個(gè)，外鍵關(guān)聯(lián)的字段有540個(gè)。

3 開(kāi)展數(shù)據(jù)核查

重點(diǎn)從垃圾數(shù)據(jù)、缺項(xiàng)數(shù)據(jù)、不符合標(biāo)準(zhǔn)的數(shù)據(jù)等方面制定核查規(guī)則，編制核查腳本和核查操作手冊(cè)；結(jié)合業(yè)務(wù)監(jiān)測(cè)工作擴(kuò)充體現(xiàn)業(yè)務(wù)內(nèi)涵和數(shù)據(jù)間關(guān)聯(lián)關(guān)系的核查規(guī)則，持續(xù)優(yōu)化完善核查規(guī)則。核查垃圾數(shù)據(jù)、缺失數(shù)據(jù)、不符合標(biāo)準(zhǔn)的數(shù)據(jù)并反饋至業(yè)務(wù)系統(tǒng)源端。

3.1 核查規(guī)則制定

主要針對(duì)垃圾數(shù)據(jù)、數(shù)據(jù)缺項(xiàng)、數(shù)據(jù)不符合標(biāo)準(zhǔn)等基礎(chǔ)問(wèn)題。垃圾數(shù)據(jù)主要指垃圾表、字段以及垃圾記錄。數(shù)據(jù)缺項(xiàng)主要指數(shù)據(jù)字段缺失或?yàn)榭?、記錄缺失。?shù)據(jù)不符合標(biāo)準(zhǔn)主要指不符合主數(shù)據(jù)規(guī)范。

編制數(shù)據(jù)質(zhì)量核查腳本。針對(duì)不同類(lèi)型的數(shù)據(jù)質(zhì)量核查規(guī)則，同時(shí)結(jié)合總部下發(fā)數(shù)據(jù)核查腳本樣例，對(duì)涉及到的所有數(shù)據(jù)表逐表編制數(shù)據(jù)質(zhì)量核查腳本，經(jīng)過(guò)測(cè)試后，通過(guò)技術(shù)手段完成系統(tǒng)固化。定期開(kāi)展數(shù)據(jù)質(zhì)量核查。提升數(shù)據(jù)字典的規(guī)范性和數(shù)據(jù)質(zhì)量的合規(guī)性。

3.2 開(kāi)展數(shù)據(jù)質(zhì)量核查

根據(jù)公司統(tǒng)推業(yè)務(wù)系統(tǒng)部署實(shí)施情況，山西運(yùn)監(jiān)中心將業(yè)務(wù)系統(tǒng)分為經(jīng)營(yíng)管理、生產(chǎn)調(diào)度兩類(lèi)，組織人員分別制定數(shù)據(jù)核查規(guī)則，并對(duì)全業(yè)務(wù)數(shù)據(jù)中心接入數(shù)據(jù)進(jìn)行核查。對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行核查后發(fā)現(xiàn)，業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中存在重復(fù)數(shù)據(jù)、數(shù)據(jù)項(xiàng)缺失、數(shù)據(jù)記錄缺失、數(shù)據(jù)不符合標(biāo)準(zhǔn)等問(wèn)題。

3.3 開(kāi)展數(shù)據(jù)整治

在匯總核查問(wèn)題結(jié)果經(jīng)業(yè)務(wù)部門(mén)復(fù)核之后，協(xié)調(diào)業(yè)務(wù)系統(tǒng)運(yùn)維人員對(duì)存在疑似問(wèn)題的數(shù)據(jù)表在源端進(jìn)行了整改。整改效果較好，平均達(dá)到99%，同時(shí)將數(shù)據(jù)核查納入常態(tài)監(jiān)控問(wèn)題處理。

4 數(shù)據(jù)資源梳理及數(shù)據(jù)核查成效

4.1 數(shù)據(jù)字典關(guān)鍵信息得到完善

根據(jù)公司數(shù)據(jù)資源梳理工作要求，對(duì)照相關(guān)部門(mén)提供的數(shù)據(jù)字典，組織源業(yè)務(wù)系統(tǒng)廠商扎實(shí)開(kāi)展數(shù)據(jù)資源梳理，全面完善系統(tǒng)的業(yè)務(wù)域、表、字段、標(biāo)準(zhǔn)編碼，并部署開(kāi)發(fā)數(shù)據(jù)資源手冊(cè)完整性核查工具。實(shí)現(xiàn)自動(dòng)比對(duì)數(shù)據(jù)資源梳理成果，并對(duì)未滿足梳理要求的字段進(jìn)行標(biāo)記。山西公司數(shù)據(jù)資源梳理成果得到了總部的充分肯定和認(rèn)可。

4.2 全業(yè)務(wù)數(shù)據(jù)中心數(shù)據(jù)質(zhì)量顯著提升

通過(guò)開(kāi)展數(shù)據(jù)質(zhì)量核查及治理工作，對(duì)接入數(shù)據(jù)中心的各業(yè)務(wù)系統(tǒng)質(zhì)量有了準(zhǔn)確的核查結(jié)果。在全面核查的基礎(chǔ)上，對(duì)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量進(jìn)行整改治理，從業(yè)務(wù)系統(tǒng)源端促進(jìn)了數(shù)據(jù)質(zhì)量的顯著提升，全業(yè)務(wù)數(shù)據(jù)中心接入數(shù)據(jù)質(zhì)量達(dá)標(biāo)率可到92%，為公司各專業(yè)基于全業(yè)務(wù)數(shù)據(jù)中心分析域開(kāi)展數(shù)據(jù)挖掘工作奠定了堅(jiān)實(shí)基礎(chǔ)。

4.3 建立并運(yùn)行全業(yè)務(wù)數(shù)據(jù)中心數(shù)據(jù)質(zhì)量管控體制

按照公司“五位一體”的內(nèi)在要求，從職責(zé)、流程、制度、標(biāo)準(zhǔn)、考核5個(gè)方面加強(qiáng)數(shù)據(jù)管理，明確職責(zé)界面，細(xì)化、固化并持續(xù)優(yōu)化數(shù)據(jù)管理流程，建立健全全業(yè)務(wù)數(shù)據(jù)中心數(shù)據(jù)管理制度，統(tǒng)一標(biāo)準(zhǔn)并落實(shí)到位，強(qiáng)化評(píng)價(jià)考核措施，構(gòu)建全業(yè)務(wù)數(shù)據(jù)中心數(shù)據(jù)質(zhì)量管控體制。從數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)權(quán)限、數(shù)據(jù)生成、數(shù)據(jù)維護(hù)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全、支撐與保障、考核評(píng)價(jià)管理等方面規(guī)范數(shù)據(jù)管理工作，加強(qiáng)數(shù)據(jù)自主維護(hù)，提升數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)可控、增值。組建數(shù)據(jù)管理專家團(tuán)隊(duì)，指導(dǎo)提出數(shù)據(jù)管理相關(guān)問(wèn)題及解決措施，具備數(shù)據(jù)運(yùn)維和數(shù)據(jù)分析的能力。