荀 華，韓荀杰，張 森

（1.內(nèi)蒙古電力科學(xué)研究院，內(nèi)蒙古呼和浩特010020；2.杭州電子科技大學(xué)，浙江 杭州 310018；3.紫光軟件系統(tǒng)有限公司，陜西西安 710000）

0 引言

隨著生產(chǎn)管理系統(tǒng)建設(shè)的不斷深入，輸變電設(shè)備臺賬數(shù)據(jù)以及運行數(shù)據(jù)越來越多，由于人員誤操作、系統(tǒng)誤發(fā)、參數(shù)設(shè)置等原因?qū)е碌臉I(yè)務(wù)數(shù)據(jù)質(zhì)量問題也越來越嚴重[1，2]，主要表現(xiàn)在屬性缺失、數(shù)據(jù)不完整、數(shù)據(jù)處理不及時、數(shù)據(jù)不規(guī)范、數(shù)據(jù)重復(fù)、數(shù)據(jù)屬性不一致等，這些數(shù)據(jù)質(zhì)量問題直接影響后續(xù)業(yè)務(wù)操作和決策，尤其是在數(shù)據(jù)表之間存在依賴關(guān)系的情況下，影響范圍更廣。傳統(tǒng)電力行業(yè)應(yīng)用的生產(chǎn)管理信息系統(tǒng)錄入缺乏規(guī)范性管理，且在實際運行場景中經(jīng)常出現(xiàn)數(shù)據(jù)錄入錯誤、缺失以及數(shù)據(jù)屬性不一致等問題[3]。如果其中一張數(shù)據(jù)表出現(xiàn)異常，由于缺乏有效的數(shù)據(jù)質(zhì)量檢查手段，設(shè)備故障時就可能無法追蹤溯源發(fā)現(xiàn)故障原因，不同部門間可能造成數(shù)據(jù)沖突，業(yè)務(wù)決策也將出現(xiàn)偏差。

針對上述電力數(shù)據(jù)質(zhì)量問題，電力系統(tǒng)的研究人員和學(xué)者已經(jīng)提出了一些有效的數(shù)據(jù)質(zhì)量分析方法和系統(tǒng)。在數(shù)據(jù)質(zhì)量檢測方面，文獻[4，5]都針對多數(shù)據(jù)源提出了電網(wǎng)數(shù)據(jù)檢測和校核方法，文獻[6]通過獲取電能質(zhì)量數(shù)據(jù)來檢測服務(wù)數(shù)據(jù)的一致性和性能；在數(shù)據(jù)質(zhì)量評價方面，文獻[7-9]針對電網(wǎng)數(shù)據(jù)分別提出了自動化、多維度和綜合的質(zhì)量評價方法和系統(tǒng)，多角度評價數(shù)據(jù)質(zhì)量。上述方法已經(jīng)能夠解決一些特定電力業(yè)務(wù)的數(shù)據(jù)質(zhì)量問題，但是缺乏一定的擴展性，考慮到電力業(yè)務(wù)數(shù)據(jù)特點和行業(yè)數(shù)據(jù)規(guī)范，基于規(guī)則的數(shù)據(jù)質(zhì)量管理和評估[10，11]能夠靈活、高效地通過權(quán)重配比實現(xiàn)數(shù)據(jù)質(zhì)量管理和自定義評估分析。

本文提出一種基于規(guī)則的電力數(shù)據(jù)質(zhì)量檢查方法，根據(jù)該方法設(shè)計并實現(xiàn)了面向電力業(yè)務(wù)的數(shù)據(jù)指標(biāo)檢查系統(tǒng)，發(fā)現(xiàn)數(shù)據(jù)存在的問題，修正問題數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量。該系統(tǒng)針對電力生產(chǎn)管理信息系統(tǒng)數(shù)據(jù)建立面向特定業(yè)務(wù)需求的數(shù)據(jù)質(zhì)量檢查規(guī)則，采用規(guī)則權(quán)重配置方式綜合評估數(shù)據(jù)檢查任務(wù)，實現(xiàn)對業(yè)務(wù)數(shù)據(jù)的質(zhì)量檢驗，標(biāo)記數(shù)據(jù)存在的質(zhì)量問題，分規(guī)則對比多個數(shù)據(jù)表通過率，并進行可視化展示，即時生成質(zhì)檢評估報告，實現(xiàn)電力業(yè)務(wù)數(shù)據(jù)的全方位質(zhì)量把控。

1 質(zhì)檢規(guī)則及評估方法

電力數(shù)據(jù)指標(biāo)檢查系統(tǒng)主要面向各類變壓器參數(shù)、斷路器參數(shù)、線路缺陷記錄數(shù)據(jù)、試驗記錄數(shù)據(jù)、檢修記錄數(shù)據(jù)以及線路臺賬信息等數(shù)據(jù)。

1.1 數(shù)據(jù)質(zhì)檢規(guī)則

數(shù)據(jù)完整性和正確性是判斷數(shù)據(jù)可用價值最重要的指標(biāo)，所以數(shù)據(jù)質(zhì)量檢查主要從數(shù)據(jù)完整性和正確性兩大維度對電力業(yè)務(wù)數(shù)據(jù)進行質(zhì)量評估：

1）數(shù)據(jù)完整性：該指標(biāo)用于表征數(shù)據(jù)表記錄的完整性校驗，主要包括“字段數(shù)值不能為空”。

2）數(shù)據(jù)正確性：該指標(biāo)用于表征數(shù)據(jù)表記錄的正確性校驗，主要包括“字段數(shù)值以特定字符結(jié)尾”，“字段數(shù)值小于500 kV”，“字段1數(shù)值為220 kV時，字段2數(shù)值以特定字符結(jié)尾”等規(guī)則類型。

一個質(zhì)量檢查規(guī)則即一個評分標(biāo)準(zhǔn)，可以校驗單字段，也可以校驗多字段邏輯關(guān)系。特別的，檢查范圍可以采用過濾條件來篩選部分數(shù)據(jù)進行校。

1.2 數(shù)據(jù)質(zhì)量評估方法

基于質(zhì)檢規(guī)則評估電力數(shù)據(jù)質(zhì)量主要通過配置規(guī)則權(quán)重進行綜合評分計算，考慮到電力數(shù)據(jù)表中不同的字段對電力業(yè)務(wù)運行影響程度不同，不同數(shù)據(jù)表下不同字段相關(guān)的規(guī)則權(quán)重配置不同。

當(dāng)數(shù)據(jù)檢查任務(wù)處于執(zhí)行成功狀態(tài)時，具體得分計算如式（1）所示：

式中，N（N≥0）表示當(dāng)前任務(wù)包含的規(guī)則總數(shù)，一項數(shù)據(jù)檢查任務(wù)中可以包含m（m≥0）張數(shù)據(jù)表，每張數(shù)據(jù)表對應(yīng)n（n≥0）條規(guī)則，即 ；si表示單個規(guī)則得分，計算如式（2）所示：

式中，D（D>0）表示該規(guī)則檢查的數(shù)據(jù)總條數(shù)；Dpass（Dpass≥0）表示通過該規(guī)則的數(shù)據(jù)條數(shù)；

wi表示單個規(guī)則對應(yīng)的權(quán)重，規(guī)則權(quán)重配置主要分為三種，如式（3）所示：

根據(jù)帶權(quán)重等級的質(zhì)檢規(guī)則計算獲取的評分更能反應(yīng)真實電力數(shù)據(jù)的可用度和價值性。

2 數(shù)據(jù)指標(biāo)檢查系統(tǒng)設(shè)計

2.1 系統(tǒng)技術(shù)框架

系統(tǒng)整體架構(gòu)設(shè)計主要分為三層：數(shù)據(jù)層，服務(wù)層和展示層。數(shù)據(jù)層存儲電力數(shù)據(jù)，經(jīng)過服務(wù)層獲取檢查結(jié)果并計算評分，最后提供給前端展示層進行可視化展示，具體技術(shù)架構(gòu)如圖1所示：

圖1 系統(tǒng)整體技術(shù)架構(gòu)

2.2 系統(tǒng)功能模塊

系統(tǒng)功能模塊設(shè)計也分為三層，數(shù)據(jù)層主要存儲業(yè)務(wù)數(shù)據(jù)和質(zhì)檢結(jié)果數(shù)據(jù)，為服務(wù)層提供數(shù)據(jù)支持，經(jīng)過服務(wù)層處理和分析后，將結(jié)果傳輸至展示層進行展示。其中，服務(wù)層是平臺最核心的功能層，主要包括：公共數(shù)據(jù)管理、方案管理、任務(wù)及調(diào)度管理和結(jié)果及評價管理，具體如圖2所示。

圖2 系統(tǒng)功能模塊

1）數(shù)據(jù)層

數(shù)據(jù)層的主要功能是存儲導(dǎo)入的數(shù)據(jù)和經(jīng)過檢查的結(jié)果數(shù)據(jù)，是整個系統(tǒng)的基礎(chǔ)功能層。

a.公共數(shù)據(jù)：系統(tǒng)外部導(dǎo)入的基于行業(yè)標(biāo)準(zhǔn)用語、業(yè)內(nèi)標(biāo)準(zhǔn)用語制定的碼表集合，是行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范。

b.方案數(shù)據(jù)：用戶創(chuàng)建的方案信息，包括方案名稱和描述、方案下的數(shù)據(jù)模型信息、質(zhì)檢規(guī)則信息、模型關(guān)系信息以及上傳的質(zhì)檢報告等。

c.待檢數(shù)據(jù)：用戶根據(jù)數(shù)據(jù)模型導(dǎo)入的待檢查的數(shù)據(jù)。

d.質(zhì)檢結(jié)果數(shù)據(jù)：對導(dǎo)入的數(shù)據(jù)執(zhí)行質(zhì)檢任務(wù)操作后生成帶標(biāo)記的結(jié)果數(shù)據(jù)。

2）服務(wù)層

服務(wù)層的主要功能是從數(shù)據(jù)層獲取數(shù)據(jù)，解析數(shù)據(jù)，根據(jù)質(zhì)檢規(guī)則檢查數(shù)據(jù)，發(fā)現(xiàn)問題并標(biāo)記，最后保存異常數(shù)據(jù)，進行統(tǒng)計計算后生成檢測報告，包括規(guī)則通過率、異常數(shù)據(jù)明細和數(shù)據(jù)對比。

a.公共數(shù)據(jù)管理

公共數(shù)據(jù)主要用于質(zhì)量檢查規(guī)則的標(biāo)準(zhǔn)性和規(guī)范性檢查。在質(zhì)檢規(guī)則制定時，可以引用公共數(shù)據(jù)的枚舉集合或者碼表記錄的內(nèi)在邏輯關(guān)系進行制定，使得檢查規(guī)則有標(biāo)準(zhǔn)和規(guī)范可依。

b.方案管理

方案管理包括數(shù)據(jù)模型，質(zhì)檢規(guī)則，模型關(guān)系，質(zhì)檢報告四個子模塊。

數(shù)據(jù)模型：指待測數(shù)據(jù)的表結(jié)構(gòu)，是數(shù)據(jù)導(dǎo)入的基礎(chǔ)。通常將數(shù)據(jù)評價標(biāo)準(zhǔn)一致的多張數(shù)據(jù)表放在同一個方案中，即一個方案中可以包含多個數(shù)據(jù)模型。

質(zhì)檢規(guī)則：一個質(zhì)檢規(guī)則即一個評分標(biāo)準(zhǔn)，可以單個字段校驗，也可以多個字段邏輯關(guān)系校驗。

模型關(guān)系：數(shù)據(jù)模型關(guān)系的體現(xiàn)是數(shù)據(jù)依賴，主要功能是為推導(dǎo)問題數(shù)據(jù)影響范圍提供依據(jù)。

質(zhì)檢報告：是對任務(wù)輸出結(jié)果的樣式進行定義的過程，主要功能是依據(jù)用戶上傳的模板生成報告。

c.任務(wù)及調(diào)度管理

該模塊提供對質(zhì)檢任務(wù)的綜合管理，是在方案模板建立基礎(chǔ)上，用戶創(chuàng)建一個任務(wù)進行數(shù)據(jù)抽取和執(zhí)行檢查的過程。

數(shù)據(jù)抽?。横槍?shù)據(jù)模型的物理表，將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫中，導(dǎo)入可以覆蓋導(dǎo)入也可以追加導(dǎo)入。

任務(wù)執(zhí)行：根據(jù)創(chuàng)建的質(zhì)檢規(guī)則進行數(shù)據(jù)篩查和計算的過程，執(zhí)行結(jié)束后會生成質(zhì)檢結(jié)果和評分。

d.結(jié)果及評價管理

結(jié)果及評價管理是將任務(wù)分析結(jié)果以多種形式進行打包，主要包括結(jié)果評分、質(zhì)檢報告、結(jié)果對比和影響分析。

3）展示層

展示層的主要功能是獲取服務(wù)層結(jié)果及評價信息并進行可視化。

2.3 數(shù)據(jù)庫邏輯設(shè)計

系統(tǒng)數(shù)據(jù)庫采用MySQL數(shù)據(jù)庫，數(shù)據(jù)表邏輯結(jié)構(gòu)如圖3所示：

數(shù)據(jù)表之間以主鍵ID互相關(guān)聯(lián)。其中，方案表（project）、模型表（model）、字段表（model_field）、模型關(guān)系表（relation）、規(guī)則表（rule）、規(guī)則權(quán)重表（rule_weight）和任務(wù)表（task）都是通過用戶創(chuàng)建而生成的記錄表；任務(wù)執(zhí)行記錄表（task_run_log）記錄的是任務(wù)執(zhí)行信息；用戶表（user）記錄用戶信息。

圖3 數(shù)據(jù)庫邏輯結(jié)構(gòu)

3 系統(tǒng)實現(xiàn)與實例驗證

本系統(tǒng)作為一個電力業(yè)務(wù)應(yīng)用系統(tǒng)，在平臺管理、實時數(shù)據(jù)庫等基礎(chǔ)應(yīng)用服務(wù)的基礎(chǔ)山，實現(xiàn)了數(shù)據(jù)指標(biāo)檢查、質(zhì)量校驗、異常數(shù)據(jù)標(biāo)記、質(zhì)量評估和可視化展示等功能，為電力企業(yè)生產(chǎn)管理信息系統(tǒng)數(shù)據(jù)構(gòu)建了全方位的質(zhì)量把控應(yīng)用。

3.1 系統(tǒng)部署

系統(tǒng)部署方案如圖4所示：

圖4 系統(tǒng)部署方案

數(shù)據(jù)指標(biāo)檢查系統(tǒng)可通過反向代理服務(wù)來訪問。靜態(tài)文件服務(wù)部署靜態(tài)資源文件，應(yīng)用服務(wù)主要服務(wù)數(shù)據(jù)質(zhì)量檢查服務(wù)，任務(wù)調(diào)度服務(wù)器主要用來管理任務(wù)執(zhí)行，應(yīng)用數(shù)據(jù)庫服務(wù)器即數(shù)據(jù)指標(biāo)檢查服務(wù)數(shù)據(jù)庫、存儲方案及任務(wù)數(shù)據(jù)，計算服務(wù)器是用于執(zhí)行數(shù)據(jù)指標(biāo)檢查任務(wù)的計算服務(wù)器。

3.2 數(shù)據(jù)指標(biāo)檢查流程

系統(tǒng)執(zhí)行數(shù)據(jù)指標(biāo)檢查流程主要分為三大部分：方案管理，任務(wù)調(diào)度和結(jié)果與評價。具體如圖5所示：

圖5 數(shù)據(jù)指標(biāo)檢查系統(tǒng)流程

方案是數(shù)據(jù)指標(biāo)檢查的基礎(chǔ)，首先創(chuàng)建檢查方案、模型和對應(yīng)字段，對于存在依賴關(guān)系的模型添加模型關(guān)系標(biāo)識，根據(jù)業(yè)務(wù)或者公共數(shù)據(jù)標(biāo)準(zhǔn)創(chuàng)建質(zhì)檢規(guī)則，測試規(guī)則是否正確構(gòu)建，定義規(guī)則的等級權(quán)重。

然后，創(chuàng)建檢查任務(wù)，導(dǎo)入與模型字段對應(yīng)的數(shù)據(jù)表，執(zhí)行任務(wù)即可獲取結(jié)果數(shù)據(jù)，對于執(zhí)行失敗的任務(wù)，原因可能是數(shù)據(jù)格式不匹配或?qū)?yīng)規(guī)則不正確，此時，需要刪除任務(wù)重新創(chuàng)建。

獲取結(jié)果數(shù)據(jù)后，根據(jù)第二章所述質(zhì)檢評估方法進行計算和統(tǒng)計獲取綜合評分和各個規(guī)則通過率，對于一個方案下存在多個任務(wù)的情況，可以將多次任務(wù)結(jié)果進行可視化對比展示，最終生成質(zhì)檢報告，便于導(dǎo)出。

3.3 實例驗證

系統(tǒng)以某地區(qū)電力公司變壓器參數(shù)表為例，對該數(shù)據(jù)指標(biāo)檢查系統(tǒng)進行測試。該電力公司變壓器有干式變壓器、SF6變壓器和油浸式主變壓器三種，其中干式變壓器參數(shù)表有69個字段，SF6變壓器有85個字段，油浸式主變壓器有80個字段。根據(jù)系統(tǒng)流程，數(shù)據(jù)指標(biāo)檢查步驟如下：

1）創(chuàng)建變壓器參數(shù)檢查方案。

該方案下包含三個模型：干式變壓器參數(shù)表、SF6變壓器參數(shù)表和油浸式主變壓器參數(shù)表，創(chuàng)建規(guī)則如表1所示：

表1 變壓器參數(shù)表質(zhì)檢規(guī)則（部分）

根據(jù)電力業(yè)務(wù)需求，創(chuàng)建干式變壓器參數(shù)表質(zhì)檢規(guī)則79條，SF6變壓器參數(shù)表質(zhì)檢規(guī)則95條，油浸式主變壓器參數(shù)表質(zhì)檢規(guī)則82條。

2）根據(jù)方案創(chuàng)建并執(zhí)行變壓器參數(shù)檢查任務(wù)。

導(dǎo)入與模型相同表結(jié)構(gòu)的數(shù)據(jù)，干式變壓器參數(shù)表有155條記錄，69個字段；SF6變壓器參數(shù)表有155條記錄，85個字段；油浸式主變壓器參數(shù)表有155條記錄，80個字段。

根據(jù)數(shù)據(jù)質(zhì)量評估方法，變壓器參數(shù)檢查任務(wù)規(guī)則權(quán)重之和計算如式（4）：

式中，N（N=n1+n2+n3）表示方案下規(guī)則總數(shù)；

n1（n1=79）表示干式變壓器參數(shù)表規(guī)則條數(shù)；

n2（n2=95）表示SF6變壓器參數(shù)表規(guī)則條數(shù)；

n3（n3=82）表示油浸式主變壓器參數(shù)表規(guī)則條數(shù)。

變壓器參數(shù)檢查任務(wù)綜合得分Score計算如式（5）：

綜上，變壓器參數(shù)檢查任務(wù)綜合得分Score=97.5，即三張數(shù)據(jù)表綜合通過率為97.5%。特別說明：得分可以只選擇部分規(guī)則進行計算。

3）根據(jù)任務(wù)執(zhí)行結(jié)果進行可視化并生成報告。

可視化展示除了綜合評分還包括單條質(zhì)檢規(guī)則的通過率查看和質(zhì)檢報告查看，分別如圖6、圖7所示：

圖6 變壓器參數(shù)檢查任務(wù)-評分界面

圖7 變壓器參數(shù)檢查任務(wù)-質(zhì)量評估報告

4 結(jié)語

電力數(shù)據(jù)質(zhì)量不僅影響電力運維人員的工作效率，也直接影響電力系統(tǒng)業(yè)務(wù)安全運行。為了解決現(xiàn)有生產(chǎn)管理信息系統(tǒng)記錄數(shù)據(jù)的缺失、不一致等質(zhì)量問題導(dǎo)致的人工核查成本高和部門間數(shù)據(jù)沖突等情況，本文設(shè)計并開發(fā)實現(xiàn)了一種基于規(guī)則的電力數(shù)據(jù)指標(biāo)檢查系統(tǒng)，根據(jù)具體電力業(yè)務(wù)建立質(zhì)量檢測規(guī)則體系，從完整性和正確性兩個角度高效并量化地檢查數(shù)據(jù)，解決電力數(shù)據(jù)質(zhì)量檢查難題，快速地將缺失數(shù)據(jù)和不一致數(shù)據(jù)精準(zhǔn)地標(biāo)記出來，并在數(shù)據(jù)可信度和數(shù)據(jù)影響范圍方面給出量化評分和可視化展現(xiàn)。實際應(yīng)用表明，該系統(tǒng)為電力企業(yè)提供了高效、高質(zhì)量的數(shù)據(jù)指標(biāo)檢查服務(wù)，實現(xiàn)了對電力數(shù)據(jù)的規(guī)范化梳理和整治。未來該系統(tǒng)還將針對電力業(yè)務(wù)數(shù)據(jù)擴展統(tǒng)計分析和修復(fù)推薦等功能。