徐 琳 張克銘 鄭 欽 路亞俊 樊 想

（中能融合智慧科技有限公司，北京 100013）

0 引言

隨著“雙碳”目標(biāo)的提出，政府對(duì)能源監(jiān)管的要求日益加強(qiáng)，為此各城市陸續(xù)開(kāi)始建設(shè)能源數(shù)據(jù)中心，以實(shí)現(xiàn)對(duì)城市能源的監(jiān)管［1］。城市能源數(shù)據(jù)中心逐步接入了能源行業(yè)海量數(shù)據(jù)，能源數(shù)據(jù)質(zhì)量評(píng)估與修復(fù)工作更加重要［2-4］。但因能源采集設(shè)備故障、數(shù)據(jù)傳輸通道故障等，能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量依然偏低。

許多學(xué)者對(duì)能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估與修復(fù)做了大量研究。王躍晟等［5］提出了一種基于Shapelets 的能源數(shù)據(jù)評(píng)估與修復(fù)方法，采用能源時(shí)間特征矩陣對(duì)能源數(shù)據(jù)進(jìn)行分析。張凱等［6］提出了一種基于K-means 聚類的能源數(shù)據(jù)修復(fù)方法，采用異常特征K-means 聚類和神經(jīng)網(wǎng)絡(luò)對(duì)能源數(shù)據(jù)進(jìn)行分析。俞娜燕等［7］提出了一種基于高斯過(guò)程回歸的能源數(shù)據(jù)評(píng)估方法，針對(duì)高斯過(guò)程評(píng)估數(shù)據(jù)質(zhì)量問(wèn)題，通過(guò)粒子濾波方法對(duì)能源數(shù)據(jù)進(jìn)行修復(fù)。徐飛陽(yáng)等［8］中，提出了一種基于同步相量的能源數(shù)據(jù)評(píng)估修復(fù)方法，對(duì)能源數(shù)據(jù)缺失的產(chǎn)生機(jī)理進(jìn)行分析與錯(cuò)誤校準(zhǔn)。由此可見(jiàn)，能源數(shù)據(jù)分析與修復(fù)方法多樣。但上述方法僅對(duì)單類數(shù)據(jù)進(jìn)行修復(fù)與評(píng)估，不能滿足能源數(shù)據(jù)中心多源異構(gòu)的海量能源數(shù)據(jù)評(píng)估與修復(fù)的需求。

針對(duì)能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量低、異常數(shù)據(jù)修復(fù)困難的問(wèn)題，本研究提出了一種能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估與修復(fù)方法。該方法采用Strong-Wang 框架搭建能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估維度，并引入數(shù)據(jù)質(zhì)量改進(jìn)全生命周期的概念對(duì)能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行評(píng)估與修復(fù)。

1 能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)評(píng)估框架

本研究所述的能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估研究框架主要包括構(gòu)建數(shù)據(jù)質(zhì)量評(píng)估框架、構(gòu)建數(shù)據(jù)質(zhì)量評(píng)估標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量全生命周期管理三部分內(nèi)容。

2 能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)評(píng)估模型

2.1 構(gòu)建數(shù)據(jù)質(zhì)量評(píng)估框架

能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量的維度是指能源行業(yè)中結(jié)構(gòu)化數(shù)據(jù)可觀測(cè)的特性。Strong-Wang 框架是國(guó)際上通用的數(shù)據(jù)質(zhì)量評(píng)估維度框架，通過(guò)內(nèi)在的數(shù)據(jù)質(zhì)量、場(chǎng)景數(shù)據(jù)質(zhì)量、表達(dá)數(shù)據(jù)質(zhì)量、訪問(wèn)數(shù)據(jù)質(zhì)量來(lái)描述質(zhì)量的評(píng)估得分［9-10］。因此，本研究采用Strong-Wang框架構(gòu)建能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估架構(gòu)。根據(jù)Strong-Wang 框架規(guī)則，能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量規(guī)則類型分為單個(gè)數(shù)據(jù)、多行數(shù)據(jù)、多列數(shù)據(jù)、多業(yè)務(wù)數(shù)據(jù)四類監(jiān)測(cè)規(guī)則。數(shù)據(jù)質(zhì)量評(píng)估框架如圖1 所示。由圖1 可知，能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)完整性檢測(cè)為空值檢測(cè)和邏輯檢測(cè)；能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)確性檢查為范圍約束；能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)有效性檢測(cè)為格式檢查；能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)及時(shí)性檢查為數(shù)據(jù)采集及時(shí)檢查；能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)一致檢查為一致約束、外鍵約束和關(guān)聯(lián)約束；能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)唯一檢查為主鍵約束檢查。

圖1 能源行業(yè)數(shù)據(jù)質(zhì)量評(píng)估框架

能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)評(píng)估規(guī)則集合La表示為式（1）。

式中：na為能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)評(píng)估規(guī)則數(shù)量；la1、la2、lana為不同能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)評(píng)估規(guī)則。

2.2 構(gòu)建數(shù)據(jù)質(zhì)量評(píng)估標(biāo)準(zhǔn)

元數(shù)據(jù)是指描述能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)并為其提供數(shù)據(jù)質(zhì)量評(píng)估資源的信息數(shù)據(jù)。元數(shù)據(jù)可識(shí)別能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)的資源，并對(duì)其進(jìn)行質(zhì)量評(píng)價(jià)與管理能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)在使用過(guò)程中產(chǎn)生的變化，從而實(shí)現(xiàn)能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估資源的有效查找、發(fā)現(xiàn)和一體化管理等功能。因此，本研究采用元數(shù)據(jù)構(gòu)建數(shù)據(jù)質(zhì)量評(píng)估標(biāo)準(zhǔn)。

層次分析法(Analytic Hierarchy Process, AHP)是一種能源行業(yè)數(shù)據(jù)結(jié)構(gòu)層次分析方法，該方法將與能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)分析決策相關(guān)的數(shù)據(jù)設(shè)定為總體目標(biāo)，并將總體目標(biāo)分解成不同的層級(jí)。在每個(gè)能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)子層級(jí)上，將評(píng)價(jià)標(biāo)準(zhǔn)分解為不同的層次結(jié)構(gòu)，并采用求解能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)矩陣的方法，對(duì)每個(gè)層級(jí)進(jìn)行定性分析和定量分析，再通過(guò)每個(gè)層級(jí)上增加不同的權(quán)重，匯總形成能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)整體的定性分析與定量分析結(jié)果［11-13］。

根據(jù)表2 構(gòu)建能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)判斷矩陣B，表示為式（2）。

式中：m、n分別為能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估判斷矩陣的縱、橫維度；b11、b12、…、b1n為能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)橫維度的比較結(jié)果；bm1、bm2…、bmn為能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)縱維度的比較結(jié)果。

計(jì)算能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)判斷矩陣各行的向量平方根，并進(jìn)行歸一化處理，得到能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)評(píng)價(jià)權(quán)重W，表示為式（3）。

式中：nd為能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)指標(biāo)權(quán)重的數(shù)量；wi為不同能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)評(píng)估指標(biāo)權(quán)重。

能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估一致性監(jiān)測(cè)ka表示為式（4）。

式中：ne為能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)一致性的唯一非零特征根值；δmax為能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)判斷矩陣的最大特征根。

2.3 數(shù)據(jù)質(zhì)量全生命周期管理

戴明環(huán)方法是一種數(shù)據(jù)質(zhì)量全生命周期管理方法，該方法通過(guò)“計(jì)劃-執(zhí)行-檢查-處理”四個(gè)階段對(duì)能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)的質(zhì)量進(jìn)行管理［14-16］。

線性插值方法是一種能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)修復(fù)方法，該方法將缺失數(shù)據(jù)鄰近已知正常數(shù)據(jù)用插值方法連接，然后對(duì)插值的曲線進(jìn)行計(jì)算，從而獲得異常數(shù)據(jù)的預(yù)估值［17］。該方法具有速度快、效率高的特點(diǎn)，因此，本研究采用線性插值方法對(duì)能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行修復(fù)。

異常數(shù)據(jù)修復(fù)值ja滿足式（5）。

式中：js和jb分別為異常數(shù)據(jù)前后鄰近的已知正常數(shù)據(jù)值；a為異常數(shù)據(jù)點(diǎn)；s和b分別為異常數(shù)據(jù)前后鄰近的已知正常數(shù)據(jù)點(diǎn)。

3 算例分析

3.1 場(chǎng)景與參數(shù)設(shè)定

為驗(yàn)證文中所提能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估的有效性，在我國(guó)某城市能源數(shù)據(jù)中心進(jìn)行實(shí)際應(yīng)用。該區(qū)域的能源數(shù)據(jù)包括電、水、氣、熱、煤和油數(shù)據(jù)，接入的數(shù)據(jù)單位為32.5萬(wàn)戶。文中能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估與修復(fù)工具采用python 開(kāi)發(fā)，程序部署在城市能源中心機(jī)房，服務(wù)器采用的中央處理器為英特爾至強(qiáng)E2200，服務(wù)器數(shù)量為4臺(tái)，運(yùn)行的主頻為2.8 GHz，服務(wù)器內(nèi)存為128 GB，服務(wù)器硬盤為64 TB，服務(wù)器的操作系統(tǒng)為L(zhǎng)inux。與文中方法進(jìn)行對(duì)照試驗(yàn)的是云網(wǎng)融合數(shù)據(jù)質(zhì)量評(píng)估方法［18］。

3.2 算例運(yùn)行分析

3.2.1 能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估準(zhǔn)確率分析。選擇能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)為1萬(wàn)、2萬(wàn)、5萬(wàn)、8 萬(wàn)、10 萬(wàn)、15 萬(wàn)、20 萬(wàn)條，分別采用文中所提層次分析法與云網(wǎng)融合的能源中心數(shù)據(jù)質(zhì)量評(píng)估方法比較數(shù)據(jù)質(zhì)量評(píng)估準(zhǔn)確率，其數(shù)據(jù)質(zhì)量評(píng)估準(zhǔn)確率結(jié)果見(jiàn)表1。

表1 能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估準(zhǔn)確率

由表1 可知，文中所提層次分析法平均能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估準(zhǔn)確率為99.67%，層次分析方法對(duì)能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)按層級(jí)進(jìn)行分解，并進(jìn)行評(píng)估，評(píng)估的準(zhǔn)確率高于云網(wǎng)融合方法評(píng)估準(zhǔn)確率94.78%。因此，文中所提層次分析法數(shù)據(jù)質(zhì)量評(píng)估準(zhǔn)確率更高。

3.2.2 能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)修復(fù)準(zhǔn)確率。選擇能源行業(yè)結(jié)構(gòu)化異常數(shù)據(jù)為1 000、2 000、3 000、5 000、8 000、10 000 條，分別采用文中所提戴明環(huán)方法與云網(wǎng)融合的能源中心數(shù)據(jù)質(zhì)量修復(fù)方法比較數(shù)據(jù)修復(fù)準(zhǔn)確率，能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)修復(fù)準(zhǔn)確率如圖2所示。

圖2 能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)修復(fù)準(zhǔn)確率

由圖2 可知，文中所提戴明環(huán)方法平均能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)修復(fù)準(zhǔn)確率為98.57%，云網(wǎng)融合方法的平均能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)修復(fù)準(zhǔn)確率為94.13%。因此，文中所提方法平均能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)修復(fù)準(zhǔn)確率高于云網(wǎng)融合方法。

4 結(jié)語(yǔ)

本研究針對(duì)能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量低、異常數(shù)據(jù)修復(fù)困難等問(wèn)題，提出了一種能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)質(zhì)量評(píng)估與修復(fù)方法。該方法通過(guò)Strong-Wang 框架和元數(shù)據(jù)建立了數(shù)據(jù)質(zhì)量框架與評(píng)估標(biāo)準(zhǔn)，實(shí)現(xiàn)了能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)的生命周期評(píng)估與修復(fù)，提高了能源行業(yè)結(jié)構(gòu)化數(shù)據(jù)的管理水平。

下一步將結(jié)合碳排放計(jì)量分析數(shù)據(jù)，對(duì)該評(píng)估與修復(fù)方法做進(jìn)一步研究。