李冰若,鐘 彬

(1.國(guó)網(wǎng)上海市電力公司市北供電公司,上海 200122;2.國(guó)網(wǎng)上海市電力公司,上海 200122)

隨著當(dāng)前智能化信息時(shí)代的發(fā)展,打破了數(shù)字符號(hào)的界限,社會(huì)高度信息化,數(shù)據(jù)作為一種記錄符號(hào),逐漸形成由語(yǔ)句、位置等多源數(shù)據(jù)構(gòu)成的大數(shù)據(jù)模式,且數(shù)據(jù)量規(guī)模呈指數(shù)級(jí)增長(zhǎng)[1]。這雖然推動(dòng)了數(shù)據(jù)的自動(dòng)化與智能化進(jìn)程,但卻使數(shù)據(jù)之間的邏輯關(guān)系越來(lái)越復(fù)雜。在大數(shù)據(jù)時(shí)代中,數(shù)據(jù)是制定決策的重要參考依據(jù),數(shù)據(jù)質(zhì)量對(duì)決策的最終效用起著至關(guān)重要的作用[2]。

海量數(shù)據(jù)內(nèi)摻雜的問(wèn)題數(shù)據(jù)不斷降低數(shù)據(jù)質(zhì)量,使之演變?yōu)楦鱾€(gè)領(lǐng)域亟待解決的問(wèn)題,研發(fā)出適用于不同領(lǐng)域的數(shù)據(jù)質(zhì)量控制技術(shù)。例如：王娟等[3]與周琦等[4]分別就政府開(kāi)放數(shù)據(jù)與全球地理信息數(shù)據(jù),應(yīng)用演化博弈理論與分布式并行處理技術(shù),準(zhǔn)確且有效地控制數(shù)據(jù)質(zhì)量。隨著可持續(xù)發(fā)展戰(zhàn)略目標(biāo)的提出與落實(shí),在社會(huì)生產(chǎn)生活中占據(jù)著核心地位的電力行業(yè),亟需向智能化、信息化以及節(jié)能化方向轉(zhuǎn)型。除大數(shù)據(jù)時(shí)代本身給電力行業(yè)帶來(lái)的海量數(shù)據(jù)外,龐大的電網(wǎng)覆蓋規(guī)模與用戶(hù)量也加劇了數(shù)據(jù)量,為保證數(shù)據(jù)質(zhì)量增加了巨大的難度。因此,面向電力統(tǒng)計(jì)大數(shù)據(jù),設(shè)計(jì)可視化的質(zhì)量控制方法?？梢暬夹g(shù)因大數(shù)據(jù)時(shí)代興起,在數(shù)據(jù)質(zhì)量控制方面具有一定的應(yīng)用價(jià)值,有助于保障所用數(shù)據(jù)準(zhǔn)確可靠、實(shí)時(shí)有效。

1 電力統(tǒng)計(jì)大數(shù)據(jù)質(zhì)量控制算法

假設(shè)電力統(tǒng)計(jì)大數(shù)據(jù)集合是{G1,G2,…,GM},其中,M表示數(shù)據(jù)量,各數(shù)據(jù)對(duì)應(yīng)的先驗(yàn)概率集合與離散概率函數(shù)集合分別是{q1,q2,…,qM}、{f1(y),f2(y),…,fM(y)},采用貝葉斯公式,解得電力數(shù)據(jù)Gj的后驗(yàn)概率p(Gj)：

(1)

式中：j=1,2,…,M;qj、fj(y)分別為數(shù)據(jù)Gj的先驗(yàn)概率與離散概率函數(shù)。

選取N個(gè)數(shù)據(jù)樣本,得到下列對(duì)應(yīng)觀測(cè)數(shù)據(jù)的矩陣形式：

(2)

該矩陣中,元素g*表示數(shù)據(jù)樣本的觀測(cè)結(jié)果。

采用下列計(jì)算公式求解出各觀測(cè)數(shù)據(jù)的總均值向量：

(3)

推導(dǎo)出各數(shù)據(jù)樣本的均值向量概率運(yùn)算式,如下所示：

(4)

式中：j=1,2,…,N。

由此得出任意數(shù)據(jù)樣本的類(lèi)內(nèi)離差矩陣元素計(jì)算公式,如下所示：

(5)

采用下列形式解得所有數(shù)據(jù)樣本的總類(lèi)內(nèi)離差矩陣元素：

(6)

引入數(shù)據(jù)變量gh,建立其對(duì)應(yīng)的類(lèi)內(nèi)離差矩陣與總類(lèi)內(nèi)離差矩陣,分別如下所示：

(7)

(8)

若方程組(9)成立,則為達(dá)成質(zhì)量控制目標(biāo)而引入數(shù)據(jù)變量gh的實(shí)現(xiàn)形式如式(10)所示：

(9)

(10)

若控制數(shù)據(jù)質(zhì)量時(shí)需去除數(shù)據(jù)變量gh,則其實(shí)現(xiàn)形式如下所示：

(11)

2 電力統(tǒng)計(jì)大數(shù)據(jù)質(zhì)量控制可視化實(shí)現(xiàn)

2.1 可視化實(shí)現(xiàn)平臺(tái)與單元

大數(shù)據(jù)時(shí)代讓電力統(tǒng)計(jì)數(shù)據(jù)演變成了更復(fù)雜、更具層次性的高維數(shù)據(jù)結(jié)構(gòu),以往的單向數(shù)據(jù)可視化表現(xiàn)形式無(wú)法滿(mǎn)足此類(lèi)數(shù)據(jù)結(jié)構(gòu)的可視化需求。基于電力統(tǒng)計(jì)大數(shù)據(jù)質(zhì)量控制算法,結(jié)合地理信息系統(tǒng)技術(shù)與Web端口[5-6],構(gòu)建出由Web端口連接地理信息系統(tǒng)中各組成部分的平臺(tái),實(shí)現(xiàn)電力統(tǒng)計(jì)大數(shù)據(jù)質(zhì)量的可視化交互控制。平臺(tái)的基本架構(gòu)如圖1所示。

圖1 可視化實(shí)現(xiàn)平臺(tái)架構(gòu)圖

視覺(jué)通道作為實(shí)現(xiàn)可視化的主要環(huán)節(jié),也是控制數(shù)據(jù)標(biāo)識(shí)的一種表現(xiàn)模式。不同的視覺(jué)通道用于呈現(xiàn)不同的統(tǒng)計(jì)大數(shù)據(jù)。根據(jù)可視化的數(shù)據(jù)標(biāo)識(shí)性質(zhì),可將其分為定性、定量、分組等三種,各類(lèi)數(shù)據(jù)標(biāo)識(shí)的具體屬性與應(yīng)用的視覺(jué)通道如表1所示。

表1 電力統(tǒng)計(jì)大數(shù)據(jù)類(lèi)別

在地理信息系統(tǒng)技術(shù)與Web端口構(gòu)成的可視化實(shí)現(xiàn)平臺(tái)上,融入B/S架構(gòu)[7],組建出由設(shè)計(jì)工具模塊、組件設(shè)計(jì)模塊以及表現(xiàn)模塊組成的可視化實(shí)現(xiàn)單元,如圖2所示。

圖2 可視化實(shí)現(xiàn)單元架構(gòu)圖

2.2 可視化控制實(shí)現(xiàn)流程

在可視化交互控制平臺(tái)上,建立卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),有效處理與連通可視化單元各模塊之間的邏輯關(guān)系,減小可視化控制過(guò)程中產(chǎn)生的數(shù)據(jù)誤差。

神經(jīng)網(wǎng)絡(luò)的前兩層分別是數(shù)據(jù)特征的提取層與展示層,在輸入層提取數(shù)據(jù)子塊后,形成一組適用于電力統(tǒng)計(jì)大數(shù)據(jù)結(jié)構(gòu)的高維數(shù)據(jù)向量;第三層網(wǎng)絡(luò)為非線性映射層,用于獲取高維數(shù)據(jù)向量的映射向量;第四層網(wǎng)絡(luò)是重構(gòu)層,利用求和與加權(quán)平均等運(yùn)算法則[8-9],得到經(jīng)過(guò)控制的數(shù)據(jù)塊,在輸出層輸出最終的控制結(jié)果。

假設(shè)除輸入層與輸出層外的網(wǎng)絡(luò)層分別是U1、U2、U3、U4,各層均含有m個(gè)網(wǎng)絡(luò)節(jié)點(diǎn),分別是x1,x2,…,xm,網(wǎng)絡(luò)層對(duì)應(yīng)的可學(xué)習(xí)權(quán)值與偏置分別為a1m、a2m、a3m、a4m以及b1、b2、b3、b4,則該卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的界定公式如下所示：

(12)

若各卷積層均含有n個(gè)大小為Xi(i=1,2,3,4)的卷積核,則通過(guò)下列計(jì)算公式求解出神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)算復(fù)雜度：

(13)

為縮短網(wǎng)絡(luò)訓(xùn)練時(shí)長(zhǎng),提升質(zhì)量控制精準(zhǔn)度,在網(wǎng)絡(luò)的非線性映射層前后,分別添加特征縮小網(wǎng)絡(luò)層與擴(kuò)展層,構(gòu)建出六層結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)。

各網(wǎng)絡(luò)層的具體設(shè)計(jì)內(nèi)容如下所述：

(1)提取層與展示層：卷積運(yùn)算網(wǎng)絡(luò)層的卷積核與提取到的數(shù)據(jù)子塊,并轉(zhuǎn)化為高維數(shù)據(jù)特征向量。由于Sigmoid非線性激活函數(shù)[10]能夠在負(fù)數(shù)部分存在多個(gè)可學(xué)習(xí)參數(shù),故將其作為兩個(gè)網(wǎng)絡(luò)層的激活函數(shù),以防止節(jié)點(diǎn)在學(xué)習(xí)時(shí)不被激活,使網(wǎng)絡(luò)參數(shù)作用都得到最大程度發(fā)揮。提取層與展示層的計(jì)算表達(dá)式分別如下所示：

U1=Sigmoid×a1m(x1+x2+…+xm)+b1

(14)

U2=Sigmoid×a2m(x1+x2+…+xm)+b2

(15)

(2)縮小層：因前兩層得到的高維數(shù)據(jù)向量維度過(guò)大,會(huì)大幅增加非線性映射的運(yùn)算開(kāi)銷(xiāo),故添設(shè)縮小層。利用1×1×1卷積核縮小展示層的輸出特征,降低映射復(fù)雜度[11-12]。該層的卷積核數(shù)量需小于n,由計(jì)算表達(dá)式(14)、式(15),推導(dǎo)出如下的縮小層U′求解公式：

(16)

(3)非線性映射層：為確保在少量參數(shù)下也能感知域大小,避免過(guò)擬合,界定各網(wǎng)絡(luò)層的輸入通道個(gè)數(shù)相同并呈卷積疊加。則非線性映射層的計(jì)算形式為下列等式：

U3=Sigmoid×a3m(x1+x2+…+xm)+b3

(17)

(4)擴(kuò)展層：該層是縮小層的逆操作階段,若直接采用降低后的數(shù)據(jù)維度進(jìn)行處理,極有可能形成控制誤差。故通過(guò)擴(kuò)展層提高數(shù)據(jù)維度,利用1×1×1卷積核通過(guò)下式完成該網(wǎng)絡(luò)層的邏輯處理：

(18)

(5)重構(gòu)層：作為卷積神經(jīng)網(wǎng)絡(luò)的最后一層,重構(gòu)層卷積核的主要作用是組合數(shù)據(jù)特征、平均濾波、得到輸出數(shù)據(jù)。網(wǎng)絡(luò)輸出結(jié)果的推演表達(dá)式如下：

U4=Sigmoid×a4m(x1+x2+…+xm)+b4

(19)

可視化單元利用開(kāi)發(fā)工具調(diào)用設(shè)計(jì)的組件與控件后,經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)逐層的邏輯處理與連通,通過(guò)表現(xiàn)模塊將輸出結(jié)果呈現(xiàn)給用戶(hù)。

3 電力統(tǒng)計(jì)大數(shù)據(jù)質(zhì)量可視化控制實(shí)驗(yàn)研究

3.1 評(píng)估指標(biāo)選取

基于控制方法的研究目標(biāo),分別從控制后數(shù)據(jù)的準(zhǔn)確性、實(shí)時(shí)性、一致性以及完整性四個(gè)方面,綜合評(píng)價(jià)可視化控制統(tǒng)計(jì)大數(shù)據(jù)質(zhì)量的有效性與優(yōu)越性。各指數(shù)類(lèi)評(píng)估指標(biāo)的數(shù)值越大,數(shù)據(jù)質(zhì)量越好,控制效果越理想,具體內(nèi)容如下所述：

(1)準(zhǔn)確性(accuracy)：該指標(biāo)用于判定數(shù)據(jù)控制結(jié)果是否存在異常狀況。假設(shè)總數(shù)據(jù)量有Sz個(gè),若控制過(guò)程中產(chǎn)生Sl個(gè)錯(cuò)誤數(shù)據(jù),則準(zhǔn)確性評(píng)估指標(biāo)的計(jì)算公式如下所示：

(20)

式中：r為修正因子。

(2)實(shí)時(shí)性(timeliness)：該指標(biāo)根據(jù)數(shù)據(jù)控制的延時(shí)時(shí)長(zhǎng)與數(shù)據(jù)量,判定方法時(shí)效性。若有St個(gè)數(shù)據(jù)被延時(shí)控制,完成電力數(shù)據(jù)控制的所需小時(shí)數(shù)為t,則實(shí)時(shí)性評(píng)估指標(biāo)式如下：

(21)

(3)一致性(consistence)：該指標(biāo)描述各電力數(shù)據(jù)間的邏輯關(guān)聯(lián)強(qiáng)度。當(dāng)不符合外鍵、等值依賴(lài)、邏輯、等值一致、存在一致等約束條件的數(shù)據(jù)量分別是Sk1、Sk2、Sk3、Sk4、Sk5時(shí),一致性評(píng)估指標(biāo)由下列表達(dá)式解得：

(22)

(4)完整性(integrity)：該指標(biāo)反映控制后是否有缺失字段信息的電力統(tǒng)計(jì)數(shù)據(jù)。若缺失信息的數(shù)據(jù)量是Sd個(gè),則完整性評(píng)估指標(biāo)的求解式如下所示：

(23)

3.2 電力統(tǒng)計(jì)大數(shù)據(jù)質(zhì)量可視化控制仿真效果分析

因時(shí)間限制,僅從某市的統(tǒng)計(jì)年鑒數(shù)據(jù)中,選取某一天中12個(gè)時(shí)段的電能價(jià)格、總產(chǎn)值、電力能耗等三種電力統(tǒng)計(jì)大數(shù)據(jù)作為實(shí)驗(yàn)對(duì)象。為減小數(shù)據(jù)自身所帶來(lái)的負(fù)面影響,設(shè)定因變量為電能價(jià)格,自變量為總產(chǎn)值與電力能耗,采用最小二乘估計(jì)法與數(shù)據(jù)回歸分析法,去除高相關(guān)度與無(wú)法解釋因變量的數(shù)據(jù)元素?；谔幚砗蟮慕y(tǒng)計(jì)數(shù)據(jù)建立可視化控制仿真模型,模擬本文方法對(duì)電能價(jià)格、總產(chǎn)值以及電力能耗等三類(lèi)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量的控制情況。在無(wú)異常情況的初始數(shù)據(jù)中,各添加5個(gè)問(wèn)題數(shù)據(jù),以檢驗(yàn)方法控制性能。各數(shù)據(jù)質(zhì)量控制的仿真結(jié)果如圖3所示。

圖3 不同統(tǒng)計(jì)數(shù)據(jù)的質(zhì)量控制示意圖

通過(guò)對(duì)比控制方法應(yīng)用前后的數(shù)據(jù)值走勢(shì)情況可以看出,本文方法基于設(shè)計(jì)的貝葉斯統(tǒng)計(jì)大數(shù)據(jù)質(zhì)量控制算法,在B/S架構(gòu)上結(jié)合地理信息系統(tǒng)技術(shù)與Web端口,可視化交互控制了統(tǒng)計(jì)數(shù)據(jù),利用含有六層結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò),有效處理與連通了可視化單元各模塊之間的關(guān)系邏輯,使各類(lèi)別包含的大部分問(wèn)題數(shù)據(jù)均得以有效去除。

就控制后電能價(jià)格、總產(chǎn)值、電力能耗等數(shù)據(jù)的準(zhǔn)確性、實(shí)時(shí)性、一致性以及完整性等指標(biāo)值,更客觀、更全面地評(píng)價(jià)演化博弈論、并行處理以及本文方法的數(shù)據(jù)質(zhì)量控制能力。各方法指標(biāo)實(shí)驗(yàn)結(jié)果對(duì)比情況如圖4所示。

圖4 各方法評(píng)估指標(biāo)比對(duì)圖

從三種方法的指標(biāo)值比對(duì)結(jié)果可以看出,本文方法的各指標(biāo)值均處于較高水平。這說(shuō)明該方法在網(wǎng)絡(luò)的非線性映射層前后,分別添加特征縮小網(wǎng)絡(luò)層與擴(kuò)展層,通過(guò)六層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可視化控制,減小了數(shù)據(jù)誤差,故較演化博弈論與并行處理的數(shù)據(jù)質(zhì)量控制方法,賦予數(shù)據(jù)更高的準(zhǔn)確性、一致性、完整性以及實(shí)時(shí)性,進(jìn)一步提升了數(shù)據(jù)質(zhì)量。

4 結(jié) 論

日新月異的信息技術(shù)大力推動(dòng)著社會(huì)上各個(gè)領(lǐng)域的信息化建設(shè)進(jìn)程,尤其是電力行業(yè)的智慧電網(wǎng)建設(shè)中,不斷涌現(xiàn)出了大量的智能信息管控系統(tǒng),在實(shí)現(xiàn)自動(dòng)化管理的同時(shí),節(jié)省電力運(yùn)維成本。大數(shù)據(jù)時(shí)代的數(shù)據(jù)產(chǎn)生源頭較多且結(jié)構(gòu)多樣,大規(guī)模的數(shù)據(jù)傳輸、存儲(chǔ)處理,極易發(fā)生數(shù)據(jù)錯(cuò)誤、缺失、冗余等問(wèn)題,令數(shù)據(jù)質(zhì)量降低甚至失效,影響科學(xué)、精準(zhǔn)地制定用電決策。因此,針對(duì)電力統(tǒng)計(jì)大數(shù)據(jù),提出數(shù)據(jù)質(zhì)量的可視化控制方法,及時(shí)發(fā)現(xiàn)數(shù)據(jù)問(wèn)題并予以改善。為更精準(zhǔn)地把控電力運(yùn)行狀態(tài),增長(zhǎng)電力企業(yè)的經(jīng)濟(jì)效益,存在以下幾個(gè)方面有待改進(jìn)：應(yīng)根據(jù)電力統(tǒng)計(jì)大數(shù)據(jù)屬性,建立針對(duì)性控制條件,提升可視化控制的綜合性;需采用機(jī)器學(xué)習(xí)等錯(cuò)誤數(shù)據(jù)修復(fù)技術(shù),更理想地處理問(wèn)題數(shù)據(jù),增加數(shù)據(jù)質(zhì)量;應(yīng)嘗試采用超高清可視分析技術(shù),強(qiáng)化用戶(hù)的可視化控制體驗(yàn)感。