蔡 冰

（國(guó)網(wǎng)寧夏電力有限公司，銀川750001）

在使用的電網(wǎng)終端采集設(shè)備中，電網(wǎng)業(yè)務(wù)大數(shù)據(jù)采集性能得到了廣泛應(yīng)用。大型實(shí)時(shí)數(shù)據(jù)流處理技術(shù)需要一段時(shí)間來適應(yīng)，以充分發(fā)揮實(shí)時(shí)數(shù)據(jù)采集的價(jià)值[1]。然而，就目前電力大數(shù)據(jù)處理方式而言，依據(jù)了先存儲(chǔ)后設(shè)計(jì)的思想來處理大規(guī)模電網(wǎng)數(shù)據(jù)流。傳統(tǒng)的批處理方式在系統(tǒng)可擴(kuò)展性、容錯(cuò)性及狀態(tài)一致性方面存在弊端，使得負(fù)載均衡的數(shù)據(jù)在單位時(shí)間內(nèi)成功傳送數(shù)量較少，面臨著前所未有的挑戰(zhàn)[2]。

流量計(jì)算能很好地實(shí)時(shí)分析動(dòng)態(tài)變化中的大尺度流量數(shù)據(jù)，并捕捉可能有用的信息[3]。但當(dāng)前研究主要集中于對(duì)流量計(jì)算和系統(tǒng)可擴(kuò)展性、容錯(cuò)性及狀態(tài)一致性方面的優(yōu)化，改善在單位時(shí)間內(nèi)成功傳送數(shù)據(jù)的效率，對(duì)傳統(tǒng)批處理方式尚待進(jìn)一步研究。對(duì)此，從充分考慮大規(guī)模電網(wǎng)數(shù)據(jù)流實(shí)時(shí)處理需求角度出發(fā)，設(shè)計(jì)了電力大流量實(shí)時(shí)計(jì)算服務(wù)系統(tǒng)，構(gòu)建了跨總線四層時(shí)序空間模型并進(jìn)行協(xié)同計(jì)算，完成電力大數(shù)據(jù)的多數(shù)據(jù)流實(shí)時(shí)處理。

1 電力大數(shù)據(jù)流計(jì)算服務(wù)體系

根據(jù)電力大數(shù)據(jù)流特點(diǎn)，構(gòu)建計(jì)算服務(wù)體系，該體系是處理分布式數(shù)據(jù)流處理的基礎(chǔ)框架[4]。服務(wù)體系不僅具有高性能的數(shù)據(jù)流計(jì)算能力、支持流處理的資源管理和部署能力，而且能夠集成多個(gè)數(shù)據(jù)源并高效解析數(shù)據(jù)來源[5]。電力大數(shù)據(jù)流計(jì)算服務(wù)體系如圖1所示。

圖1 電力大數(shù)據(jù)流計(jì)算服務(wù)體系Fig.1 Power big data stream computing service system

1）業(yè)務(wù)服務(wù) 充分考慮電力企業(yè)應(yīng)用服務(wù)模式，把數(shù)據(jù)流的處理分為多數(shù)據(jù)流檢測(cè)、時(shí)間窗計(jì)算以及模型訓(xùn)練等，依據(jù)不同數(shù)據(jù)屬性，提供不同服務(wù)接口，數(shù)據(jù)處理從分布到分析、計(jì)算等環(huán)節(jié)，使用戶能夠直接控制處理模型，并進(jìn)行應(yīng)用部署[6]。

2）分析服務(wù) 分析人員為用戶設(shè)計(jì)數(shù)據(jù)流分析思路，給出分析算法，提供構(gòu)建模型、模型評(píng)估、流程分析及模型管理等步驟[7]。對(duì)單個(gè)數(shù)據(jù)流進(jìn)行在線隨機(jī)優(yōu)化，對(duì)多個(gè)數(shù)據(jù)流進(jìn)行協(xié)同分析；建模是指對(duì)數(shù)據(jù)挖掘模型進(jìn)行訓(xùn)練和獲取，通過模型評(píng)估來幫助用戶分析模型的準(zhǔn)確性，根據(jù)評(píng)估結(jié)果優(yōu)化建模參數(shù)；設(shè)計(jì)電力大數(shù)據(jù)實(shí)時(shí)挖掘流程，為系統(tǒng)應(yīng)用提供數(shù)據(jù)流實(shí)時(shí)處理功能；模型管理用于體系中數(shù)據(jù)發(fā)布具有關(guān)鍵性作用，其中包括發(fā)布版本控制及中斷判斷等。

3）開發(fā)服務(wù) 開發(fā)人員提供了分布式數(shù)據(jù)流的調(diào)度接口與任務(wù)分配模式，供電力開發(fā)者使用[8]。開發(fā)人員需在相應(yīng)編程界面設(shè)置參數(shù)，保證電力網(wǎng)絡(luò)具有實(shí)時(shí)處理功能，向計(jì)算處理平臺(tái)中上傳編寫程序，即可完成計(jì)算任務(wù)的部署和應(yīng)用。

4）管理服務(wù) 該服務(wù)體系提供統(tǒng)一的實(shí)時(shí)監(jiān)控管理服務(wù)，在一定時(shí)間內(nèi)會(huì)定期向分級(jí)資源管理器反饋計(jì)算任務(wù)的數(shù)據(jù)使用及變化情況等信息，并以圖表等可視方式展示各過程類型，對(duì)各層次的處理情況進(jìn)行實(shí)時(shí)監(jiān)測(cè)，從而實(shí)現(xiàn)對(duì)調(diào)度任務(wù)的實(shí)時(shí)監(jiān)控[9]。

2 多數(shù)據(jù)流相關(guān)系數(shù)計(jì)算

2.1 多數(shù)據(jù)流的挖掘與監(jiān)測(cè)

在此對(duì)電網(wǎng)、省公司所屬的多個(gè)廠站不同時(shí)間點(diǎn)的多臺(tái)設(shè)備的監(jiān)測(cè)數(shù)據(jù)進(jìn)行綜合分析，并提出了相應(yīng)的改進(jìn)措施[10]。通過這種方式，電力系統(tǒng)采集到的由變壓器局部放電、光纖繞組溫度及油中氣體溶解程度測(cè)量數(shù)據(jù)組成的大數(shù)據(jù)流，通過體系狀態(tài)監(jiān)測(cè)功能，可確定介損因數(shù)、容漏率、滿電流、三次諧波、避雷器阻性電流數(shù)據(jù)，以及開關(guān)柜局部放電運(yùn)行機(jī)理特性和工作狀態(tài)等參數(shù)，每秒都會(huì)對(duì)最近1 min 的數(shù)據(jù)進(jìn)行采集和監(jiān)測(cè)[11]。由于狀態(tài)監(jiān)測(cè)數(shù)據(jù)流大，空間存儲(chǔ)占用面積大，因此需壓縮使用空間，采用滑動(dòng)窗口設(shè)計(jì)電力大數(shù)據(jù)相關(guān)數(shù)據(jù)流處理步驟，如圖2所示。

圖2 電力大數(shù)據(jù)相關(guān)數(shù)據(jù)流的處理流程Fig.2 Processing flow chart of power big data related data stream

如果滑動(dòng)窗口具有1 s 滑動(dòng)時(shí)間，那么可將滑動(dòng)窗分成60 個(gè)基本滑動(dòng)小窗口，屬性集表示各變電站的狀態(tài)監(jiān)控量集[12]。對(duì)不同窗口進(jìn)行閾值分析，緩存60 個(gè)單元組，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)的并行判斷。在基本視窗計(jì)算之后，將最后60 個(gè)基本視窗的離群值合并計(jì)算，即每秒輸出最后1 min 的離群值就是所需挖掘的數(shù)據(jù)流。

2.2 多數(shù)據(jù)流相關(guān)系數(shù)精確并行算法

為得到更為精確的多數(shù)據(jù)流相關(guān)系數(shù)，設(shè)置a條數(shù)據(jù)流，將不同數(shù)據(jù)流組合成相關(guān)矩陣，得到a 陣階數(shù)。由此得到的任意數(shù)據(jù)流中相關(guān)系數(shù)為

式中：λa為滑動(dòng)窗口中數(shù)據(jù)的內(nèi)積；wa為相關(guān)系數(shù)方陣的空間轉(zhuǎn)換系數(shù)。λa的計(jì)算開銷最大，能夠達(dá)到擴(kuò)展存儲(chǔ)空間的目的。將a 陣階數(shù)抽象成到一個(gè)計(jì)算網(wǎng)格之中，配置相關(guān)系數(shù)，得到特定滑動(dòng)窗口。設(shè)置線程塊索引方式，對(duì)這8 條數(shù)據(jù)流相關(guān)系數(shù)方陣索引，如圖3所示。

圖3 相關(guān)系數(shù)方陣Fig.3 Correlation coefficient square

由圖可見，在所有線程塊中，需使用2×104個(gè)線程并行計(jì)算方式，對(duì)應(yīng)滑行窗口中的2×105個(gè)數(shù)據(jù)位積，采用協(xié)議算法計(jì)算滑行窗口中的2×105個(gè)位積之和，并分段累加，得到λa，由任意數(shù)據(jù)流中相關(guān)系數(shù)獲取最終數(shù)值。當(dāng)線程塊中行、列索引存在數(shù)值關(guān)系，即行索引≤列索引時(shí)，線程塊將不在下三角數(shù)組中。通過式（1）中的直線表達(dá)式a（a-1）/2，精確計(jì)算數(shù)據(jù)流的多數(shù)據(jù)流相關(guān)系數(shù)。

3 數(shù)據(jù)流實(shí)時(shí)處理計(jì)算方法

3.1 跨總線四層時(shí)序空間模型

滑動(dòng)窗模型在基本窗口法基礎(chǔ)上的最大特點(diǎn)是定義了2 種不同粒度的時(shí)間單元，分別為數(shù)據(jù)采集、基本窗口滑動(dòng)[13]。所設(shè)計(jì)的將在上述基礎(chǔ)上提出跨總線四層時(shí)序空間模型，該模型如圖4所示。

圖4 跨總線四層時(shí)序空間模型Fig.4 Cross-bus four-layer timing space model

第1 層時(shí)序主要任務(wù)是緩沖IO 數(shù)據(jù)，使任意數(shù)據(jù)在采樣時(shí)間內(nèi)都具有相同的安全標(biāo)識(shí)符，將這些標(biāo)識(shí)符相加，判斷是否到達(dá)該表數(shù)據(jù)，如果沒有到達(dá)該表數(shù)據(jù)，則采用線性插值處理[14]。

第2 層時(shí)序該層設(shè)有緩沖層，設(shè)置的目的是減少不同設(shè)備之間的數(shù)據(jù)交換次數(shù)，縮短交換時(shí)間，提高數(shù)據(jù)并行計(jì)算密度[15]。大規(guī)模數(shù)據(jù)流并行處理方式中最小單元的層次是數(shù)據(jù)緩沖層，緩沖普通子窗口，不斷更新其它窗口實(shí)現(xiàn)緩沖層內(nèi)部數(shù)據(jù)的更新。

第3 層時(shí)序其任務(wù)是將新的滑動(dòng)窗口通過緩沖層作用后交換到GPU 設(shè)備存儲(chǔ)器之中，維護(hù)不同數(shù)據(jù)流增量，使其匯總到信息庫之中。

第4 層時(shí)序負(fù)責(zé)存儲(chǔ)截面矩陣數(shù)據(jù)，執(zhí)行系統(tǒng)可擴(kuò)展性、容錯(cuò)性及狀態(tài)一致性下產(chǎn)生的復(fù)雜數(shù)據(jù)流挖掘任務(wù)。

3.2 空間復(fù)雜度降載

在上述基礎(chǔ)上使用數(shù)據(jù)處理器對(duì)跨總線四層時(shí)序空間模型進(jìn)行復(fù)雜度降載，設(shè)存放計(jì)算結(jié)果的數(shù)組容量為a（a-1）/2，由于計(jì)算多數(shù)據(jù)流相關(guān)系數(shù)存在大數(shù)據(jù)環(huán)境復(fù)雜問題，導(dǎo)致計(jì)算效率較低。因此，在處理相關(guān)問題時(shí)，降低空間維度，由此提升大數(shù)據(jù)處理效率。

將所有數(shù)據(jù)以分塊方式，分批次處理并計(jì)算，設(shè)計(jì)算網(wǎng)格劃分成m×n 個(gè)k 階子方陣，i 和j 分別為子方陣的行、列索引，則滑動(dòng)窗口索引公式為

利用式（2）完成滑動(dòng)窗口索引，在該步驟基礎(chǔ)上進(jìn)行復(fù)雜度降載，算法1 給出分塊多數(shù)據(jù)流跨總線四層時(shí)序空間復(fù)雜度降載。

算法1 空間復(fù)雜度降載算法：

①fori

②Dim3 g（k，k，1）//定義網(wǎng)格和線程塊；

③//分批次處理并計(jì)算數(shù)據(jù)流，獲取相關(guān)系數(shù)；

④gpunStreamsCorrelation<<>>（…，i，j）；

⑤gpunCorrQuantiles<<<>>>（…）//閾值設(shè)置；

⑥endfor//內(nèi)外層逐次循環(huán)。

3.3 多數(shù)據(jù)流協(xié)同計(jì)算

多數(shù)據(jù)流協(xié)同計(jì)算主要借助體系及并行處理算法來完成，任務(wù)的分析與合并均通過數(shù)據(jù)緩存層來實(shí)現(xiàn)[16]。具體步驟為

步驟1建立數(shù)據(jù)流協(xié)同計(jì)算模型，即

步驟2構(gòu)建全局函數(shù)，即

步驟3針對(duì)Worker 建立本地函數(shù)，即

通過全局更新，建立多數(shù)據(jù)流處理方案，將廣域分布的多數(shù)據(jù)流分成若干數(shù)據(jù)塊，每一塊由一名工作人員處理[17]。業(yè)務(wù)人員、分析人員、開發(fā)人員及管理人員在操作過程中所涉及的服務(wù)器種類較多，主要是負(fù)責(zé)培訓(xùn)所有模型。這些模型的參數(shù)存儲(chǔ)在多個(gè)主服務(wù)器上，并且水平劃分[18]。

4 仿真試驗(yàn)

4.1 試驗(yàn)配置及參數(shù)

所處理的電力大數(shù)據(jù)類型，主要包括電網(wǎng)運(yùn)行及電力設(shè)備監(jiān)測(cè)、檢測(cè)到的信息，以及電力企業(yè)相關(guān)管理數(shù)據(jù)和營(yíng)銷數(shù)據(jù)。

以省份地區(qū)為例，電力大數(shù)據(jù)數(shù)據(jù)量涵蓋全部居民的用電情況，且數(shù)據(jù)采集時(shí)間間隔為1 h，一天的居民用電數(shù)據(jù)有幾十億項(xiàng)。在此將選取其部分?jǐn)?shù)據(jù)作為試驗(yàn)對(duì)象。通過仿真試驗(yàn)，驗(yàn)證所提方法在處理多數(shù)據(jù)流過程中的性能。試驗(yàn)所用設(shè)備是3 臺(tái)配置相同的PC 主機(jī)，這些主機(jī)通過VMware 搭建集群環(huán)境。PC 端配置參數(shù)見表1，VMware 處理結(jié)果如圖5所示。

以某省電網(wǎng)中110 kV 變壓器為例，從繞組光纖測(cè)溫屬性數(shù)據(jù)中選取2020年2—4月監(jiān)測(cè)到的數(shù)據(jù)，以此作為試驗(yàn)數(shù)據(jù)，這3 個(gè)月監(jiān)測(cè)到的繞組光纖測(cè)溫屬性數(shù)據(jù)大小約為0.864 T。在此截取其中的450 GB 作為試驗(yàn)數(shù)據(jù)，數(shù)據(jù)的監(jiān)測(cè)界面如圖6所示。

表1 試驗(yàn)配置參數(shù)Tab.1 Experimental configuration parameters

圖5 VMware 處理結(jié)果界面Fig.5 VMware processing result interface

圖6 繞組光纖測(cè)溫屬性數(shù)據(jù)監(jiān)測(cè)界面Fig.6 Monitoring interface of winding optical fiber temperature measurement attribute data

設(shè)置滑動(dòng)窗口時(shí)間為1 min，分析不同集群環(huán)境中的平均處理延時(shí)集群節(jié)點(diǎn)。

4.2 平均處理延時(shí)測(cè)試

通過設(shè)置不同數(shù)據(jù)量，對(duì)本文處理延時(shí)進(jìn)行測(cè)試。設(shè)定4 個(gè)全局工作流，并分別觀察簇節(jié)點(diǎn)數(shù)和滑動(dòng)窗口處理的輸出結(jié)果，統(tǒng)計(jì)從接收到處理的元組平均處理延遲，試驗(yàn)結(jié)果見表2。

表2 不同數(shù)據(jù)量的平均處理延時(shí)測(cè)試Tab.2 Average processing delay tests for different data volumes

由表可知，數(shù)據(jù)量越少，處理數(shù)據(jù)的時(shí)間就越短。比如，當(dāng)數(shù)據(jù)量為250 GB 時(shí)，由于群集的擴(kuò)展，任務(wù)分配和數(shù)據(jù)傳輸會(huì)消耗一部分系統(tǒng)資源和時(shí)間，在拓?fù)淠Ｐ吞幚頂?shù)據(jù)時(shí)會(huì)產(chǎn)生一些延遲。但隨著資料規(guī)模的增大，系統(tǒng)處理能力逐漸顯現(xiàn)出來，平均處理時(shí)延逐漸減小。

4.3 CPU 占用率測(cè)試

為驗(yàn)證所提方法較強(qiáng)的空間壓縮能力，在此以CPU 占用量為指標(biāo)進(jìn)行分析。在系統(tǒng)中上傳75～85 MB大小的電力數(shù)據(jù)文件，檢驗(yàn)應(yīng)用所提技術(shù)后電力數(shù)據(jù)管理器的耗能，得到結(jié)果如圖7所示。

圖7 數(shù)據(jù)處理技術(shù)的CPU 占用量Fig.7 CPU footprint of data processing technology

由圖可見，應(yīng)用本文方法前，文件大小為76.2 MB，CPU 占用達(dá)5%，而應(yīng)用本文方法后，文件大小上升至81.7 MB 時(shí)，CPU 占用僅0.5%。這是由于本文方法使用數(shù)據(jù)處理器，對(duì)跨總線四層時(shí)序空間模型進(jìn)行復(fù)雜度降載，在壓縮數(shù)據(jù)的同時(shí)提升系統(tǒng)運(yùn)行效率。

5 結(jié)語

為滿足大數(shù)據(jù)實(shí)時(shí)處理需求，構(gòu)建架構(gòu)服務(wù)體系，以電力大數(shù)據(jù)為基礎(chǔ)構(gòu)建真實(shí)實(shí)驗(yàn)環(huán)境，并將其作為測(cè)試環(huán)境，與國(guó)內(nèi)某公司大數(shù)據(jù)流量平臺(tái)進(jìn)行了對(duì)比分析，達(dá)到預(yù)期的效果。使用數(shù)據(jù)處理器不僅能夠提高數(shù)據(jù)流處理數(shù)據(jù)的能力，還能有效減少計(jì)算量，使該平臺(tái)能夠滿足數(shù)據(jù)緩沖、任務(wù)調(diào)度目的，借助圖形處理器，能夠快速處理實(shí)時(shí)數(shù)據(jù)流。