梁雪青，杜舒明，趙小凡，劉超

（廣東電網(wǎng)有限責(zé)任公司廣州供電局，廣東廣州 510610）

電網(wǎng)管理策略的形成需要電網(wǎng)實(shí)時(shí)運(yùn)行數(shù)據(jù)的指導(dǎo)，而電網(wǎng)中心數(shù)據(jù)的同步處理有利于后續(xù)管理系統(tǒng)的調(diào)用[1]?？紤]到當(dāng)前電網(wǎng)運(yùn)行規(guī)模不斷擴(kuò)大，實(shí)時(shí)電網(wǎng)數(shù)據(jù)量也在成倍增長(zhǎng)[2]，傳統(tǒng)的數(shù)據(jù)同步技術(shù)在電網(wǎng)中心數(shù)據(jù)同步處理過程中容易出現(xiàn)數(shù)據(jù)丟失、同步時(shí)間過長(zhǎng)等問題，無法滿足電力系統(tǒng)工作要求。相關(guān)學(xué)者對(duì)此進(jìn)行了深入研究，文獻(xiàn)[3]深入分析了傳統(tǒng)數(shù)據(jù)同步技術(shù)的完整性問題，應(yīng)用全自動(dòng)運(yùn)行模式，明確數(shù)據(jù)同步中心位置。結(jié)合實(shí)時(shí)數(shù)據(jù)庫(kù)集群技術(shù)，篩選出符合要求的數(shù)據(jù)，在多個(gè)數(shù)據(jù)庫(kù)中運(yùn)用主從數(shù)據(jù)復(fù)制技術(shù)，實(shí)現(xiàn)數(shù)據(jù)的同步處理，但是該同步技術(shù)耗時(shí)較長(zhǎng)。文獻(xiàn)[4]設(shè)計(jì)的同步方法以MySQL 二進(jìn)制日志為基礎(chǔ)，利用二進(jìn)制日志對(duì)待同步數(shù)據(jù)進(jìn)行解析，再通過Binlog 還原器重構(gòu)為可以被同步識(shí)別的數(shù)據(jù)格式，完成分布式數(shù)據(jù)同步工具的設(shè)計(jì)，但是經(jīng)過驗(yàn)證可知，該技術(shù)的同步效率較低。文獻(xiàn)[5]針對(duì)數(shù)據(jù)同步問題建立一種以多環(huán)形隊(duì)列為核心的共享方案，實(shí)現(xiàn)態(tài)勢(shì)數(shù)據(jù)、調(diào)度數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)等多種類型的異構(gòu)數(shù)據(jù)同步共享傳輸。并對(duì)該同步傳輸方法進(jìn)行時(shí)間應(yīng)用，按照數(shù)據(jù)同步要求實(shí)施調(diào)整同步策略，但是該技術(shù)自動(dòng)同步穩(wěn)定性較差。為解決上述問題，該文以電網(wǎng)中心數(shù)據(jù)同步問題為主要研究?jī)?nèi)容，提出一種以服務(wù)總線為基礎(chǔ)的自動(dòng)同步技術(shù)。根據(jù)實(shí)驗(yàn)結(jié)果可知，所研究的同步技術(shù)與以往數(shù)據(jù)同步方法相比，大幅度降低了數(shù)據(jù)同步時(shí)間。將其應(yīng)用在電網(wǎng)數(shù)據(jù)管理系統(tǒng)內(nèi)，有利于提升電網(wǎng)運(yùn)行穩(wěn)定性。

1 電網(wǎng)中心數(shù)據(jù)自動(dòng)同步技術(shù)設(shè)計(jì)

1.1 設(shè)計(jì)電網(wǎng)中心數(shù)據(jù)監(jiān)控方法

將粒子群算法應(yīng)用在數(shù)據(jù)監(jiān)控過程中，主要是通過后驗(yàn)概率采集粒子群權(quán)重，明確后驗(yàn)分布情況[6]。針對(duì)目標(biāo)數(shù)據(jù)進(jìn)行跟蹤，得出的數(shù)據(jù)變化表達(dá)公式如式（1）所示：

式中，c表示目標(biāo)數(shù)據(jù)，χc-1表示數(shù)據(jù)狀態(tài)向量，δ表示數(shù)據(jù)更新過程中存在的噪聲，ε表示過程噪聲增益矩陣。

設(shè)置多個(gè)數(shù)據(jù)節(jié)點(diǎn)，采集電網(wǎng)中心目標(biāo)數(shù)據(jù)的信號(hào)能量，隨機(jī)選取一個(gè)數(shù)據(jù)節(jié)點(diǎn)，將其在當(dāng)前時(shí)刻接收的信號(hào)能量表示為式（2）：

式中，φw表示數(shù)據(jù)節(jié)點(diǎn)，Dc表示數(shù)據(jù)節(jié)點(diǎn)接收的信號(hào)能量，表示節(jié)點(diǎn)增益因子，F(xiàn)w表示目標(biāo)數(shù)據(jù)的信號(hào)能量，表示數(shù)據(jù)節(jié)點(diǎn)的位置，μ表示衰減參數(shù)。

采集前一時(shí)刻目標(biāo)數(shù)據(jù)的粒子集，通過狀態(tài)方程預(yù)測(cè)目標(biāo)數(shù)據(jù)的狀態(tài)[7]，新粒子集采集結(jié)果表示為式（3）：

式中，z表示粒子集，表示當(dāng)前時(shí)刻數(shù)據(jù)節(jié)點(diǎn)粒子集，表示前一時(shí)刻數(shù)據(jù)節(jié)點(diǎn)粒子集，s表示狀態(tài)預(yù)測(cè)函數(shù)，p表示目標(biāo)數(shù)據(jù)后驗(yàn)概率。

針對(duì)每個(gè)數(shù)據(jù)電網(wǎng)中心數(shù)據(jù)節(jié)點(diǎn)，采集節(jié)點(diǎn)數(shù)據(jù)的實(shí)時(shí)狀態(tài)向量，則該節(jié)點(diǎn)對(duì)應(yīng)的粒子權(quán)重計(jì)算公式表示為：

式中，為粒子權(quán)重。針對(duì)某個(gè)聚合數(shù)據(jù)的更新情況進(jìn)行監(jiān)控，可得：

式中，l表示聚合數(shù)據(jù)，B表示沒有歸一化處理的權(quán)重，N表示沒有歸一化處理的本地估計(jì)，H表示數(shù)據(jù)狀態(tài)估計(jì)誤差，K表示數(shù)據(jù)退化控制系數(shù)，?表示采樣周期。將式（5）的計(jì)算結(jié)果傳遞至簇頭節(jié)點(diǎn)，可得出權(quán)重和計(jì)算公式為：

根據(jù)權(quán)重和計(jì)算結(jié)果，通過以下公式得出方差和全局估計(jì)值：

式（7）、（8）中，G表示權(quán)重和，ρ表示目標(biāo)數(shù)據(jù)方差，ψ表示目標(biāo)數(shù)據(jù)全局估計(jì)值，將計(jì)算結(jié)果傳送至數(shù)據(jù)監(jiān)控節(jié)點(diǎn)，明確電網(wǎng)中心數(shù)據(jù)實(shí)時(shí)狀態(tài)。

1.2 計(jì)算數(shù)據(jù)同步時(shí)間偏差

根據(jù)數(shù)據(jù)更新監(jiān)控結(jié)果，針對(duì)待同步處理的數(shù)據(jù)計(jì)算同步時(shí)間偏差[8]，電網(wǎng)中心數(shù)據(jù)同步模式容易受到影響，當(dāng)前數(shù)據(jù)同步響應(yīng)存在較大的時(shí)間偏差，導(dǎo)致同步數(shù)據(jù)的完整性較差。電網(wǎng)數(shù)據(jù)中心響應(yīng)同步請(qǐng)求的時(shí)間偏差檢測(cè)原理如圖1 所示。

圖1 同步時(shí)間偏差檢測(cè)原理

在圖1 所示的同步時(shí)間偏差檢測(cè)過程中，在數(shù)據(jù)采集模塊設(shè)置兩個(gè)連續(xù)時(shí)刻，發(fā)送數(shù)據(jù)同步請(qǐng)求，并標(biāo)注出電網(wǎng)數(shù)據(jù)中心響應(yīng)請(qǐng)求的對(duì)應(yīng)時(shí)刻，根據(jù)同步請(qǐng)求響應(yīng)時(shí)間延遲情況，得到同步時(shí)間偏差。

其中，數(shù)據(jù)傳輸延時(shí)計(jì)算公式為：

式中，Δtα表示同步請(qǐng)求發(fā)送延時(shí)，Δtβ表示同步請(qǐng)求接收延時(shí)。

而時(shí)間偏差計(jì)算公式為：

式中，Tα1、Tα2表示兩個(gè)連續(xù)的數(shù)據(jù)同步請(qǐng)求發(fā)送時(shí)刻，Tβ1、Tβ2表示兩個(gè)連續(xù)的數(shù)據(jù)同步接收發(fā)送時(shí)刻?？紤]到電網(wǎng)中心的請(qǐng)求響應(yīng)速度較快，在時(shí)間偏差計(jì)算過程中可以忽略接收延時(shí)，可以將式（10）變化為：

1.3 構(gòu)建ESB數(shù)據(jù)同步模型

考慮到當(dāng)前需要同步處理的電網(wǎng)數(shù)量較大，使數(shù)據(jù)同步周期無法控制，針對(duì)該問題，設(shè)計(jì)以服務(wù)總線ESB 為核心的數(shù)據(jù)同步模型[9]。根據(jù)服務(wù)總線的數(shù)據(jù)集中特性，將待同步數(shù)據(jù)放置于共享數(shù)據(jù)中心，確保實(shí)時(shí)監(jiān)控的更新數(shù)據(jù)可以迅速發(fā)送至各個(gè)系統(tǒng)。

同步控制器的主要功能包括數(shù)據(jù)清洗、數(shù)據(jù)分發(fā)以及數(shù)據(jù)傳送[10]，針對(duì)增量表內(nèi)接收的實(shí)時(shí)電網(wǎng)數(shù)據(jù)，通過映射邏輯轉(zhuǎn)換、字段非空判斷、冗余數(shù)據(jù)檢查等操作進(jìn)行清洗處理，并將處理后的數(shù)據(jù)存儲(chǔ)至共享數(shù)據(jù)中心。根據(jù)電網(wǎng)獨(dú)立應(yīng)用系統(tǒng)的同步請(qǐng)求，由控制器向相應(yīng)系統(tǒng)發(fā)送同步數(shù)據(jù)字段[11-12]。最后，為了提升數(shù)據(jù)同步的實(shí)時(shí)性，根據(jù)應(yīng)用系統(tǒng)同步請(qǐng)求發(fā)送頻率，設(shè)置具有松散一致性同步特點(diǎn)的傳送頻率。

1.4 建立高效同步管理機(jī)制

電網(wǎng)中心數(shù)據(jù)同步過程中，數(shù)據(jù)的反復(fù)讀取極大影響了同步效率[13]。針對(duì)該問題在內(nèi)存管理方面引入池化資源思想，建立文件池，生成高效同步管理機(jī)制。所設(shè)計(jì)的文件池主要由四個(gè)部分組成，分別是文件池管理器、文件隊(duì)列、緩沖區(qū)和工作文件列表。數(shù)據(jù)同步過程中緩沖區(qū)越大可以更加高效地管理同步數(shù)據(jù)[14]，但是考慮到內(nèi)存空間的有限性，運(yùn)用多指針建立的緩沖區(qū)可以按照同步需求實(shí)時(shí)調(diào)整緩沖區(qū)容量。

在數(shù)據(jù)同步過程中，當(dāng)新加入的電網(wǎng)中心數(shù)據(jù)超出了當(dāng)前文件池剩余容量，需要運(yùn)用置換策略從文件池內(nèi)剔除一個(gè)舊文件，騰出更多空間放置新文件[15-16]。文件采用了基本置換策略進(jìn)行文件池?cái)?shù)據(jù)置換，具體操作如圖2 所示。

圖2 基本置換策略示意圖

考慮到文件池所管理的數(shù)據(jù)大小不一，無法進(jìn)行統(tǒng)一管理，所以需要根據(jù)實(shí)際數(shù)據(jù)情況，確定基本置換策略，包括兩種典型情況。一種情況如圖2（a）所示，文件池內(nèi)包含多個(gè)電網(wǎng)數(shù)據(jù)，根據(jù)最近使用時(shí)間對(duì)文件池內(nèi)數(shù)據(jù)進(jìn)行排序，設(shè)置數(shù)據(jù)A1 使用間隔時(shí)間最久，但數(shù)據(jù)A1 占用空間太小，而A2 既滿足置換要求又占有較大的空間，則在新增文件管理過程中可以保留A1，從文件池內(nèi)剔除A2。另一種置換策略如圖2（b）所示，當(dāng)A2 占用空間小于A1，那么就按照順序比較A1 與A3，當(dāng)A3 占用空間較大將A3 調(diào)出文件池。若A3 也不滿足置換要求，則需要進(jìn)行刪除處理，刪除多個(gè)許久未使用的數(shù)據(jù)來滿足新增同步數(shù)據(jù)管理需求。

2 實(shí)驗(yàn)分析

2.1 部署實(shí)驗(yàn)環(huán)境

文中應(yīng)用六臺(tái)計(jì)算機(jī)搭建Hadoop平臺(tái)，完成實(shí)驗(yàn)環(huán)境的合理部署，具體的集群配置情況如表1 所示。

表1 節(jié)點(diǎn)設(shè)置

根據(jù)表1 所示的配置信息，設(shè)置其中一臺(tái)計(jì)算機(jī)為主節(jié)點(diǎn)，其余計(jì)算機(jī)均為從節(jié)點(diǎn)，參考實(shí)際電網(wǎng)數(shù)據(jù)傳輸流程，形成網(wǎng)絡(luò)帶寬為50 MB 的電網(wǎng)數(shù)據(jù)中心。

2.2 設(shè)計(jì)數(shù)據(jù)自動(dòng)同步模塊

數(shù)據(jù)自動(dòng)同步模塊是所設(shè)計(jì)同步技術(shù)實(shí)現(xiàn)的載體，根據(jù)所設(shè)計(jì)的步驟建立圖3 所示的數(shù)據(jù)自動(dòng)同步模塊，內(nèi)部主要架構(gòu)由輸入隊(duì)列、輸出隊(duì)列、同步引擎以及同步源組成。

圖3 數(shù)據(jù)自動(dòng)同步模塊

根據(jù)圖3 所示的數(shù)據(jù)自動(dòng)同步模塊結(jié)構(gòu)圖可知，輸入報(bào)文和輸出報(bào)文的處理是數(shù)據(jù)同步的重要環(huán)節(jié)之一，實(shí)驗(yàn)采用SyncML 進(jìn)行分析處理。

同步引擎作為數(shù)據(jù)自動(dòng)同步模塊的核心，具有數(shù)據(jù)監(jiān)控、數(shù)據(jù)拆分、同步時(shí)間偏差計(jì)算、同步策略生成以及同步管理等多種功能。通過同步引擎的處理，將數(shù)據(jù)監(jiān)控環(huán)節(jié)檢測(cè)到的更新數(shù)據(jù)轉(zhuǎn)化為便于后續(xù)同步處理的報(bào)文，并將拆解信息封裝在待同步數(shù)據(jù)項(xiàng)列表。經(jīng)過同步時(shí)間偏差計(jì)算、同步策略生成和同步管理等模塊，完成封裝電網(wǎng)中心數(shù)據(jù)的同步更新。

2.3 數(shù)據(jù)同步性能分析

應(yīng)用上述設(shè)計(jì)的數(shù)據(jù)自動(dòng)同步模塊運(yùn)行結(jié)果，明確所設(shè)計(jì)技術(shù)的數(shù)據(jù)同步性能。同時(shí)為了加強(qiáng)實(shí)驗(yàn)結(jié)果的說服力，采用文獻(xiàn)[3-4]提出的數(shù)據(jù)同步方法進(jìn)行相同的實(shí)驗(yàn)?？紤]到同步時(shí)間是判斷同步技術(shù)優(yōu)劣的重要指標(biāo)，對(duì)比三種方法的數(shù)據(jù)同步時(shí)間，生成圖4 所示的數(shù)據(jù)同步時(shí)間性能對(duì)比圖。

圖4 數(shù)據(jù)同步時(shí)間性能對(duì)比圖

根據(jù)圖4 可知，隨著數(shù)據(jù)流量的不斷增長(zhǎng)，各項(xiàng)數(shù)據(jù)同步技術(shù)的同步時(shí)間均有所增長(zhǎng)。其中，所設(shè)計(jì)技術(shù)的同步時(shí)間明顯低于其他兩種同步技術(shù)。從平均同步時(shí)間來看，所設(shè)計(jì)技術(shù)的平均數(shù)據(jù)同步時(shí)間相比其他兩種方法降低了50.59%、59.84%。

3 結(jié)束語

通過數(shù)據(jù)更新實(shí)時(shí)監(jiān)控、同步時(shí)間偏差計(jì)算、同步模型構(gòu)建以及管理機(jī)制的生成，實(shí)現(xiàn)電網(wǎng)數(shù)據(jù)的高效同步處理。經(jīng)過實(shí)驗(yàn)驗(yàn)證可知，所提出的數(shù)據(jù)同步技術(shù)有效降低了數(shù)據(jù)同步時(shí)間，提升電網(wǎng)數(shù)據(jù)同步性能?？紤]到電網(wǎng)內(nèi)很多數(shù)據(jù)涉及到個(gè)人隱私，數(shù)據(jù)同步過程中需要確保數(shù)據(jù)安全，下一步的研究重點(diǎn)就是完善數(shù)據(jù)同步技術(shù)，將數(shù)據(jù)安全性要求融入其中。