蘇余泉，王 瑋，謝海芳，蘇錦青

（1.國(guó)網(wǎng)福建省電力有限公司，福建福州 350001；2.國(guó)網(wǎng)福建營(yíng)銷(xiāo)服務(wù)中心，福建福州 350001；3.福建省供電服務(wù)有限責(zé)任公司，福建福州 350001）

鄉(xiāng)村電網(wǎng)建設(shè)的迅速發(fā)展，解決了部分邊遠(yuǎn)鄉(xiāng)村地區(qū)的用電問(wèn)題，提高了人們的生活質(zhì)量，推動(dòng)了農(nóng)村經(jīng)濟(jì)的快速發(fā)展[1]。但是，由于受鄉(xiāng)村地域、自然環(huán)境或局部負(fù)荷過(guò)重等各種因素的影響，導(dǎo)致傳統(tǒng)的鄉(xiāng)村電網(wǎng)無(wú)法保障良好的電壓質(zhì)量和可靠的供電性能。再加上鄉(xiāng)村電網(wǎng)成本較高，嚴(yán)重制約著鄉(xiāng)村經(jīng)濟(jì)的發(fā)展[2]。

為此，必須根據(jù)鄉(xiāng)村供電需求的特點(diǎn)，利用智能技術(shù)建立智能電網(wǎng)大數(shù)據(jù)分析平臺(tái)，可以為鄉(xiāng)村各類(lèi)分布式電源的實(shí)時(shí)供需平衡提供決策支持，同時(shí)也保障了鄉(xiāng)村供電的可靠性。計(jì)算每個(gè)聚類(lèi)中心點(diǎn)，并按照相同的策略對(duì)其進(jìn)行劃分后得到最大迭代數(shù)[3]。通過(guò)建立統(tǒng)一規(guī)范的信息模型、接口和信息對(duì)象編碼，實(shí)現(xiàn)鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動(dòng)分析平臺(tái)的標(biāo)準(zhǔn)化管理。但目前該數(shù)據(jù)自動(dòng)分析平臺(tái)缺乏對(duì)網(wǎng)格協(xié)同監(jiān)測(cè)的整體考慮，無(wú)法實(shí)現(xiàn)故障主動(dòng)式檢測(cè)，從而導(dǎo)致分析結(jié)果不準(zhǔn)確。針對(duì)這一問(wèn)題，設(shè)計(jì)了基于HBase 的農(nóng)村智能電網(wǎng)數(shù)據(jù)自動(dòng)分析平臺(tái)。

1 系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)

針對(duì)鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)分析領(lǐng)域?qū)Υ罅繑?shù)據(jù)量、敏捷響應(yīng)以及數(shù)據(jù)分析任務(wù)多樣化的需求和特點(diǎn)，設(shè)計(jì)了一種基于HBase 集群擴(kuò)展數(shù)據(jù)分析任務(wù)的分層軟件平臺(tái)。其中包括數(shù)據(jù)聚合層、云計(jì)算層、中間層和展示層，應(yīng)該從低層向高層提供信息和數(shù)據(jù)服務(wù)[4-6]?；贖Base 的鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動(dòng)分析平臺(tái)硬件結(jié)構(gòu)如圖1 所示。

圖1 智能電網(wǎng)數(shù)據(jù)自動(dòng)分析平臺(tái)硬件結(jié)構(gòu)

由圖1 可知，數(shù)據(jù)聚合層的數(shù)據(jù)同步引擎主要包括數(shù)據(jù)同步編碼，負(fù)責(zé)對(duì)全部范圍內(nèi)同步采集數(shù)據(jù)；電能數(shù)據(jù)采集模塊負(fù)責(zé)采集數(shù)據(jù)；數(shù)據(jù)備份模塊負(fù)責(zé)備份本地?cái)?shù)據(jù)；數(shù)據(jù)預(yù)處理模塊負(fù)責(zé)資料抽取、轉(zhuǎn)換及信息傳輸[7]。

云計(jì)算層引入HBase 平臺(tái)，采用MapReduce 架構(gòu)，實(shí)現(xiàn)對(duì)數(shù)據(jù)分析和處理任務(wù)的分布式并行處理，提高了計(jì)算速度。HDFS 是基于分布式文件系統(tǒng)的底層預(yù)處理電源數(shù)據(jù)，能有效、持久地存儲(chǔ)在列數(shù)據(jù)庫(kù)中[8-9]。

中間層包括Web 后臺(tái)程序、數(shù)據(jù)加權(quán)模塊和關(guān)系型數(shù)據(jù)庫(kù)等，在這種情況下，網(wǎng)絡(luò)后端負(fù)責(zé)實(shí)現(xiàn)層的業(yè)務(wù)邏輯，例如響應(yīng)用戶(hù)操作等，并將輸出分析數(shù)據(jù)轉(zhuǎn)換為適合Visual GUI 的數(shù)據(jù)[10-12]。

展示層負(fù)責(zé)給系統(tǒng)提供操作指導(dǎo)、顯示操作界面和數(shù)據(jù)分析結(jié)果。

1.1 HBase體系結(jié)構(gòu)

HBase 是基于Hadoop 的HDFS，因此其結(jié)構(gòu)與Hadoop 的主從模式相似。HBase 的體系結(jié)構(gòu)主要包括HBase 主服務(wù)器和區(qū)域服務(wù)器集群，可以有效地控制和分配數(shù)據(jù)的管理工作[13]。HBase 體系結(jié)構(gòu)如圖2 所示。

圖2 HBase體系結(jié)構(gòu)

由圖2 可知，Hregion 服務(wù)器負(fù)責(zé)區(qū)域的服務(wù)和管理，使用Hregion 服務(wù)器存儲(chǔ)特定區(qū)域的數(shù)據(jù)，可以在一個(gè)或多個(gè)區(qū)域服務(wù)器中存儲(chǔ)指定表的數(shù)據(jù)。將數(shù)據(jù)添加到HBase 中，無(wú)需直接刪除或更新數(shù)據(jù)，即可更新所有數(shù)據(jù)。當(dāng)合并HBase 后，將會(huì)對(duì)數(shù)據(jù)進(jìn)行更新或刪除[14]。如儲(chǔ)存的檔案數(shù)目超出設(shè)定的最低數(shù)目，多個(gè)儲(chǔ)存單位合并為一個(gè)儲(chǔ)存單位會(huì)被扣分。該方法以HRegion 為基礎(chǔ)，通過(guò)對(duì)加載區(qū)的劃分，使新型計(jì)算機(jī)能夠恢復(fù)加載區(qū)的數(shù)據(jù)。

1.2 數(shù)據(jù)同步平臺(tái)

訪問(wèn)層應(yīng)用程序可以相互調(diào)用，或通過(guò)地址分配、路徑分配、合并和交換等方式進(jìn)行同步調(diào)用或異步消息傳遞，從而建立服務(wù)注冊(cè)和發(fā)現(xiàn)機(jī)制[15]。

通過(guò)解析MySQL 的SQL 二進(jìn)制日志，實(shí)現(xiàn)數(shù)據(jù)中心之間的增量、準(zhǔn)實(shí)時(shí)和雙向數(shù)據(jù)同步。通過(guò)數(shù)據(jù)審核和驗(yàn)證，確保最終數(shù)據(jù)的一致性。為提高數(shù)據(jù)同步效率，各中心應(yīng)采取相應(yīng)的同步策略。個(gè)性化服務(wù)中，兩個(gè)中心只對(duì)靜態(tài)數(shù)據(jù)和配置數(shù)據(jù)進(jìn)行同步[16]。不同數(shù)據(jù)中心之間的數(shù)據(jù)同步可以實(shí)現(xiàn)遠(yuǎn)程運(yùn)動(dòng)狀態(tài)下的數(shù)據(jù)，并解決了不同數(shù)據(jù)中心之間存在的延遲性和不一致的問(wèn)題，實(shí)現(xiàn)遠(yuǎn)程數(shù)據(jù)同步。

2 系統(tǒng)軟件部分設(shè)計(jì)

為了提高電能數(shù)據(jù)的分析處理能力，設(shè)計(jì)了一種基于HBase 技術(shù)的鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動(dòng)分析平臺(tái)。該系統(tǒng)程序設(shè)計(jì)步驟如下所示：

步驟一：HBase 平臺(tái)在接到電網(wǎng)數(shù)據(jù)分析指令后，在云計(jì)算層運(yùn)作下建立數(shù)據(jù)分析模型，在該模型中分析數(shù)據(jù)。

步驟二：平臺(tái)調(diào)用HBase 提供的大量電力數(shù)據(jù)來(lái)完成存儲(chǔ)任務(wù)。

步驟三：關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)分析模型分析得到的電力數(shù)據(jù)。

步驟四：根據(jù)任務(wù)的需要，后臺(tái)程序?qū)⒉檎谊P(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)分析結(jié)果，并將結(jié)果圖形化地顯示在網(wǎng)頁(yè)上。

2.1 基于HBase電網(wǎng)時(shí)序數(shù)據(jù)處理

與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)不同，HBase 提供了一種數(shù)據(jù)組織模式，其特點(diǎn)是：靈活、定制和面向集群。在Hadoop 系統(tǒng)中，HBase 實(shí)現(xiàn)了為海量數(shù)據(jù)提供良好面向集群存儲(chǔ)和在線(xiàn)應(yīng)用支持的功能。HBase 數(shù)據(jù)模型如圖3 所示。

圖3 HBase數(shù)據(jù)模型

由圖3 可知，該模型采用分層存儲(chǔ)機(jī)制，能較好地實(shí)現(xiàn)在線(xiàn)實(shí)時(shí)處理。使用HBase 中的數(shù)據(jù)，應(yīng)用程序可以直接使用自定義模式，同一數(shù)據(jù)表的不同行可以有不同的列。對(duì)所有用戶(hù)的日用電量數(shù)據(jù)按式（1）進(jìn)行歸一化，將數(shù)值映射到范圍[0，1]，并將所有數(shù)據(jù)統(tǒng)一到同一參考標(biāo)準(zhǔn)之下。

式（1）中，xi表示電網(wǎng)時(shí)序數(shù)據(jù)的第i個(gè)值；表示歸一化電網(wǎng)時(shí)序數(shù)據(jù)的的最大值，表示歸一化電網(wǎng)時(shí)序數(shù)據(jù)的最小值。

2.2 分析流程設(shè)計(jì)

電網(wǎng)數(shù)據(jù)自動(dòng)分析流程如下：

步驟一：基于智能電網(wǎng)的電力消耗記錄，MAP 操作由多層監(jiān)控節(jié)點(diǎn)中的第一層執(zhí)行。

步驟二：如果監(jiān)控節(jié)點(diǎn)執(zhí)行第一層運(yùn)算，則其監(jiān)控節(jié)點(diǎn)在預(yù)設(shè)的時(shí)間間隔之后執(zhí)行映射運(yùn)算。同時(shí)，每層中的第二層監(jiān)控節(jié)點(diǎn)負(fù)責(zé)第一層監(jiān)控節(jié)點(diǎn)在其管轄范圍內(nèi)的通信操作。

步驟三：在預(yù)定的時(shí)間間隔內(nèi)，多層第n層的監(jiān)控節(jié)點(diǎn)合并包含多層第(n-1)層的監(jiān)控節(jié)點(diǎn)，而合并的結(jié)果則存儲(chǔ)在第n層的監(jiān)控節(jié)點(diǎn)中，其中n是整數(shù)。

步驟四：依據(jù)智能電網(wǎng)區(qū)域內(nèi)的用電記錄，包括用電情況、用電方式、用電量、用電量等，生成多個(gè)鍵值對(duì)，其中鍵值對(duì)的關(guān)鍵字為電力消費(fèi)模式編號(hào)。

步驟五：將合并結(jié)果緩存于n層監(jiān)控節(jié)點(diǎn)中，減少了各監(jiān)控節(jié)點(diǎn)間的數(shù)據(jù)分析延遲，提高了智能電網(wǎng)負(fù)荷數(shù)據(jù)分析效率。

3 實(shí)驗(yàn)分析

調(diào)查數(shù)據(jù)來(lái)自不同省的電網(wǎng)，從電網(wǎng)數(shù)據(jù)的統(tǒng)計(jì)結(jié)果來(lái)看，以鄉(xiāng)村居民用電量的4 個(gè)類(lèi)型為依據(jù)，其中每個(gè)鄉(xiāng)村常住人口均超過(guò)百戶(hù)人口數(shù)量，參照國(guó)民經(jīng)濟(jì)和行業(yè)分類(lèi)標(biāo)準(zhǔn)，對(duì)基于HBase 的鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動(dòng)分析平臺(tái)進(jìn)行了實(shí)驗(yàn)驗(yàn)證和分析。

3.1 用電行為分析

該項(xiàng)目在實(shí)際開(kāi)發(fā)過(guò)程中，從電網(wǎng)公司獲得的數(shù)據(jù)量十分有限。其中，大客戶(hù)的數(shù)據(jù)收集能力較弱，部分大客戶(hù)在特定的時(shí)間段內(nèi)沒(méi)有電量數(shù)據(jù)。為了保證數(shù)據(jù)質(zhì)量，在測(cè)試過(guò)程中，對(duì)測(cè)試數(shù)據(jù)進(jìn)行了篩選，以保證主用戶(hù)供電數(shù)據(jù)完全可靠。

鄉(xiāng)村的4 個(gè)類(lèi)型電網(wǎng)數(shù)據(jù)相關(guān)信息如表1 所示。

表1 鄉(xiāng)村的4個(gè)類(lèi)型電網(wǎng)數(shù)據(jù)相關(guān)信息

用戶(hù)每天的電力消耗趨勢(shì)與具體的電力消耗無(wú)關(guān)，因此用歸一化值來(lái)表示。用電量數(shù)據(jù)歸一化后數(shù)值如表2 所示。

表2 用電量數(shù)據(jù)歸一化后數(shù)值

由表2 可知，2 月初至3 月初是中國(guó)傳統(tǒng)的新年，大多數(shù)農(nóng)民和建筑工人回家過(guò)年。所以2 月份工業(yè)停產(chǎn)，用電量大幅度下降。3 月初，由于工人大量返工，用電量又回到了原來(lái)的水平。相反，畜牧業(yè)和生物質(zhì)產(chǎn)業(yè)的勞動(dòng)力相對(duì)穩(wěn)定，所以2 月份春節(jié)期間每日用電量波動(dòng)較小。

3.2 實(shí)驗(yàn)結(jié)果與分析

分別使用基于K-means 算法、云計(jì)算和基于HBase 鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動(dòng)分析平臺(tái)分析鄉(xiāng)村的4 個(gè)類(lèi)型用電量情況，并與實(shí)際用電量對(duì)比分析。三種平臺(tái)用電量分析結(jié)果，如圖4 所示。

由圖4（a）可知，使用基于K-means 算法平臺(tái)農(nóng)業(yè)類(lèi)用電量歸一化后數(shù)值在[0.4-0.9]范圍內(nèi)，畜牧類(lèi)用電量歸一化后數(shù)值在[0.3-0.7]范圍內(nèi)，建筑類(lèi)用電量歸一化后數(shù)值在[0.3-0.6]范圍內(nèi)，生產(chǎn)類(lèi)用電量歸一化后數(shù)值在[0.6-0.9]范圍內(nèi)。

由圖4（b）可知，使用基于云計(jì)算平臺(tái)農(nóng)業(yè)類(lèi)用電量歸一化后數(shù)值在[0.6-1.0]范圍內(nèi)，畜牧類(lèi)用電量歸一化后數(shù)值在[0.2-0.7]范圍內(nèi)，建筑類(lèi)用電量歸一化后數(shù)值在[0.4-0.9]范圍內(nèi)，生產(chǎn)類(lèi)用電量歸一化后數(shù)值在[0.5-0.7]范圍內(nèi)。

由圖4（c）可知，使用基于HBase 平臺(tái)農(nóng)業(yè)類(lèi)用電量歸一化后數(shù)值在[0.3-0.7]范圍內(nèi)，畜牧類(lèi)用電量歸一化后數(shù)值在[0.2-0.7]范圍內(nèi)，建筑類(lèi)用電量歸一化后數(shù)值在[0.3-0.7]范圍內(nèi)，生產(chǎn)類(lèi)用電量歸一化后數(shù)值在[0.4-1.0]范圍內(nèi)。

圖4 三種平臺(tái)用電量分析結(jié)果對(duì)比

綜上所述，利用所設(shè)計(jì)基于HBase 的鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動(dòng)分析平臺(tái)分析后的數(shù)值均在實(shí)際用電量數(shù)值范圍內(nèi)，誤差也在可控范圍內(nèi)，具有精準(zhǔn)分析效果。

4 結(jié)束語(yǔ)

從系統(tǒng)硬件結(jié)構(gòu)和軟件需求方面進(jìn)行了設(shè)計(jì)，結(jié)合HBase 數(shù)據(jù)模型對(duì)電網(wǎng)數(shù)據(jù)進(jìn)行了智能分析。為保證鄉(xiāng)村偏遠(yuǎn)山區(qū)用電穩(wěn)定可靠，建立了一個(gè)環(huán)保、簡(jiǎn)單實(shí)用、靈活兼容、高質(zhì)量的鄉(xiāng)村智能電網(wǎng)技術(shù)支撐平臺(tái)。該平臺(tái)在HBase 時(shí)序數(shù)據(jù)分析技術(shù)的支持下，實(shí)現(xiàn)了物聯(lián)網(wǎng)大數(shù)據(jù)下分布式時(shí)序數(shù)據(jù)存儲(chǔ)，為鄉(xiāng)村和各地區(qū)提供了高質(zhì)量的電力供應(yīng)。