(1.華北電力大學(xué)，河北 保定 071000；2.國網(wǎng)四川省電力公司電力科學(xué)研究院，四川 成都 610041)

0 引 言

中國變電站自動(dòng)化系統(tǒng)(substation automation system)從20世紀(jì)90年代開始至今已經(jīng)到了全面推廣的階段[1]。傳統(tǒng)智能變電站中各保護(hù)裝置之間存在較多硬開入連線，導(dǎo)致二次回路接線比較復(fù)雜，可靠性不高。相比之下，傳統(tǒng)依靠電纜傳輸?shù)亩位芈繁恢悄茏冸娬镜木W(wǎng)絡(luò)通信取代，物理信號(hào)被數(shù)字信號(hào)所取代，實(shí)現(xiàn)了二次設(shè)備的網(wǎng)絡(luò)化[2-5]。

目前國內(nèi)外市場上對(duì)于智能變電站二次回路的研究，主要還是根據(jù)網(wǎng)絡(luò)分析儀的報(bào)文進(jìn)行異常原因分析，缺乏直觀有效的手段對(duì)網(wǎng)絡(luò)信息中的故障特征進(jìn)行定性分析，無法形成完整的二次回路預(yù)警和分析策略[4]。智能變電站電力狀態(tài)監(jiān)測數(shù)據(jù)呈現(xiàn)以下特點(diǎn)：數(shù)據(jù)量爆炸性增長，規(guī)模急速擴(kuò)大；復(fù)雜的數(shù)據(jù)結(jié)構(gòu)；多樣化的歷史與實(shí)時(shí)監(jiān)測信息(設(shè)備信息、試驗(yàn)數(shù)據(jù)、噪聲數(shù)據(jù)等)[5]；數(shù)據(jù)種類分布跨度大，不僅僅包含結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，而且各型數(shù)據(jù)在平臺(tái)的查詢與處理方式及要求也不大一致；各平臺(tái)的交互通信也存在較大的難度[5-6]。

下面對(duì)智能變電站的網(wǎng)絡(luò)架構(gòu)與二次狀態(tài)監(jiān)測的概念、Hadoop大數(shù)據(jù)處理技術(shù)的優(yōu)勢進(jìn)行了總結(jié)；分析驗(yàn)證了大數(shù)據(jù)技術(shù)在智能變電站海量狀態(tài)監(jiān)測數(shù)據(jù)下，基于Hadoop平臺(tái)的儲(chǔ)存與讀寫優(yōu)勢。

1 智能變電站網(wǎng)絡(luò)結(jié)構(gòu)

早期的智能化變電站利用IEC 61850協(xié)議將變電站設(shè)備模型化。這個(gè)時(shí)期的智能變電站的網(wǎng)絡(luò)化實(shí)現(xiàn)僅僅存在于間隔層與站控層，過程層設(shè)備的信息交互仍然依靠傳統(tǒng)的模擬信號(hào)[7]。網(wǎng)絡(luò)結(jié)構(gòu)如圖1。

圖1 早期智能變電站網(wǎng)絡(luò)結(jié)構(gòu)

基于早期的智能變電站的不足，理想的智能變電站為了將信息采集到輸出的整個(gè)過程全部數(shù)字化，采用智能開關(guān)、EVCT等智能設(shè)備來滿足設(shè)備智能化、網(wǎng)絡(luò)通信協(xié)議一體化、運(yùn)維管理全程自動(dòng)化等基本性能需求[7]。但是考慮在實(shí)際應(yīng)用中的設(shè)備條件，目前只能通過智能終端與傳統(tǒng)的二次開關(guān)進(jìn)行結(jié)合鏈接，來填補(bǔ)實(shí)際的技術(shù)缺陷以達(dá)到較高的網(wǎng)絡(luò)數(shù)字化程度。工程實(shí)踐中，采用“直跳直采”方案來實(shí)現(xiàn)過程層信息共享并加強(qiáng)了測控保護(hù)裝置的可靠性。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 智能變電站實(shí)用網(wǎng)絡(luò)結(jié)構(gòu)

2 智能變電站二次系統(tǒng)的在線監(jiān)測

智能變電站中，信息采集輸入時(shí)需要光纖以太網(wǎng)傳輸?shù)牟蓸又祱?bào)文，保護(hù)動(dòng)作出口信息由光纖以太網(wǎng)傳輸?shù)腉OOSE開關(guān)量取代了跳閘、重合閘接點(diǎn)動(dòng)作；二次設(shè)備一般都具有在線自檢功能及通訊功能，在線監(jiān)測的實(shí)現(xiàn)就是利用裝置本身自檢及裝置之間的互相監(jiān)測[8-11]。

文獻(xiàn)[12]認(rèn)為繼電保護(hù)裝置的電流、電壓、光纖鏈路狀態(tài)，裝置的遙信遙控等GOOSE狀態(tài)，直流逆變電源狀態(tài)等都應(yīng)該納入裝置的主要監(jiān)測對(duì)象，甚至本身自檢的FLASH擦寫次數(shù)、RAM是否出錯(cuò)等信息也納入監(jiān)控范圍。文獻(xiàn)[13]在考慮將含有端口連接狀態(tài)、端口雙工模式、速率和吞吐量等表征通信網(wǎng)絡(luò)運(yùn)行狀態(tài)參數(shù)的網(wǎng)絡(luò)設(shè)備(交換機(jī)等)也納入監(jiān)控范圍，以更好地完成狀態(tài)監(jiān)測、故障診斷及故障定位等工作?？偠灾?，智能變電站二次設(shè)備狀態(tài)監(jiān)測系統(tǒng)正在往全面智能化方向發(fā)展[14]。智能變電站的二次監(jiān)測涵蓋內(nèi)容十分廣泛，不僅僅局限于某些具體的信號(hào)丟失或者設(shè)備故障，具體的監(jiān)測信息概念如圖3所示。

圖3 二次設(shè)備狀態(tài)監(jiān)測概念

3 大數(shù)據(jù)技術(shù)在智能變電站海量信息中的應(yīng)用

智能變電站二次系統(tǒng)監(jiān)測包含海量監(jiān)測數(shù)據(jù)信息。其中，單個(gè)變電站公用信號(hào)分類圖中包含PMU(制造主柜相量測量單元)、TMU(時(shí)鐘檢測單元)裝置電源失電、PDM(局部放電在線監(jiān)測)等60多種告警信號(hào)，該告警信息具體可分為14類，遙信、遙控、SOE(時(shí)間順序記錄)、開關(guān)刀閘動(dòng)作等[15-16]。因此，將大數(shù)據(jù)技術(shù)應(yīng)用于變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)的存儲(chǔ)與管理，以此來適應(yīng)電網(wǎng)安全經(jīng)濟(jì)的運(yùn)行和用戶對(duì)供電可靠性的要求。

3.1 Hadoop的提出

大數(shù)據(jù)云計(jì)算原理簡單，操作性強(qiáng)，可靠性高。文獻(xiàn)[15]提出一種基于大數(shù)據(jù)平臺(tái)的智能變電站二次裝置故障追蹤方法，將故障診斷數(shù)據(jù)源延展至變電層，利用Spark作為大數(shù)據(jù)處理工具對(duì)各類故障信息進(jìn)行處理，實(shí)現(xiàn)故障源的準(zhǔn)確定位。文獻(xiàn)[16]提出一種基于Hadoop框架的智能變電站數(shù)據(jù)管理系統(tǒng)。為了對(duì)數(shù)據(jù)更好地進(jìn)行分布式管理，HDFS和HBase數(shù)據(jù)庫發(fā)揮著至關(guān)重要的作用，采用并行計(jì)算框架Map Reduce作為數(shù)據(jù)查詢分析的計(jì)算模式，還致力于將真實(shí)運(yùn)維數(shù)據(jù)進(jìn)行系統(tǒng)測試，在線對(duì)比該數(shù)據(jù)管理系統(tǒng)的存儲(chǔ)、查詢、讀寫延遲對(duì)比、分布式索引對(duì)比等性能參數(shù)。

3.2 Hadoop處理技術(shù)

Hadoop是一種開源分布式的計(jì)算框架，其擴(kuò)展性、利用率、可靠性等優(yōu)點(diǎn)使其在數(shù)據(jù)處理領(lǐng)域廣泛應(yīng)用。Hadoop分為分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)和MapReduce，其中：HDFS是其獨(dú)有的分布式文件系統(tǒng)，容錯(cuò)性與可靠性較高，在文件存儲(chǔ)及校驗(yàn)中有一定的優(yōu)勢；MapReduce作為Hadoop的并行計(jì)算框架，對(duì)于1TB以上的數(shù)據(jù)集有著不容忽視的并行計(jì)算優(yōu)勢?；谧冸娬敬髷?shù)據(jù)背景下，Hadoop技術(shù)帶來了新的解決思路，可提供高性能的計(jì)算環(huán)境。

3.3 基于Hadoop的智能變電站監(jiān)測數(shù)據(jù)處理平臺(tái)

目前大多設(shè)備狀態(tài)監(jiān)測系統(tǒng)主要分為數(shù)據(jù)獲取層、數(shù)據(jù)存儲(chǔ)與管理層、數(shù)據(jù)訪問層[16]。其系統(tǒng)結(jié)構(gòu)如圖4所示。

原始數(shù)據(jù)信息經(jīng)過第一功能層獲取，進(jìn)行ETL(抽取、轉(zhuǎn)化、清洗、裝載)至數(shù)據(jù)庫加載。圖5展示了大數(shù)據(jù)技術(shù)下變電設(shè)備狀態(tài)監(jiān)測平臺(tái)架構(gòu)。

1)數(shù)據(jù)采集層中狀態(tài)接入網(wǎng)關(guān)機(jī)(CAG)接收來自獲取數(shù)據(jù)的傳感器和狀態(tài)接入控制器 (CAC)以Web服務(wù)方式傳送的信號(hào)。所采集的信息需要Sqoop這一開源工具來對(duì)電力設(shè)備信息、異常告警數(shù)據(jù)等結(jié)構(gòu)數(shù)據(jù)以及圖像、視頻等非結(jié)構(gòu)數(shù)據(jù)進(jìn)行ETL，進(jìn)而進(jìn)行存儲(chǔ)。

圖4 傳統(tǒng)變電設(shè)備狀態(tài)監(jiān)測平臺(tái)架構(gòu)

圖5 大數(shù)據(jù)技術(shù)下變電設(shè)備狀態(tài)監(jiān)測平臺(tái)架構(gòu)

2)數(shù)據(jù)存儲(chǔ)層根據(jù)文件系統(tǒng)(HDFS)和數(shù)據(jù)庫(MySQL)的優(yōu)勢進(jìn)行整合。

3)數(shù)據(jù)分析層可根據(jù)具體的方案需求進(jìn)行不同的分布式 ROLAP服務(wù)和分布式 MOLAP服務(wù)設(shè)計(jì)。Hive和Impala都是ROLAP下的分布式服務(wù)，可共用數(shù)據(jù)庫和存儲(chǔ)資源池等。Hive適用于長時(shí)間的批處理數(shù)據(jù)分析，但是需要通過MapReduce分解任務(wù)才能完成操作。Impala適合于實(shí)時(shí)數(shù)據(jù)分析，通過使用 Select 和統(tǒng)計(jì)函數(shù)直接從 HDFS 抽取數(shù)據(jù)進(jìn)行分析處理[17]。不同于前者，HBase OLAP隸屬于分布式MOLAP服務(wù)，引擎為OLAP4cloud。它將維信息完全壓縮至事實(shí)表中，使用計(jì)算數(shù)據(jù)立方體的方法同時(shí)加快尋址的速度。

4)數(shù)據(jù)展現(xiàn)層經(jīng)過數(shù)據(jù)的統(tǒng)計(jì)查詢，加以運(yùn)維經(jīng)驗(yàn)的輔助決策以及最后的數(shù)據(jù)挖掘等功能模塊，為實(shí)現(xiàn)智能變電站二次狀態(tài)監(jiān)測的全面管理提供了有效保障。

4 智能變電站云實(shí)驗(yàn)平臺(tái)及性能測試

實(shí)驗(yàn)平臺(tái)由10臺(tái)PC機(jī)(INTEL core i5 3.5GHz CPU，4GB內(nèi)存，500G硬盤)搭建Hadoop分布式集群，分別安裝Centos虛擬機(jī)、Apache Hadoop云平臺(tái)。Datanode各個(gè)節(jié)點(diǎn)的空間、大小、使用率等將會(huì)在HDFS管理界面中顯示。利用TearSort、Sort、TestDFSIO、YCSB等輔助工具對(duì)智能變電站二次狀態(tài)監(jiān)測數(shù)據(jù)性能進(jìn)行測試。

4.1 監(jiān)測數(shù)據(jù)分類排序能力測試

Sort是Hadoop MapReduce中一種衡量分布式數(shù)據(jù)處理框架數(shù)據(jù)處理能力的工具。將所有需要處理的數(shù)據(jù)劃分成N個(gè)數(shù)據(jù)模塊(Hash處理)，接著每個(gè)Map task對(duì)單獨(dú)的數(shù)據(jù)模塊進(jìn)行局部排序之后，Reduce task將對(duì)所有數(shù)據(jù)進(jìn)行全部排序處理。為了改善sort分類在Reduce階段無法并行的弊端，TearSort在Map這一階段經(jīng)過Map task劃分需處理數(shù)據(jù)的M(reduce task數(shù)量為M)個(gè)模塊，設(shè)定第i(i>0)個(gè)模塊中的所有數(shù)據(jù)要均要大于第i+1個(gè)；而Reduce處理階段中，第i個(gè)經(jīng)過Reduce task進(jìn)行排序處理后的所有Map task 的第i個(gè)模塊所產(chǎn)生的結(jié)果均會(huì)大于i+1個(gè)，最后將1～M個(gè)Reduce task 所有排序結(jié)果按照順序輸出，得到最終的數(shù)據(jù)結(jié)果，完成排序操作。圖6為tearsort算法結(jié)構(gòu)圖。

為了驗(yàn)證該實(shí)驗(yàn)平臺(tái)數(shù)據(jù)處理的優(yōu)越性，首先利用Random Writer自動(dòng)生成隨機(jī)數(shù)據(jù)，將Map方式與MapReduce進(jìn)行10:1的運(yùn)行作業(yè)，每一個(gè)Map會(huì)生成大概10 GB(二進(jìn)制)的不同幅值和鍵長的數(shù)據(jù)。在此Hadoop軟件平臺(tái)上進(jìn)行tearsort排序，取10次實(shí)驗(yàn)結(jié)果數(shù)據(jù)，如表1所示。

表1 tearsort排序測試

上述結(jié)果表明，此在線監(jiān)測平臺(tái)在數(shù)據(jù)處理上具有明顯優(yōu)勢，擁有良好的數(shù)據(jù)計(jì)算能力。

4.2 讀寫能力測試

智能變電站二次設(shè)備監(jiān)測系統(tǒng)中信息量龐大，海量的告警信息以及各節(jié)點(diǎn)的采樣值在日常監(jiān)測系統(tǒng)中給監(jiān)測計(jì)算機(jī)載體造成了嚴(yán)重的負(fù)擔(dān)。僅告警信息的統(tǒng)計(jì)就分為事故級(jí)、一般級(jí)、預(yù)告級(jí)三大等級(jí)，如表2所示。

表2 告警信息分類表

智能變電站二次狀態(tài)監(jiān)測系統(tǒng)的監(jiān)測難點(diǎn)在于監(jiān)測設(shè)備數(shù)量多，信息數(shù)據(jù)結(jié)構(gòu)復(fù)雜。為了保證智能電網(wǎng)的穩(wěn)定運(yùn)行，所以對(duì)試驗(yàn)軟件平臺(tái)的基準(zhǔn)性能測試非常必要的。一般常用的測試工具是TestDFSIO，通過生成數(shù)據(jù)提交、統(tǒng)計(jì)整個(gè)平臺(tái)運(yùn)作時(shí)間進(jìn)而完成對(duì)整個(gè)I/O性能測試。基于控制變量法原則，分別選取文件數(shù)量與文件大小這兩個(gè)變量進(jìn)行試驗(yàn)，具體仿真結(jié)果見表3。

圖6 tearsort算法結(jié)構(gòu)

根據(jù)試驗(yàn)結(jié)果可以得到以下信息：

相比于傳統(tǒng)數(shù)據(jù)管理平臺(tái)(人工長期的運(yùn)維經(jīng)驗(yàn))，基于Hadoop的在線監(jiān)測數(shù)據(jù)處理系統(tǒng)在讀寫吞吐量測試上具有了明顯的優(yōu)勢。

當(dāng)數(shù)據(jù)量大規(guī)模地增加時(shí)，實(shí)驗(yàn)平臺(tái)讀寫測試所需要的時(shí)間增加，訪問效率變低。

傳統(tǒng)數(shù)據(jù)平臺(tái)由于測試信息的大規(guī)模增加、負(fù)荷急劇增大導(dǎo)致平臺(tái)系統(tǒng)性能降低，無法滿足目前智能變電站的監(jiān)測需求?？偟膩碚f，基于Hadoop數(shù)據(jù)處理軟件平臺(tái)中集群，在大數(shù)據(jù)驅(qū)動(dòng)下展現(xiàn)了強(qiáng)大的處理能力。

4.3 在線監(jiān)測數(shù)據(jù)查詢測試

經(jīng)過Hadoop平臺(tái)的吞吐讀寫測試，在線監(jiān)測的數(shù)據(jù)信息存儲(chǔ)于HDFS中，為了提高該試驗(yàn)平臺(tái)的處理效率，滿足目前智能變電站信息的查詢需求，需要在存儲(chǔ)平臺(tái)上建立對(duì)應(yīng)的搜索引擎，并且設(shè)置相應(yīng)的關(guān)鍵性素引。查詢過程的結(jié)構(gòu)如圖7所示，可以在存儲(chǔ)文件更新狀態(tài)下進(jìn)行監(jiān)測，有效緩解負(fù)載平臺(tái)的運(yùn)作壓力。

基于HBase變電站設(shè)備在線監(jiān)測數(shù)據(jù)概念，索引主要是由行健、時(shí)間戳和列族組成的[18]。表4是以二次設(shè)備中合并單元上傳到站控層的SV通信狀態(tài)中報(bào)文處理結(jié)果的監(jiān)測舉例：行健設(shè)置為可監(jiān)測類型的編碼，例如021001代表SV通信鏈路狀態(tài)，021002代表是其根據(jù)SV報(bào)文計(jì)算出來的電流有效值；被監(jiān)測設(shè)備碼根據(jù)國家統(tǒng)一規(guī)定，由3段共17位字符組成，其中前兩位為省公司標(biāo)識(shí)，M表示固定字符，后14位表示具體流水號(hào)。基于HBase低冗余性與一致性不能滿足目前智能變電站二次狀態(tài)監(jiān)測的需求，當(dāng)數(shù)據(jù)規(guī)模超過一定數(shù)量級(jí)時(shí)，這種一對(duì)一的查詢方式給大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理上帶來了不便。為了提高數(shù)據(jù)信息的查詢效率，將以組合索引的方式進(jìn)行拼接，如表5所示。

圖7 查詢過程結(jié)構(gòu)

將監(jiān)測時(shí)間aaaa-MM-dd與具體的監(jiān)測量組合在一起，如表5中021002_aaaa-MM-dd就表示檢測時(shí)間與采樣節(jié)點(diǎn)的電流有效值結(jié)合，這種組合方式最大的便利在于可以根據(jù)具體需求進(jìn)行改變，減少索引時(shí)間提高了查詢效率，用戶也能根據(jù)自身查詢條件建立組合索引，最終獲得數(shù)據(jù)結(jié)果集?；谥悄茏冸娬径螤顟B(tài)監(jiān)測背景，在Hadoop實(shí)驗(yàn)平臺(tái)上建立索引并進(jìn)行測試，對(duì)通信鏈路中采樣節(jié)點(diǎn)的電流有效值查詢進(jìn)行性能測試對(duì)比，如圖8所示。

表4 基于HBase變電站設(shè)備在線監(jiān)測數(shù)據(jù)概念

表5 組合索引優(yōu)化

圖8 索引優(yōu)化性能測試對(duì)比

根據(jù)表5中改進(jìn)的行鍵組合優(yōu)化后，不僅在吞吐量每秒操作數(shù)上有了大幅度的提高，而且平臺(tái)的操作時(shí)間降低了不少，提高了工作效率，為智能變電站二次狀態(tài)監(jiān)測中的海量數(shù)據(jù)處理提供了新的思路。

5 結(jié) 語

在智能變電站監(jiān)測數(shù)據(jù)的大背景下，基于Hadoop大數(shù)據(jù)處理平臺(tái)對(duì)信息的預(yù)處理、數(shù)據(jù)的存儲(chǔ)吞吐、查詢延遲的測試以及數(shù)據(jù)可靠性與延展性的保證都進(jìn)行了優(yōu)化，這為后續(xù)智能變電站二次系統(tǒng)的狀態(tài)監(jiān)測和故障定位研究工作提供了有力的數(shù)據(jù)支持，提高了智能變電站二次監(jiān)測系統(tǒng)的穩(wěn)定性。