郭曉乾 武守曉 王承棟

摘 要：為解決傳統(tǒng)電能質量監(jiān)測系統(tǒng)數據接入可靠性不高，海量數據存儲和統(tǒng)計分析能力不足的缺點，采用類數據庫的事務處理機制設計數據調度采集過程，搭建基于Cloudera大數據平臺的電能質量監(jiān)測分析系統(tǒng)，對數據進行分布式存儲、計算分析，實現(xiàn)對TB級電能質量數據的監(jiān)測點指標與運行狀態(tài)統(tǒng)計，以及對暫態(tài)事件的統(tǒng)計聚合分析等功能。實驗證明該系統(tǒng)可靠、海量數據統(tǒng)計處理能力強，提高了數據存儲可拓展性，為供電方提供了解決海量電能質量數據存儲與分析的有效方案。

關鍵詞：電能質量監(jiān)測;體系結構;數據接入;大數據平臺

DOI：10. 11907/rjdk. 192530 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP319文獻標識碼：A 文章編號：1672-7800（2020）008-0182-04

Abstract： In order to overcome the shortcomings of the traditional power quality monitoring system， such as low data access reliability and insufficient mass data storage and statistical analysis capabilities， a database-like transaction processing mechanism is used to design the data scheduling and collection process， and a power quality monitoring analysis based on the Cloudera big data platform. The system performs distributed storage， calculation and analysis of data to realize the monitoring point indicators and operating status statistics of TB-level power quality data， as well as statistical aggregation analysis of transient events. Experiments show that the system is reliable and has strong statistical processing ability of massive data， which improves the expandability of data storage， and provides an effective solution for power suppliers to store and analyze massive power quality data.

Key Words： architecture; data access; big data platform; transient events

0 引言

隨著工業(yè)級電子設備的廣泛應用，精密制造業(yè)對電能質量要求越來越高，各項電能質量指標是衡量電能質量高低的重要參考維度。隨著電能需求增長，電能監(jiān)測裝置得到廣泛普及，采集到的電能質量監(jiān)測數據[1]也呈現(xiàn)幾何式增長，其中電力部門最為關心的是電能質量指標監(jiān)測數據以及暫態(tài)監(jiān)測數據。文獻[2]對數據存儲技術展開分析，但未提出數據可靠性傳輸方法。本文將數據傳輸分為多個階段，采用類事務處理方式，保證數據傳輸可靠性。傳統(tǒng)的電能質量數據存儲方式是使用昂貴的商用服務器，通過關系型數據庫進行存儲，成本昂貴且可拓展性差，維護成本高[3]。之前的處理方法為各個網省單獨建立數據處理中心，規(guī)模小，架構分散。不同廠家間的系統(tǒng)信息難以交互，無法集中管理，容易形成信息孤島[4-5]。為應對傳統(tǒng)電網信息化處理數據能力的不足，本文運用大數據技術，提出建立分布式數據存儲[6]和計算方案，構建智能化的電能質量信息管控平臺[7-10]，對全網省電能質量數據進行集中式整體分析。

1 總體架構

電能質量監(jiān)測分析系統(tǒng)從下往上由源數據層、數據采集層、數據存儲層、數據處理層、數據計算層、數據訪問層構成。源數據層主要包括監(jiān)測點終端監(jiān)測數據，數據采集層包括實時數據和離線數據，存儲層中間件主要用到大數據平臺的分布式存儲數據庫HBASE和分布式文件系統(tǒng)HDFS?；诖髷祿脚_Cloudera進行數據存儲和數據統(tǒng)計分析工作，通過對數據采集接入，提供關系型、非關系型數據庫、實時推送數據等多源頭數據整合。通過構建關系型、非關系型數據庫、分布式文件系統(tǒng)，支撐海量異構數據存儲需求。利用大數據流計算、批量計算、內存計算技術，提供多時間尺度的數據計算處理能力。利用機器學習等人工智能技術，對海量數據進行分析挖掘及預測，最終將計算結果存儲到關系型數據庫中，方便查詢和展示。傳感器設備采集到各項指標數據后存儲在終端服務器，總部數據采集服務器從終端拉取歷史數據到本地數據采集服務器，然后通過調度程序根據文件種類直接存入大數據存儲平臺的列式存儲數據庫HBASE或分布式文件存儲系統(tǒng)HDFS中，再通過統(tǒng)計程序將大數據平臺中的數據進行分布式計算，將計算結果存入關系型數據庫MySQL中，前臺Web應用服務器從MySQL獲取數據進行可視化展示。

圖1為系統(tǒng)架構，體現(xiàn)模塊之間的關系。系統(tǒng)通過調用終端歷史數據上報接口獲得歷史數據，將這些數據存儲到Cloudera大數據平臺;系統(tǒng)指標與運行狀態(tài)分析模塊和暫態(tài)事件分析模塊從大數據平臺[11]得到數據，再從關系數據庫中得到基礎數據和其它輔助數據，進行統(tǒng)計計算，將計算結果通過接口傳遞到關系數據庫或直接發(fā)送給前臺應用程序，前臺程序讀取關系數據庫中的數據進行數據展示。

2 數據結構設計

首先估算一下數據量：每個監(jiān)測點有實時數據（3s采集一次）和歷史數據（1分鐘采集一次），每條數據所占空間約為80Byte，每次采集2 550個指標。以采集一次為例，約10 427個監(jiān)測點，一分鐘一次采集數據量約2G，一個小時采集120G，一天2.8T，一年的數據量就有1 026T（PB級）。

電能質量分析的核心數據為監(jiān)測點的量測數據，任一實例可表示為四元組：監(jiān)測點、量測指標、量測發(fā)生時間、量測值。其中監(jiān)測點編碼規(guī)范編碼為復合結構，由省公司編碼、地市編碼、區(qū)別碼構成，長度共10個字符。其中省公司編碼由2字符構成，地市編碼由2字符構成，區(qū)別碼由6字符構成。量測指標編碼比較復雜，如圖2所示。

每項都是對應一個四位編碼，前面4個唯一確定一個量測指標。

3 業(yè)務功能模塊

3.1 數據采集調度可靠性設計

由于各個終端歷史數據的產生頻率和規(guī)模都不一樣，為防止出現(xiàn)處理熱點，影響整個系統(tǒng)穩(wěn)定運行，需提供基于任務監(jiān)控的自適應數據匯集調度策略，數據分布式處理[12-14]和任務調度技術[15-16]可用于電能質量監(jiān)測分析系統(tǒng)的數據分析與挖掘。

總部數據拉取與入庫程序主要由調度器和數據匯集程序[17]兩部分構成，調度器主要負責分類調度各終端電能質量數據資源，提供一種半動態(tài)的調度策略以實現(xiàn)負載均衡，降低網絡并發(fā)傳輸開銷，提升數據傳輸可靠性與正確性。調度器為每個終端建立獨立的調度任務，并將調度任務持久化到數據庫中，這樣即使調度器崩潰（可以通過雙機熱備大幅減少這種可能性），重啟調度器后仍然可以從數據庫中獲取調度信息，重新生成調度任務。

數據匯集程序包括多個階段，如連接終端、拉取數據、解包數據、數據入庫等過程。數據匯集程序通過多級日志記錄數據匯集過程，并采用類數據庫的事務處理機制，將終端數據文件移動到已發(fā)送目錄即完結整個事務。如果事務處理過程中因為某種原因導致數據未能入庫，則在下一階段調度器仍然會重新發(fā)起數據的入庫請求。該機制同樣保證數據匯集程序即使崩潰，重啟后仍然可從調度器得到數據匯集請求，從而達到提升可靠性目的。

系統(tǒng)提供數據預覽功能，用戶可隨機指定某個指標、某個日時段或某個監(jiān)測點作為查詢條件，快速預覽入庫的數據，并與源端數據進行對比，通過抽樣測試驗證正確性。

3.2 大數據平臺設計

大數據接入方案從下往上由源數據層、數據采集層、數據處理層、數據存儲層、數據計算層、數據訪問層構成。結合電力系統(tǒng)自身特點，完成大數據平臺選型。其中數據采集層包括歷史數據采集，存儲層中間件主要應用分布式存儲數據庫HBase[18]和分布式文件系統(tǒng)HDFS。

Hadoop是Apache的一個頂級開源項目，是一個分布式大數據平臺，其核心由Hadoop分布式文件系統(tǒng)（HDFS）和計算框架MapReduce組成，具有高可靠性、高擴展性、高效性和高容錯性等優(yōu)點。大數據集群由多臺服務器組成，其中主節(jié)點Master上部署HDFS NameNode，HBase，MasterResourceManager，ZooKeeper Server服務，從節(jié)點上部署HDFS DataNode，HBase RegionServer，Spark Getway，Yarn NodeManager服務。主節(jié)點上部署Cloudera Manangerment Service，包括Alert Publisher，Event Server，Host Monitor，Reports Manager，Reports Manager，Service Monitor。

大數據平臺啟用Kerberos安全認證，使得集群中的節(jié)點可信任。Kerberos可將認證的密鑰在集群部署時事先放到可靠的節(jié)點上。集群運行時，集群內的節(jié)點使用密鑰得到認證，認證通過后的節(jié)點才能提供服務。企圖冒充的節(jié)點由于事先沒有得到密鑰信息，無法與集群內部的節(jié)點通信，這樣就防止了惡意使用或篡改Hadoop集群問題，確保Hadoop集群的可靠性、安全性[19]。

大數據平臺監(jiān)控頁面可見大數據平臺所有服務狀態(tài)，單擊左側豎形欄可以看到詳細監(jiān)控信息，包括對集群主機狀態(tài)監(jiān)控以及各項服務，包括分布式面向列的數據庫HBase，分布式文件系統(tǒng)HDFS，專為大規(guī)模數據處理而設計的快速通用的計算引擎Spark，大數據資源管理系統(tǒng)YARN，分布式協(xié)調Zookeeper服務。

3.3 指標與運行狀態(tài)分析模塊

針對總部電能質量監(jiān)測系統(tǒng)缺失、各省公司電能質量監(jiān)測系統(tǒng)發(fā)展不均衡且可用性較差的問題，本系統(tǒng)通過梳理和規(guī)范電網電能質量監(jiān)測分析模塊的功能需求，推動總部電能質量監(jiān)測分析模塊建設，完善各省公司電能質量監(jiān)測模塊升級工作，并針對各省公司開展監(jiān)測點在線率、數據完整率等運行指標考核，最終為各省公司提供架構清晰、功能明確規(guī)范的諧波專業(yè)管理信息化工具。

為驗證系統(tǒng)對海量數據的存儲和統(tǒng)計分析能力，特選取1T量測數據，在大數據平臺對量測數據進行統(tǒng)計計算。①穩(wěn)態(tài)指標統(tǒng)計：統(tǒng)計每日具有完整臺賬信息（特指具有變電站信息）的監(jiān)測點指標的最大值、最小值、均值，結果保存到HBASE數據庫及MySQL數據庫中;②指標合格率統(tǒng)計：統(tǒng)計每天每個監(jiān)測點的電壓偏差、頻率偏差、長時間閃變等指標的超限時間與統(tǒng)計時間，包括電壓超限時間、電壓統(tǒng)計時間、頻率超限時間、頻率統(tǒng)計時間、長時間閃變超限時間、長時間閃變統(tǒng)計時間;③指標超標統(tǒng)計：統(tǒng)計每個監(jiān)測點每天的5項指標超標情況，包括電壓總電能質量畸變率超標、負序電壓不平衡度超標、電能質量電壓含有率超標、間電能質量電壓含有率超標、電能質量電流含量超標。

通過監(jiān)測點在線率、完整率、準確率的計算，得到監(jiān)測系統(tǒng)運行狀態(tài)統(tǒng)計。獲取監(jiān)測點臺賬信息和某時間段內的監(jiān)測數據后，通過比對得到監(jiān)測點在線情況、數據指標上傳量、數據正確性情況，得到臺賬中在運行監(jiān)測點情況、應該上傳的數據量，通過比率計算以及按區(qū)域、按時間聚合計算方法得到計算結果。

3.4 暫態(tài)事件聚合分析

隨著特高壓直流輸電的發(fā)展和負荷構成及特性的變化，暫態(tài)事件嚴重威脅系統(tǒng)的安全穩(wěn)定運行，為達到對暫態(tài)事件即測、即辨、即控目的，對暫態(tài)事件開展研究。暫態(tài)事件有電壓暫降、電壓暫升、短時中斷3類，每類事件都有3個指標，分別是暫態(tài)時間起始時刻、暫態(tài)事件持續(xù)時間、暫態(tài)時間殘余電壓即特征幅值。每個監(jiān)測點的暫態(tài)指標數據存在不同特征幅值、不同持續(xù)時間下的暫態(tài)事件發(fā)生次數。以暫降事件為例進行有效識別，進行如下聚合：

對1分鐘內發(fā)生的數次電壓暫降歸并為一次進行統(tǒng)計，其中殘余電壓取1分鐘內數次電壓暫降的最小殘余電壓，持續(xù)時間取1分鐘內最小殘余電壓所在的那次電壓暫降持續(xù)時間。首先完成單個監(jiān)測點ABC三相暫降聚合，然后對單個監(jiān)測點1分鐘內多次暫降事件進行聚合。

（1）ABC三相暫降聚合算法。首先從單個監(jiān)測點的電壓暫態(tài)事件列表中提取、篩選出同一時間記錄到的A、B、C各相電壓暫降事件;然后對A、B、C各相電壓在暫降事件中的殘余電壓進行排序，找到記錄最小殘余電壓的暫降事件的相別、幅值以及相應的持續(xù)時間。通過以上步驟，將3次電壓暫降事件合并為1次電壓暫態(tài)事件。

（2）1分鐘內多次暫降事件的聚合算法。1分鐘起始統(tǒng)計時間：每日從0：00開始統(tǒng)計，當日24：00結束。按照時間先后順序自動完成1日內同一監(jiān)測點的多個暫降事件排序，以當日記錄到的第一次暫降事件發(fā)生起始時刻為統(tǒng)計起點，完成1分鐘內多次暫降事件聚合后的時間排序，然后開始第2次1分鐘暫降事件聚合，以此類推。

電壓暫降幅值和持續(xù)時間聚合：完成1分鐘時間段截取之后，對1分鐘內多次暫降事件的殘余電壓進行排序，找到最小殘余電壓的暫降事件信息，則1分鐘內多次暫降事件聚合后的電壓暫降幅值為1分鐘內暫降事件中的最小殘余電壓，持續(xù)時間即為1分鐘內最小殘余電壓的持續(xù)時間。

通過選擇省份、地市、變電站、監(jiān)測點，可以查詢出短時中斷、電壓暫降、電壓暫升、頻率、電壓、諧波的日數據、月數據、年數據。短時中斷、電壓暫降、電壓暫升可根據特征賦值和持續(xù)時間進行分類，并進行事件次數分類匯總。

4 系統(tǒng)實現(xiàn)

4.1 全網概覽

全網概覽界面中，用戶可選擇時間維度（日、月、年），點擊監(jiān)測點類型、電壓等級、指標名稱等查詢指定范圍內信息，顯示ITIC曲線和SEMI曲線。通過點擊圖例（正常、超標、離線）在地圖上顯示選中狀態(tài)的變電站信息，并可通過雙擊地圖向下鉆取得到相應省份中各市的情況，展示效果如圖3所示。

4.2 指標詳情

指標詳情界面主要通過時間趨勢圖、電壓等級分布和省公司分布統(tǒng)計指標數據，展示監(jiān)測點頻率合格率、電壓合格率、閃變合格率、總諧波電壓畸變率、諧波電壓含有率、諧波電流含量、間諧波電壓含有率、負序電壓不平衡度、短時中斷、電壓暫降、電壓暫升等指標。針對全網、省公司、地市公司的監(jiān)測點統(tǒng)計穩(wěn)態(tài)指標合格率、超標情況、暫態(tài)事件發(fā)生次數、暫態(tài)指標統(tǒng)計情況和在線時間趨勢進行展示。點擊穩(wěn)態(tài)指標超標情況統(tǒng)計菜單進入穩(wěn)態(tài)指標超標情況頁面，展示省公司、地市公司和監(jiān)測點統(tǒng)計穩(wěn)態(tài)指標超標情況，如圖4所示。

也可按日和按月選擇時間段，選擇指標類型，統(tǒng)計該指標類型數據。單擊省公司統(tǒng)計圖表柱狀圖，彈出省公司該指標的日或月數據趨勢圖。

4.3 暫態(tài)統(tǒng)計

暫態(tài)事件根據事件次數規(guī)則、持續(xù)時間規(guī)則、事件類型規(guī)則、暫態(tài)事件特征幅值不合理規(guī)則、暫降和暫升事件的特征幅值規(guī)則，通過時間進行統(tǒng)計，支持數據查詢和導出報表功能，展示如圖5所示。

5 結語

本文設計并實現(xiàn)了基于大數據平臺的海量電能質量數據存儲和統(tǒng)計分析，詳細分析了電能質量監(jiān)測分析系統(tǒng)體系結構，對各個模塊的功能進行了詳細介紹，深入挖掘電網部門內在需求。電能質量監(jiān)測分析系統(tǒng)對網絡傳輸性能、數據存儲性能及數據分析處理性能都有較高的要求，未來研究將圍繞上述要求展開。

參考文獻：

[1] 王德文，宋亞奇，朱永利. 基于云計算的智能電網信息平臺[J]. 電力系統(tǒng)自動化，2010，34（22）：7-12.

[2] 耿俊成，張小斐，郭志民，等. 電力通信網大數據應用場景開發(fā)及試點應用[J]. 電力大數據，2019，22（2）：88-92.

[3] 方迪，尹穎. ?貴陽供電局電能質量在線監(jiān)測系統(tǒng)維護與管理實踐[J]. 電子世界，2014（17）：48-49.

[4] 許中，陳雁，李絲媛. 廣州電網電能質量在線監(jiān)測系統(tǒng)及其高級應用[J]. 供用電，2012，29（4）：68-71.

[5] 張明. 縣級電能質量監(jiān)測系統(tǒng)數據存儲與解析研究[D]. 武漢：華中科技大學，2015.

[6] 陳殿偉. 基于Hadoop的虛擬篩選海量數據存儲及結果處理的設計和實現(xiàn)[D]. 蘭州：蘭州大學，2012.

[7] 張華贏，朱正國，姚森敬，等. 基于大數據分析的暫態(tài)電能質量綜合評估方法[J]. 南方電網技術，2015，9（6）：80-86.

[8] 張逸，林焱，吳丹岳. 電能質量監(jiān)測系統(tǒng)研究現(xiàn)狀及發(fā)展趨勢[J]. 電力系統(tǒng)保護與控制，2015，43（2）：138-147.

[9] 肖雄，劉治. ?基于負荷管理終端的電能質量監(jiān)測研究與分析[J]. 廣東電力，2016，29（2）：85-89.

[10] WANG L X，MU J Q，JU H F. Research and application of power quality online monitoring system[J]. Electric Power Information and Communication Technology，2015，13（2）：132-136.

[11] 中國電機工程學會電力信息化專業(yè)委員會. 中國電力大數據發(fā)展白皮書[M]. 北京：中國電力出版社，2013：1-23.

[12] BARAN M E， WU F F. Network reconfiguration in distribution systems for loss reduction and load balancing justice System[J]. IEEE Transactions on Power Delivery，1988，13 （3） ：79-385.

[13] OMRAN N G，F(xiàn)ILIZADEH S. Location-based forecasting of vehicular charging load on the distribution system[J]. ?IEEE Transactions on Smart Grid ，2014， 5（2）：632-641.

[14] 付華崢. 分布式大數據采集關鍵技術研究與實現(xiàn)[D]. 重慶：重慶大學，2011.

[15] GALIVEETI H R， GOSWAMI A K， DEV N B. Choudhury impact of plug-in electric vehicles and distributed generation on reliability of distribution systems[J]. Engineering Science and Technology ， 2018， 21 （1）：50-59.

[16] ZHANG M. Research on data storage and data parsing in analysis power quality monitoring system of county[D]. Wuhan： Huazhong University of Science and Technology，2015.

[17] 林炳花. ?大數據技術在電力通信網的研究與應用[J]. 電力大數據，2018，21（5）：31-35.

[18] APACHE. The apache software foundation[EB/OL]. http：//www.apache.org/.

[19] NEUMANBC.Kerberos：anauthenticationservicefor computer networks[J]. ?IEEE Communications Magazine，2002，32（9）：33-38.

（責任編輯：杜能鋼）