摘 要 隨著智能電網(wǎng)信息技術(shù)的快速發(fā)展，用電信息采集系統(tǒng)自建成后積累了海量的電網(wǎng)采集量測(cè)類型的數(shù)據(jù)，采集量測(cè)數(shù)據(jù)是電網(wǎng)領(lǐng)域的重要數(shù)據(jù)類型之一，是電網(wǎng)設(shè)備狀態(tài)監(jiān)控、電網(wǎng)業(yè)務(wù)輔助決策分析的主要依據(jù)，當(dāng)前用電信息采集系統(tǒng)量測(cè)類數(shù)據(jù)主要采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)Oracle數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。本文提出了基于大數(shù)據(jù)技術(shù)的用電信息系統(tǒng)量測(cè)數(shù)據(jù)處理技術(shù)方案，解決了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)用處理效率低的技術(shù)問(wèn)題。

【關(guān)鍵詞】用電信息采集系統(tǒng) 量測(cè)數(shù)據(jù) 大數(shù)據(jù) kafka

1 電力大數(shù)據(jù)現(xiàn)狀

用電信息采集系統(tǒng)建設(shè)理念是通過(guò)獲取海量的電網(wǎng)電能信息，優(yōu)化電能的生產(chǎn)、輸送、調(diào)配以及用戶用電消費(fèi)。用電信息采集系統(tǒng)將承載電力流、信息流、業(yè)務(wù)流，并且基于此基礎(chǔ)在實(shí)現(xiàn)用電信息數(shù)據(jù)的采集、深度處理和分析，實(shí)現(xiàn)電能的清潔生產(chǎn)、電能的高效傳輸、靈活動(dòng)態(tài)分配電能、合理利用電能的智慧電力的目標(biāo)。隨著堅(jiān)強(qiáng)電網(wǎng)的建設(shè)，產(chǎn)生了一大批服務(wù)于各個(gè)專業(yè)的信息采集與管理系統(tǒng)，用電信息采集系統(tǒng)擁有海量的采集量測(cè)類數(shù)據(jù)，構(gòu)成了電力大數(shù)據(jù)的來(lái)源。量測(cè)類數(shù)據(jù)是電力海量數(shù)據(jù)中重要的一類數(shù)據(jù)，系統(tǒng)包括SCADA、WAMS和AMI三類。其WAMS系統(tǒng)采集周期為毫秒級(jí)，相比SCADA分、秒級(jí)采樣周期，WAMS可以準(zhǔn)確實(shí)時(shí)反映電網(wǎng)運(yùn)行動(dòng)態(tài)信息，帶來(lái)的數(shù)據(jù)量增長(zhǎng)也是成百上千級(jí)。AMI面向的是龐大的用戶群體，收集了粒度更細(xì)的海量用戶用電信息。而傳統(tǒng)架構(gòu)的逐漸暴露出技術(shù)不足與局限性，不能夠很好的支撐大數(shù)據(jù)環(huán)境下對(duì)量測(cè)數(shù)據(jù)的高效計(jì)算與深度挖掘。本文提出的基于大數(shù)據(jù)技術(shù)的用電信息采集系統(tǒng)量測(cè)數(shù)據(jù)處理方法，可解決傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)用于電力信息系統(tǒng)量測(cè)數(shù)據(jù)處理效率低的技術(shù)問(wèn)題。

2 量測(cè)數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)

2.1 模型設(shè)計(jì)

依據(jù)Hbase數(shù)據(jù)庫(kù)、Redis數(shù)據(jù)庫(kù)的特點(diǎn)以及用電信息采集系統(tǒng)量測(cè)數(shù)據(jù)特性設(shè)計(jì)數(shù)據(jù)處理系統(tǒng)，該量測(cè)數(shù)據(jù)處理系統(tǒng)能夠?qū)⑼瑫r(shí)刻的同一電站所有設(shè)備數(shù)據(jù)邏輯上顯示在數(shù)據(jù)庫(kù)的同一行，并且在物理磁盤上也存儲(chǔ)在相鄰位置。因?yàn)镠base是列式存儲(chǔ)數(shù)據(jù)庫(kù)，海量的列對(duì)于數(shù)據(jù)的訪問(wèn)性能幾乎沒(méi)有影響，并且在Hbase的行存儲(chǔ)上是非常稀少的，行存儲(chǔ)中沒(méi)有值的單元不會(huì)占用物理存儲(chǔ)空間。當(dāng)用戶進(jìn)行量測(cè)數(shù)據(jù)斷面查詢時(shí)，數(shù)據(jù)處理系統(tǒng)將能夠快速查詢得到該時(shí)刻具體電站所屬區(qū)域的所有采集量測(cè)數(shù)據(jù)設(shè)備斷面值。當(dāng)用戶進(jìn)行量測(cè)數(shù)據(jù)批量查詢時(shí)，由于設(shè)計(jì)了量測(cè)數(shù)據(jù)存儲(chǔ)模型與處理方案，對(duì)表按照具體類型進(jìn)行了分表分區(qū)，量測(cè)類數(shù)據(jù)分布在服務(wù)器集群中，批量查詢中集群中的服務(wù)器并行處理要查詢的數(shù)據(jù)，查詢結(jié)果可以快速獲取。存儲(chǔ)模型如圖1所示。

2.1.1 表名規(guī)范

用電信息采集量測(cè)數(shù)據(jù)按照月度進(jìn)行分表，表名劃分為三段，格式為“?。ㄊ校┕揪幋a_源業(yè)務(wù)系統(tǒng)類型碼_分表標(biāo)識(shí)”，每段之間用“_”分隔，段內(nèi)不得使用“_”，表名中英文使用大寫，如：ZJ_103_201506表示浙江用電信息采系統(tǒng)2015年6月份的數(shù)據(jù)。

2.1.2 表分區(qū)規(guī)范

存儲(chǔ)在HBase表內(nèi)的數(shù)據(jù)劃分為多個(gè)分區(qū)進(jìn)行存儲(chǔ)，決定分區(qū)數(shù)量有兩個(gè)因素，分別是服務(wù)器數(shù)量與所存儲(chǔ)表的數(shù)據(jù)量，分區(qū)的原則是分區(qū)數(shù)量設(shè)置為服務(wù)器數(shù)量的整數(shù)倍，單個(gè)分區(qū)的數(shù)據(jù)量控制在2GB到4GB之間。

2.1.3 行鍵規(guī)范

行鍵可修改，將用電采集系統(tǒng)量測(cè)數(shù)據(jù)模型的相層級(jí)體現(xiàn)到RowKey的設(shè)計(jì)中，行鍵規(guī)范的各個(gè)層級(jí)可以根據(jù)具體的表進(jìn)行定制化的配置，提高了行鍵配置的靈活度，如用電信息采集系統(tǒng)中量測(cè)數(shù)據(jù)模型行鍵可劃分為四段，格式為“地市級(jí)供電單位編碼.業(yè)務(wù)檢索字段.采集時(shí)間.量測(cè)類型”，分隔符為“.”，段內(nèi)不得使用“.”。例如“CY.21001111. 01012017040101.BA”表示朝陽(yáng)區(qū)21001111號(hào)臺(tái)區(qū)下2017年1月1日4時(shí)1分1秒反向有功。

2.1.4 列名規(guī)范

利用HBase特性，表列數(shù)設(shè)計(jì)與設(shè)備數(shù)量相等。表列名選用“電能表ID”。例如“1000000201”表示編號(hào)為1000000201的電能表。

2.2 系統(tǒng)結(jié)構(gòu)

用電信息采集系統(tǒng)量測(cè)數(shù)據(jù)處理系統(tǒng)主要包含四個(gè)環(huán)節(jié)，分別是數(shù)據(jù)對(duì)接，即時(shí)處理，數(shù)據(jù)加載與存放以及數(shù)據(jù)查詢。

2.2.1 數(shù)據(jù)對(duì)接

用電信息采集系統(tǒng)量測(cè)數(shù)據(jù)接入大數(shù)據(jù)平臺(tái)前需要定制的對(duì)接程序，對(duì)接程序的作用有兩個(gè)，分別是用于傳輸協(xié)議的協(xié)調(diào)以及對(duì)源業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行數(shù)據(jù)模型的轉(zhuǎn)換。對(duì)接程序部署在用電信息采集系統(tǒng)與大數(shù)據(jù)平臺(tái)的卡夫卡消息隊(duì)列組件之間，定制的對(duì)接程序根據(jù)量測(cè)數(shù)據(jù)的類型的不同，分別將數(shù)據(jù)投遞到卡夫卡不同的消息隊(duì)列中，用電信息采集系統(tǒng)量測(cè)數(shù)據(jù)類型雖然紛亂復(fù)雜，但是通過(guò)定制的對(duì)接程序可以將其分類，有效的投遞到卡夫卡不同的隊(duì)列中?？ǚ蚩ㄏ㈥?duì)列的優(yōu)勢(shì)有三點(diǎn)，分別是分布式、異步通信與通信帶寬大。用電信息采集系統(tǒng)量測(cè)數(shù)據(jù)通過(guò)卡夫卡消息隊(duì)列接入大數(shù)據(jù)平臺(tái)可以有效的緩解數(shù)據(jù)接入高峰對(duì)大數(shù)據(jù)平臺(tái)的沖擊，避免量測(cè)數(shù)據(jù)的丟失，保證數(shù)據(jù)的完整與有效。

2.2.2 即時(shí)處理

在卡夫卡消息隊(duì)列與數(shù)據(jù)存儲(chǔ)組件Hbase與Redis之間 ，部署了分布式實(shí)時(shí)流計(jì)算組件Storm，Storm組件可以將海量的數(shù)據(jù)分布到服務(wù)器集群進(jìn)行數(shù)據(jù)處理，主要是對(duì)數(shù)據(jù)進(jìn)行即時(shí)計(jì)算。 Storm組件在本系統(tǒng)中主要完成兩項(xiàng)工作，包括對(duì)采集量測(cè)數(shù)據(jù)進(jìn)行深度處理，比如數(shù)據(jù)完善、數(shù)據(jù)質(zhì)量驗(yàn)證等，經(jīng)過(guò)深度處理的數(shù)據(jù)投遞到Hbase與Redis中，對(duì)量測(cè)數(shù)據(jù)進(jìn)行分析以及計(jì)數(shù)統(tǒng)計(jì)，將結(jié)果保留在關(guān)系型數(shù)據(jù)庫(kù)中。

2.2.3 數(shù)據(jù)加載與存放

量測(cè)數(shù)據(jù)的加載與存放有兩種，分別是隨機(jī)加載存儲(chǔ)與固定加載存儲(chǔ)，加載存儲(chǔ)方式的選擇主要依據(jù)實(shí)際場(chǎng)景的需求。本系統(tǒng)采用了分布式數(shù)據(jù)庫(kù)Hbase加Redis數(shù)據(jù)庫(kù)的組合，Hbase數(shù)據(jù)庫(kù)與Redis數(shù)據(jù)庫(kù)具備不同的特點(diǎn)。Hbase數(shù)據(jù)庫(kù)是一個(gè)構(gòu)建在HDFS上的分布式列存儲(chǔ)系統(tǒng)，基于Google BigTable模型開(kāi)發(fā)的典型的key/value系統(tǒng)，主要用于海量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。在邏輯上，HBase將數(shù)據(jù)根據(jù)表、行和列進(jìn)行存儲(chǔ)，依靠橫向擴(kuò)展，通過(guò)不斷增加廉價(jià)的服務(wù)器，來(lái)增加計(jì)算和存儲(chǔ)能力。Hbase中的一張表可以有數(shù)十億行，上百萬(wàn)列，完全滿足海量電網(wǎng)量測(cè)數(shù)據(jù)的采集。 Redis是一個(gè)速度非?？斓母咝阅艿膋ey-value數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)。Redis數(shù)據(jù)庫(kù)很大程度上補(bǔ)償了memcached這類key/value存儲(chǔ)的不足。Redis支持存儲(chǔ)五種value數(shù)據(jù)類型，包括string（字符串）、list（鏈表）、set（集合）、hash（哈希類型）和zset（sorted set --有序集合）。這些數(shù)據(jù)類型都支 持push/pop、add/remove及取交集并集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎(chǔ)上，redis支持各種不同方式的排序。為了保證效率，數(shù)據(jù)都是緩存在內(nèi)存中。redis會(huì)周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的記錄文件，并且在此基礎(chǔ)上實(shí)現(xiàn)了master-slave（主從）同步。 總之，HBase和Redis都是基于Key、Value的數(shù)據(jù)庫(kù)，他們的不同點(diǎn)在于HBase是基于文件系統(tǒng)的，Redis是基于內(nèi)存的。本系統(tǒng)根據(jù)Hbase與Redis數(shù)據(jù)庫(kù)的不同特點(diǎn)，將用電采集系統(tǒng)的歷史存檔數(shù)據(jù)存儲(chǔ)在Hbase上，將近期增量量測(cè)數(shù)據(jù)存儲(chǔ)在Redis中，該設(shè)計(jì)既可以利用Hbase存儲(chǔ)海量量測(cè)類數(shù)據(jù)，又可以利用Redis基于內(nèi)存的特點(diǎn)，當(dāng)用戶需要查詢最近數(shù)據(jù)時(shí)，快速得到查詢結(jié)果。本系統(tǒng)需求是將量測(cè)數(shù)據(jù)盡可能的存儲(chǔ)在鄰接的物理位置，當(dāng)進(jìn)行數(shù)據(jù)查詢時(shí)，磁頭可以通過(guò)較少的IO讀取次數(shù)將數(shù)據(jù)取出，能夠大幅度提取讀數(shù)量測(cè)數(shù)據(jù)的效率。endprint

2.2.4 數(shù)據(jù)查詢

依據(jù)量測(cè)數(shù)據(jù)的進(jìn)入大數(shù)據(jù)平臺(tái)的時(shí)間不同的特點(diǎn)，分別將數(shù)據(jù)加載存儲(chǔ)在Redis數(shù)據(jù)庫(kù)以及Hbase列式數(shù)據(jù)庫(kù)，進(jìn)入數(shù)據(jù)庫(kù)中的量測(cè)數(shù)據(jù)已經(jīng)經(jīng)過(guò)了前端定制程序處理， 本系統(tǒng)基于國(guó)網(wǎng)海量平臺(tái)的UAPI接口，升級(jí)設(shè)計(jì)了通用訪問(wèn)接口UAPI， 使用戶可以忽略數(shù)據(jù)的存儲(chǔ)細(xì)節(jié)，使用電采集系統(tǒng)的業(yè)務(wù)應(yīng)用依據(jù)電網(wǎng)模型查詢數(shù)據(jù)，實(shí)現(xiàn)量測(cè)數(shù)據(jù)分流、中間計(jì)算結(jié)果臨時(shí)存儲(chǔ)、量測(cè)數(shù)據(jù)的高效查詢等功能。

3 實(shí)驗(yàn)分析

為了驗(yàn)證所設(shè)計(jì)的量測(cè)數(shù)據(jù)處理系統(tǒng)有效性，以某網(wǎng)省用電信息采集系統(tǒng)量測(cè)數(shù)據(jù)處理為例，用電信息采集系統(tǒng)數(shù)據(jù)接入組件部署如圖2所示。

Windows服務(wù)器部署三個(gè)軟件，分別是海量平臺(tái)一發(fā)雙收工具、Mysql數(shù)據(jù)庫(kù)以及SFTP服務(wù)。海量平臺(tái)一發(fā)雙收工具用于將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)形式的E文件；Mysql數(shù)據(jù)與用于存儲(chǔ)業(yè)務(wù)系統(tǒng)的檔案數(shù)據(jù)；SFTP服務(wù)用于提供E文件下載服務(wù)。

Linux服務(wù)器中的第一臺(tái)服務(wù)器部署五個(gè)組件，分別是SFTP下載組件、Eparse組件、RPC組件、RedisLoader組件以及Kafka2hbase組件。另一臺(tái)Linux服務(wù)器部署Kafka2hbase組件。SFTP下載組件用于將海量一發(fā)雙收工具生成的E文件下載到Linux服務(wù)器本地文件夾；Eparse組件用于將E文件進(jìn)行解析，寫入分布式消息隊(duì)列Kafka中；RPC組件用于各組件的通信；Kafka2hbase組件將消息隊(duì)列中的數(shù)據(jù)寫入Hbase；RedisLoader組件將消息隊(duì)列中的數(shù)據(jù)寫入Redis。

在該網(wǎng)省現(xiàn)場(chǎng)，Kafka2hbase寫入大數(shù)據(jù)平臺(tái)服務(wù)器Hbase數(shù)據(jù)庫(kù)中的寫入速率可達(dá)到75M每秒，滿足該網(wǎng)省用電信息采集系統(tǒng)采集監(jiān)測(cè)數(shù)據(jù)應(yīng)用需求。

4 結(jié)語(yǔ)

本文提出了一種基于大數(shù)據(jù)技術(shù)的用電信息采集系統(tǒng)測(cè)數(shù)據(jù)處理方法，解決了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)用于電力信息系統(tǒng)量測(cè)數(shù)據(jù)處理效率低的技術(shù)問(wèn)題。通過(guò)實(shí)驗(yàn)證明了該處理方法的可行與有效。

參考文獻(xiàn)

[1]孫柏林.“大數(shù)據(jù)”技術(shù)及其在電力行業(yè)中的應(yīng)用[J].電氣時(shí)代，2013（08）：18-23.

[2]趙云山，劉煥煥.大數(shù)據(jù)技術(shù)在電力行業(yè)的應(yīng)用研究[J].電信科學(xué)，2014，30（01）：57-62.

[3]WITT S.Data Mangement & Analytics for Utilities 2014[EB/OL].[2014–5–20].http：//www.smartgridupdate.com.

作者簡(jiǎn)介

張珂珩（1972-），男，高級(jí)工程師。主要研究方向?yàn)殡娏Υ髷?shù)據(jù)處理技術(shù)研究開(kāi)發(fā)、建設(shè)運(yùn)行和技術(shù)管理。

作者單位

江蘇瑞中數(shù)據(jù)股份有限公司 江蘇省南京市 210012endprint