王震，陳亮

（山東魯能軟件技術(shù)有限公司，濟南250002）

基于Kafka消息隊列的電網(wǎng)設(shè)備準(zhǔn)實時數(shù)據(jù)接入方法研究

王震，陳亮

（山東魯能軟件技術(shù)有限公司，濟南250002）

為有效利用實時獲取的電網(wǎng)設(shè)備狀態(tài)信息，從數(shù)據(jù)的時空角度入手，提出一種針對基于Kafka消息隊列的電網(wǎng)設(shè)備準(zhǔn)實時數(shù)據(jù)接入方法。該方法在實時數(shù)據(jù)庫與歷史數(shù)據(jù)庫之間引入消息隊列緩存數(shù)據(jù)，解決兩者數(shù)據(jù)傳輸速率不匹配問題；為電網(wǎng)設(shè)備測點與消息隊列建立一一映射關(guān)系，減少元數(shù)據(jù)存儲冗余；設(shè)計數(shù)據(jù)接入格式，可按需封裝傳輸數(shù)據(jù)。為電力準(zhǔn)實時數(shù)據(jù)接入提供了一種新的思路。

電力準(zhǔn)實時數(shù)據(jù)；Kafka消息隊列；數(shù)據(jù)接入方法

0 引言

電力是國計民生的重要支柱，特別是智能電網(wǎng)建設(shè)的快速發(fā)展，對實時分析設(shè)備狀態(tài)數(shù)據(jù)提出了更高的要求［1］。電網(wǎng)設(shè)備數(shù)據(jù)包括傳感器、視音頻監(jiān)控設(shè)備等終端采集設(shè)備采集到的電壓、電感、局部放電等設(shè)備狀態(tài)數(shù)據(jù)，反映了電力企業(yè)的生產(chǎn)狀況。數(shù)據(jù)接入是電網(wǎng)設(shè)備歷史準(zhǔn)實時數(shù)據(jù)應(yīng)用的重要技術(shù)之一。應(yīng)嚴(yán)格遵循“統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)”的原則，這樣可以避免繁雜的實現(xiàn)方式和高額的軟/硬件費用，從而降低成本，提升數(shù)據(jù)接入管理效率。實時數(shù)據(jù)接入是對電網(wǎng)企業(yè)生產(chǎn)運營過程中電力設(shè)備產(chǎn)生的各種實時數(shù)據(jù)的一種處理過程，如數(shù)據(jù)的采集、傳輸、分析和存儲。在其他業(yè)務(wù)對數(shù)據(jù)有需求時，提供有效的數(shù)據(jù)訪問方式［2-4］。現(xiàn)有的電網(wǎng)設(shè)備準(zhǔn)實時數(shù)據(jù)接入主要采用直接將實時數(shù)據(jù)與歷史數(shù)據(jù)庫相連接的方式，存在實時數(shù)據(jù)庫與歷史數(shù)據(jù)庫傳輸速率不匹配以及設(shè)備元數(shù)據(jù)存儲數(shù)據(jù)冗余等問題。

根據(jù)《國家電網(wǎng)公司海量歷史準(zhǔn)實時數(shù)據(jù)管理平臺典型設(shè)計》中對歷史準(zhǔn)實時數(shù)據(jù)平臺的描述，國網(wǎng)企業(yè)資源計劃（State Grid-Enterprise Resource Planning，SG-ERP）數(shù)據(jù)中心由實時數(shù)據(jù)中心與空間數(shù)據(jù)管理平臺、結(jié)構(gòu)化數(shù)據(jù)管理平臺和非結(jié)構(gòu)化數(shù)據(jù)管理平臺共同構(gòu)成，是各業(yè)務(wù)在構(gòu)建歷史準(zhǔn)實時數(shù)據(jù)計算分析時的基礎(chǔ)性支撐平臺。隨著支撐業(yè)務(wù)應(yīng)用不斷發(fā)展，根據(jù)國家電網(wǎng)公司典型設(shè)計的要求，歷史準(zhǔn)實時數(shù)據(jù)平臺在應(yīng)用和數(shù)據(jù)管理上都必須具有良好的可擴展性和可維護性，同時在業(yè)務(wù)應(yīng)用上規(guī)范化和統(tǒng)一化［5-6］。為應(yīng)對電網(wǎng)設(shè)備數(shù)據(jù)準(zhǔn)實時訪問的業(yè)務(wù)應(yīng)用需求，提高電力大數(shù)據(jù)的準(zhǔn)實時應(yīng)用能力，實現(xiàn)電力設(shè)備狀態(tài)的準(zhǔn)實時監(jiān)控，重點研究電網(wǎng)設(shè)備數(shù)據(jù)的接入過程，并建立一套以Kafka消息隊列為基礎(chǔ)的數(shù)據(jù)接入系統(tǒng)，提出了一種基于Kafka的電網(wǎng)設(shè)備準(zhǔn)實時數(shù)據(jù)接入方法，為企業(yè)經(jīng)營管理者的決策分析提供支持。

1 Kafka分布式發(fā)布訂閱消息系統(tǒng)

Kafka是由Apache基金會支持的一個分布式高吞吐量的開源消息系統(tǒng)，最初是Linkedin公司用于日志處理的分布式消息隊列。Kafka提供了一個消息發(fā)布訂閱的解決方案，架構(gòu)如圖1所示。它可以處理消費者類型網(wǎng)站中所有日志數(shù)據(jù)，比如用戶登錄、點擊、搜索、瀏覽等動作事件，這樣的日志信息是網(wǎng)絡(luò)社會了解人類社會生活的一個窗口。

對于要求實時處理的日志數(shù)據(jù)和離線分析系統(tǒng)，如spark，hadoop，這種解決方案是可行的。Kafka在線和離線的消息處理是通過Hadoop的并行加載機制來統(tǒng)一管理，而且也是通過集群機來解決實時消費的問題。

Kafka作為一種發(fā)布訂閱消息的高吞吐量分布式系統(tǒng)，具有如下特點。

1）持久化：空間復(fù)雜度O（1）的磁盤數(shù)據(jù)結(jié)構(gòu)對于即使數(shù)以TB的消息存儲也能夠在性能上保持長時間的穩(wěn)定。

2）吞吐量高：即使對于非常普通的硬件，Kafka消息傳輸效率105～106條／s。

3）分區(qū)消息：可以通過Kafka服務(wù)器和消費機集群來對消息進(jìn)行分區(qū)。

4）并行：支持加載Hadoop并行數(shù)據(jù)。

圖1 Kafka分布式訂閱架構(gòu)

2 電力準(zhǔn)實時數(shù)據(jù)接入方法

該方法在實時數(shù)據(jù)庫與歷史數(shù)據(jù)庫之間引入消息隊列緩存數(shù)據(jù)，解決兩者數(shù)據(jù)傳輸速率不匹配問題；為電網(wǎng)設(shè)備測點與消息隊列建立一一映射關(guān)系，減少數(shù)據(jù)存儲冗余；設(shè)計數(shù)據(jù)接入格式，可按需封裝傳輸數(shù)據(jù)。

2.1 系統(tǒng)總體設(shè)計

整個接入部署架構(gòu)如圖2所示，電廠通過傳感器采集設(shè)備Mi狀態(tài)信息，傳輸并寫入實時數(shù)據(jù)庫中，數(shù)據(jù)網(wǎng)關(guān)從實時數(shù)據(jù)庫PI中讀取數(shù)據(jù)并進(jìn)行數(shù)據(jù)廣播，Kafka通過監(jiān)聽端口接收到從數(shù)據(jù)網(wǎng)關(guān)發(fā)送來的數(shù)據(jù)并緩存到消息隊列queue i中，這樣就建立了設(shè)備測點與消息隊列間的一一映射關(guān)系。當(dāng)我們需要分析特定時間段特定設(shè)備的狀態(tài)信息時，可以準(zhǔn)實時地從Kafka中對應(yīng)的消息隊列取出設(shè)備數(shù)據(jù)，包裝成統(tǒng)一數(shù)據(jù)格式，寫入數(shù)據(jù)到非關(guān)系型數(shù)據(jù)庫hbase中，進(jìn)行永久保存。

圖2 數(shù)據(jù)接入部署架構(gòu)

2.2 數(shù)據(jù)存儲格式

為了永久保存通過Kafka消息隊列獲取的設(shè)備狀態(tài)信息，需要形成結(jié)構(gòu)化的數(shù)據(jù)存儲格式，這種格式可以有效進(jìn)行數(shù)據(jù)存儲，并為后續(xù)的數(shù)據(jù)應(yīng)用分析提供支持。

為使數(shù)據(jù)有更強的使用性，從數(shù)據(jù)的時空角度，提出了一種高效的數(shù)據(jù)存儲格式，如圖3所示。ID作為數(shù)據(jù)塊的唯一編碼，設(shè)置為16個字節(jié)存儲；Equipment表示電力設(shè)備監(jiān)測點，設(shè)置1 024個字節(jié)存儲，每個設(shè)備監(jiān)測點對應(yīng)相應(yīng)的一位（如設(shè)備M1對應(yīng)第一位，設(shè)備M2對應(yīng)第二位，以此類推），如果該設(shè)備沒有被監(jiān)測，則相應(yīng)的位設(shè)置為0，如果該設(shè)備正在被監(jiān)測，則相應(yīng)的位設(shè)置為1；Time表示監(jiān)測點的起始時間和終止時間，設(shè)置16個字節(jié)存儲，前8個字節(jié)對應(yīng)監(jiān)測起始時間，后8個字節(jié)對應(yīng)監(jiān)測終止時間；Data表示特定時間特定測點的原始監(jiān)測數(shù)據(jù)，設(shè)置1 024 000個字節(jié)存儲，當(dāng)需要保存的某個數(shù)據(jù)塊字節(jié)塊超過設(shè)定長度時，可以另開一個數(shù)據(jù)塊進(jìn)行保存（這種情況極少）。

此時，我們按照定義的數(shù)據(jù)存儲格式寫入數(shù)據(jù)到非關(guān)系型數(shù)據(jù)庫hbase中。當(dāng)需要分析數(shù)據(jù)時，可以方便快速地從hbase數(shù)據(jù)庫中根據(jù)ID或者時間、設(shè)備號對數(shù)據(jù)進(jìn)行讀取。

圖3 數(shù)據(jù)存儲格式

2.3 數(shù)據(jù)接入算法

Kafka消息隊列一次數(shù)據(jù)接入流程圖如圖4所示。

圖4 Kafka消息隊列一次數(shù)據(jù)接入流程

2.4 測試結(jié)果

為驗證該數(shù)據(jù)接入方法，使用某公司開發(fā)的LIGHT作為數(shù)據(jù)網(wǎng)關(guān)，從實時數(shù)據(jù)庫中提取數(shù)據(jù)并進(jìn)行消息發(fā)布。我們選取175～195號設(shè)備作為監(jiān)測點，每隔2 h對監(jiān)測點過去2 h的數(shù)據(jù)進(jìn)行監(jiān)測并寫入hbase數(shù)據(jù)庫中。

系統(tǒng)數(shù)據(jù)庫hbase中的數(shù)據(jù)顯示，每隔2 h就會有一個數(shù)據(jù)寫入的數(shù)據(jù)庫中，寫入的數(shù)據(jù)與從實時數(shù)據(jù)庫中的數(shù)據(jù)完全一致，且數(shù)據(jù)格式與該數(shù)據(jù)存儲格式一致。因此，可以證明所提出的基于Kafka的電力準(zhǔn)實時數(shù)據(jù)接入方法在功能上符合數(shù)據(jù)接入的要求。

3 結(jié)語

電力實時數(shù)據(jù)接入技術(shù)是進(jìn)行實時數(shù)據(jù)分析研究的前提條件，直接影響著數(shù)據(jù)分析的實時性、準(zhǔn)確性、方便性。通過對當(dāng)前數(shù)據(jù)接入技術(shù)的研究分析，在滿足各業(yè)務(wù)應(yīng)用需求的基礎(chǔ)上，一方面通過Kafka消息隊列，提高數(shù)據(jù)分析的準(zhǔn)實時性，另一方面通過定義數(shù)據(jù)存儲格式，提升數(shù)據(jù)使用的方便性。然而，在極端情況下，本系統(tǒng)仍會面臨兩個問題：第一，當(dāng)Kafka消息隊列需要保存的數(shù)據(jù)量非常大時，會導(dǎo)致隊列溢出；第二，當(dāng)需要存儲的隊列數(shù)量足夠多，Kafka產(chǎn)生的消息隊列數(shù)目無法滿足需求時，會導(dǎo)致系統(tǒng)崩潰。針對這兩個問題，在下一步的研究中，我們還需對系統(tǒng)進(jìn)行更深入的改進(jìn)，使系統(tǒng)具有更強的魯棒性。

［1］陳樹勇，宋書芳，李蘭欣，等.智能電網(wǎng)綜述［J］.電網(wǎng)技術(shù)，2009，33（8）：1-7.

［2］周升，陶敏.實時/歷史數(shù)據(jù)庫平臺通用訪問方法研究［J］.浙江電力，2012（12）：94-98.

［3］陶敏，郭寧.PI實時/歷史數(shù)據(jù)庫系統(tǒng)平臺架構(gòu)優(yōu)化［J］.浙江電力，2011（8）：1-8.

［4］安磊，楊曉華，管金勝，等.基于實時/歷史數(shù)據(jù)庫（PI）系統(tǒng)構(gòu)建智能電網(wǎng)信息化基礎(chǔ)平臺［J］.華東電力，2011，39（8）：1 374－1 377.

［5］周升，李樹斌，鄭綱.實時/歷史數(shù)據(jù)平臺統(tǒng)一應(yīng)用技術(shù)架構(gòu)研究［J］.北塔軟件，2014（1）：55-58.

［6］周升，金文德，李煒，等.實時/歷史數(shù)據(jù)新平臺的數(shù)據(jù)接入方法研究［J］.浙江電力，2014（2）：94-98.

Quasi-real-time Data Access Method of Power Network Equipment Based on Kafka Message Queue

WANG Zhen，CHEN Liang
（Shandong Luneng Software Technology Co.，Ltd.，Jinan 250002，China）

In order to effectively use the real-time state information of power network equipment，a method is suggested for the access of power network equipment quasi-real-time data based on Kafka message queue from the space and time perspective of data.This method has three advantages.First of all，it inserts the message queue cache data between the real-time database and historical database，which help to solve the problem of mismatching between two database data transmission speeds.Secondly，power network equipment measuring point with a message queue one-to-one mapping relationship is constructed，reducing metadata storage redundancy.Thirdly，design data access format to transmit data on demand.

power quasi-real-time data；Kafka message queue；data access method

TP311.13

A

1007－9904（2015）06－0041－03

2015-02-09

王震（1978），男，工程師，主要從事電力行業(yè)大數(shù)據(jù)技術(shù)研究；

陳亮（1981），男，高級工程師，主要從事電力行業(yè)大數(shù)據(jù)技術(shù)研究。