白紅偉，馬志偉，朱永利，白紅浩

（1.華北電力大學(xué)控制與計算機(jī)工程學(xué)院，河北保定 071003；2.華能沁北發(fā)電有限責(zé)任公司檢修部，河南濟(jì)源 459012；3.南華大學(xué)環(huán)境保護(hù)與安全工程學(xué)院，湖南衡陽 421001）

基于Hadoop的錄波數(shù)據(jù)的存儲與訪問

白紅偉1，馬志偉2，朱永利1，白紅浩3

（1.華北電力大學(xué)控制與計算機(jī)工程學(xué)院，河北保定 071003；2.華能沁北發(fā)電有限責(zé)任公司檢修部，河南濟(jì)源 459012；3.南華大學(xué)環(huán)境保護(hù)與安全工程學(xué)院，湖南衡陽 421001）

在智能電網(wǎng)環(huán)境下，錄波數(shù)據(jù)具有廣域、全景、海量和可靠的特征，傳統(tǒng)的存儲硬件采用磁盤陣列，數(shù)據(jù)庫管理軟件采用關(guān)系數(shù)據(jù)庫系統(tǒng)的方法由于系統(tǒng)擴(kuò)展性差、成本高、可靠性低，難以適應(yīng)要求。本文提出了一種基于Hadoop的錄波數(shù)據(jù)分布式存儲與訪問的新方法，并將其與傳統(tǒng)方法的訪問速度進(jìn)行了對比，證明了新方法的高效性。

錄波數(shù)據(jù)；Hadoop；數(shù)據(jù)存儲；數(shù)據(jù)訪問

故障錄波器監(jiān)視電網(wǎng)運行狀況，根據(jù)錄波數(shù)據(jù)能分析系統(tǒng)的故障參數(shù)、諧波含量、故障點定位和系統(tǒng)元件參數(shù)測量［1］。故障錄波系統(tǒng)已經(jīng)成為電網(wǎng)自動化控制和管理的必不可少的組成部分。

實現(xiàn)電網(wǎng)的信息化是智能電網(wǎng)的基本特征之一，即信息的高度集成、共享和利用。這就要求電網(wǎng)調(diào)度端可以隨時收集分布于各個廠站的故障錄波器的信息，建立故障信息處理系統(tǒng)總站，改變傳統(tǒng)裝置分散、各自獨立、故障信息不能共享的缺陷。建立故障錄波聯(lián)網(wǎng)系統(tǒng)后，系統(tǒng)總站將從各分站接收大量故障報告，并做整理和分析。面對這些數(shù)據(jù)量大、可靠性和實時性要求高的錄波數(shù)據(jù)，常規(guī)的數(shù)據(jù)存儲方法會遇到極大的困難。

如何將錄波數(shù)據(jù)快速存儲成為本文研究的重點。Hadoop具有超大規(guī)模、高可靠性、高可擴(kuò)展性、按需服務(wù)和極其廉價的特點，為上述問題的解決帶來了機(jī)遇。

1 故障錄波數(shù)據(jù)及其在Hadoop中的存儲

1.1 Hadoop主要技術(shù)介紹

Hadoop是最知名的云計算開源系統(tǒng)［2］，它模仿和實現(xiàn)了Google云計算的主要技術(shù)，可以在大量廉價的硬件設(shè)施組成的集群上運行應(yīng)用程序，為應(yīng)用程序提供了一組穩(wěn)定可靠的接口，旨在構(gòu)建一個具有高可靠性和良好擴(kuò)展性的分布式系統(tǒng)。Hadoop的核心技術(shù)是HDFS、Map Reduce和HBase。

本研究數(shù)據(jù)存儲系統(tǒng)HDFS［4］采用分布式存儲的方式來存儲數(shù)據(jù)，它是一個分布式文件系統(tǒng)，有著高容錯性的特點。而且它提供高傳輸率來訪問應(yīng)用程序的數(shù)據(jù)，適合有著超大數(shù)據(jù)集（錄波數(shù)據(jù)）的應(yīng)用程序。

HBase［5］是一種構(gòu)建在HDFS之上的分布式、面向列的存儲系統(tǒng)，適合實時讀寫、隨機(jī)訪問超大數(shù)據(jù)集的應(yīng)用。HBase通過線性方式從上到下增加節(jié)點來進(jìn)行擴(kuò)展，不是關(guān)系型數(shù)據(jù)庫，也不支持SQL，但它巧妙地將大而稀疏的表放到廉價服務(wù)器上。它是一個稀疏的，長期存儲的，多維度的，排序的映射表。這張表的索引是行關(guān)鍵字，列關(guān)鍵字和時間戳。每個值是一個不解釋的字符數(shù)組，數(shù)據(jù)都是字符串，沒類型。用戶在表格中存儲數(shù)據(jù)，每一行都有一個可排序的主鍵和任意多的列。由于是稀疏存儲的，所以同一張表里面的每一行數(shù)據(jù)都可以有截然不同的列。列名字的格式是"＜family＞：＜label＞"，都是由字符串組成，每一張表有一個family集合，這個集合是固定不變的，相當(dāng)于表的結(jié)構(gòu)，只能通過改變表結(jié)構(gòu)來改變。但是label值相對于每一行來說都是可以改變的。

1.2 故障錄波數(shù)據(jù)結(jié)構(gòu)

微機(jī)故障錄波器在電力系統(tǒng)的廣泛應(yīng)用，可以得到電網(wǎng)故障狀態(tài)下豐富的暫態(tài)數(shù)據(jù)，但是由于在電網(wǎng)運行的這些裝置來自不同的制造商，種類繁多、數(shù)據(jù)格式互不兼容。智能電網(wǎng)環(huán)境下，需要建立統(tǒng)一的故障錄波分析平臺，這樣就可以利用故障線路的兩側(cè)錄波數(shù)據(jù)，精確計算出故障點位置，建立統(tǒng)一的故障分析平臺。因此本研究采用暫態(tài)數(shù)據(jù)交換通用格式，即COMTRADE數(shù)據(jù)格式，它能為故障錄波器之間交換數(shù)據(jù)提供有效手段，便于不同型號故障錄波器聯(lián)網(wǎng)。

COMTRADE標(biāo)準(zhǔn)的數(shù)據(jù)文件有三種類型［3］：引導(dǎo)文件，以HDR作后綴；組態(tài)文件，以CFG作后綴；數(shù)據(jù)文件，以DAT作后綴。引導(dǎo)文件為用戶提供一個附加信息的描述樣本，以便更好地了解暫態(tài)記錄條件。組態(tài)文件由計算機(jī)程序識別，有特定的格式。組態(tài)文件中記錄的數(shù)據(jù)包括采樣率、通道號及線路頻率等內(nèi)容。

以組態(tài)文件和數(shù)據(jù)文件為例，對COMTRADE標(biāo)準(zhǔn)進(jìn)行解析。組態(tài)文件是ASCII文本文件，為數(shù)據(jù)文件提供必要的信息，以便解釋相關(guān)數(shù)據(jù)文件中的數(shù)據(jù)值。文件被分為行，每一行以回車和換行為終止，逗號用以分隔一行內(nèi)的內(nèi)容。包含（1）站名，記錄裝置的特征，COMTRADE標(biāo)準(zhǔn)的修改年份。（2）通道的數(shù)量和類型。（3）通道名稱、單位和轉(zhuǎn)換系數(shù)。（4）線路頻率。（5）采樣速率和每一速率下的采樣數(shù)量。（6）第1數(shù)據(jù)點的日期和時間。（7）觸發(fā)點的日期和時間。（8）數(shù)據(jù)文件類型。（9）時間標(biāo)記倍乘系數(shù)。配置文件實例：

數(shù)據(jù)文件包含被采樣的暫態(tài)事件的數(shù)據(jù)值。數(shù)據(jù)必須完全符合配置文件定義的格式，即ASCII文本文件或Binary二進(jìn)制文件。本文采用ASCII數(shù)據(jù)文件格式，在文件中，一個采樣中每個通道的數(shù)據(jù)通過一個逗號與下一通道分開。序列采用回車／換行在一個采樣的數(shù)據(jù)值與下一采樣的采樣數(shù)值分開，數(shù)據(jù)行的數(shù)量根據(jù)記錄的長度而變化。每一行分為TT＋2列，TT是記錄中通道的總數(shù)，另外兩個是時間標(biāo)記和采樣數(shù)量。每個數(shù)據(jù)采樣記錄應(yīng)包含排列如下的整數(shù)：

n，timestamp，A1，A2，…，Ak，D1，D2，…，Dm＜CR／LF＞：其中，n為采樣數(shù)，必須是整數(shù)；timestamp為時間標(biāo)記，基本單位是μs。一個數(shù)據(jù)文件中以第1個數(shù)據(jù)采樣至任意一個時間標(biāo)記區(qū)所標(biāo)志的采樣所經(jīng)過的時間是配置文件中的時間標(biāo)記與時間乘數(shù)（timestamp＊timemult）的乘積（單位為μs）。下面給出一個有6個模擬值和6個狀態(tài)值的例子：

1.3 錄波數(shù)據(jù)模型設(shè)計

根據(jù)HBase數(shù)據(jù)模型的特點，設(shè)計的錄波數(shù)據(jù)模型如表1所示。將變電站的名稱作為主鍵。表1共有3個列族：HDR列存儲任何需要的信息。CFG列存儲通道的數(shù)量和類型、通道名稱、單位和轉(zhuǎn)換系數(shù)、線路頻率等信息。Data列存儲被采樣的暫態(tài)事件的數(shù)據(jù)值。該表設(shè)計為一張半結(jié)構(gòu)化的表，一張表就已經(jīng)能夠滿足系統(tǒng)大部分要求。對于一個Rowkey來說，只需要指定相關(guān)的列族名就可以獲取相關(guān)數(shù)據(jù)的全部數(shù)據(jù)。

表1 錄波數(shù)據(jù)模型

2 利用Map Reduce訪問錄波數(shù)據(jù)實驗

在海量的智能電網(wǎng)錄波數(shù)據(jù)中及時訪問到需要的數(shù)據(jù)，以便進(jìn)行故障診斷與預(yù)測是十分重要的，Hadoop平臺通過Map Reduce方法實現(xiàn)數(shù)據(jù)訪問和處理。Map Reduce［6］是一種并行編程模式，它的主要兩個概念是Map（映射）和Reduce（化簡）。Map函數(shù)是用來把一組鍵值對映射成一組新的鍵值對，用于子任務(wù)執(zhí)行；而Reduce函數(shù)是用來保證所有映射的鍵值對中的每一個共享相同的鍵組，用于子任務(wù)處理結(jié)果的合并。

在Hadoop平臺上實現(xiàn)數(shù)據(jù)訪問時，借助廣度優(yōu)先的思想，進(jìn)行基于層的擴(kuò)展。設(shè)計思想如下：

（1）將用戶訪問請求交給Hadoop平臺的名字節(jié)點，Job Tracker將訪問任務(wù)分發(fā)給各個名字節(jié)點上的Map函數(shù)。

（2）Mapper進(jìn)行Map操作（Initial Key，Intial Value）－＞［（Inter Key，Inter Value）］從Input key，value產(chǎn)生中間數(shù)據(jù)集。

（3）Reducer進(jìn)行Reduce操作（Interkey，Inter Valueslterator）－＞［（Inter Key，Inter Value）］，Reducer遍歷所有節(jié)點取得需要的中間數(shù)據(jù)集，再對其進(jìn)行去重、過濾等后期處理，得到結(jié)果。

（4）由Output Format類內(nèi)含的Record Writer，將最終結(jié)果輸出到所需程序。

下面給出Map、Reduce以及Run函數(shù)偽代碼：

接下來交給Hadoop系統(tǒng)［7］運行。它的主要工作有：

（1）Job Tracker，創(chuàng)建一個Input Format的實例，調(diào)用它的getSplits0方法，把輸入目錄的文件拆分成FileSplist作為Mapper task的輸入，生成Mapper task加入Queue。

（2）Mapper Task先從Input Format創(chuàng)建Record Reader，循環(huán)讀入FileSplits的內(nèi)容生成Key與Value，傳給Mapper函數(shù)，處理完后中間結(jié)果寫成SequenceFile；Reducer Task從運行Mapper的Task Tracker獲取中間值執(zhí)行Reducer函數(shù)，最后按照Output Format寫入結(jié)果目錄。

（3）Task Tracker每10s向Job Tracker報告一次運行情況，每完成一個Task，10s后，就會向Job－Tracker索求下一個Map／Reduce。

（4）將結(jié)果導(dǎo)出，存放到指定的數(shù)據(jù)庫中，這些數(shù)據(jù)有一定的標(biāo)準(zhǔn)輸出格式，經(jīng)過一系列計算后方便在數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)挖掘，為智能電網(wǎng)故障診斷提供方法。

3 實驗結(jié)果分析

由一臺單獨的機(jī)器單機(jī)模擬HBase集群，由一臺機(jī)器單機(jī)測試Oracle。由3臺服務(wù)器組成的Hadoop集群組成分布式文件系統(tǒng)，均使用red－h(huán)at Linux操作系統(tǒng)，安裝好Hadoop、HBASE以及JDK。其中一臺部署HDFS的名字節(jié)點，另外兩臺部署HDFS的數(shù)據(jù)節(jié)點。

實驗采用單層擴(kuò)展方式，考察數(shù)據(jù)規(guī)模對Hadoop平臺的性能。數(shù)據(jù)源分別為10萬，50萬，500萬，2000萬，5000萬條記錄，為了減少單次試驗的偶然性，表2的實驗結(jié)果是5次實驗的平均值。

表2 不同數(shù)據(jù)規(guī)模擴(kuò)展實驗耗時比較

為了直觀觀察結(jié)果，將表用折線圖（圖2）表示出來，其中橫坐標(biāo)為數(shù)據(jù)集大小，縱坐標(biāo)為時間，“☆”為Oracle單機(jī)版，“○”為單機(jī)模擬的HBase集群。

從圖2中可以看出：隨著數(shù)據(jù)量的不斷增大，Hadoop版系統(tǒng)解約的時間越多，優(yōu)勢越明顯。對于實驗數(shù)據(jù)源按照一條記錄2k來計算，5000萬條記錄實際上只有大約80G的數(shù)據(jù)量，而Hadoop平臺只有在處理超大規(guī)模數(shù)據(jù)量時優(yōu)勢才能明顯顯現(xiàn)。如果其處理的是智能電網(wǎng)內(nèi)部的錄波數(shù)據(jù)，Hadoop平臺就能發(fā)揮出強(qiáng)大的數(shù)據(jù)處理能力。

4 結(jié)語

本文根據(jù)智能電網(wǎng)環(huán)境下錄波數(shù)據(jù)的特點提出用Hadoop作為平臺、用HDFS作文件存儲系統(tǒng)的云存儲方法，并設(shè)計了錄波數(shù)據(jù)在HBase中的面向列的存儲格式，最后將用Oracle做數(shù)據(jù)庫的傳統(tǒng)方法與本研究所提方法進(jìn)行了訪問速速的對比，證明了新方法的高效性。下一步的工作主要是在原型系統(tǒng)上利用Map Reduce分析HBase數(shù)據(jù)庫中存儲的錄波數(shù)據(jù)，更高效地對電網(wǎng)故障進(jìn)行狀態(tài)評估與預(yù)測。

圖2 不同數(shù)據(jù)規(guī)模實驗結(jié)果對比圖

［1］趙賓.電力系統(tǒng)故障錄波器的研究與實現(xiàn)［D］.東北大學(xué)，2006.02.

［2］http：／／hadoop.apache.org／.

［3］張杰，涂東明，張克元.基于COMTRADE標(biāo)準(zhǔn)的故障錄波的分析與再現(xiàn)［J］.繼電器，2000，20（11）：20－21.

［4］The Hadoop Distributed File System：Architecture and Design.http：／／hadoop.apache.org／core／docs／r0.16.4／hdfs＿design.html.

［5］Hadoop HBase Performance Evaluation Introduction.http：／／www.cs.duke.edu／～kcd／hadoop／kcd－h(huán)adoop－report.pdf.

［6］Jeffrey Dean，sanjay Ghemawat.MapReduce：simplified data processing on large clusters［C］／／6th Symposium on Operating Systems Design and Implementation.USA，2004.

［7］http：／／www.hadoop.org，2009－5－15.

The storage and access of the recorded data based on Hadoop

BAI Hong－wei1，MA Zhi－wei2，ZHU Yong－li1，BAI Hong－h(huán)ao3

（1.SchoolofControlandComputerEngineeringNorthChinaElectricPowerUniversity，BaodingHebei071003，China；2.HuanengQinbeiPowerPlantDepartmentofElectricalMaintenance，Jiyuan，Henan459012，China；3.SchoolofEnvironmentalProtectionandSafetyEngineering，UniversityofSouthChina，HenyangHunan421001，China）

In the smart grid，recorded date is wide，panoramic，reliable and mass.The old way is using ER database management system based on disk arrays，which leads the poor system scalability，high cost，and low reliability，those are all really hard to match the requirements.Compared the access speed with the traditional method，the method of the access and recorded data based on the Hadoop with distributed storages It is proposed more efficiently.

Recorded data；Hadoop；Data Storage；Data Access

TP393

：A

1001－9383（2011）03－0043－05

2011－06－30

國家自然科學(xué)基金資助項目（60974125）；中央高?；究蒲袠I(yè)務(wù)費專項資金項目（10QG22）

白紅偉（1985－），女，碩士研究生，主要研究領(lǐng)域：計算機(jī)應(yīng)用、云計算.