張君艷，董　娜，彭　偉，郭禹伶

(1.國(guó)網(wǎng)河北省電力公司電力科學(xué)研究院，石家莊　050021；2.華北電力大學(xué)，北京　102206)

?

大數(shù)據(jù)平臺(tái)在電力企業(yè)中的應(yīng)用

張君艷1，董娜1，彭偉2，郭禹伶1

(1.國(guó)網(wǎng)河北省電力公司電力科學(xué)研究院，石家莊050021；2.華北電力大學(xué)，北京102206)

摘要：大數(shù)據(jù)具有規(guī)模大、種類多、變化速度快、價(jià)值巨大但密度低的特點(diǎn)，大數(shù)據(jù)應(yīng)用就是利用數(shù)據(jù)分析的方法從大數(shù)據(jù)中挖掘有效信息，為用戶提供輔助決策，實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的過(guò)程。從大數(shù)據(jù)的定義、特征及其平臺(tái)三方面宏觀介紹大數(shù)據(jù)技術(shù)研究現(xiàn)狀，在此基礎(chǔ)上分析大數(shù)據(jù)技術(shù)在電力企業(yè)中的應(yīng)用，以電力信息通信客戶服務(wù)系統(tǒng)中工單事件統(tǒng)計(jì)為例，展示了大數(shù)據(jù)平臺(tái)的應(yīng)用過(guò)程。

關(guān)鍵詞：大數(shù)據(jù)；平臺(tái)；Hadoop；統(tǒng)計(jì)

隨著云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等新興信息技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)上的信息呈現(xiàn)出爆炸式增長(zhǎng)，并且這種增長(zhǎng)速度還在不斷加快[1]，這些信息既包含人的，也包含各種物的。國(guó)際數(shù)據(jù)公司(IDC)報(bào)告[2]稱，2011年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量為1.8 ZB(1 ZB≈1021B)，在短短5年間增長(zhǎng)了近9倍，而且預(yù)計(jì)這一數(shù)字將每2年翻一番，而且這個(gè)速度在2020年之前會(huì)繼續(xù)保持下去，人類真正進(jìn)入了一個(gè)數(shù)據(jù)的世界。大數(shù)據(jù)這一術(shù)語(yǔ)正是產(chǎn)生在全球數(shù)據(jù)爆炸增長(zhǎng)的背景下，用來(lái)形容龐大的數(shù)據(jù)集合。如今，工業(yè)界、學(xué)術(shù)界甚至政府部門都對(duì)大數(shù)據(jù)產(chǎn)生了濃厚的興趣。

1大數(shù)據(jù)的概念與特征

大數(shù)據(jù)是一個(gè)涵蓋多種技術(shù)的概念，是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，無(wú)法使用傳統(tǒng)數(shù)據(jù)工具進(jìn)行采集、處理、分析和管理的數(shù)據(jù)集，既包括傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，也包括文本、 圖像、視頻和音頻等非結(jié)構(gòu)化數(shù)據(jù)。一般意義上，大數(shù)據(jù)是指無(wú)法在有限時(shí)間內(nèi)用傳統(tǒng)IT技術(shù)和軟硬件工具對(duì)其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合。

大數(shù)據(jù)具有數(shù)據(jù)體量巨大(Volume)、數(shù)據(jù)類型多(Variety)、數(shù)據(jù)流動(dòng)快(Velocity)和數(shù)據(jù)潛在價(jià)值大(Value)等“4V”特征。大數(shù)據(jù)的“大”主要體現(xiàn)在兩個(gè)方面：一是數(shù)據(jù)集“大” 到一定程度，可全面表現(xiàn)數(shù)據(jù)所描述的對(duì)象的特征或某種規(guī)律；二是數(shù)據(jù)的規(guī)模和復(fù)雜程度“大”到傳統(tǒng)數(shù)據(jù)工具無(wú)法處理分析。大數(shù)據(jù)除了數(shù)據(jù)量龐大外，大數(shù)據(jù)還有一些其他的特征，這些特征決定了大數(shù)據(jù)與“海量數(shù)據(jù)”和“非常大的數(shù)據(jù)”這些概念之間的不同。

2大數(shù)據(jù)平臺(tái)介紹

大數(shù)據(jù)平臺(tái)中應(yīng)用最為廣泛的是Hadoop。Hadoop是由Apache基金會(huì)開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，是一個(gè)處理大規(guī)模數(shù)據(jù)的軟件平臺(tái), 如圖1所示。

圖1　Hadoop組件框架

圖1中，F(xiàn)lume和Sqoop分別是做數(shù)據(jù)采集，HDFS、HBase、Hive則是分布式數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)倉(cāng)庫(kù)，MapReduce、Spark、Tez分別做離線、在線、流程計(jì)算，Mahout主要是做數(shù)據(jù)挖掘。

Hadoop具有海量存儲(chǔ)(能夠處理PB 級(jí)別的數(shù)據(jù))、成本低、高效率和可靠性等特點(diǎn)[3]，用戶可以在不了解分布式底層細(xì)節(jié)的情況下開(kāi)發(fā)分布式程序,主要包括2個(gè)核心功能：HDFS (Hadoop Distributed File System)和MapReduce。HDFS是分布式文件系統(tǒng)的簡(jiǎn)稱，有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上；而且它提供高吞吐量來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。概念“Map(映射)”和“Reduce(歸約)”的主要思想都是從函數(shù)式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。Hadoop極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。 當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)映射函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的歸約函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算功能。

開(kāi)源技術(shù)Hadoop可以提供相對(duì)廉價(jià)的分布式的存儲(chǔ)系統(tǒng)，通過(guò)MadReduce的技術(shù)，進(jìn)行并發(fā)、高效能的計(jì)算。大數(shù)據(jù)引擎基本上完成是存儲(chǔ)和計(jì)算，但真正的存儲(chǔ)計(jì)算結(jié)果還要與傳統(tǒng)的業(yè)務(wù)系統(tǒng)和其他應(yīng)用來(lái)使用。它主要有以下幾個(gè)優(yōu)點(diǎn)。

a. 高可靠性，Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。

b. 高擴(kuò)展性，Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。

c. 高效性，Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非?？?。

d. 高容錯(cuò)性，Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。

e. 低成本，與一體機(jī)、商用數(shù)據(jù)倉(cāng)庫(kù)等數(shù)據(jù)集市相比，hadoop是開(kāi)源的，因此項(xiàng)目的軟件成本會(huì)大大降低。

3電力大數(shù)據(jù)及其應(yīng)用價(jià)值

電力企業(yè)正在建設(shè)以特高壓電網(wǎng)為骨干網(wǎng)架各級(jí)電網(wǎng)協(xié)調(diào)發(fā)展的智能電網(wǎng)，勢(shì)必會(huì)產(chǎn)生大量結(jié)構(gòu)多樣、來(lái)源復(fù)雜的數(shù)據(jù)，為大數(shù)據(jù)提供了充足數(shù)據(jù)源，因此近年來(lái)電力企業(yè)對(duì)大數(shù)據(jù)這一研究領(lǐng)域產(chǎn)生了濃厚的興趣。

通過(guò)對(duì)大數(shù)據(jù)技術(shù)的深入理解，結(jié)合電力企業(yè)數(shù)據(jù)現(xiàn)狀和業(yè)務(wù)需求，提出“電力大數(shù)據(jù)”的概念[4]：電力大數(shù)據(jù)是以業(yè)務(wù)趨勢(shì)預(yù)測(cè)、數(shù)據(jù)價(jià)值挖掘?yàn)槟繕?biāo)，利用數(shù)據(jù)集成管理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、分析挖掘等方面核心關(guān)鍵技術(shù)，實(shí)現(xiàn)面向典型業(yè)務(wù)場(chǎng)景的模式創(chuàng)新及應(yīng)用提升。

電力大數(shù)據(jù)主要分為生產(chǎn)類數(shù)據(jù)和管理類數(shù)據(jù)，涉及到發(fā)電、輸電、變電、配電、用電、調(diào)度等各環(huán)節(jié)， 其應(yīng)用的核心價(jià)值主要體現(xiàn)在以下2個(gè)方面。

a. 將數(shù)據(jù)視作人財(cái)物一樣的企業(yè)核心資產(chǎn)，通過(guò)復(fù)雜的關(guān)聯(lián)分析，讓數(shù)據(jù)創(chuàng)造新的價(jià)值，提升精細(xì)化管理水平，促進(jìn)管理方式和商業(yè)模式創(chuàng)新，典型應(yīng)用有配網(wǎng)精細(xì)化管理、防竊電預(yù)警、業(yè)務(wù)運(yùn)營(yíng)監(jiān)測(cè)和用電信息增值業(yè)務(wù)服務(wù)等。

b. 將大數(shù)據(jù)技術(shù)應(yīng)用于智能電網(wǎng)發(fā)、輸、變、配、調(diào)、用六大環(huán)節(jié)，通過(guò)技術(shù)變革，優(yōu)化電網(wǎng)生產(chǎn)方式，提升生產(chǎn)效率，推動(dòng)智能電網(wǎng)創(chuàng)新發(fā)展，典型應(yīng)用有電力負(fù)荷預(yù)測(cè)、新一代智能變電站、營(yíng)配調(diào)一體化和用電信息采集等。

另外，在電力公司“SG186”和“SG-ERP”工程建設(shè)過(guò)程中，電力信息化領(lǐng)域也蘊(yùn)含著海量數(shù)據(jù)，這些數(shù)據(jù)包括主機(jī)設(shè)備、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、終端設(shè)備及信息系統(tǒng)等在長(zhǎng)期運(yùn)行的各個(gè)環(huán)節(jié)累積的巨量日志信息，門禁、UPS、空調(diào)、電源、溫濕度等機(jī)房設(shè)備及視頻監(jiān)控系統(tǒng)產(chǎn)生的大量數(shù)據(jù)，某電力公司信息客服熱線2186產(chǎn)生的大量語(yǔ)音數(shù)據(jù)及信息通信客戶服務(wù)系統(tǒng)中的工單記錄信息等，面對(duì)每天還在不斷地產(chǎn)生的信息數(shù)據(jù)，需借助大數(shù)據(jù)平臺(tái)對(duì)這些數(shù)據(jù)進(jìn)行分析和處理，從而挖掘其中的價(jià)值[5]。

4大數(shù)據(jù)平臺(tái)的應(yīng)用

目前電力行業(yè)中正在逐步開(kāi)展大數(shù)據(jù)應(yīng)用技術(shù)，以下以統(tǒng)計(jì)公司信息通信客戶服務(wù)系統(tǒng)中工單情況為例展示大數(shù)據(jù)平臺(tái)的應(yīng)用過(guò)程，如圖2所示。統(tǒng)計(jì)問(wèn)題是最簡(jiǎn)單也是最能體現(xiàn)MapReduce思想的程序之一，其主要完成功能是：統(tǒng)計(jì)一系列文件中不同數(shù)據(jù)出現(xiàn)的次數(shù)。

圖2　信息通信客戶服務(wù)系統(tǒng)工單統(tǒng)計(jì)界面

在測(cè)試環(huán)境下(1臺(tái)主機(jī)，8臺(tái)從機(jī))，搭建了包含9個(gè)節(jié)點(diǎn)的小型集群，集群環(huán)境及界面如圖3所示。

圖3　集群界面

利用已搭建的集群對(duì)客戶服務(wù)中心中導(dǎo)出工單進(jìn)行統(tǒng)計(jì)，運(yùn)行結(jié)果如圖4所示。

從運(yùn)行結(jié)果可以看到，大數(shù)據(jù)平臺(tái)進(jìn)行Map的時(shí)間為4 586 ms，進(jìn)行Reduce的時(shí)間為4 535 ms。

經(jīng)統(tǒng)計(jì)發(fā)現(xiàn)，在導(dǎo)出的事件工單文件中出現(xiàn)頻率最高的前6類事件類型分別為ERP系統(tǒng)、計(jì)算機(jī)事件、生產(chǎn)管理系統(tǒng)、其他、協(xié)同辦公系統(tǒng)和目錄系統(tǒng)，結(jié)果如圖5所示。利用大數(shù)據(jù)平臺(tái)可以快速準(zhǔn)確的統(tǒng)計(jì)出文件中出現(xiàn)頻率最高的字段，并自動(dòng)生成結(jié)果展示。

圖4　運(yùn)行結(jié)果

圖5　出現(xiàn)頻率最高的前6類事件

5結(jié)束語(yǔ)

大數(shù)據(jù)技術(shù)是未來(lái)信息社會(huì)發(fā)展的一個(gè)大方向，大數(shù)據(jù)應(yīng)用是通過(guò)數(shù)據(jù)分析的方法從大數(shù)據(jù)中發(fā)掘潛在價(jià)值，具有重要的研究意義和實(shí)際價(jià)值。利用大數(shù)據(jù)平臺(tái)可以快速準(zhǔn)確的統(tǒng)計(jì)出所設(shè)條件的結(jié)果，并自動(dòng)生成結(jié)果展示。電力企業(yè)利用好大數(shù)據(jù)平臺(tái)這一數(shù)據(jù)分析和挖掘技術(shù)手段，充分地分析企業(yè)信息數(shù)據(jù)資源，從而可以為電力用戶提供更優(yōu)質(zhì)的服務(wù)。

參考文獻(xiàn):

[1]肖廣娣,凌云.大數(shù)據(jù)時(shí)代信息安全分析[J].電腦知識(shí)與技術(shù),2013(9). 7937-7938.

[2]Gantz J, Reinsel D. Extracting value from chaos[R]. IDC iView，2011：1-12.

[3]林清瀅.基于Hadoop 的云計(jì)算模型[J].現(xiàn)代計(jì)算機(jī),2010,7：114-115.

[4]唐瑞偉.電力大數(shù)據(jù)應(yīng)用現(xiàn)狀及發(fā)展前景[C].中國(guó)電力企業(yè)聯(lián)合會(huì)科技開(kāi)發(fā)服務(wù)中心，電力行業(yè)信息化優(yōu)秀論文集2014--2014年全國(guó)電力行業(yè)兩化融合推進(jìn)會(huì)暨全國(guó)電力企業(yè)信息化大會(huì)獲獎(jiǎng)?wù)撐模?014.

[5]許海清，黃敏.淺談電力大數(shù)據(jù)對(duì)信息運(yùn)行的影響[J].江蘇電機(jī)工程,2015(3):62-64.

本文責(zé)任編輯：王洪娟

Application of Big Data Platform in Electric Power Enterprise

Zhang Junyan1,Dong Na1,Peng Wei2,Guo Yuling1

(1.State Grid Hebei Electric Power Research Institute, Shijiazhuang 050021,China;2.North China Electric Power Univercity,Beijing 102206,China)

Abstract：Big data has the characteristics of Volume, Variety, Velocity and Value. By the method of data analysis, the applications of big data can mine many useful information. And this can provide auxiliary decision-making for users, which can make the value of big data come true. An overview was given about the current situation of big data from three aspects：the definition，feature，and the key technology of big data．Then，a summary of the application of the big data technology in electric power enterprise was described. Finally, taking the event order statistics in customer service system for example, this paper shows the application of big data platform.

Key words：big data;platform;Hadoop;statistics

中圖分類號(hào)：TP27；TP14

文獻(xiàn)標(biāo)志碼：B

文章編號(hào)：1001-9898(2016)01-0053-03

作者簡(jiǎn)介：張君艷(1985-)，女，工程師，主要從事電力信息化相關(guān)工作。

收稿日期：2015-11-06