孟椿智+謝瑞浩

摘要：傳感器、物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的發(fā)展和改進(jìn)，有效地促進(jìn)了電力企業(yè)智能化、信息化和共享化，引入或研發(fā)了許多的自動(dòng)化系統(tǒng)，比如電力控制系統(tǒng)、變電站告警系統(tǒng)、電網(wǎng)監(jiān)控系統(tǒng)等，這些系統(tǒng)運(yùn)行積累了海量的數(shù)據(jù)資源，亟需引入更加先進(jìn)的Hadoop技術(shù)構(gòu)建數(shù)據(jù)中心，確保對(duì)電力企業(yè)數(shù)據(jù)的分布式、透明化、虛擬存儲(chǔ)和訪問(wèn)，進(jìn)一步提高系統(tǒng)處理速度。

關(guān)鍵詞：Hadoop；數(shù)據(jù)中心；電力企業(yè)；智能監(jiān)控

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）11-0048-01

1 引言

云計(jì)算、互聯(lián)網(wǎng)等技術(shù)的發(fā)展促進(jìn)了人們進(jìn)入到大數(shù)據(jù)時(shí)代，海量應(yīng)用軟件運(yùn)行積累了數(shù)以億計(jì)的數(shù)據(jù)資源，因此構(gòu)建一個(gè)強(qiáng)大的數(shù)據(jù)中心，可以為用戶提供一個(gè)高速并發(fā)的處理機(jī)制，實(shí)現(xiàn)數(shù)據(jù)的操作和服務(wù)。隨著電力行業(yè)的發(fā)展和改進(jìn)，實(shí)時(shí)監(jiān)控、應(yīng)急通信、電力故障及維護(hù)等領(lǐng)域引入了許多的信息化、智能化軟件，這些軟件可以為電網(wǎng)設(shè)備數(shù)據(jù)采集、通信傳輸、決策服務(wù)等提供強(qiáng)大的支撐，具有重要的作用和意義[1]。隨著人工智能的發(fā)展和普及，電力企業(yè)將會(huì)引入虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、機(jī)器學(xué)習(xí)、模式識(shí)別等技術(shù)，構(gòu)建一個(gè)基于移動(dòng)終端、平板電腦、服務(wù)器的先進(jìn)大數(shù)據(jù)中心，組成一個(gè)強(qiáng)大的智能電網(wǎng)，提高電力企業(yè)的智能化水平，保證電力網(wǎng)絡(luò)的正常運(yùn)行[2]。

本文詳細(xì)地描述了電力企業(yè)數(shù)據(jù)中心功能，提出利用Hadoop技術(shù)實(shí)現(xiàn)數(shù)據(jù)中心操作，分析了Hadoop分布式存儲(chǔ)技術(shù)，利用MapReduce構(gòu)建一個(gè)計(jì)算引擎，能夠?qū)崿F(xiàn)對(duì)電力數(shù)據(jù)的分布式管理，整合了硬件基礎(chǔ)平臺(tái)，融合分布式存儲(chǔ)資源，實(shí)現(xiàn)信息操作和服務(wù)。

2 電力企業(yè)數(shù)據(jù)中心功能及應(yīng)用分析

電力企業(yè)經(jīng)過(guò)多年的發(fā)展，構(gòu)建一個(gè)強(qiáng)大的數(shù)據(jù)中心，能夠?qū)崿F(xiàn)數(shù)據(jù)采集抽取、清洗轉(zhuǎn)換、加載存儲(chǔ)、數(shù)據(jù)應(yīng)用，能夠?qū)崿F(xiàn)數(shù)據(jù)可視化顯示、標(biāo)準(zhǔn)化體系建設(shè)，實(shí)現(xiàn)信息加工和服務(wù)。數(shù)據(jù)采集抽取功能可以從電力設(shè)備、電力線路等一系列軟硬件系統(tǒng)中獲取數(shù)據(jù)資源，采集到設(shè)備運(yùn)行記錄、電力事故記錄、供電信息以及系統(tǒng)運(yùn)行日志信息，將這些信息保存到數(shù)據(jù)倉(cāng)庫(kù)。清洗轉(zhuǎn)換可以針對(duì)采集到的電網(wǎng)數(shù)據(jù)進(jìn)行分析，利用歸一化方法實(shí)現(xiàn)對(duì)數(shù)據(jù)的清洗轉(zhuǎn)換，刪除許多的噪聲數(shù)據(jù)或無(wú)用數(shù)據(jù)[3]。加載存儲(chǔ)由兩個(gè)關(guān)鍵程序組成，數(shù)據(jù)中心設(shè)計(jì)和建設(shè)完成之后，可以將數(shù)據(jù)裝載到中心存儲(chǔ)器，數(shù)據(jù)加載存儲(chǔ)需要大量的時(shí)間進(jìn)行裝載操作，能夠?yàn)橛脩籼峁┮粋€(gè)強(qiáng)大的數(shù)據(jù)加載引擎，按照變動(dòng)的操作實(shí)現(xiàn)信息加工。數(shù)據(jù)應(yīng)用可以針對(duì)中心的數(shù)據(jù)進(jìn)行加工，并且為用戶提供一個(gè)報(bào)表撰寫、存儲(chǔ)加工、分析應(yīng)用和直接查詢的操作，將這些操作流程通過(guò)后臺(tái)進(jìn)行分析，具體的數(shù)據(jù)應(yīng)用包括后面才兩個(gè)非常關(guān)鍵的環(huán)節(jié)，首先數(shù)據(jù)需要以維度的模式展現(xiàn)出來(lái)，實(shí)現(xiàn)信息加工、存儲(chǔ)和訪問(wèn)；其次，數(shù)據(jù)中心需要涵蓋原子數(shù)據(jù)，利用原子數(shù)據(jù)構(gòu)建強(qiáng)大的操作流程，否則就不會(huì)造成數(shù)據(jù)的維護(hù)操作[4]。

在建設(shè)數(shù)據(jù)中心的過(guò)程中，為了保證電網(wǎng)數(shù)據(jù)的可用性，還要引入更多的標(biāo)準(zhǔn)體系，以便能夠規(guī)范數(shù)據(jù)接入標(biāo)準(zhǔn)，保證應(yīng)用數(shù)據(jù)是規(guī)范的，同時(shí)還可以實(shí)現(xiàn)數(shù)據(jù)可視化，這樣就可以保證數(shù)據(jù)的操作友好性，能夠更好地維護(hù)信息系統(tǒng)的功能。

在建設(shè)完畢之后，數(shù)據(jù)中心可以為用戶提供強(qiáng)大的操作服務(wù)，比如實(shí)現(xiàn)停電統(tǒng)計(jì)分析、綜合管理統(tǒng)計(jì)應(yīng)用等。停電統(tǒng)計(jì)分析可以根據(jù)用戶的需求評(píng)估用電量，以便能夠科學(xué)指導(dǎo)電力企業(yè)供電、停電，保證居民生活、企業(yè)運(yùn)轉(zhuǎn)的正常性。綜合管理統(tǒng)計(jì)應(yīng)用可以從數(shù)據(jù)中心獲取電力項(xiàng)目投資情況、項(xiàng)目實(shí)施進(jìn)度等，及時(shí)地將這些信息上報(bào)給領(lǐng)導(dǎo)，方便電力企業(yè)的正常決策。

3 電力企業(yè)數(shù)據(jù)中心建設(shè)關(guān)鍵技術(shù)

電力企業(yè)數(shù)據(jù)中心建設(shè)引入了Hadoop技術(shù)，該技術(shù)在數(shù)據(jù)提取、清洗轉(zhuǎn)換、數(shù)據(jù)加載方面具有很多的優(yōu)勢(shì)。Hadoop與當(dāng)前的云計(jì)算技術(shù)相結(jié)合，組成了一個(gè)強(qiáng)大的分布式層次化架構(gòu)，能夠?yàn)橛脩籼峁┬蜗蠡⒅庇^化、共享化和數(shù)字化的應(yīng)用軟件，同時(shí)還可以為大數(shù)據(jù)處理引擎提供存儲(chǔ)加載服務(wù)，實(shí)現(xiàn)對(duì)電網(wǎng)信息的精確探測(cè)和位置標(biāo)識(shí)。Hadoop引入了先進(jìn)的MapReduce技術(shù)，該技術(shù)可以將任何一個(gè)數(shù)據(jù)處理任務(wù)打破，并且可以將每一個(gè)任務(wù)發(fā)送到多個(gè)節(jié)點(diǎn)上，然后可以將單個(gè)數(shù)據(jù)集成加載到數(shù)據(jù)倉(cāng)庫(kù)中，實(shí)現(xiàn)信息加工和服務(wù)。圖1為電力數(shù)據(jù)中心Hadoop數(shù)據(jù)處理流程。

在電力企業(yè)數(shù)據(jù)中心建設(shè)中Hadoop的目標(biāo)定位是高可靠性、高可拓展性、高容錯(cuò)性、高效性，利用這些優(yōu)勢(shì)設(shè)計(jì)一個(gè)強(qiáng)大的數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)對(duì)基礎(chǔ)數(shù)據(jù)的采集清洗和轉(zhuǎn)換，同時(shí)可以為每一個(gè)用戶提供操作服務(wù)。Hadoop在電力企業(yè)數(shù)據(jù)中心建設(shè)中采用的關(guān)鍵技術(shù)包括很多，最底部是Hadoop Distributed File System（HDFS），其可以實(shí)現(xiàn)電力數(shù)據(jù)中心Hadoop集群中存儲(chǔ)節(jié)點(diǎn)的文件管理，能夠支持MapReduce的分布式訪問(wèn)功能，HDFS就是一個(gè)傳統(tǒng)的分級(jí)文件系統(tǒng)，該系統(tǒng)可以創(chuàng)建、刪除、移動(dòng)或重命名文件，包含了很多的特定節(jié)點(diǎn)NameNode，這些節(jié)點(diǎn)可以將許多的存儲(chǔ)文件進(jìn)行分塊，將每一塊復(fù)制到多個(gè)計(jì)算機(jī)上，與傳統(tǒng)的RAID架構(gòu)大不相同，負(fù)責(zé)管理文件系統(tǒng)資源的訪問(wèn)和操作。另外，NameNode可以決定是否把數(shù)據(jù)中心的文件映射到DataNode上。另外，NameNode利用塊標(biāo)識(shí)實(shí)現(xiàn)DataNode的調(diào)取和響應(yīng)，以便能夠?qū)ataNode中的實(shí)例信息組織起來(lái)，通過(guò)交換機(jī)將所有的信息集成在一起，響應(yīng)HDFS客戶機(jī)的讀寫請(qǐng)求，還能夠執(zhí)行NameNode的創(chuàng)建、查詢、復(fù)制和刪除操作。

4 結(jié)語(yǔ)

電力數(shù)據(jù)中心引入Hadoop技術(shù)，該技術(shù)能夠強(qiáng)化數(shù)據(jù)中心的分布式、快速化響應(yīng)操作，同時(shí)可以支持?jǐn)?shù)以百萬(wàn)級(jí)的用戶同時(shí)訪問(wèn)中心數(shù)據(jù)，保證電力數(shù)據(jù)中心的安全、可靠、高速運(yùn)行。

參考文獻(xiàn)

[1]雷蕾，李景文，宮大鵬，等.基于Hadoop的OSS域數(shù)據(jù)建模與采集方法研究[J].電信科學(xué)，2015，31（1）：128-138.

[2]羅賢縉，岳黎明，甄成剛.風(fēng)電場(chǎng)數(shù)據(jù)中心Hadoop云平臺(tái)作業(yè)調(diào)度算法研究[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（15）：266-270.

[3]劉青，付印金，倪桂強(qiáng)，等.CCF BigData 2015+237基于Hadoop平臺(tái)的分布式重刪存儲(chǔ)系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2015.

[4]趙會(huì)群，黃傳聰.一種基于Hadoop的EPC物聯(lián)網(wǎng)數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與科學(xué)，2015，37（4）：657-662.

Abstract：Sensor， networking， cloud computing technology development and improvement， effectively promote the electric power enterprise intelligence and information and sharing， introduced or developed many automation systems， such as power control system， alarm system， power grid substation monitoring system， the system has accumulated vast amounts of data resources， to construction of a data center to introduce more advanced Hadoop technology， improve the electric power enterprise， distributed data transparency， virtual storage and access， to further improve the processing speed of the system.

Key Words：Hadoop； data center； power enterprise； intelligent monitoring