唐 安

（玉林供電局，廣西 玉林 537000）

Hadoop大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用構(gòu)想

唐 安

（玉林供電局，廣西 玉林 537000）

大數(shù)據(jù)時(shí)代即將來(lái)臨，如何借助大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)高度信息化的智能電網(wǎng)，是一項(xiàng)具有實(shí)際應(yīng)用價(jià)值的課題。本文介紹了國(guó)內(nèi)領(lǐng)先的大數(shù)據(jù)技術(shù)——Hadoop分布式計(jì)算平臺(tái)，并引用百度遷徙的成功案例闡述大數(shù)據(jù)在未來(lái)智能電網(wǎng)中的應(yīng)用構(gòu)想。

Hadoop；大數(shù)據(jù)；分布式計(jì)算；HDFS；MapReduce

1　大數(shù)據(jù)

大數(shù)據(jù)需要新處理模式才具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的核心是預(yù)測(cè)，它把數(shù)學(xué)算法應(yīng)用到海量數(shù)據(jù)上來(lái)預(yù)測(cè)事件發(fā)生的可能性。大數(shù)據(jù)同時(shí)意味著思維的變革：①小數(shù)據(jù)分析的是隨機(jī)樣本，而大數(shù)據(jù)分析的是全體數(shù)據(jù)，全面展示樣本無(wú)法表達(dá)的細(xì)節(jié)信息；②小數(shù)據(jù)分析追求精確性，而大數(shù)據(jù)分析具有混雜性，這意味著大數(shù)據(jù)的簡(jiǎn)單算法比采樣數(shù)據(jù)的復(fù)雜算法更有效；③小數(shù)據(jù)分析關(guān)注因果關(guān)系，而大數(shù)據(jù)分析更關(guān)注相關(guān)關(guān)系，通過(guò)分析事物之間的關(guān)聯(lián)性，來(lái)預(yù)測(cè)事件的發(fā)展趨勢(shì)。

2　Hadoop大數(shù)據(jù)平臺(tái)

Hadoop是Apache發(fā)布的開(kāi)源分布式計(jì)算平臺(tái)。受Google大數(shù)據(jù)論文的啟發(fā)，Doug Cutting用JAVA實(shí)現(xiàn)了以MapReduce和HDFS為核心的Hadoop，并將源代碼完全貢獻(xiàn)出來(lái)。Hadoop充分發(fā)揮集群的計(jì)算和存儲(chǔ)能力，快速完成海量數(shù)據(jù)的處理。Hadoop采用分布式存儲(chǔ)來(lái)提高讀寫(xiě)速度和擴(kuò)大存儲(chǔ)容量；采用MapReduce整合分布式文件系統(tǒng)上的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)高速處理；采用存儲(chǔ)冗余數(shù)據(jù)來(lái)保證數(shù)據(jù)的安全性。

2.1HDFS

HDFS是基于流模式訪問(wèn)和處理超大文件的需求而開(kāi)發(fā)的，它可以運(yùn)行于廉價(jià)的商用服務(wù)器上，HDFS的主要特點(diǎn)有以下3個(gè)方面。①處理超大文件：在實(shí)際應(yīng)用中，HDFS已經(jīng)能夠用來(lái)存儲(chǔ)管理PB級(jí)的數(shù)據(jù)了。②流式訪問(wèn)數(shù)據(jù)：請(qǐng)求讀取整個(gè)數(shù)據(jù)集要比讀取一條記錄更加高效。③運(yùn)行于廉價(jià)的商用機(jī)器集群上：HDFS對(duì)硬件要求較低，無(wú)需昂貴的高可用性機(jī)器。

HDFS體系結(jié)構(gòu)中有兩類(lèi)節(jié)點(diǎn)：NameNode和DataNode，NameNode負(fù)責(zé)管理集群中的執(zhí)行調(diào)度，DataNode是具體任務(wù)的執(zhí)行節(jié)點(diǎn)。當(dāng)執(zhí)行任務(wù)時(shí)，客戶端訪問(wèn)NameNode獲取文件數(shù)據(jù)信息，與DataNode進(jìn)行交互以訪問(wèn)整個(gè)文件系統(tǒng)。HDFS向用戶提供類(lèi)似POSIX的文件接口，開(kāi)發(fā)者在編程時(shí)無(wú)需考慮NameNode和DataNode的實(shí)現(xiàn)細(xì)節(jié)。

2.2MapReduce

MapReduce是Google公司的核心計(jì)算模型。在Hadoop中，用于執(zhí)行MapReduce任務(wù)的機(jī)器有兩種角色：JobTracker和TaskTracker，一個(gè)Hadoop集群中只有一個(gè)JobTracker，用于任務(wù)管理和調(diào)度。一般來(lái)說(shuō)，為了減輕網(wǎng)絡(luò)傳輸?shù)膲毫?，?shù)據(jù)存儲(chǔ)在哪個(gè)節(jié)點(diǎn)上，就由哪個(gè)節(jié)點(diǎn)進(jìn)行這部分?jǐn)?shù)據(jù)的計(jì)算。JobTracker監(jiān)控任務(wù)運(yùn)行情況，當(dāng)一個(gè)TaskTracker出現(xiàn)故障時(shí)，JobTracker會(huì)將其承擔(dān)的任務(wù)轉(zhuǎn)交到另一個(gè)空閑的TaskTracker重新運(yùn)行。TaskTracker用于執(zhí)行具體的工作。

3　大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用構(gòu)想

通過(guò)Hadoop大數(shù)據(jù)平臺(tái)，技術(shù)人員可實(shí)時(shí)觀察到全網(wǎng)范圍內(nèi)的電能流動(dòng)狀態(tài)、電能負(fù)載熱區(qū)、設(shè)備故障高發(fā)區(qū)和客戶集中區(qū)等數(shù)據(jù)，實(shí)現(xiàn)更加智能化的電網(wǎng)。具體包括以下4個(gè)方面。

3.1電網(wǎng)數(shù)據(jù)可視化

在未來(lái)智能電網(wǎng)中，通過(guò)大數(shù)據(jù)分析融合調(diào)度、配電、輸電、發(fā)電和用電客戶數(shù)據(jù)，實(shí)現(xiàn)實(shí)時(shí)和非實(shí)時(shí)數(shù)據(jù)的高度信息化集成，通過(guò)實(shí)時(shí)可視化運(yùn)算分析，全面展示完整和精細(xì)的電網(wǎng)運(yùn)行狀態(tài)圖，為管理層提供輔助決策支持和依據(jù)。

3.2電網(wǎng)負(fù)載趨勢(shì)預(yù)測(cè)

在未來(lái)智能電網(wǎng)中，通過(guò)大數(shù)據(jù)分析電網(wǎng)負(fù)載的歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)，展示全網(wǎng)實(shí)時(shí)負(fù)載狀態(tài)，預(yù)測(cè)電網(wǎng)負(fù)載變化趨勢(shì)，通過(guò)現(xiàn)代化管理技術(shù)的綜合應(yīng)用，提高設(shè)備的使用效率，降低電能損耗，使電網(wǎng)運(yùn)行更加經(jīng)濟(jì)和高效。

3.3設(shè)備故障趨勢(shì)預(yù)測(cè)

在未來(lái)智能電網(wǎng)中，通過(guò)大數(shù)據(jù)分析電網(wǎng)中部分故障設(shè)備的故障類(lèi)型、歷史狀態(tài)和運(yùn)行參數(shù)之間的相關(guān)性，預(yù)測(cè)電網(wǎng)故障發(fā)生的規(guī)律，評(píng)估電網(wǎng)運(yùn)行風(fēng)險(xiǎn)，開(kāi)展實(shí)時(shí)預(yù)警，提前做好設(shè)備巡檢和消缺工作，為電網(wǎng)安全穩(wěn)定運(yùn)行保駕護(hù)航。

3.4客戶電力需求預(yù)測(cè)

在未來(lái)智能電網(wǎng)中，通過(guò)大數(shù)據(jù)分析電網(wǎng)客戶的用電數(shù)據(jù)，預(yù)測(cè)區(qū)域用電和大客戶用電需求變化趨勢(shì)，針對(duì)客戶需求提前制訂高質(zhì)量的服務(wù)計(jì)劃，提升社會(huì)滿意度。

4　結(jié) 語(yǔ)

Hadoop充分發(fā)揮集群的計(jì)算和存儲(chǔ)能力，完成海量數(shù)據(jù)的實(shí)時(shí)處理。在未來(lái)的智能電網(wǎng)中，大數(shù)據(jù)分析可以應(yīng)用到電網(wǎng)運(yùn)行全景可視化、電網(wǎng)負(fù)載預(yù)測(cè)、設(shè)備故障趨勢(shì)預(yù)測(cè)和客戶需求趨勢(shì)預(yù)測(cè)等需求，充分挖掘海量數(shù)據(jù)的價(jià)值，為智能電網(wǎng)提供技術(shù)參考。

主要參考文獻(xiàn)

［1］［英］維克托·邁爾-舍恩伯格，肯尼思·庫(kù)克耶.大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革［M］.盛楊燕，周濤，譯.杭州：浙江人民出版社，2012.

10.3969/j.issn.1673 - 0194.2015.20.032

TP308；TP311.13

A

1673-0194（2015）20-0041-01

2015-09-07