摘 要：電力系統(tǒng)發(fā)展中，電力大數(shù)據(jù)與云計(jì)算技術(shù)之間的相互融合，已經(jīng)成為其重要發(fā)展方向，為此可對(duì)基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)及應(yīng)用加以探討。本文以梅州供電局為例，首先對(duì)云計(jì)算技術(shù)及電力大數(shù)據(jù)進(jìn)行全面分析與有效闡述，進(jìn)而探討云計(jì)算技術(shù)在電力大數(shù)據(jù)分析技術(shù)中的有效應(yīng)用策略。

關(guān)鍵詞：云計(jì)算；電力大數(shù)據(jù)；數(shù)據(jù)資源管理平臺(tái)

中圖分類(lèi)號(hào)：TM769 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004-7344（2018）35-0110-02

前 言

供電企業(yè)構(gòu)建全面化的數(shù)據(jù)資源管理平臺(tái)，強(qiáng)化數(shù)據(jù)分析能力，以滿(mǎn)足供電企業(yè)的實(shí)際需求，通過(guò)整合并調(diào)取各種業(yè)務(wù)系統(tǒng)數(shù)據(jù)，按照相應(yīng)數(shù)據(jù)資源管理平臺(tái)模型設(shè)計(jì)要求，實(shí)現(xiàn)數(shù)據(jù)信息的有效組織與存儲(chǔ)工作，支撐供電企業(yè)的業(yè)務(wù)開(kāi)發(fā)及數(shù)據(jù)應(yīng)用，為供電企業(yè)管理及決策提供數(shù)據(jù)基礎(chǔ)。本次研究分析，旨在推動(dòng)數(shù)據(jù)資源管理平臺(tái)的搭建，滿(mǎn)足單位本地化業(yè)務(wù)數(shù)據(jù)應(yīng)用的需求。

1 云計(jì)算及電力大數(shù)據(jù)的相關(guān)論述

1.1 云計(jì)算技術(shù)

云計(jì)算技術(shù)是一種對(duì)于數(shù)據(jù)信息的處理系統(tǒng)，可對(duì)數(shù)據(jù)信息進(jìn)行云存儲(chǔ)，并通過(guò)云計(jì)算對(duì)數(shù)據(jù)進(jìn)行大規(guī)模分布式計(jì)算分析，該技術(shù)的應(yīng)用，可滿(mǎn)足用戶(hù)對(duì)于海量數(shù)據(jù)的處理與計(jì)算能力，可向用戶(hù)提供虛擬化與動(dòng)態(tài)化的信息數(shù)據(jù)服務(wù)，實(shí)現(xiàn)資源的動(dòng)態(tài)調(diào)配，基于用戶(hù)實(shí)際需求提供服務(wù)，以有效避免資源的不必要消耗與浪費(fèi)，提高企業(yè)的競(jìng)爭(zhēng)力。云計(jì)算技術(shù)的應(yīng)用，可滿(mǎn)足信息化時(shí)代對(duì)于資源利用的橫向拓展與負(fù)載均衡方面的要求，以云計(jì)算技術(shù)為支撐，為數(shù)據(jù)中心增加節(jié)點(diǎn)，向新的節(jié)點(diǎn)進(jìn)行負(fù)載遷移，采取有效措施實(shí)現(xiàn)節(jié)點(diǎn)負(fù)載均衡，以強(qiáng)化系統(tǒng)業(yè)務(wù)能力，并通過(guò)大規(guī)模的數(shù)據(jù)節(jié)點(diǎn)，通過(guò)高效化的信息網(wǎng)絡(luò)，向用戶(hù)提供計(jì)算及儲(chǔ)存工作所需數(shù)據(jù)。

1.2 電力大數(shù)據(jù)

電力大數(shù)據(jù)是基于智能電網(wǎng)，在電力網(wǎng)絡(luò)運(yùn)行GIS系統(tǒng)、營(yíng)銷(xiāo)管理系統(tǒng)、計(jì)量自動(dòng)化系統(tǒng)、配網(wǎng)自動(dòng)化主站系統(tǒng)等業(yè)務(wù)系統(tǒng)所產(chǎn)生的數(shù)據(jù)信息，均利用電力大數(shù)據(jù)進(jìn)行統(tǒng)一管理。同時(shí)，供電單位的業(yè)務(wù)開(kāi)展涵蓋了輸電、變電、配電、供電等各個(gè)環(huán)節(jié)，隨著電力系統(tǒng)的不斷運(yùn)行，職能系統(tǒng)應(yīng)用的日益深入，供電單位信息系統(tǒng)中累積大量歷史數(shù)據(jù)，共同成為供電單位信息數(shù)據(jù)的重要資源。考慮到數(shù)據(jù)量的不斷增加，以及供電單位業(yè)務(wù)開(kāi)展的需要，應(yīng)強(qiáng)化對(duì)于數(shù)據(jù)信息的整合與應(yīng)用，對(duì)數(shù)據(jù)背后的業(yè)務(wù)發(fā)展趨勢(shì)及發(fā)展規(guī)律加以明確。同時(shí)，需要充分明確不同業(yè)務(wù)數(shù)據(jù)之間的關(guān)聯(lián)性，從全面化的角度進(jìn)行主題構(gòu)建，立足于數(shù)據(jù)主題進(jìn)行分析，充分利用數(shù)據(jù)信息對(duì)供電單位業(yè)務(wù)工作的開(kāi)展提供指導(dǎo)，對(duì)企業(yè)戰(zhàn)略規(guī)劃提供輔助[1]。

2 立足于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)及其應(yīng)用

2.1 大數(shù)據(jù)的預(yù)處理

電力行業(yè)發(fā)展的同時(shí)，電力供應(yīng)、設(shè)備運(yùn)行、故障數(shù)據(jù)、生產(chǎn)調(diào)度、市場(chǎng)營(yíng)銷(xiāo)等各個(gè)環(huán)節(jié)所產(chǎn)生的數(shù)據(jù)信息的規(guī)模不斷增大，隨著電力系統(tǒng)的不斷發(fā)展，這些數(shù)據(jù)信息的增速會(huì)越來(lái)越快，產(chǎn)生極大的數(shù)據(jù)量，加上各信息系統(tǒng)間數(shù)據(jù)不同源問(wèn)題，這就需要進(jìn)行高效及時(shí)的數(shù)據(jù)處理，以保證各系統(tǒng)的協(xié)同數(shù)據(jù)一致，提高數(shù)據(jù)質(zhì)量水平。可采用云計(jì)算技術(shù)參與電力大數(shù)據(jù)的預(yù)處理，對(duì)數(shù)據(jù)信息進(jìn)行清理、集成與轉(zhuǎn)換等操作。

同時(shí)，對(duì)電力生產(chǎn)及供應(yīng)過(guò)程中，各個(gè)環(huán)節(jié)的數(shù)據(jù)信息進(jìn)行融合與挖掘，便于及時(shí)明確電力能源生產(chǎn)及供應(yīng)中的薄弱環(huán)節(jié)，便于采取相應(yīng)的應(yīng)對(duì)與優(yōu)化措施。電力網(wǎng)絡(luò)的發(fā)展，還可基于大數(shù)據(jù)信息與指導(dǎo)，指導(dǎo)電力企業(yè)的運(yùn)行與發(fā)展規(guī)劃，指導(dǎo)電力生產(chǎn)企業(yè)的運(yùn)行與管理工作，基于大數(shù)據(jù)分析，強(qiáng)化對(duì)于企業(yè)的日常管理觀念及經(jīng)營(yíng)決策工作。電力大數(shù)據(jù)還可反映經(jīng)濟(jì)社會(huì)發(fā)展中對(duì)于能源資源的需求與消耗，電力大數(shù)據(jù)具備較高的時(shí)效性與精準(zhǔn)性，可用以分析經(jīng)濟(jì)發(fā)展，并對(duì)經(jīng)濟(jì)走勢(shì)進(jìn)行有效預(yù)測(cè)。

2.2 大數(shù)據(jù)分析系統(tǒng)

2.2.1 功能訴求

電力大數(shù)據(jù)的信息采集乃至數(shù)據(jù)分析階段，需要利用多個(gè)環(huán)節(jié)加以實(shí)現(xiàn)。電力大數(shù)據(jù)的采集，也需要較多傳感設(shè)備與智能電表進(jìn)行數(shù)據(jù)采集，在數(shù)據(jù)采集中，需要按照頻率進(jìn)行周期性采集，以信息通訊渠道向數(shù)據(jù)中心進(jìn)行信息傳遞，存于海量準(zhǔn)實(shí)時(shí)平臺(tái)。海量準(zhǔn)實(shí)時(shí)平臺(tái)定期向數(shù)據(jù)資源管理平臺(tái)回流采集數(shù)據(jù)信息。在采集數(shù)據(jù)信息的過(guò)程中，需要進(jìn)行信息的轉(zhuǎn)譯與解析。為避免大面積、大范圍的云存儲(chǔ)系統(tǒng)訪問(wèn)情況，在完成數(shù)據(jù)采集之后，將數(shù)據(jù)信息首先置于緩沖池，便于對(duì)數(shù)據(jù)信息進(jìn)行預(yù)處理。

除了定期采集數(shù)據(jù)之外，設(shè)備設(shè)施及電力系統(tǒng)運(yùn)行中所形成的靜態(tài)信息由省公司數(shù)據(jù)倉(cāng)庫(kù)定期回流至數(shù)據(jù)資源管理平臺(tái)，可形成檔案信息庫(kù)，在關(guān)系數(shù)據(jù)庫(kù)中加以保存，并在云存儲(chǔ)系統(tǒng)中得以復(fù)制。更新檔案數(shù)據(jù)庫(kù)時(shí)，應(yīng)當(dāng)在云存儲(chǔ)系統(tǒng)中進(jìn)行同步更新，為數(shù)據(jù)信息的計(jì)算結(jié)果精準(zhǔn)性提供保障。在訪問(wèn)云存儲(chǔ)系統(tǒng)時(shí)，可在并行計(jì)算環(huán)境下進(jìn)行，以業(yè)務(wù)邏輯為根基，對(duì)數(shù)據(jù)信息進(jìn)行復(fù)雜分析與有效計(jì)算，在云存儲(chǔ)系統(tǒng)中錄入計(jì)算結(jié)果，以滿(mǎn)足數(shù)據(jù)信息在線(xiàn)查詢(xún)與在線(xiàn)檢索的需要[2]。

2.2.2 功能模塊

（1）HDFS，該系統(tǒng)模塊為數(shù)據(jù)資源管理平臺(tái)的核心模塊，在電力大數(shù)據(jù)領(lǐng)域中的應(yīng)用，可實(shí)現(xiàn)對(duì)于大數(shù)據(jù)的長(zhǎng)時(shí)間存儲(chǔ)。HDFS涵蓋多個(gè)數(shù)據(jù)服務(wù)器，被劃分為若干數(shù)據(jù)塊，在不同的數(shù)據(jù)服務(wù)器中均有分布。不同的數(shù)據(jù)塊都包含若干副本，在相應(yīng)數(shù)據(jù)節(jié)點(diǎn)上分布，若出現(xiàn)副本無(wú)法訪問(wèn)的現(xiàn)象，則系統(tǒng)會(huì)自行創(chuàng)建新的副本，為系統(tǒng)運(yùn)行的均衡性提供保障。

（2）Hadoop，該模塊基于Map-Reduce并行編程框架，進(jìn)行框架開(kāi)源處理打造的功能模塊。Map-Reduce包括Map及Reduce兩種函數(shù)，前者當(dāng)輸入數(shù)據(jù)對(duì)轉(zhuǎn)換時(shí)，可生成中間結(jié)果數(shù)據(jù)對(duì)；后者可對(duì)key相同一組的value加以處理，確定處理結(jié)果，將其錄入HDFS系統(tǒng)中。

（3）Hive，該模塊以Hadoop平臺(tái)為基礎(chǔ)，可實(shí)現(xiàn)對(duì)于電力大數(shù)據(jù)的有效分析與數(shù)據(jù)源核算，該模塊具備HiveQL查詢(xún)語(yǔ)言，可基于該接口進(jìn)行系統(tǒng)查詢(xún)。同時(shí)，HQL查詢(xún)具備一組Map-Reduce程序，整合數(shù)據(jù)信息，構(gòu)成表格，并在HDFS中進(jìn)行存儲(chǔ)。除此之外，以云計(jì)算為基礎(chǔ)的數(shù)據(jù)資源管理平臺(tái)的搭建，還包括監(jiān)控工具及運(yùn)行工具，前者用于對(duì)系統(tǒng)狀態(tài)進(jìn)行監(jiān)控，后者用于對(duì)資源使用及系統(tǒng)調(diào)度加以運(yùn)行。

2.2.3 關(guān)鍵技術(shù)

云計(jì)算基礎(chǔ)上的大數(shù)據(jù)分析技術(shù)在搭建數(shù)據(jù)資源管理平臺(tái)中的實(shí)際應(yīng)用，應(yīng)充分體現(xiàn)在其關(guān)鍵技術(shù)的應(yīng)用方面，弱化電力大數(shù)據(jù)分析與應(yīng)用難度，優(yōu)化Hive的性能及應(yīng)用效果。為推出電力大數(shù)據(jù)信息系統(tǒng)的應(yīng)用價(jià)值，可從以下方面采取有效措施：①以網(wǎng)格文件為基礎(chǔ)的多維索引?？紤]到Hive并不十分支持多維索引，只具備整體表面掃描的功能，通過(guò)這種方式獲取相應(yīng)信息，就會(huì)導(dǎo)致較為嚴(yán)重的資源消耗，影響系統(tǒng)性能。針對(duì)這種問(wèn)題，可采取網(wǎng)格文件為基礎(chǔ)的多維索引技術(shù)，以強(qiáng)化多維區(qū)間查詢(xún)功能；②以查詢(xún)重寫(xiě)為基礎(chǔ)的自動(dòng)翻譯工具。Hive可采用SQL子集中的HQL為查詢(xún)語(yǔ)言，該查詢(xún)語(yǔ)言中的語(yǔ)法差異較為明顯，可采用以查詢(xún)重寫(xiě)技術(shù)為基礎(chǔ)的自動(dòng)翻譯工具QMapper，解析SQL語(yǔ)句，以實(shí)現(xiàn)查詢(xún)重寫(xiě)；③以數(shù)據(jù)更新為基礎(chǔ)的混合存儲(chǔ)模型，可采取混合存儲(chǔ)架構(gòu)，整合主表及附表，有效提高流式讀寫(xiě)功能實(shí)現(xiàn)的高效性[3]。

3 結(jié) 語(yǔ)

大數(shù)據(jù)環(huán)境下，電力系統(tǒng)運(yùn)行過(guò)程中所產(chǎn)生的電力大數(shù)據(jù)，可以采用云計(jì)算技術(shù)進(jìn)行充分利用，發(fā)揮電力大數(shù)據(jù)的重要作用與價(jià)值，為此，可首先利用云計(jì)算技術(shù)對(duì)電力大數(shù)據(jù)進(jìn)進(jìn)行預(yù)處理，進(jìn)而利用云計(jì)算技術(shù)，搭建數(shù)據(jù)資源管理平臺(tái)，以強(qiáng)化電力大數(shù)據(jù)與云計(jì)算技術(shù)的有效結(jié)合。

參考文獻(xiàn)

[1]吳秉奇.云計(jì)算環(huán)境下電力大數(shù)據(jù)的分析技術(shù)與應(yīng)用[J].淮南職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2018，18（03）：4～5.

[2]王向紅，陳瀟一.云計(jì)算與電力大數(shù)據(jù)技術(shù)的現(xiàn)狀及發(fā)展趨勢(shì)研究[J].陜西電力，2017，45（06）：70～72.

[3]吳凱峰，劉萬(wàn)濤，李彥虎，蘇伊鵬，肖 政，裴旭斌，虎嵩林.基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].中國(guó)電力，2015，48（02）：111～116+127.

收稿日期：2018-11-7

作者簡(jiǎn)介：丘 丹（1988-），女，工程師，大學(xué)本科，主要從事信息運(yùn)維工作。