高騫 徐超 楊俊義 張飛 顧姝姝

摘 要：21世紀(jì)以來(lái)智能電網(wǎng)迅猛發(fā)展，與此同時(shí)也帶來(lái)了數(shù)量龐大、種類(lèi)繁多的海量數(shù)據(jù)，傳統(tǒng)的電力數(shù)據(jù)處理系統(tǒng)已經(jīng)不能滿足當(dāng)前的實(shí)際需求。云計(jì)算作為一種基于互聯(lián)網(wǎng)的服務(wù)模式，通過(guò)虛擬化技術(shù)，以其可異構(gòu)計(jì)算資源、海量數(shù)據(jù)的存儲(chǔ)和管理能力、快速高效的計(jì)算分析能力、易于動(dòng)態(tài)擴(kuò)展等特點(diǎn)給電力大數(shù)據(jù)分析帶來(lái)了新的理念與思路?；诨A(chǔ)圖表、SVG和地圖的可視化方法則充分運(yùn)用了電力大數(shù)據(jù)，借助這些新技術(shù)和新方法，電力數(shù)據(jù)分析與應(yīng)用的平臺(tái)也在不斷發(fā)展和提高。

關(guān)鍵詞：云計(jì)算 數(shù)據(jù)分析 數(shù)據(jù)應(yīng)用 電力大數(shù)據(jù)

電能自十八世紀(jì)發(fā)明以來(lái)，與我們的生活休戚相關(guān)。一方面電能提高了居民生活質(zhì)量，另一方面對(duì)促進(jìn)國(guó)家經(jīng)濟(jì)發(fā)展、加強(qiáng)國(guó)防建設(shè)、推進(jìn)社會(huì)和諧等都產(chǎn)生了深遠(yuǎn)的影響。電能的應(yīng)用程度也成為衡量一個(gè)國(guó)家發(fā)展水平的重要標(biāo)準(zhǔn)之一。在進(jìn)入21世紀(jì)以來(lái)，電能進(jìn)入了高速、全面、系統(tǒng)的發(fā)展時(shí)期，智能電網(wǎng)的概念應(yīng)運(yùn)而生，智能電網(wǎng)建設(shè)的熱潮在各個(gè)國(guó)家如火如荼地進(jìn)行著。但隨著智能電網(wǎng)爆發(fā)式的增長(zhǎng)，各類(lèi)監(jiān)測(cè)數(shù)據(jù)不斷擴(kuò)大，種類(lèi)不斷增多，價(jià)值不斷提高，現(xiàn)有的傳統(tǒng)電力數(shù)據(jù)處理系統(tǒng)無(wú)法滿足這種需求。而云計(jì)算的出現(xiàn)，如同第三次革命浪潮一般，徹底改變了我們的生活方式和生產(chǎn)方式，也給電力數(shù)據(jù)的分析與處理帶來(lái)了全新的理念和思路。

在云計(jì)算的技術(shù)支撐之下，電網(wǎng)系統(tǒng)的數(shù)據(jù)收集、數(shù)據(jù)監(jiān)測(cè)、數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用都實(shí)現(xiàn)了大數(shù)據(jù)式的革新和升級(jí)，在這個(gè)全新的高性能的平臺(tái)上，能夠解決很多以往電力大數(shù)據(jù)發(fā)展遇到的問(wèn)題，并開(kāi)展全面的應(yīng)用服務(wù)。

一、云計(jì)算在海量電力大數(shù)據(jù)分析上的優(yōu)勢(shì)

云計(jì)算是一種通過(guò)網(wǎng)絡(luò)來(lái)提供的虛擬化服務(wù)，因此它與互聯(lián)網(wǎng)是密不可分的。云計(jì)算可以充分利用各種硬件和軟件資源如存儲(chǔ)設(shè)備、網(wǎng)絡(luò)系統(tǒng)、服務(wù)器等，是一種可以為各種互聯(lián)網(wǎng)應(yīng)用提供基礎(chǔ)架構(gòu)服務(wù)、硬件服務(wù)、平臺(tái)服務(wù)、存儲(chǔ)服務(wù)和軟件服務(wù)的系統(tǒng)。在中國(guó)，云計(jì)算也受到了越來(lái)越多的重視?？傮w來(lái)說(shuō)，云計(jì)算技術(shù)的優(yōu)勢(shì)非常明顯，結(jié)合本文主題，主要從以下幾個(gè)層面來(lái)研究：

（一）可異構(gòu)計(jì)算資源

在傳統(tǒng)的數(shù)據(jù)平臺(tái)上，由于各類(lèi)資源都需要有統(tǒng)一的接口，因此傳統(tǒng)數(shù)據(jù)分析具有同構(gòu)性的技術(shù)特點(diǎn)，但召集資源信息異常繁雜，一致接口則是很能達(dá)到的一種狀態(tài)。而云計(jì)算可以采用一些虛擬化技術(shù)如計(jì)算、存儲(chǔ)等，將計(jì)算機(jī)服務(wù)器等不同組織上的零散、無(wú)序的資源匯總整合，從而為數(shù)據(jù)收集、分析和應(yīng)用提供了全新的思路和技術(shù)支撐。

（二）海量數(shù)據(jù)的存儲(chǔ)和管理能力

我們知道電網(wǎng)中的數(shù)據(jù)數(shù)量大、種類(lèi)大，因此處理電網(wǎng)大數(shù)據(jù)的平臺(tái)也必須達(dá)到相應(yīng)的數(shù)據(jù)管理能力。傳統(tǒng)數(shù)據(jù)存儲(chǔ)容量有限，存儲(chǔ)狀態(tài)不夠穩(wěn)定，數(shù)據(jù)有丟失和排列失序的可能，想對(duì)這些數(shù)據(jù)進(jìn)行管理和分析，實(shí)操起來(lái)難度非常大。而云計(jì)算則完全不同，在虛擬化技術(shù)的支持下，大量混亂無(wú)序的資源得到了分門(mén)別類(lèi)的歸集和識(shí)別，狀態(tài)穩(wěn)定、獲取簡(jiǎn)便、處理起來(lái)能夠?qū)崿F(xiàn)智能化，受一些客觀因素的影響變少，根據(jù)不同的指令，實(shí)現(xiàn)不同的功能和服務(wù)模式。

（三）快速高效的計(jì)算分析能力

分析速度快慢，解讀效率高底是衡量數(shù)據(jù)挖掘與分析能力的重要指標(biāo)。對(duì)于電力系統(tǒng)來(lái)說(shuō)，海量的電力大數(shù)據(jù)需要通過(guò)復(fù)雜繁瑣的計(jì)算方法來(lái)進(jìn)行有效評(píng)估，并產(chǎn)生預(yù)警機(jī)制。云計(jì)算智能化的并行計(jì)算模式，能夠最大程度的節(jié)約成本提高效率，從而實(shí)現(xiàn)電力大數(shù)據(jù)分析與應(yīng)用的基本需求和高參數(shù)需求。

（四）易于動(dòng)態(tài)擴(kuò)展

傳統(tǒng)的電力數(shù)據(jù)分析平臺(tái)，只有通過(guò)購(gòu)置更換更新的核心部件，才能夠提升相關(guān)數(shù)據(jù)分析能力，同時(shí)這種擴(kuò)展也是有限制的，一旦升至上限就要完全更換設(shè)備。而云計(jì)算與傳統(tǒng)電力數(shù)據(jù)分析平臺(tái)則是完全不同的原理，并不受制于設(shè)備和硬件等條件的參數(shù)限制。從理論上來(lái)講，云計(jì)算是沒(méi)有空間限制的，可以實(shí)現(xiàn)無(wú)限擴(kuò)展。這個(gè)擴(kuò)展并不需要更換原有設(shè)備，只需要增加相關(guān)設(shè)備即可。動(dòng)態(tài)擴(kuò)展的成本本、效率高，實(shí)用價(jià)值大大提高。

通過(guò)以上對(duì)云計(jì)算技術(shù)的優(yōu)勢(shì)分析，我們可以看到傳統(tǒng)數(shù)據(jù)分析平臺(tái)已經(jīng)不再能夠適應(yīng)現(xiàn)代數(shù)據(jù)分析的需求了。隨著智能電網(wǎng)系統(tǒng)的全面發(fā)展與革新，大數(shù)據(jù)的收集、分析和應(yīng)用的需求越來(lái)越大。要想解決在發(fā)展中遇到的問(wèn)題，充分利用電力大數(shù)據(jù)來(lái)解決問(wèn)題，就必須采用云計(jì)算技術(shù)。

二、電力大數(shù)據(jù)的主要分析技術(shù)

大數(shù)據(jù)分析技術(shù)種類(lèi)較多，在此結(jié)合電力行業(yè)的實(shí)際，主要介紹三種電力大數(shù)據(jù)的分析技術(shù)。

（一）Hadoop

Hadoop是在電力大數(shù)據(jù)分析中較為常見(jiàn)的一種技術(shù)，如今已經(jīng)發(fā)展成為一個(gè)大數(shù)據(jù)相關(guān)的龐大的軟件生態(tài)系統(tǒng)。Hadoop對(duì)待大型數(shù)據(jù)的處理方法，主要是采用編程模型來(lái)進(jìn)行計(jì)算和分析，這種大數(shù)據(jù)式的處理框架效率高、速度高。Hadoop以單一服務(wù)器擴(kuò)展至千百萬(wàn)個(gè)機(jī)器，架構(gòu)安全，可用度高，服務(wù)高效。其用戶(hù)在前期也不用花費(fèi)太多的時(shí)間和金錢(qián)，就能夠從事數(shù)據(jù)開(kāi)發(fā)和處理的相關(guān)工作。在電力大數(shù)據(jù)的分析實(shí)踐中，我們可以發(fā)現(xiàn)對(duì)Hadoop的應(yīng)用是比較廣泛的，也主要是用于處理批量的離線數(shù)據(jù)。在對(duì)實(shí)時(shí)大數(shù)據(jù)的處理過(guò)程中，Hadoop則顯示出其不能快速響應(yīng)的缺陷，因此需要其它數(shù)據(jù)分析技術(shù)給予補(bǔ)充。

（二）Spark

Spark技術(shù)相較前兩者，它是一個(gè)新技術(shù)新思路。Spark與第一種Hadoop有類(lèi)似之處，開(kāi)發(fā)者是UCBerkeleyAMPlab，其計(jì)算框架與MapReduce能用，基于MapReduce實(shí)現(xiàn)分布式計(jì)算?？梢赃@樣說(shuō)，Hadoop所具有的優(yōu)點(diǎn)，Spark都具有。而Spark又具有前者所不具有的一些優(yōu)勢(shì)，即它將中間處理的結(jié)果保存在內(nèi)存中以便于下次計(jì)算時(shí)能夠快速的讀取數(shù)據(jù)，減少了頻繁讀取HDFS帶來(lái)的I/O方面的開(kāi)銷(xiāo)。因此，Spark在迭代計(jì)算方面的處理性能比MapReduce高出一個(gè)數(shù)量級(jí)。

（三）Storm

Storm自2011年8月成為正式開(kāi)源以來(lái)，受到了很多用戶(hù)的喜愛(ài)和追捧。而在實(shí)踐過(guò)程中，Storm也確實(shí)表現(xiàn)出驚人的業(yè)務(wù)處理、數(shù)據(jù)流處理和服務(wù)支撐能力。Storm既表現(xiàn)出跟Hadoop一樣的穩(wěn)定的離線數(shù)據(jù)處理能力，也能夠輕松應(yīng)對(duì)實(shí)時(shí)大數(shù)據(jù)的分析處理工作，可以達(dá)到一秒鐘處理百萬(wàn)消息的速度。當(dāng)今很多電子商務(wù)巨頭也采用Storm應(yīng)用來(lái)處理實(shí)時(shí)數(shù)據(jù)變化。

總體來(lái)說(shuō)，電力大數(shù)據(jù)平臺(tái)的研究系統(tǒng)化不強(qiáng)，研究類(lèi)別也不多，相對(duì)來(lái)說(shuō)對(duì)Hadoop的大數(shù)據(jù)的離線批處理研究的比較多，但仍然存在較多的問(wèn)題。云計(jì)算技術(shù)正好能彌補(bǔ)傳統(tǒng)電力數(shù)據(jù)分析系統(tǒng)的缺陷。

三、電力大數(shù)據(jù)的可視化應(yīng)用

電力大數(shù)據(jù)的獲取是為了更好的應(yīng)用數(shù)據(jù)，讓枯燥的數(shù)據(jù)反映出問(wèn)題和趨勢(shì)，并提供解決問(wèn)題的方案。這也就是電力大數(shù)據(jù)可視化所要研究的問(wèn)題?？梢暬芯康年P(guān)鍵，是在龐大的數(shù)據(jù)海洋中發(fā)現(xiàn)規(guī)律、尋找聯(lián)系、歸整指標(biāo)，并采用科學(xué)合理的方式進(jìn)行直觀展示。當(dāng)前電力大數(shù)據(jù)可視化的方法主要基礎(chǔ)圖表法、基于SVG的可視化法和基于地圖的可視化法。

（一）基礎(chǔ)圖表可視化方法

最基礎(chǔ)的可視化展示手段，就是通過(guò)圖形、表格的方式來(lái)展示數(shù)據(jù)。人們?cè)讷@取數(shù)據(jù)時(shí)，能夠在最快的時(shí)間內(nèi)發(fā)現(xiàn)問(wèn)題所在，并利用數(shù)據(jù)所體現(xiàn)出的規(guī)律特征來(lái)解決問(wèn)題。在可視化系統(tǒng)的實(shí)現(xiàn)過(guò)程中，主要使用了表格、折線圖以及柱狀圖三種可視化展示方法。表格主要用于記錄詳細(xì)的數(shù)據(jù)，用戶(hù)可以通過(guò)查找來(lái)獲取數(shù)據(jù)資源。拆線圖主要應(yīng)用于時(shí)間序列數(shù)據(jù)，描述在某個(gè)時(shí)間間隔下連續(xù)數(shù)據(jù)隨時(shí)間變化趨勢(shì)。而柱狀圖顧名思義采用的是通過(guò)柱體的長(zhǎng)度，按照不同標(biāo)準(zhǔn)排列起來(lái)，來(lái)展示相關(guān)數(shù)值差異。

（二）基于SVG的可視化方法

SVG的文件主要通過(guò)顏色顯示的方式來(lái)代表不同的電力數(shù)據(jù)。采用這一方法必須掌握某區(qū)域內(nèi)電力數(shù)據(jù)的基本情況，結(jié)合具體的指標(biāo)參數(shù)，對(duì)各區(qū)域的地力數(shù)據(jù)進(jìn)行顏色賦值，不同的顏色、深淺程度代表不同的電力數(shù)據(jù)情況。這樣一來(lái)，不同區(qū)域的電力數(shù)據(jù)差異一目了然。以中國(guó)地圖為例，如果需要了解在某一時(shí)間區(qū)間內(nèi)不同省市的用電人數(shù)情況，則可以通過(guò)色塊的方式在地圖上有非常直觀的呈現(xiàn)。而如果你想調(diào)用某一具體數(shù)據(jù)，則可以通過(guò)SVG文件來(lái)實(shí)現(xiàn)控制功能，查看各類(lèi)型數(shù)據(jù)資源都非常方便和穩(wěn)定。

（三）基于地圖的可視化

以用戶(hù)用電量為例，傳統(tǒng)數(shù)據(jù)顯示法就是直觀的統(tǒng)計(jì)數(shù)據(jù)，而基于地圖的可視化可以將數(shù)據(jù)引入到地圖中去，并結(jié)合色彩、圖形等個(gè)性化地展示不同地區(qū)的用電量數(shù)據(jù)特點(diǎn)，方便用戶(hù)直觀地看看到數(shù)據(jù)以及不同區(qū)域之間的數(shù)據(jù)對(duì)比。同時(shí)，基于地圖的可視化也可以做的十分精細(xì)，可以具體到某一個(gè)用戶(hù)甚至某一個(gè)用電設(shè)備。在數(shù)據(jù)統(tǒng)計(jì)時(shí)，也可以選取某一種類(lèi)的用電設(shè)備，如空調(diào)，可以實(shí)現(xiàn)及時(shí)查看各類(lèi)數(shù)據(jù)。目前主要會(huì)選擇高德地圖、百度地圖等地圖工具。

電力設(shè)備狀態(tài)的監(jiān)測(cè)分為數(shù)據(jù)采集、數(shù)據(jù)分析和狀態(tài)評(píng)估三個(gè)階段。隨著信息時(shí)代的不斷發(fā)展，電力數(shù)據(jù)的數(shù)量不斷提高，數(shù)據(jù)采集工作量很大。但最為核心的技術(shù)還是數(shù)據(jù)分析。云計(jì)算在當(dāng)前數(shù)據(jù)資源的發(fā)展態(tài)勢(shì)下顯現(xiàn)了一定的優(yōu)勢(shì)，本文結(jié)合云計(jì)算技術(shù)，提出了基于云計(jì)算的海量電力數(shù)據(jù)分析平臺(tái)技術(shù)，并引入了三種可視化的方法，分別是基礎(chǔ)圖表可視化、SVG可視化以及地圖可視化。云計(jì)算技術(shù)在電力行業(yè)有著廣闊的發(fā)展前景，未來(lái)的研究中還需持續(xù)關(guān)注、不斷創(chuàng)新。

參考文獻(xiàn)：

[1]楊莉.用大數(shù)據(jù)助力互聯(lián)網(wǎng)金融高效監(jiān)管[J].人民論壇，2018（15）.

[2]熊里.基于云平臺(tái)的電力大數(shù)據(jù)多角度可視化分析與研究[D].華北電力大學(xué)，2017.

[3]劉燕.電力大數(shù)據(jù)可視化融合[D].華北電力大學(xué)，2017.

[4]馬曉丹.電力大數(shù)據(jù)平臺(tái)下數(shù)據(jù)分析與挖掘研究與應(yīng)用[D].華北電力大學(xué)，2016.

[5]曾文靜.Storm在電力大數(shù)據(jù)分析平臺(tái)中的研究與應(yīng)用[D].華北電力大學(xué)，2016.

[6]謝然.社交關(guān)系與大數(shù)據(jù)的結(jié)合，催生真正的互聯(lián)網(wǎng)與金融領(lǐng)導(dǎo)者[J].互聯(lián)網(wǎng)周刊，2015（1）：22—25.

[7]邵夢(mèng).大數(shù)據(jù)如何顛覆傳統(tǒng)金融？[J].徽商，2015（1）：68—68.

[8]孫藝新.電力大數(shù)據(jù)應(yīng)用模式與前景分析[J].中國(guó)電力企業(yè)管理，2015（9）：22—24.

[9]毛羽豐.基于云計(jì)算的海量電力數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].北京交通大學(xué)，2015.

[10]楊佳琦.互聯(lián)網(wǎng)金融模式及發(fā)展研究[J].電子商務(wù)，2014（4）：1—2.

〔本文系國(guó)家自然科學(xué)基金資助項(xiàng)目“基于agent與眾包數(shù)據(jù)獲取服務(wù)的企業(yè)決策支持關(guān)鍵方法研究”（項(xiàng)目編號(hào)：71471083）、國(guó)家自然科學(xué)基金資助項(xiàng)目“互聯(lián)網(wǎng)環(huán)境下信息產(chǎn)品與服務(wù)的多途徑價(jià)值創(chuàng)新關(guān)鍵支撐方法與建模研究”（項(xiàng)目編號(hào)：71771118）、江蘇省自然科學(xué)基金“基于眾包模式的數(shù)據(jù)獲取與決策支持關(guān)鍵方法與技術(shù)研究”（項(xiàng)目編號(hào)：BK20151388）研究成果〕

（高騫、徐超，國(guó)網(wǎng)江蘇省電力有限公司。楊俊義，國(guó)網(wǎng)江蘇省電力公司電力經(jīng)濟(jì)技術(shù)研究院。張飛，國(guó)網(wǎng)江蘇省電力公司淮安供電公司。顧姝姝，南京大學(xué)商學(xué)院）