高騫 徐超 楊俊義 張飛 顧姝姝

摘 要：21世紀以來智能電網迅猛發(fā)展，與此同時也帶來了數(shù)量龐大、種類繁多的海量數(shù)據(jù)，傳統(tǒng)的電力數(shù)據(jù)處理系統(tǒng)已經不能滿足當前的實際需求。云計算作為一種基于互聯(lián)網的服務模式，通過虛擬化技術，以其可異構計算資源、海量數(shù)據(jù)的存儲和管理能力、快速高效的計算分析能力、易于動態(tài)擴展等特點給電力大數(shù)據(jù)分析帶來了新的理念與思路?；诨A圖表、SVG和地圖的可視化方法則充分運用了電力大數(shù)據(jù)，借助這些新技術和新方法，電力數(shù)據(jù)分析與應用的平臺也在不斷發(fā)展和提高。

關鍵詞：云計算 數(shù)據(jù)分析 數(shù)據(jù)應用 電力大數(shù)據(jù)

電能自十八世紀發(fā)明以來，與我們的生活休戚相關。一方面電能提高了居民生活質量，另一方面對促進國家經濟發(fā)展、加強國防建設、推進社會和諧等都產生了深遠的影響。電能的應用程度也成為衡量一個國家發(fā)展水平的重要標準之一。在進入21世紀以來，電能進入了高速、全面、系統(tǒng)的發(fā)展時期，智能電網的概念應運而生，智能電網建設的熱潮在各個國家如火如荼地進行著。但隨著智能電網爆發(fā)式的增長，各類監(jiān)測數(shù)據(jù)不斷擴大，種類不斷增多，價值不斷提高，現(xiàn)有的傳統(tǒng)電力數(shù)據(jù)處理系統(tǒng)無法滿足這種需求。而云計算的出現(xiàn)，如同第三次革命浪潮一般，徹底改變了我們的生活方式和生產方式，也給電力數(shù)據(jù)的分析與處理帶來了全新的理念和思路。

在云計算的技術支撐之下，電網系統(tǒng)的數(shù)據(jù)收集、數(shù)據(jù)監(jiān)測、數(shù)據(jù)分析和數(shù)據(jù)應用都實現(xiàn)了大數(shù)據(jù)式的革新和升級，在這個全新的高性能的平臺上，能夠解決很多以往電力大數(shù)據(jù)發(fā)展遇到的問題，并開展全面的應用服務。

一、云計算在海量電力大數(shù)據(jù)分析上的優(yōu)勢

云計算是一種通過網絡來提供的虛擬化服務，因此它與互聯(lián)網是密不可分的。云計算可以充分利用各種硬件和軟件資源如存儲設備、網絡系統(tǒng)、服務器等，是一種可以為各種互聯(lián)網應用提供基礎架構服務、硬件服務、平臺服務、存儲服務和軟件服務的系統(tǒng)。在中國，云計算也受到了越來越多的重視?？傮w來說，云計算技術的優(yōu)勢非常明顯，結合本文主題，主要從以下幾個層面來研究：

（一）可異構計算資源

在傳統(tǒng)的數(shù)據(jù)平臺上，由于各類資源都需要有統(tǒng)一的接口，因此傳統(tǒng)數(shù)據(jù)分析具有同構性的技術特點，但召集資源信息異常繁雜，一致接口則是很能達到的一種狀態(tài)。而云計算可以采用一些虛擬化技術如計算、存儲等，將計算機服務器等不同組織上的零散、無序的資源匯總整合，從而為數(shù)據(jù)收集、分析和應用提供了全新的思路和技術支撐。

（二）海量數(shù)據(jù)的存儲和管理能力

我們知道電網中的數(shù)據(jù)數(shù)量大、種類大，因此處理電網大數(shù)據(jù)的平臺也必須達到相應的數(shù)據(jù)管理能力。傳統(tǒng)數(shù)據(jù)存儲容量有限，存儲狀態(tài)不夠穩(wěn)定，數(shù)據(jù)有丟失和排列失序的可能，想對這些數(shù)據(jù)進行管理和分析，實操起來難度非常大。而云計算則完全不同，在虛擬化技術的支持下，大量混亂無序的資源得到了分門別類的歸集和識別，狀態(tài)穩(wěn)定、獲取簡便、處理起來能夠實現(xiàn)智能化，受一些客觀因素的影響變少，根據(jù)不同的指令，實現(xiàn)不同的功能和服務模式。

（三）快速高效的計算分析能力

分析速度快慢，解讀效率高底是衡量數(shù)據(jù)挖掘與分析能力的重要指標。對于電力系統(tǒng)來說，海量的電力大數(shù)據(jù)需要通過復雜繁瑣的計算方法來進行有效評估，并產生預警機制。云計算智能化的并行計算模式，能夠最大程度的節(jié)約成本提高效率，從而實現(xiàn)電力大數(shù)據(jù)分析與應用的基本需求和高參數(shù)需求。

（四）易于動態(tài)擴展

傳統(tǒng)的電力數(shù)據(jù)分析平臺，只有通過購置更換更新的核心部件，才能夠提升相關數(shù)據(jù)分析能力，同時這種擴展也是有限制的，一旦升至上限就要完全更換設備。而云計算與傳統(tǒng)電力數(shù)據(jù)分析平臺則是完全不同的原理，并不受制于設備和硬件等條件的參數(shù)限制。從理論上來講，云計算是沒有空間限制的，可以實現(xiàn)無限擴展。這個擴展并不需要更換原有設備，只需要增加相關設備即可。動態(tài)擴展的成本本、效率高，實用價值大大提高。

通過以上對云計算技術的優(yōu)勢分析，我們可以看到傳統(tǒng)數(shù)據(jù)分析平臺已經不再能夠適應現(xiàn)代數(shù)據(jù)分析的需求了。隨著智能電網系統(tǒng)的全面發(fā)展與革新，大數(shù)據(jù)的收集、分析和應用的需求越來越大。要想解決在發(fā)展中遇到的問題，充分利用電力大數(shù)據(jù)來解決問題，就必須采用云計算技術。

二、電力大數(shù)據(jù)的主要分析技術

大數(shù)據(jù)分析技術種類較多，在此結合電力行業(yè)的實際，主要介紹三種電力大數(shù)據(jù)的分析技術。

（一）Hadoop

Hadoop是在電力大數(shù)據(jù)分析中較為常見的一種技術，如今已經發(fā)展成為一個大數(shù)據(jù)相關的龐大的軟件生態(tài)系統(tǒng)。Hadoop對待大型數(shù)據(jù)的處理方法，主要是采用編程模型來進行計算和分析，這種大數(shù)據(jù)式的處理框架效率高、速度高。Hadoop以單一服務器擴展至千百萬個機器，架構安全，可用度高，服務高效。其用戶在前期也不用花費太多的時間和金錢，就能夠從事數(shù)據(jù)開發(fā)和處理的相關工作。在電力大數(shù)據(jù)的分析實踐中，我們可以發(fā)現(xiàn)對Hadoop的應用是比較廣泛的，也主要是用于處理批量的離線數(shù)據(jù)。在對實時大數(shù)據(jù)的處理過程中，Hadoop則顯示出其不能快速響應的缺陷，因此需要其它數(shù)據(jù)分析技術給予補充。

（二）Spark

Spark技術相較前兩者，它是一個新技術新思路。Spark與第一種Hadoop有類似之處，開發(fā)者是UCBerkeleyAMPlab，其計算框架與MapReduce能用，基于MapReduce實現(xiàn)分布式計算?？梢赃@樣說，Hadoop所具有的優(yōu)點，Spark都具有。而Spark又具有前者所不具有的一些優(yōu)勢，即它將中間處理的結果保存在內存中以便于下次計算時能夠快速的讀取數(shù)據(jù)，減少了頻繁讀取HDFS帶來的I/O方面的開銷。因此，Spark在迭代計算方面的處理性能比MapReduce高出一個數(shù)量級。

（三）Storm

Storm自2011年8月成為正式開源以來，受到了很多用戶的喜愛和追捧。而在實踐過程中，Storm也確實表現(xiàn)出驚人的業(yè)務處理、數(shù)據(jù)流處理和服務支撐能力。Storm既表現(xiàn)出跟Hadoop一樣的穩(wěn)定的離線數(shù)據(jù)處理能力，也能夠輕松應對實時大數(shù)據(jù)的分析處理工作，可以達到一秒鐘處理百萬消息的速度。當今很多電子商務巨頭也采用Storm應用來處理實時數(shù)據(jù)變化。

總體來說，電力大數(shù)據(jù)平臺的研究系統(tǒng)化不強，研究類別也不多，相對來說對Hadoop的大數(shù)據(jù)的離線批處理研究的比較多，但仍然存在較多的問題。云計算技術正好能彌補傳統(tǒng)電力數(shù)據(jù)分析系統(tǒng)的缺陷。

三、電力大數(shù)據(jù)的可視化應用

電力大數(shù)據(jù)的獲取是為了更好的應用數(shù)據(jù)，讓枯燥的數(shù)據(jù)反映出問題和趨勢，并提供解決問題的方案。這也就是電力大數(shù)據(jù)可視化所要研究的問題。可視化研究的關鍵，是在龐大的數(shù)據(jù)海洋中發(fā)現(xiàn)規(guī)律、尋找聯(lián)系、歸整指標，并采用科學合理的方式進行直觀展示。當前電力大數(shù)據(jù)可視化的方法主要基礎圖表法、基于SVG的可視化法和基于地圖的可視化法。

（一）基礎圖表可視化方法

最基礎的可視化展示手段，就是通過圖形、表格的方式來展示數(shù)據(jù)。人們在獲取數(shù)據(jù)時，能夠在最快的時間內發(fā)現(xiàn)問題所在，并利用數(shù)據(jù)所體現(xiàn)出的規(guī)律特征來解決問題。在可視化系統(tǒng)的實現(xiàn)過程中，主要使用了表格、折線圖以及柱狀圖三種可視化展示方法。表格主要用于記錄詳細的數(shù)據(jù)，用戶可以通過查找來獲取數(shù)據(jù)資源。拆線圖主要應用于時間序列數(shù)據(jù)，描述在某個時間間隔下連續(xù)數(shù)據(jù)隨時間變化趨勢。而柱狀圖顧名思義采用的是通過柱體的長度，按照不同標準排列起來，來展示相關數(shù)值差異。

（二）基于SVG的可視化方法

SVG的文件主要通過顏色顯示的方式來代表不同的電力數(shù)據(jù)。采用這一方法必須掌握某區(qū)域內電力數(shù)據(jù)的基本情況，結合具體的指標參數(shù)，對各區(qū)域的地力數(shù)據(jù)進行顏色賦值，不同的顏色、深淺程度代表不同的電力數(shù)據(jù)情況。這樣一來，不同區(qū)域的電力數(shù)據(jù)差異一目了然。以中國地圖為例，如果需要了解在某一時間區(qū)間內不同省市的用電人數(shù)情況，則可以通過色塊的方式在地圖上有非常直觀的呈現(xiàn)。而如果你想調用某一具體數(shù)據(jù)，則可以通過SVG文件來實現(xiàn)控制功能，查看各類型數(shù)據(jù)資源都非常方便和穩(wěn)定。

（三）基于地圖的可視化

以用戶用電量為例，傳統(tǒng)數(shù)據(jù)顯示法就是直觀的統(tǒng)計數(shù)據(jù)，而基于地圖的可視化可以將數(shù)據(jù)引入到地圖中去，并結合色彩、圖形等個性化地展示不同地區(qū)的用電量數(shù)據(jù)特點，方便用戶直觀地看看到數(shù)據(jù)以及不同區(qū)域之間的數(shù)據(jù)對比。同時，基于地圖的可視化也可以做的十分精細，可以具體到某一個用戶甚至某一個用電設備。在數(shù)據(jù)統(tǒng)計時，也可以選取某一種類的用電設備，如空調，可以實現(xiàn)及時查看各類數(shù)據(jù)。目前主要會選擇高德地圖、百度地圖等地圖工具。

電力設備狀態(tài)的監(jiān)測分為數(shù)據(jù)采集、數(shù)據(jù)分析和狀態(tài)評估三個階段。隨著信息時代的不斷發(fā)展，電力數(shù)據(jù)的數(shù)量不斷提高，數(shù)據(jù)采集工作量很大。但最為核心的技術還是數(shù)據(jù)分析。云計算在當前數(shù)據(jù)資源的發(fā)展態(tài)勢下顯現(xiàn)了一定的優(yōu)勢，本文結合云計算技術，提出了基于云計算的海量電力數(shù)據(jù)分析平臺技術，并引入了三種可視化的方法，分別是基礎圖表可視化、SVG可視化以及地圖可視化。云計算技術在電力行業(yè)有著廣闊的發(fā)展前景，未來的研究中還需持續(xù)關注、不斷創(chuàng)新。

參考文獻：

[1]楊莉.用大數(shù)據(jù)助力互聯(lián)網金融高效監(jiān)管[J].人民論壇，2018（15）.

[2]熊里.基于云平臺的電力大數(shù)據(jù)多角度可視化分析與研究[D].華北電力大學，2017.

[3]劉燕.電力大數(shù)據(jù)可視化融合[D].華北電力大學，2017.

[4]馬曉丹.電力大數(shù)據(jù)平臺下數(shù)據(jù)分析與挖掘研究與應用[D].華北電力大學，2016.

[5]曾文靜.Storm在電力大數(shù)據(jù)分析平臺中的研究與應用[D].華北電力大學，2016.

[6]謝然.社交關系與大數(shù)據(jù)的結合，催生真正的互聯(lián)網與金融領導者[J].互聯(lián)網周刊，2015（1）：22—25.

[7]邵夢.大數(shù)據(jù)如何顛覆傳統(tǒng)金融？[J].徽商，2015（1）：68—68.

[8]孫藝新.電力大數(shù)據(jù)應用模式與前景分析[J].中國電力企業(yè)管理，2015（9）：22—24.

[9]毛羽豐.基于云計算的海量電力數(shù)據(jù)分析系統(tǒng)設計與實現(xiàn)[D].北京交通大學，2015.

[10]楊佳琦.互聯(lián)網金融模式及發(fā)展研究[J].電子商務，2014（4）：1—2.

〔本文系國家自然科學基金資助項目“基于agent與眾包數(shù)據(jù)獲取服務的企業(yè)決策支持關鍵方法研究”（項目編號：71471083）、國家自然科學基金資助項目“互聯(lián)網環(huán)境下信息產品與服務的多途徑價值創(chuàng)新關鍵支撐方法與建模研究”（項目編號：71771118）、江蘇省自然科學基金“基于眾包模式的數(shù)據(jù)獲取與決策支持關鍵方法與技術研究”（項目編號：BK20151388）研究成果〕

（高騫、徐超，國網江蘇省電力有限公司。楊俊義，國網江蘇省電力公司電力經濟技術研究院。張飛，國網江蘇省電力公司淮安供電公司。顧姝姝，南京大學商學院）