史冀

摘要：工業(yè)和信息化部發(fā)布了《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016-2020年）》。參照該規(guī)劃指導思想、發(fā)展目標、重點任務、重大工程、保障措施等內(nèi)容，聚焦電力大數(shù)據(jù)與大電網(wǎng)智能監(jiān)控領(lǐng)域，以期促進大數(shù)據(jù)技術(shù)在全球能源互聯(lián)網(wǎng)建設(shè)中的深度應用和創(chuàng)新發(fā)展

關(guān)鍵詞：電力大數(shù)據(jù);大電網(wǎng);智能;監(jiān)控

1智能電網(wǎng)大數(shù)據(jù)及其特點

1.1智能電網(wǎng)中的大數(shù)據(jù)

智能電網(wǎng)數(shù)據(jù)的處理不是單一的存在，它有著自身獨特的特點，大體上可把這種往來數(shù)據(jù)分割為3類：一類是在電網(wǎng)的運作狀態(tài)下，利用設(shè)備來檢測和監(jiān)測數(shù)據(jù);二類是把電字的銷售，還有價格及電量，根據(jù)不同情況、不同客戶做出數(shù)據(jù)判別，后進行整理;三類是電力企業(yè)數(shù)據(jù)的管理。

1.2智能電網(wǎng)中的大數(shù)據(jù)特點

智能電網(wǎng)中的大數(shù)據(jù)具備“4V”特征，即規(guī)模大（Volume）、類型多（Variety）、價值密度低（Value）和變化快（Velocity）。

2大數(shù)據(jù)處理技術(shù)

2.1大數(shù)據(jù)處理的價值

大數(shù)據(jù)的存在價值在這些年來，被廣泛用于商業(yè)、科技等領(lǐng)域，儼然成為了社會的重要角色之一。法國執(zhí)政黨在2013年5月，法國投資大數(shù)據(jù)產(chǎn)業(yè)的金額高達1.6億歐元。法國政府預測大數(shù)據(jù)對將來的科技與經(jīng)濟發(fā)展有著前所未有的深遠影響。大數(shù)據(jù)目前已廣泛應用于我國及世界各國，如京東每天新增的交易數(shù)據(jù)達8TB;大數(shù)據(jù)分析平臺日處理數(shù)據(jù)量高達90PB，這個平臺處理量相當于美國納斯達克交易所一個星期的數(shù)據(jù)處理量;再者就是沃爾瑪曾經(jīng)是最早運用大數(shù)據(jù)來分析并獲得受益的企業(yè)之一，其曾創(chuàng)造了“啤酒與尿布”的不可取代的神話，現(xiàn)如今的沃爾瑪處理100萬件交易需要1h，存入的數(shù)據(jù)大約2.5PB在數(shù)據(jù)庫中，這些數(shù)據(jù)量是美國國會圖書館的167倍;微軟花了20年，耗費數(shù)百萬美元完成的Office拼寫檢查功能，谷歌公司則利用大數(shù)據(jù)統(tǒng)計分析直接實現(xiàn)。

2.2并行數(shù)據(jù)庫

并行數(shù)據(jù)庫（如Oracle等）主要功能為存儲結(jié)構(gòu)化數(shù)據(jù)。

2.3云計算數(shù)據(jù)

由于電力系統(tǒng)中海量數(shù)據(jù)的云集，大數(shù)據(jù)借助云計算高效的計算功能，對智能電網(wǎng)中的數(shù)據(jù)進行解析，使其能呈現(xiàn)數(shù)據(jù)分布情況，了解一手資料，做出合理的應對方案。

2.4云計算在智能電網(wǎng)中的應用

云計算運用其高效的服務技術(shù)、多樣化的監(jiān)測系統(tǒng)、可靠的實時獲取數(shù)據(jù)，將智能電網(wǎng)中的記錄數(shù)據(jù)進行整理分析，降低其缺失率，能夠更為精準地捕捉數(shù)據(jù)技術(shù)難點，將復雜性化為簡化。

3數(shù)據(jù)的采集

3.1存儲在傳統(tǒng)數(shù)據(jù)庫中的電網(wǎng)數(shù)據(jù)采集

集群部署階段安裝的Sqoop服務提供了數(shù)據(jù)轉(zhuǎn)化的功能，該服務可以將存儲在數(shù)據(jù)庫中的電網(wǎng)數(shù)據(jù)抽取到分布式的存儲架構(gòu)HDFS中，已有的數(shù)據(jù)就可以很方便地被拉取到集群中。為便于后期對數(shù)據(jù)進行分布和挖掘，我們可將抽取到HDFS中的數(shù)據(jù)導入Hive中。Hive針對表中數(shù)據(jù)提供了一種類sql查詢和分析語法，只要掌握簡單的sql語法即可對海量的數(shù)據(jù)進行分析，而不必掌握復雜的大數(shù)據(jù)技術(shù)。

3.2網(wǎng)絡中的電網(wǎng)數(shù)據(jù)采集

Internet上有許多電力企業(yè)用戶的行為數(shù)據(jù)，這些數(shù)據(jù)中蘊含著豐富的價值，采集和分析這些數(shù)據(jù)也成為企業(yè)發(fā)展的重要內(nèi)容。目前網(wǎng)絡上的數(shù)據(jù)主要通過專業(yè)的爬蟲團隊從個網(wǎng)站上爬取，爬取的數(shù)據(jù)大多數(shù)是非結(jié)構(gòu)化的。爬取到的網(wǎng)絡數(shù)據(jù)先將其上傳到HDFS中，針對這些非結(jié)構(gòu)化的數(shù)據(jù)可將其導入HBase表中，HBase對非結(jié)構(gòu)化的數(shù)據(jù)提供了一種列式存儲的分布式技術(shù)，該技術(shù)不但方便存儲復雜的數(shù)據(jù)，且因其列式存儲的特點，非常利于大量數(shù)據(jù)的壓縮存儲。

4數(shù)據(jù)的分析和挖掘

數(shù)據(jù)的采集和存儲是大數(shù)據(jù)應用的前提，對大數(shù)據(jù)進行分析和挖掘，找出數(shù)據(jù)中蘊藏的規(guī)律來指導企業(yè)的規(guī)劃和發(fā)展才是我們的最終目的。目前，對存儲在分布式架構(gòu)中的海量數(shù)據(jù)已經(jīng)集成了一套數(shù)據(jù)分析和挖掘的組件：

數(shù)據(jù)預處理階段，Hive提供的類sql功能可用于數(shù)據(jù)的過濾和清洗，初步篩選數(shù)據(jù)，減少數(shù)據(jù)的處理量以提高數(shù)據(jù)的處理速度。數(shù)據(jù)的分析和挖掘階段，mahout框架提供了一系列數(shù)據(jù)挖掘相關(guān)的算法，如分類算法、聚類算法、協(xié)同過濾算法、模式挖掘算法等，可針對數(shù)據(jù)運用相應的算法，挖掘數(shù)據(jù)中的規(guī)律，為商業(yè)活動提供指導。機器學習階段，Spark的MLlib包中提供了一系列機器學習的模塊，包括樸素貝葉斯、SVM、隨機森林等，深度學習數(shù)據(jù)中蘊藏的規(guī)律，利于對企業(yè)的發(fā)展做預測。

5數(shù)據(jù)的應用

通過大數(shù)據(jù)技術(shù)對智能電網(wǎng)海量數(shù)據(jù)的分析和挖掘所獲得的規(guī)律，可以指導決策者在企業(yè)運營中做出更加合理的決策。如根據(jù)分析所得的結(jié)果，調(diào)整時間段的供電量，減少資源的浪費。通過這一系列的科技手段，既有效的提升了電力部門的績效，又降低電力信息管理的成本，相應的也減少了電力系統(tǒng)運行帶來的環(huán)境污染。尤其是智能電網(wǎng)的大數(shù)據(jù)技術(shù)已經(jīng)發(fā)展成為促進電力系統(tǒng)發(fā)展的重要因素。大數(shù)據(jù)技術(shù)不僅可以協(xié)助智能電網(wǎng)進行用戶數(shù)據(jù)采集，該可以借助大數(shù)據(jù)的挖掘分類技術(shù)，將這些信息分門別類，發(fā)送到各個不同的部門以減輕工作人員的工作壓力，或借助大數(shù)據(jù)可視化技術(shù)，在紛亂復雜的海量數(shù)據(jù)中，實現(xiàn)的智能在線監(jiān)控、可視化調(diào)度、趨勢分析、預測與報警、事件應急處理和輔助決策等智能應用。

6重點任務和重大工程

促進大數(shù)據(jù)與智慧能源系統(tǒng)的新機理新體制與標準體系建立大電網(wǎng)智能監(jiān)控的信息流形態(tài)、功能架構(gòu)及標準，大電網(wǎng)智能監(jiān)控的能量流形態(tài)、功能架構(gòu)及標準，多能流融合建模仿真及分析方法。大電網(wǎng)智能監(jiān)控的信息流和能量流融合及交互機制，抽象與統(tǒng)一，耦合特性建模、仿真和安全特性分析。形成巨型能源互聯(lián)系統(tǒng)的綜合能量管理系統(tǒng)框架及標準體系。強化大數(shù)據(jù)與智慧能源系統(tǒng)的全景狀態(tài)感知智能傳感產(chǎn)品研發(fā)大電網(wǎng)綜合環(huán)境監(jiān)測技術(shù)，在已有的廣域同步測量技術(shù)基礎(chǔ)上，針對不同工況和場景態(tài)勢評估與控制需求，提出能源互聯(lián)網(wǎng)所涉及的各種電源側(cè)、電網(wǎng)側(cè)、負荷側(cè)、環(huán)境等信息廣域同步測量方案。智能測量終端對設(shè)備狀態(tài)、系統(tǒng)安全水平、潛伏故障及風險具有智能分析與診斷，并支持實時數(shù)據(jù)的遠傳。

7數(shù)據(jù)與智慧能源系統(tǒng)的時空一體化信息組網(wǎng)技術(shù)攻關(guān)

由于能源互聯(lián)網(wǎng)的廣域、緊急和工業(yè)控制對空間和時間的要求苛刻，需要采用高安全、高可靠的大顆粒業(yè)務傳輸模式。分布式高精度全景同步錄波數(shù)據(jù)融合與反演技術(shù)，高性能大電網(wǎng)智能監(jiān)控時空一體化特種通信和組網(wǎng)技術(shù)，面向大電網(wǎng)智能監(jiān)控的智能云端協(xié)作關(guān)鍵技術(shù)及系統(tǒng)。同時采用分層分域（核心、骨干、接入）、大容量低時延的網(wǎng)絡架構(gòu)。推進大數(shù)據(jù)與巨型電網(wǎng)智能監(jiān)控系統(tǒng)的新型軟件平臺建設(shè)針對巨型能源互聯(lián)系統(tǒng)的智能管控問題，突破可信云計算服務器和安全技術(shù)，研究可信網(wǎng)絡和可信實體框架，大電網(wǎng)可持續(xù)演化的智能化軟件理論、方法和技術(shù)，大電網(wǎng)智能駕駛系統(tǒng)的軟件體系結(jié)構(gòu)和支撐技術(shù)，面向大電網(wǎng)調(diào)控的智能化集成化軟件互操作平臺。

8結(jié)束語

做好智慧能源系統(tǒng)的大數(shù)據(jù)宏觀產(chǎn)業(yè)布局和頂層框架設(shè)計，促進智慧能源系統(tǒng)信息采集、網(wǎng)絡通訊、大數(shù)據(jù)平臺、智慧應用和人機交互等產(chǎn)業(yè)鏈的龍頭企業(yè)和創(chuàng)新型中小企業(yè)。推動電力大數(shù)據(jù)基礎(chǔ)設(shè)施和支撐服務平臺建設(shè)，完善大數(shù)據(jù)智能分析和綜合服務體系。創(chuàng)造良好的電力大數(shù)據(jù)和智慧能源產(chǎn)業(yè)發(fā)展環(huán)境，推動建立智慧能源系統(tǒng)良好生態(tài)體系。助力“一帶一路”“互聯(lián)網(wǎng)+”和全球能源互聯(lián)網(wǎng)建設(shè)。

參考文獻

[1]唐聰嵐，盧繼平，謝應昭，張露.基于改進數(shù)據(jù)流在線分割的超短期負荷預測[J].電網(wǎng)技術(shù).2014（07）.

[2]于恒友，劉波，彭子平.基于HBase的輸電線路綜合數(shù)據(jù)存儲方案設(shè)計[J].電力科學與技術(shù)學報.2014（02）.