張銳 趙瑞鋒 王海柱 郭文鑫

摘要

隨著電網(wǎng)信息化系統(tǒng)建設(shè)規(guī)模的不斷擴(kuò)展，不斷積累的電網(wǎng)運(yùn)行數(shù)據(jù)呈現(xiàn)異構(gòu)特征和海量化特征，本文依托大數(shù)據(jù)技術(shù)，提出一種新的調(diào)度大數(shù)據(jù)統(tǒng)一存儲(chǔ)架構(gòu)，實(shí)現(xiàn)海量分布異構(gòu)數(shù)據(jù)統(tǒng)一建模、高性能統(tǒng)一分析的目標(biāo)，并且具有良好的可拓展性和兼容性。

【關(guān)鍵詞】統(tǒng)一模型 海量分布異構(gòu) 存儲(chǔ)架構(gòu)數(shù)據(jù)分析

隨著電網(wǎng)技術(shù)的不斷發(fā)展，信息化水平的逐步提升，電網(wǎng)各類數(shù)據(jù)持續(xù)增加，數(shù)據(jù)不斷積累并呈現(xiàn)出海量化特征，同時(shí)電網(wǎng)數(shù)據(jù)呈現(xiàn)出明顯的分布異構(gòu)特征。面對(duì)海量分布異構(gòu)的數(shù)據(jù)，亟待依托大數(shù)據(jù)分析技術(shù)提升電力調(diào)度運(yùn)行數(shù)據(jù)的潛在價(jià)值，但是在實(shí)際應(yīng)用過(guò)程中，存在以下問(wèn)題：

（1）分布異構(gòu)數(shù)據(jù)難以統(tǒng)一建模、統(tǒng)一分析的問(wèn)題;

（2）海量數(shù)據(jù)背景下，高性能分析及可拓展性的問(wèn)題;

（3）人機(jī)交互與電網(wǎng)運(yùn)行人員嚴(yán)重脫節(jié)及知識(shí)共享的問(wèn)題。

本文以實(shí)現(xiàn)分布異構(gòu)數(shù)據(jù)統(tǒng)一建模、高性能統(tǒng)一分析為目標(biāo)，研究分布數(shù)據(jù)整合、異構(gòu)數(shù)據(jù)統(tǒng)一建模、高性能計(jì)算等相關(guān)技術(shù)，依托大數(shù)據(jù)技術(shù)，提出一種新的調(diào)度大數(shù)據(jù)統(tǒng)一存儲(chǔ)架構(gòu)，支持海量分布異構(gòu)數(shù)據(jù)統(tǒng)一分析的大數(shù)據(jù)軟件平臺(tái)，實(shí)現(xiàn)海量分布異構(gòu)數(shù)據(jù)統(tǒng)一建模、高性能統(tǒng)一分析的目標(biāo)，并且具有良好的可拓展性和兼容性。同時(shí)，將業(yè)務(wù)人員深度使用數(shù)據(jù)進(jìn)行數(shù)據(jù)分析所積累的經(jīng)驗(yàn)逐步形成共享的知識(shí)平臺(tái)，將為電網(wǎng)業(yè)務(wù)運(yùn)行提供良好的支撐作用。

1 系統(tǒng)架構(gòu)

大數(shù)據(jù)存儲(chǔ)和分析技術(shù)是新一代電網(wǎng)調(diào)度運(yùn)行數(shù)據(jù)分析系統(tǒng)的基礎(chǔ)，也是大數(shù)據(jù)在電網(wǎng)調(diào)度業(yè)務(wù)深度挖掘的關(guān)鍵因素，其應(yīng)用架構(gòu)如圖1所示。

基于大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)具有復(fù)雜數(shù)據(jù)分析能力的時(shí)序數(shù)據(jù)庫(kù)，系統(tǒng)具有高度可拓展性，支持任意時(shí)間維度、復(fù)雜數(shù)據(jù)分析，支持BIGTable技術(shù)，實(shí)現(xiàn)測(cè)點(diǎn)無(wú)限列，提高系統(tǒng)易用性基于Web行業(yè)算法管理工具與知識(shí)管理平臺(tái)，業(yè)務(wù)人員擺脫IT人員，深度使用數(shù)據(jù)分析，支撐電網(wǎng)調(diào)度業(yè)務(wù)。

2 關(guān)鍵技術(shù)

2.1 基于統(tǒng)一模型的數(shù)據(jù)存儲(chǔ)與分析

電網(wǎng)調(diào)度業(yè)務(wù)數(shù)據(jù)來(lái)源于多地，物理分散廣泛，并且不同源數(shù)據(jù)的異構(gòu)性很大，包括存儲(chǔ)結(jié)構(gòu)、硬軟件支持平臺(tái)、業(yè)務(wù)模型等多方面的異構(gòu)性。傳統(tǒng)數(shù)據(jù)庫(kù)自身局限性導(dǎo)致數(shù)據(jù)存儲(chǔ)模型與前端語(yǔ)義模型的不一致，業(yè)務(wù)人員在進(jìn)行數(shù)據(jù)分析的過(guò)程中，不可避免需要借助IT技能進(jìn)行相應(yīng)的數(shù)據(jù)分析支撐業(yè)務(wù)。鑒于此，本項(xiàng)目實(shí)現(xiàn)了前后端業(yè)務(wù)與數(shù)據(jù)存儲(chǔ)的統(tǒng)一，以CIM模型所定義的業(yè)務(wù)語(yǔ)義作為數(shù)據(jù)分析的直接入口，使業(yè)務(wù)人員無(wú)需過(guò)多借助IT技術(shù)，采用可視化的方式定義數(shù)據(jù)統(tǒng)計(jì)分析過(guò)程，支持業(yè)務(wù)決策，消除業(yè)務(wù)人員使用數(shù)據(jù)分析的人機(jī)交互障礙。

結(jié)合大數(shù)據(jù)技術(shù)特點(diǎn)與電力系統(tǒng)對(duì)象特征，基于CIM規(guī)范的調(diào)度數(shù)據(jù)存儲(chǔ)模型以及異構(gòu)數(shù)據(jù)存儲(chǔ)模型統(tǒng)一建模方法，構(gòu)建一種基于CIM的統(tǒng)一電力系統(tǒng)數(shù)據(jù)模型，支持面向業(yè)務(wù)人員的數(shù)據(jù)分析，弱化業(yè)務(wù)人員對(duì)IT技術(shù)的依賴。

2.2 高性能大數(shù)據(jù)存儲(chǔ)與分析

目前的調(diào)度海量數(shù)據(jù)分析性能和可拓展能力瓶頸主要在于傳統(tǒng)技術(shù)難以同時(shí)兼容OLTP和OLAP場(chǎng)景，無(wú)法滿足統(tǒng)一模型、統(tǒng)一存儲(chǔ)場(chǎng)景下統(tǒng)一數(shù)據(jù)分析。隨著近些年來(lái)大數(shù)據(jù)技術(shù)的迅猛發(fā)展，尤其是分布式內(nèi)存計(jì)算技術(shù)的引入，可以完美解決兩種分析場(chǎng)景對(duì)于系統(tǒng)I/O的不同需求，向量計(jì)算以及GPU計(jì)算硬件的引入可以滿足兩種場(chǎng)景下計(jì)算性能的需求。

基于電力行業(yè)CIM模型，結(jié)合大數(shù)據(jù)BigTable模型，兼顧海量數(shù)據(jù)存儲(chǔ)與分析效率，實(shí)現(xiàn)基于大數(shù)據(jù)平臺(tái)的統(tǒng)一建模。借鑒主流大數(shù)據(jù)技術(shù)，結(jié)合調(diào)度業(yè)務(wù)需求，提出面向調(diào)度運(yùn)行數(shù)據(jù)特性的大數(shù)據(jù)統(tǒng)一存儲(chǔ)與分析平臺(tái)架構(gòu)設(shè)計(jì)，實(shí)現(xiàn)OLTP與OLAP數(shù)據(jù)分析場(chǎng)景的融合，解決目前大數(shù)據(jù)平臺(tái)技術(shù)局限性帶來(lái)的數(shù)據(jù)分析性能和可拓展性瓶頸。

2.3 電力應(yīng)用商店

基于大數(shù)據(jù)技術(shù)的電網(wǎng)應(yīng)用商店具備電力行業(yè)算法庫(kù)、電網(wǎng)調(diào)度專業(yè)模塊的管理功能，基于行為推薦和基于內(nèi)容推薦結(jié)合成推薦模型，實(shí)現(xiàn)調(diào)度業(yè)務(wù)模型與知識(shí)橫向共享，加速業(yè)務(wù)部門之間協(xié)同與數(shù)據(jù)支撐業(yè)務(wù)的升級(jí)。同時(shí)，結(jié)合微服務(wù)架構(gòu)，基于電網(wǎng)數(shù)據(jù)分析接口規(guī)范，促進(jìn)業(yè)務(wù)功能建設(shè)在不同業(yè)務(wù)系統(tǒng)建設(shè)的共享，避免相同業(yè)務(wù)功能的重復(fù)投資。

面向調(diào)度業(yè)務(wù)的數(shù)據(jù)分析應(yīng)用商店，形成一套應(yīng)用功能管理、發(fā)布和使用機(jī)制，實(shí)現(xiàn)電網(wǎng)調(diào)度運(yùn)行數(shù)據(jù)分析的省地橫向業(yè)務(wù)部門之間經(jīng)驗(yàn)及知識(shí)共享與管理，通過(guò)知識(shí)傳播提升數(shù)據(jù)分析水平與效率，通過(guò)知識(shí)復(fù)用降低數(shù)據(jù)分析成本，不斷積累為業(yè)務(wù)運(yùn)行提供持續(xù)推力。從根本上解決了目前調(diào)度業(yè)務(wù)海量數(shù)據(jù)管理與分析系統(tǒng)的性能與可拓展性瓶頸，填補(bǔ)了電力行業(yè)業(yè)務(wù)人員數(shù)據(jù)分析接口標(biāo)準(zhǔn)的空白，推動(dòng)了橫向業(yè)務(wù)部門之間數(shù)據(jù)分析經(jīng)驗(yàn)共享和協(xié)同。

3 總結(jié)

通過(guò)本項(xiàng)目的研究和工程示范，將電網(wǎng)調(diào)度運(yùn)行數(shù)據(jù)分析領(lǐng)域采用的傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)模式變革為基于大數(shù)據(jù)的數(shù)據(jù)共享平臺(tái)，保障廣東電網(wǎng)全面安全運(yùn)行，滿足電網(wǎng)全面、實(shí)時(shí)的安全預(yù)警的要求。

參考文獻(xiàn)

[1]丁兆明，杜學(xué)軍，王治平，胡捷.大數(shù)據(jù)存儲(chǔ)和分析技術(shù)應(yīng)用及標(biāo)準(zhǔn)化[J].信息技術(shù)與標(biāo)準(zhǔn)化，2013.

[2]葛磊蛟，王守相，瞿海妮.智能配用電大數(shù)據(jù)存儲(chǔ)架構(gòu)設(shè)計(jì)[J].電力自動(dòng)化設(shè)備，2016.