孫東磊，吳奎華，吳 健，馮 亮，劉曉明

（國網(wǎng)山東省電力公司經(jīng)濟(jì)技術(shù)研究院，山東 濟(jì)南 250021）

0 引言

電網(wǎng)規(guī)劃具有覆蓋范圍廣、數(shù)據(jù)信息量大、編制任務(wù)繁重等特點(diǎn)，科學(xué)合理電網(wǎng)規(guī)劃的基礎(chǔ)是對各個(gè)層次、各個(gè)維度的海量數(shù)據(jù)信息進(jìn)行統(tǒng)籌管理，挖掘有效信息，以提升電網(wǎng)規(guī)劃效率。電網(wǎng)規(guī)劃數(shù)據(jù)對內(nèi)涉及電網(wǎng)企業(yè)發(fā)展、建設(shè)、運(yùn)檢、營銷等多個(gè)專業(yè)部門，對外涉及政府、企業(yè)、居民，覆蓋范圍廣、數(shù)據(jù)信息量大［1］。傳統(tǒng)電網(wǎng)規(guī)劃信息統(tǒng)計(jì)匯總存在以下問題：

1）傳統(tǒng)規(guī)劃數(shù)據(jù)以提資方式進(jìn)行數(shù)據(jù)交換，表單的填寫、傳遞往往由設(shè)計(jì)人員手工完成，以報(bào)表形式存儲，人工遞送審核，環(huán)節(jié)間、層級間依托報(bào)表報(bào)送，所需時(shí)間長、數(shù)據(jù)質(zhì)量低、出錯(cuò)可能性大。

2）目前規(guī)劃數(shù)據(jù)采集、存儲、處理、分析缺乏統(tǒng)一規(guī)范，且數(shù)據(jù)口徑多、來源復(fù)雜、數(shù)據(jù)維護(hù)量大、相對孤立，導(dǎo)致信息交換困難，孤島現(xiàn)象嚴(yán)重。云計(jì)算、大數(shù)據(jù)分析技術(shù)［2-4］作用難以有效發(fā)揮，缺乏多因素、多場景、多維度的數(shù)據(jù)分析模型和工具，系統(tǒng)智能化支撐水平難以滿足業(yè)務(wù)的需求。

3）規(guī)劃系統(tǒng)各環(huán)節(jié)間、專業(yè)間數(shù)據(jù)難以有效共享，規(guī)劃成果共享不足。數(shù)據(jù)業(yè)務(wù)協(xié)同、智能分析，深層次數(shù)據(jù)分析挖掘和綜合利用不夠，缺乏對業(yè)務(wù)有效支撐，精益化管理水平有待進(jìn)一步提高。難以滿足新形勢下國家電網(wǎng)公司“三集五大”體系提出的“大規(guī)劃”要求［5］。

4）規(guī)劃業(yè)務(wù)系統(tǒng)與其他各專業(yè)系統(tǒng)數(shù)據(jù)集成缺乏統(tǒng)一規(guī)劃和統(tǒng)一設(shè)計(jì)，各模塊規(guī)范和標(biāo)準(zhǔn)的集成方式各有差異，各專業(yè)集成數(shù)據(jù)難以重復(fù)利用，存在數(shù)據(jù)不對應(yīng)，處理難度大，重復(fù)工作多等問題。統(tǒng)計(jì)工作效率低下、數(shù)據(jù)準(zhǔn)確性不高、數(shù)據(jù)綜合利用程度較低等不足。

5）規(guī)劃數(shù)據(jù)缺乏科學(xué)管理。隨著電網(wǎng)規(guī)模逐年擴(kuò)大，規(guī)劃中需要原始資料數(shù)據(jù)的信息量越來越大，需要花費(fèi)大量時(shí)間和人員進(jìn)行原始資料整理與數(shù)據(jù)提取，僅靠人工處理海量電網(wǎng)數(shù)據(jù)難以適應(yīng)電網(wǎng)精益化管理、精準(zhǔn)化投資的要求。即使是伴隨著電網(wǎng)信息化水平的提高，出現(xiàn)了關(guān)于電網(wǎng)規(guī)劃數(shù)據(jù)管理的信息化研究［6-8］，但仍存在一些不足，如規(guī)劃數(shù)據(jù)共享程度不高，全局性綜合業(yè)務(wù)決策支撐不足。

針對上述問題，亟需依托大數(shù)據(jù)平臺和云平臺，設(shè)計(jì)開發(fā)大規(guī)劃基礎(chǔ)數(shù)據(jù)資源庫，實(shí)現(xiàn)統(tǒng)一內(nèi)外部數(shù)據(jù)集成和數(shù)據(jù)管理，打造基于多源數(shù)據(jù)融合與分析的電網(wǎng)規(guī)劃綜合數(shù)據(jù)平臺，為各專業(yè)、各層級應(yīng)用需求提供強(qiáng)有力的數(shù)據(jù)支撐。

1 建設(shè)目標(biāo)與思路

1.1 建設(shè)目標(biāo)

圍繞“大規(guī)劃”體系建設(shè)要求，充分利用云計(jì)算與海量數(shù)據(jù)處理等技術(shù)手段，建設(shè)基于多源數(shù)據(jù)融合與深度挖掘的電網(wǎng)規(guī)劃綜合數(shù)據(jù)庫，實(shí)現(xiàn)設(shè)備數(shù)據(jù)庫、運(yùn)行數(shù)據(jù)庫、圖形數(shù)據(jù)庫、規(guī)劃數(shù)據(jù)庫的“四庫合一”，實(shí)現(xiàn)省域電網(wǎng)數(shù)據(jù)資產(chǎn)的集中管理與高度共享，為各專業(yè)、各層級業(yè)務(wù)應(yīng)用需求提供強(qiáng)有力的數(shù)據(jù)支撐。實(shí)現(xiàn)發(fā)展專業(yè)內(nèi)外部數(shù)據(jù)集成和數(shù)據(jù)管理，形成系統(tǒng)、準(zhǔn)確、高效、簡潔的規(guī)劃綜合數(shù)據(jù)庫，涵蓋數(shù)據(jù)集成、數(shù)據(jù)生產(chǎn)、數(shù)據(jù)存儲、指標(biāo)管理、數(shù)據(jù)加工及信息服務(wù)等過程，對內(nèi)支撐電網(wǎng)業(yè)務(wù)應(yīng)用，對外提供信息咨詢服務(wù)。建設(shè)目標(biāo)結(jié)構(gòu)示意如圖1所示。

圖1 建設(shè)目標(biāo)結(jié)構(gòu)

1.2 建設(shè)思路

電網(wǎng)規(guī)劃綜合數(shù)據(jù)平臺的技術(shù)架構(gòu)如圖2所示。通過集成生產(chǎn)管理系統(tǒng)（PMS）、地理信息系統(tǒng)（GIS）、能量管理系統(tǒng)（EMS）、智能配網(wǎng)監(jiān)控、用電信息采集等多個(gè)業(yè)務(wù)系統(tǒng)，采用數(shù)據(jù)倉庫技術(shù)（Extract-Transform-Load，ETL）［5］、 增量捕捉等多種技術(shù)手段，設(shè)計(jì)支撐電網(wǎng)業(yè)務(wù)全流程管理的數(shù)據(jù)結(jié)構(gòu)，開展數(shù)據(jù)關(guān)聯(lián)分析和整合遷移，實(shí)現(xiàn)海量的關(guān)系型數(shù)據(jù)、文件型數(shù)據(jù)、分布式數(shù)據(jù)、空間型數(shù)據(jù)等數(shù)據(jù)的高效接入與深度融合。通過對數(shù)據(jù)的抽取、清洗、集成、融合形成電網(wǎng)現(xiàn)狀數(shù)據(jù)庫，包含電網(wǎng)運(yùn)行信息、臺賬信息、空間信息等數(shù)據(jù)；在現(xiàn)狀數(shù)據(jù)庫元數(shù)據(jù)的基礎(chǔ)上，通過診斷分析、負(fù)荷分析、空間分析等多種計(jì)算方式形成電網(wǎng)規(guī)劃決策指標(biāo)數(shù)據(jù)庫；在決策指標(biāo)數(shù)據(jù)庫的基礎(chǔ)上，通過規(guī)劃數(shù)據(jù)管理、項(xiàng)目庫管理、規(guī)劃可研管理、項(xiàng)目前期管理、電網(wǎng)規(guī)劃圖形繪制工具、經(jīng)濟(jì)技術(shù)評估計(jì)算等業(yè)務(wù)功能，形成電網(wǎng)規(guī)劃數(shù)據(jù)庫；綜合以上數(shù)據(jù)信息，最終形成集數(shù)據(jù)融合、存儲、挖掘、建模、計(jì)算、分析及智能感知于一體的電網(wǎng)規(guī)劃綜合數(shù)據(jù)庫，為省域電網(wǎng)發(fā)展提供全面的模型和數(shù)據(jù)支撐。

圖2 技術(shù)架構(gòu)

圖3 統(tǒng)一模型數(shù)據(jù)鏈路

2 異構(gòu)數(shù)據(jù)融合

2.1 異構(gòu)數(shù)據(jù)統(tǒng)一建模

通過對電網(wǎng)接入系統(tǒng)和電網(wǎng)規(guī)劃業(yè)務(wù)的分析，進(jìn)行規(guī)劃領(lǐng)域模型的統(tǒng)一構(gòu)建，對各個(gè)模塊的業(yè)務(wù)模型從屬性、維度、狀態(tài)等角度進(jìn)行統(tǒng)一標(biāo)準(zhǔn)化，形成統(tǒng)一模型數(shù)據(jù)鏈路，如圖3所示。依托多源融合的電網(wǎng)規(guī)劃綜合數(shù)據(jù)庫，開展綜合信息管理、電網(wǎng)現(xiàn)狀分析、負(fù)荷分析預(yù)測、電網(wǎng)診斷分析、電網(wǎng)仿真計(jì)算、經(jīng)濟(jì)技術(shù)評估、規(guī)劃科研管理等業(yè)務(wù)，全面支撐發(fā)展各專業(yè)業(yè)務(wù)應(yīng)用。

2.2 數(shù)據(jù)融合目標(biāo)

系統(tǒng)外部數(shù)據(jù)（包括：生產(chǎn)管理系統(tǒng)PMS數(shù)據(jù)、國網(wǎng)GIS空間數(shù)據(jù)、調(diào)度管理系統(tǒng)EMS數(shù)據(jù)、智能配網(wǎng)監(jiān)控平臺數(shù)據(jù)、用電信息采集數(shù)據(jù)）接入電網(wǎng)規(guī)劃數(shù)據(jù)庫后，按照規(guī)劃業(yè)務(wù)應(yīng)用的實(shí)際要求，與系統(tǒng)內(nèi)部電網(wǎng)診斷薄弱預(yù)警數(shù)據(jù)、負(fù)荷分析預(yù)測數(shù)據(jù)、電網(wǎng)規(guī)劃空間圖形數(shù)據(jù)、規(guī)劃可研評審數(shù)據(jù)、輔助決策數(shù)據(jù)相結(jié)合，通過數(shù)據(jù)對應(yīng)、聚合計(jì)算、數(shù)據(jù)挖掘等多種方式對數(shù)據(jù)進(jìn)行深度融合，逐步支撐業(yè)務(wù)，自上而下逐級穿透，敏感數(shù)據(jù)精準(zhǔn)定位。

2.3 數(shù)據(jù)融合設(shè)計(jì)

數(shù)據(jù)融合處理流程如圖4所示。異構(gòu)數(shù)據(jù)融合涵蓋海量數(shù)據(jù)抽取、數(shù)據(jù)清洗和轉(zhuǎn)換等內(nèi)容。

圖4 數(shù)據(jù)融合處理流程

1）海量數(shù)據(jù)抽取。

數(shù)據(jù)抽取和數(shù)據(jù)采集過程分別如圖5、圖6所示。通過采用Kafka、Sqoop、增量捕獲工具等多種技術(shù)手段，實(shí)現(xiàn)結(jié)構(gòu)化、非結(jié)構(gòu)化、海量歷史/準(zhǔn)實(shí)時(shí)、電網(wǎng)空間數(shù)據(jù)（全量和增量捕獲）接入，對各類數(shù)據(jù)按照統(tǒng)一數(shù)據(jù)規(guī)范進(jìn)行標(biāo)準(zhǔn)化格式存儲，依據(jù)應(yīng)用需求存儲在分布式關(guān)系型數(shù)據(jù)庫、分布式非關(guān)系型數(shù)據(jù)庫和分布式文件系統(tǒng)中。

圖5 數(shù)據(jù)抽取過程

圖6 數(shù)據(jù)采集過程

實(shí)時(shí)數(shù)據(jù)（如：負(fù)荷數(shù)據(jù)、用戶用電數(shù)據(jù)、設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)等）使用基于Kafka分布式消息隊(duì)列的數(shù)據(jù)通道接入大數(shù)據(jù)平臺。該數(shù)據(jù)通道基于快速、可擴(kuò)展、持久的分布式消息發(fā)布—訂閱系統(tǒng)，在數(shù)據(jù)抽取過程中，系統(tǒng)通過定義消息描述信息的方式設(shè)置數(shù)據(jù)抽取的主題，生產(chǎn)者向主題寫入數(shù)據(jù)，消費(fèi)者從主題讀取數(shù)據(jù)?；谶@樣的設(shè)計(jì)，系統(tǒng)可以在消息隊(duì)列中保存大量開銷很小的數(shù)據(jù)，并且支持大量的消費(fèi)者訂閱，通過Hadoop的并行加載機(jī)制統(tǒng)一線上和離線的消息處理讓數(shù)據(jù)存入 Hadoop集群變得非常簡單，并且，當(dāng)擁有多個(gè)數(shù)據(jù)來源和多個(gè)數(shù)據(jù)目的地時(shí)，為每一個(gè)來源和目的地配對地編寫一個(gè)單獨(dú)的數(shù)據(jù)通道會(huì)導(dǎo)致混亂發(fā)生，該數(shù)據(jù)抽取方式規(guī)范了數(shù)據(jù)通道格式，并且允許每一個(gè)系統(tǒng)獲取數(shù)據(jù)和寫入數(shù)據(jù)各一次，這樣極大地減少數(shù)據(jù)通道的復(fù)雜性和操作耗時(shí)。

結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫里的數(shù)據(jù)）通過Sqoop工具，分割成多個(gè)數(shù)據(jù)集并創(chuàng)建Hadoop任務(wù)來并行處理每個(gè)區(qū)塊，高效寫入大數(shù)據(jù)平臺的分布式數(shù)據(jù)倉庫，生成發(fā)布滿足特定業(yè)務(wù)需求的數(shù)據(jù)主題，為數(shù)據(jù)挖掘和自助式分析提供數(shù)據(jù)訪問支撐。在導(dǎo)入開始之前，使用JDBC來檢查需要導(dǎo)入的表，檢索出表中所有的列以及列的SQL數(shù)據(jù)類型。這些SQL類型被映射到Java數(shù)據(jù)類型，在MapReduce應(yīng)用中將使用這些對應(yīng)的Java類型來保存字段的值。MapReduce是Google提出的一種并行編程模型，可以實(shí)現(xiàn)大規(guī)模數(shù)據(jù)集的并行處理［9］。Sqoop的代碼生成器使用這些信息來創(chuàng)建對應(yīng)表的類，用于保存從表中抽取的記錄。數(shù)據(jù)導(dǎo)入過程中，Sqoop啟動(dòng)MapReduce作業(yè)使用JDBC連接方式從一個(gè)數(shù)據(jù)庫表中讀取內(nèi)容，JDBC的ResultSet接口提供了一個(gè)用戶從檢查結(jié)果中檢索記錄的游標(biāo)，并將ResultSet中每一行數(shù)據(jù)來填充Sqoop創(chuàng)建的類，在生成反序列化代碼和配置抽取數(shù)據(jù)源之后，Sqoop將作業(yè)發(fā)送到MapReduce集群。Map任務(wù)將執(zhí)行查詢并將ResultSet中的數(shù)據(jù)反序列化到生成類的實(shí)例，這些數(shù)據(jù)被持久化寫到HDFS的數(shù)據(jù)倉庫中。為了獲取更好地導(dǎo)入性能，Hadoop能夠?yàn)閹讉€(gè)Map任務(wù)查詢結(jié)果按照表的主鍵進(jìn)行劃分達(dá)到并行的目的。

非結(jié)構(gòu)化數(shù)據(jù)（如電網(wǎng)系統(tǒng)運(yùn)行日志文件等）通過Flume工具將數(shù)據(jù)直接寫入大數(shù)據(jù)平臺的分布式文件系統(tǒng)，F(xiàn)lume實(shí)時(shí)監(jiān)控不同日志源文件的狀態(tài)變更，聚合來自不同代理服務(wù)器的日志文件輸送到平臺文件系統(tǒng)，輔助電網(wǎng)開展數(shù)據(jù)分析、數(shù)據(jù)挖掘和規(guī)劃決策支持等功能。Flume作為數(shù)據(jù)流平臺中日志數(shù)據(jù)收集模塊的核心組件，系統(tǒng)使用了其強(qiáng)大的收集和分流功能，在原有的基礎(chǔ)上加上了分流配置的可管理功能，把日志的分流集中管理，有效避免了Flume原有分流方式日志重復(fù)發(fā)送的弊端。系統(tǒng)為保證輸送的成功性，在送到目的地之前，會(huì)先緩存數(shù)據(jù)，待數(shù)據(jù)真正到達(dá)目的地后，刪除自己緩存的數(shù)據(jù)。各地市公司產(chǎn)生的數(shù)據(jù)被運(yùn)行在數(shù)據(jù)發(fā)生器所在服務(wù)器上的代理機(jī)收集，之后數(shù)據(jù)收容器將各個(gè)代理機(jī)上采集的數(shù)據(jù)匯總，并將存入到HDFS或者HBase中。

2）數(shù)據(jù)清洗和轉(zhuǎn)換。

大數(shù)據(jù)的清洗階段主要完成對已接收數(shù)據(jù)進(jìn)行智能剔除和貯存等操作。通過各種傳感器所獲得的大數(shù)據(jù)，由于客觀外界條件變動(dòng) （電網(wǎng)供電電壓突變、電磁干擾等）或者人為原因會(huì)引起異常數(shù)據(jù)。異常數(shù)據(jù)會(huì)給正確分析數(shù)據(jù)造成影響，以致使各種計(jì)算和測試結(jié)論的可靠性降低。因此需要剔出異常數(shù)據(jù)從而保持?jǐn)?shù)據(jù)的有效性。不符合要求的數(shù)據(jù)主要有不完整的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)3大類。

不完整的數(shù)據(jù)。這一類數(shù)據(jù)主要是一些應(yīng)該有的信息缺失，如設(shè)備的名稱、業(yè)務(wù)系統(tǒng)中主表與明細(xì)表不能匹配等。對于這一類數(shù)據(jù)過濾出來，按缺失的內(nèi)容分別寫入不同Excel文件向系統(tǒng)的存儲平臺提交，要求在規(guī)定的時(shí)間內(nèi)補(bǔ)全，補(bǔ)全后才寫入數(shù)據(jù)倉庫。

錯(cuò)誤的數(shù)據(jù)。這一類錯(cuò)誤產(chǎn)生的原因是業(yè)務(wù)系統(tǒng)不夠健全，在接收輸入后沒有進(jìn)行判斷直接寫入后臺數(shù)據(jù)庫造成的，比如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串?dāng)?shù)據(jù)后面有一個(gè)回車操作、日期格式不正確等。這一類數(shù)據(jù)需要分類，對于類似于全角字符、數(shù)據(jù)前后有不可見字符的問題，通過寫SQL語句的方式找出來，然后在業(yè)務(wù)系統(tǒng)修正之后抽取。

重復(fù)的數(shù)據(jù)。對于這一類數(shù)據(jù)，特別是維表中會(huì)出現(xiàn)這種情況——將重復(fù)數(shù)據(jù)記錄的所有字段導(dǎo)出來，有選擇地進(jìn)行剔除。

3）基于 K-means 聚簇算法［10］的數(shù)據(jù)挖掘。

通過對大數(shù)據(jù)的分析，利用數(shù)據(jù)挖掘技術(shù)，對大數(shù)據(jù)進(jìn)行建模，并通過數(shù)理模型對數(shù)據(jù)進(jìn)行分析?，F(xiàn)在，多源系統(tǒng)的接入為平臺的數(shù)據(jù)挖掘功能提供了充足的數(shù)據(jù)基礎(chǔ)，這個(gè)基礎(chǔ)上通過對數(shù)據(jù)進(jìn)行多維的篩選發(fā)掘出對電網(wǎng)規(guī)劃評審、診斷分析有意義的潛在價(jià)值，是進(jìn)行數(shù)據(jù)挖掘的根本目的，基于此目的平臺對清洗干凈的數(shù)據(jù)進(jìn)行智能化處理，利用K-means方法對數(shù)據(jù)進(jìn)行聚類，并且利用 Trust-Tech技術(shù)對聚類結(jié)果進(jìn)行了優(yōu)化，按測點(diǎn)的狀態(tài)將節(jié)點(diǎn)數(shù)據(jù)進(jìn)行合理的劃分，在聚類結(jié)果之間進(jìn)行關(guān)聯(lián)規(guī)則的挖掘，得到任意測點(diǎn)不同狀態(tài)之間的關(guān)聯(lián)關(guān)系。

由于 K-means聚類算法可以指定數(shù)據(jù)的分類個(gè)數(shù)，因此采用K-means算法將所有測點(diǎn)數(shù)據(jù)簡化為特定類別數(shù)目的分類型數(shù)據(jù)，一方面，可以實(shí)現(xiàn)測點(diǎn)之間關(guān)聯(lián)規(guī)則的挖掘，得到任意測點(diǎn)不同狀態(tài)之間的關(guān)聯(lián)關(guān)系；另一方面，降低了數(shù)據(jù)復(fù)雜度，提高了數(shù)據(jù)運(yùn)算速率。K-means聚類算法雖然具有聚類速度快、運(yùn)算量適中且實(shí)現(xiàn)簡單的優(yōu)點(diǎn)，但是在聚類過程中易于陷入局部最優(yōu)解，得到的結(jié)果分布不能很好地反映數(shù)據(jù)的類間差異。因此，在聚類過程中，調(diào)用了Trust-Tech技術(shù)對局部最優(yōu)解集進(jìn)行篩選和優(yōu)化，從中選出最接近全局最優(yōu)的結(jié)果，提高了分類的精確性，而且額外的計(jì)算負(fù)擔(dān)較小，保證了運(yùn)算效率不受影響。

3 主要功能

3.1 數(shù)據(jù)建模

電網(wǎng)規(guī)劃綜合數(shù)據(jù)平臺提供數(shù)據(jù)源管理、業(yè)務(wù)語義、業(yè)務(wù)數(shù)據(jù)建模、多維數(shù)據(jù)建模、數(shù)據(jù)主題管理功能，將存儲的數(shù)據(jù)以業(yè)務(wù)視圖的角度進(jìn)行語義描述、數(shù)據(jù)建模，生成并發(fā)布滿足特定業(yè)務(wù)需求的數(shù)據(jù)主題，為數(shù)據(jù)挖掘和自助式分析提供數(shù)據(jù)訪問支撐。數(shù)據(jù)建模功能如圖7所示。

圖7 數(shù)據(jù)建模功能

3.2 數(shù)據(jù)挖掘

通過構(gòu)建數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘算法庫、統(tǒng)計(jì)分析算法庫、模型評估等功能，為數(shù)據(jù)挖掘過程涉及的數(shù)據(jù)預(yù)處理、算法建模、模型評估應(yīng)用等環(huán)節(jié)提供支撐。數(shù)據(jù)挖掘功能如圖8所示。

圖8 數(shù)據(jù)挖掘功能

3.3 數(shù)據(jù)計(jì)算

電網(wǎng)規(guī)劃綜合數(shù)據(jù)平臺通過提供流計(jì)算、內(nèi)存計(jì)算、批量計(jì)算、查詢計(jì)算等分布式計(jì)算技術(shù)來滿足不同時(shí)效性的計(jì)算需求。數(shù)據(jù)計(jì)算功能如圖9所示。

圖9 數(shù)據(jù)計(jì)算功能

3.4 數(shù)據(jù)分析

平臺提供了易用、快速、靈活的可視化設(shè)計(jì)器和豐富多樣化的可視化控件，結(jié)合數(shù)據(jù)建模發(fā)布的數(shù)據(jù)主題和數(shù)據(jù)挖掘發(fā)布的業(yè)務(wù)挖掘模型，實(shí)現(xiàn)了用戶可自定義配置分析界面。數(shù)據(jù)分析功能如圖10所示。

3.5 數(shù)據(jù)存儲

平臺存儲分為關(guān)系型數(shù)據(jù)庫、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫3種存儲方式，滿足大量、多樣化數(shù)據(jù)的低成本存儲需求。數(shù)據(jù)存儲功能如圖11所示。

圖10 數(shù)據(jù)分析功能

圖11 數(shù)據(jù)存儲功能

3.6 數(shù)據(jù)訪問

基于大數(shù)據(jù)平臺的統(tǒng)一數(shù)據(jù)訪問服務(wù)，提供結(jié)構(gòu)化、非結(jié)構(gòu)化、GIS數(shù)據(jù)專業(yè)定制服務(wù)能力，為上層專業(yè)應(yīng)用／高級應(yīng)用提供數(shù)據(jù)服務(wù)。數(shù)據(jù)訪問功能如圖12所示。

圖12 數(shù)據(jù)訪問功能

3.7 數(shù)據(jù)管理

基于大數(shù)據(jù)平臺的數(shù)據(jù)管理服務(wù)，涉及基礎(chǔ)數(shù)據(jù)管理、數(shù)據(jù)權(quán)限管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)流轉(zhuǎn)監(jiān)控等數(shù)據(jù)管理服務(wù)。數(shù)據(jù)管理功能如圖13所示。

圖13 數(shù)據(jù)管理功能

3.8 流程管理

平臺提供統(tǒng)一的流程管理功能，定義作業(yè)相關(guān)的基礎(chǔ)信息、調(diào)度策略及調(diào)度類型，通過統(tǒng)一的調(diào)度引擎執(zhí)行相關(guān)任務(wù)，提供直觀的、可視化的、流程化的操作，并達(dá)到任務(wù)和作業(yè)解耦的目的。流程管理功能如圖14所示。

圖14 流程管理功能

4 工程應(yīng)用

電網(wǎng)規(guī)劃綜合數(shù)據(jù)平臺建成后，已在國網(wǎng)山東省電力公司、國網(wǎng)山東省電力公司經(jīng)濟(jì)技術(shù)研究院、山東全省17地市、98縣公司等業(yè)務(wù)應(yīng)用部門開展全面推廣應(yīng)用。電網(wǎng)規(guī)劃綜合數(shù)據(jù)平臺在電網(wǎng)規(guī)劃編制、規(guī)劃項(xiàng)目管理等方面發(fā)揮了重要作用。

在建設(shè)“最好的電網(wǎng)”方面，借助平臺龐大的電網(wǎng)規(guī)劃數(shù)據(jù)資源，創(chuàng)新開展了電網(wǎng)規(guī)劃前沿技術(shù)研究。依托電網(wǎng)規(guī)劃綜合數(shù)據(jù)平臺，開展了電網(wǎng)規(guī)劃數(shù)據(jù)分析研究，實(shí)現(xiàn)了電網(wǎng)數(shù)據(jù)的在線智能分析與離線綜合分析，全面反映電網(wǎng)現(xiàn)存問題與未來發(fā)展方向，全面支撐發(fā)展各專業(yè)。依托電網(wǎng)規(guī)劃綜合數(shù)據(jù)平臺，開展了電網(wǎng)規(guī)劃輔助決策研究，以服務(wù)電網(wǎng)規(guī)劃各核心業(yè)務(wù)為目標(biāo)，開展對規(guī)劃數(shù)據(jù)的在線分析，診斷薄弱環(huán)節(jié)，明確發(fā)展策略，優(yōu)化規(guī)劃方案，2016年電網(wǎng)規(guī)劃項(xiàng)目準(zhǔn)確率提升到98%以上，比2014年提高了10余個(gè)百分點(diǎn)，有效提升了電網(wǎng)投資效益和發(fā)展質(zhì)量。

在建設(shè)“一流配電網(wǎng)”方面，借助平臺龐大的電網(wǎng)現(xiàn)狀、規(guī)劃數(shù)據(jù)資源，實(shí)現(xiàn)了電網(wǎng)問題診斷可視化追根溯源與精準(zhǔn)定位，針對性地提出問題治理與電網(wǎng)改造建設(shè)方案，為“世界一流電網(wǎng)”建設(shè)順利實(shí)施奠定良好基礎(chǔ)。

在班組建設(shè)減負(fù)增效方面，平臺通過多源數(shù)據(jù)、信息的高度集成與共享，創(chuàng)建集約化、專業(yè)化、精益化的電網(wǎng)規(guī)劃管理模式，切實(shí)減輕了規(guī)劃專業(yè)班組的工作負(fù)擔(dān)，提升了規(guī)劃的效率和質(zhì)量。以“十三五”農(nóng)網(wǎng)規(guī)劃工作為例，原先需要省、市、縣（區(qū)）三級人工統(tǒng)計(jì)的133套9 000余張35萬個(gè)數(shù)據(jù)，通過平臺實(shí)現(xiàn)自動(dòng)分析、校對和統(tǒng)計(jì)，數(shù)據(jù)處理工作量縮小90%以上。

5 結(jié)語

針對規(guī)劃系統(tǒng)的各環(huán)節(jié)間數(shù)據(jù)難以有效共享等不足，以及規(guī)劃業(yè)務(wù)系統(tǒng)與其他各專業(yè)系統(tǒng)的數(shù)據(jù)集成缺乏統(tǒng)一規(guī)劃和統(tǒng)一設(shè)計(jì)等問題，開展了基于多源數(shù)據(jù)集成的電網(wǎng)規(guī)劃綜合數(shù)據(jù)平臺研究，構(gòu)建了省域電網(wǎng)規(guī)劃綜合數(shù)據(jù)庫，首次實(shí)現(xiàn)了省域電網(wǎng)發(fā)展專業(yè)數(shù)據(jù)資產(chǎn)的集中管理與高度共享。通過有效集成內(nèi) PMS、GIS、EMS、智能配網(wǎng)監(jiān)控、用電信息采集等多個(gè)業(yè)務(wù)系統(tǒng)，采用數(shù)據(jù)倉庫 （ETL）、K-means聚簇算法等大數(shù)據(jù)技術(shù)手段，實(shí)現(xiàn)了結(jié)構(gòu)化、非結(jié)構(gòu)化、海量歷史/準(zhǔn)實(shí)時(shí)、電網(wǎng)空間數(shù)據(jù)等信息的高效接入以及電網(wǎng)設(shè)備、運(yùn)行水平、圖形管理、規(guī)劃方案等數(shù)據(jù)的深度融合，形成了集數(shù)據(jù)融合、存儲、計(jì)算、建模、挖掘、分析及智能感知于一體的電網(wǎng)規(guī)劃綜合數(shù)據(jù)庫，實(shí)現(xiàn)了設(shè)備數(shù)據(jù)庫、運(yùn)行數(shù)據(jù)庫、圖形數(shù)據(jù)庫、規(guī)劃數(shù)據(jù)庫的“四庫合一”，保證了全省電網(wǎng)數(shù)據(jù)的權(quán)威性、統(tǒng)一性和全面性，為公司發(fā)展專業(yè)全鏈條業(yè)務(wù)提供支撐。電網(wǎng)規(guī)劃綜合數(shù)據(jù)平臺已在山東省、市、縣三級電網(wǎng)得到全面推廣應(yīng)用，為統(tǒng)籌電網(wǎng)發(fā)展專業(yè)資源和提升規(guī)劃專業(yè)管理水平帶來了可觀的效益，為山東省域電網(wǎng)全面建設(shè)“大規(guī)劃”體系提供了有力保障。

［1］周鯤鵬，方仍存，顏炯，等.電網(wǎng)規(guī)劃智能輔助決策系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.電力系統(tǒng)自動(dòng)化，2013，37（3）：77-82.

［2］王德文.基于云計(jì)算的電力數(shù)據(jù)中心基礎(chǔ)架構(gòu)及其關(guān)鍵技術(shù)［J］.電力系統(tǒng)自動(dòng)化，2012，36（11）：67-71，107.

［3］MAYILVAGANAN M，SABITHA M.A cloud-based architecture for big-data analytics in smart grid：a proposal［C］∥2013 IEEE International Conference on Computational Intelligence and Computing Research （ICCIC），IEEE，2013：1-4.

［4］ZHOU K，F(xiàn)U C，YANG S.Big data driven smart energy management：from big data to big insights［J］.Renewable and Sustainable Energy Reviews，2016，56：215-225.

［5］國家電網(wǎng)公司.國家電網(wǎng)公司“三集五大”管理變革探索與實(shí)踐［M］.北京：中國電力出版社，2015.

［6］XIAO Jun，BO Yu，LUO Fengzhang，et al.Simplification method for exported data from GIS of distribution system［C］∥The 3rd International Conference on Electric Utility Deregulation and Restructuring and Power Technologies （DRPT 2008），Nanjing，China，2008：1 273-1 280.

［7］李峰，劉正超，羅鳳章，等.廣東電網(wǎng)一體化規(guī)劃信息系統(tǒng)研究與應(yīng)用［J］.電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2011，23（5）：151-156.

［8］杜旭，申剛，劉中勝，等.電網(wǎng)規(guī)劃管理信息系統(tǒng)數(shù)據(jù)庫的研究與實(shí)現(xiàn)［J］.電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2013，25（2）：163-166.

［9］曲朝陽，陳帥，楊帆，等.基于云計(jì)算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡方法［J］.電力系統(tǒng)自動(dòng)化，2014，38（8）：67-71.

［10］ 冀素琴，石洪波.面向海量數(shù)據(jù)的 K-means聚類優(yōu)化算法［J］.計(jì)算機(jī)工程與應(yīng)用，2014，50（14）：143-147.