冷喜武， 陳國(guó)平， 白靜潔， 張家琪

(1. 國(guó)家電網(wǎng)有限公司, 北京市 100031； 2. 南瑞集團(tuán)(國(guó)網(wǎng)電力科學(xué)研究院)有限公司， 江蘇省南京市 211106；3. 北京科東電力控制系統(tǒng)有限責(zé)任公司， 北京市 100192； 4. 國(guó)網(wǎng)物資有限公司， 北京市 100120)

0 引言

隨著大數(shù)據(jù)應(yīng)用的迅速發(fā)展，各行業(yè)均利用大數(shù)據(jù)技術(shù)積極地實(shí)現(xiàn)信息技術(shù)(IT)向數(shù)據(jù)技術(shù)(DT)的技術(shù)轉(zhuǎn)型，其在工業(yè)、商業(yè)及醫(yī)療行業(yè)領(lǐng)域均取得顯著應(yīng)用效果[1]。近年發(fā)展迅速的智能電網(wǎng)產(chǎn)業(yè)，其業(yè)務(wù)數(shù)據(jù)已從傳統(tǒng)單一應(yīng)用數(shù)據(jù)發(fā)展為各級(jí)系統(tǒng)互聯(lián)互通后的海量數(shù)據(jù)集形式，電力大數(shù)據(jù)應(yīng)運(yùn)而生，并伴隨著多源、高維、先驗(yàn)、異構(gòu)等特點(diǎn)[2]。而作為電力大數(shù)據(jù)分支的監(jiān)控大數(shù)據(jù)，是調(diào)控中心唯一具備從大電網(wǎng)運(yùn)行管理角度對(duì)電網(wǎng)實(shí)時(shí)運(yùn)行態(tài)勢(shì)，實(shí)現(xiàn)主動(dòng)感知的數(shù)據(jù)資源。隨著無人值守變電站建設(shè)的推進(jìn)，實(shí)時(shí)匯集的監(jiān)控信息量劇增，需要實(shí)時(shí)分析的告警信息業(yè)務(wù)激增，迫切需要降低傳統(tǒng)監(jiān)控業(yè)務(wù)對(duì)專責(zé)、監(jiān)控員人工經(jīng)驗(yàn)的過度依賴，提升監(jiān)控業(yè)務(wù)智能分析水平[3]。

截至目前，針對(duì)監(jiān)控業(yè)務(wù)數(shù)據(jù)分析，智能電網(wǎng)調(diào)度控制系統(tǒng)(又稱D5000系統(tǒng))完成了監(jiān)控信息采集、綜合智能告警等多套監(jiān)控業(yè)務(wù)應(yīng)用系統(tǒng)建設(shè)，實(shí)現(xiàn)了全局?jǐn)?shù)據(jù)的采集共享和對(duì)單個(gè)業(yè)務(wù)的有效支撐[4]。但是隨著電網(wǎng)規(guī)模的不斷擴(kuò)大，原有基于人工的電網(wǎng)監(jiān)控運(yùn)行分析方法已不能滿足大電網(wǎng)協(xié)同控制和一體化運(yùn)行的發(fā)展要求[5]，主要包括以下幾個(gè)方面。

1)支撐監(jiān)控業(yè)務(wù)分析的相關(guān)數(shù)據(jù)范圍有限，缺乏變電站、輸電線路全景數(shù)據(jù)及營(yíng)銷、運(yùn)檢、氣象等外部業(yè)務(wù)數(shù)據(jù)的有力支撐。

2)現(xiàn)有業(yè)務(wù)數(shù)據(jù)多源、多地、多時(shí)序的分散性異質(zhì)異構(gòu)存儲(chǔ)，存量數(shù)據(jù)缺少規(guī)范，數(shù)據(jù)質(zhì)量不高，數(shù)據(jù)間缺乏關(guān)聯(lián)，難以開展監(jiān)控業(yè)務(wù)的深化應(yīng)用。

3)監(jiān)控專業(yè)的不同分析角度缺乏在理論層面的突破，需要由傳統(tǒng)電力系統(tǒng)的經(jīng)驗(yàn)?zāi)Ｐ娃D(zhuǎn)變?yōu)榛诖髷?shù)據(jù)分析的概率模型，實(shí)現(xiàn)從經(jīng)驗(yàn)驅(qū)動(dòng)到數(shù)據(jù)驅(qū)動(dòng)的轉(zhuǎn)變。

4)現(xiàn)有系統(tǒng)不具備大數(shù)據(jù)分析能力，缺少對(duì)非結(jié)構(gòu)化數(shù)據(jù)的有效存儲(chǔ)手段，及海量數(shù)據(jù)的并行計(jì)算方式。

基于上述問題的解決思路，文獻(xiàn)[6]認(rèn)為開展大數(shù)據(jù)應(yīng)用首先要解決數(shù)據(jù)的存、通、用的問題，提出在制定數(shù)據(jù)標(biāo)準(zhǔn)、明確主體數(shù)據(jù)的基礎(chǔ)上進(jìn)行關(guān)聯(lián)映射的技術(shù)路線。文獻(xiàn)[7-8]認(rèn)為實(shí)現(xiàn)高效數(shù)據(jù)共享是開展智能分析的基礎(chǔ)，提出建立統(tǒng)一的公共信息模型、接口規(guī)范和信息對(duì)象編碼，實(shí)現(xiàn)信息標(biāo)準(zhǔn)化管理。然而目前的研究成果仍缺乏對(duì)電網(wǎng)協(xié)同監(jiān)控的全局考慮。應(yīng)整合各業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)傳統(tǒng)電力系統(tǒng)故障異常的被動(dòng)接受向主動(dòng)發(fā)現(xiàn)模式轉(zhuǎn)變。

本文緊扣業(yè)務(wù)數(shù)據(jù)關(guān)聯(lián)融合及數(shù)據(jù)驅(qū)動(dòng)建模理念，開展智能電網(wǎng)監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)的研究建設(shè)，結(jié)合大數(shù)據(jù)及云平臺(tái)技術(shù)優(yōu)勢(shì)，從監(jiān)控全局角度分析數(shù)據(jù)多維多源特性，采用數(shù)據(jù)到模型、模型到應(yīng)用的方式，設(shè)計(jì)電網(wǎng)監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)整體架構(gòu)及功能體系，研究規(guī)范化數(shù)據(jù)接入、全過程數(shù)據(jù)處理及大數(shù)據(jù)因果分析建模等關(guān)鍵技術(shù)，實(shí)現(xiàn)監(jiān)控運(yùn)行大數(shù)據(jù)系統(tǒng)的建設(shè)應(yīng)用，全面提升電網(wǎng)設(shè)備監(jiān)控管理水平，為大數(shù)據(jù)技術(shù)在電網(wǎng)調(diào)控其他專業(yè)的應(yīng)用分析提供有效借鑒。

1 總體設(shè)計(jì)

1.1 整體架構(gòu)

開展智能電網(wǎng)監(jiān)控運(yùn)行大數(shù)據(jù)分析需要從全過程、全方位的角度深入挖掘數(shù)據(jù)價(jià)值，尋找數(shù)據(jù)間的關(guān)系。系統(tǒng)依托現(xiàn)有云平臺(tái)及各類業(yè)務(wù)系統(tǒng)，應(yīng)用大數(shù)據(jù)技術(shù)，從數(shù)據(jù)接入至業(yè)務(wù)應(yīng)用自下而上實(shí)現(xiàn)整體架構(gòu)，如圖1所示。

圖1 監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)整體架構(gòu)Fig.1 Overall structure diagram of monitoring operation big data analysis system

1)數(shù)據(jù)接入層：系統(tǒng)匯總整合的數(shù)據(jù)來源涵蓋能量管理系統(tǒng)(EMS)、生產(chǎn)管理系統(tǒng)(PMS)、調(diào)度管理系統(tǒng)(OMS)、氣象系統(tǒng)、配電系統(tǒng)及云平臺(tái)等多個(gè)系統(tǒng)，數(shù)據(jù)類型具有結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的異構(gòu)特征，系統(tǒng)將常規(guī)的JDBC，F(xiàn)TP，MQ，WebService等數(shù)據(jù)接入方式與大數(shù)據(jù)的Sqoop，Kafka，F(xiàn)lume等方式結(jié)合，完成數(shù)據(jù)全量抽數(shù)，同時(shí)配合校驗(yàn)規(guī)則引擎及數(shù)據(jù)提取轉(zhuǎn)換加載(ETL)工具實(shí)現(xiàn)抽取數(shù)據(jù)的清洗、標(biāo)準(zhǔn)化，該種數(shù)據(jù)接入方式保證了調(diào)控相關(guān)數(shù)據(jù)的全面性、統(tǒng)合性、高質(zhì)性，為上層數(shù)據(jù)存儲(chǔ)奠定基礎(chǔ)。

2)數(shù)據(jù)存儲(chǔ)層：系統(tǒng)結(jié)合傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)及內(nèi)存數(shù)據(jù)庫(kù)，利用大數(shù)據(jù)Hadoop生態(tài)圈中列式數(shù)據(jù)庫(kù)HBase以及分布式文件系統(tǒng)HDFS完成對(duì)調(diào)控業(yè)務(wù)非結(jié)構(gòu)化數(shù)據(jù)的高效存儲(chǔ)[9]，提升了對(duì)調(diào)度視頻、音頻、文本文件等非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)手段，成為系統(tǒng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)分析的前提。

3)公共服務(wù)層:系統(tǒng)以大數(shù)據(jù)并行計(jì)算框架為基礎(chǔ)，通過安全、分析、計(jì)算、管理、展示五方面集成了系統(tǒng)業(yè)務(wù)層依賴的公共服務(wù)組件，提供了用戶權(quán)限、傳輸加密、數(shù)據(jù)備份的安全服務(wù)；專家分析、算法庫(kù)等分析服務(wù)；結(jié)構(gòu)化查詢語言(SQL)計(jì)算、離線計(jì)算、批處理、流式計(jì)算的計(jì)算方式服務(wù)；元數(shù)據(jù)、運(yùn)行監(jiān)控、資源、配置的管理服務(wù)；搜索、地理信息、交互分析、數(shù)據(jù)儀表的展示服務(wù)[10]。系統(tǒng)引入大數(shù)據(jù)并行計(jì)算框架MR及Spark，以及相應(yīng)的流式計(jì)算框架，大幅提升業(yè)務(wù)計(jì)算效能，使業(yè)務(wù)間的關(guān)聯(lián)分析和數(shù)據(jù)挖掘更加行之有效；并且大大豐富業(yè)務(wù)的展示及交互方式，使得系統(tǒng)的使用更加人性化。

4)業(yè)務(wù)模型層：系統(tǒng)以監(jiān)控運(yùn)行實(shí)際業(yè)務(wù)需求為基礎(chǔ)，整合預(yù)處理、分類、回歸、聚類、關(guān)聯(lián)規(guī)則等大量數(shù)據(jù)挖掘算法，基于公共服務(wù)層中分析及計(jì)算單元進(jìn)行多業(yè)務(wù)建模，形成五大業(yè)務(wù)的51項(xiàng)應(yīng)用模型，主要包括運(yùn)行風(fēng)險(xiǎn)趨勢(shì)預(yù)警類模型、監(jiān)控設(shè)備異常偵測(cè)類模型、電網(wǎng)事故協(xié)同處置類模型等。相對(duì)EMS以外業(yè)務(wù)模型較為死板化的情況，系統(tǒng)為模型層提供了維護(hù)入口，可根據(jù)業(yè)務(wù)場(chǎng)景變更實(shí)現(xiàn)模型的變更。

5)業(yè)務(wù)應(yīng)用層：系統(tǒng)基于分析模型，按照不同的功能類型形成大數(shù)據(jù)四大中心，包括數(shù)據(jù)對(duì)比統(tǒng)計(jì)分析中心、設(shè)備趨勢(shì)性故障預(yù)警中心、運(yùn)行檢索中心、可視化展示中心。

1.2 功能體系

本文基于整體架構(gòu)中的業(yè)務(wù)應(yīng)用層構(gòu)建了監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)的四大應(yīng)用功能中心，提出了從多源多維業(yè)務(wù)數(shù)據(jù)到業(yè)務(wù)應(yīng)用自動(dòng)轉(zhuǎn)化的功能體系，包括統(tǒng)計(jì)分析中心、趨勢(shì)預(yù)警中心、智能搜索中心及可視化展示中心四大類，旨在有效提升監(jiān)控運(yùn)行分析智能化水平，提高設(shè)備監(jiān)控整體業(yè)務(wù)能力，保障電網(wǎng)安全穩(wěn)定運(yùn)行，如圖2所示。

1)統(tǒng)計(jì)分析中心：基于數(shù)據(jù)模型標(biāo)準(zhǔn)化以及數(shù)據(jù)采集、存儲(chǔ)、治理一體化的結(jié)果，通過建立關(guān)聯(lián)統(tǒng)計(jì)和分析模型，對(duì)多源異構(gòu)的結(jié)構(gòu)化電力監(jiān)控業(yè)務(wù)相關(guān)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和挖掘，相對(duì)現(xiàn)有系統(tǒng)，擴(kuò)大并提升了統(tǒng)計(jì)數(shù)據(jù)源的維度及質(zhì)量，使傳統(tǒng)的數(shù)據(jù)分析從 “單一數(shù)據(jù)點(diǎn)”向“多點(diǎn)對(duì)比關(guān)聯(lián)分析”的方向改進(jìn)；借助相關(guān)分析與因果分析相結(jié)合的策略，實(shí)現(xiàn)對(duì)常態(tài)化監(jiān)控業(yè)務(wù)和異常事件發(fā)生原因的推斷，以及多維度對(duì)比關(guān)聯(lián)性綜合評(píng)價(jià)，相對(duì)傳統(tǒng)系統(tǒng)的數(shù)理統(tǒng)計(jì)手段，引入了基于因果關(guān)系的檢測(cè)方法。

圖2 監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)功能體系Fig.2 Function system of monitoring operation big data analysis system

2)趨勢(shì)預(yù)警中心：通過運(yùn)用基于數(shù)據(jù)挖掘、時(shí)序預(yù)測(cè)、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的大數(shù)據(jù)分析技術(shù)，構(gòu)建對(duì)電網(wǎng)態(tài)勢(shì)、設(shè)備狀態(tài)進(jìn)行趨勢(shì)研判的應(yīng)用模型。相對(duì)現(xiàn)有系統(tǒng)被動(dòng)式問題的檢測(cè)手段，將設(shè)備運(yùn)行故障異常趨勢(shì)預(yù)警能力轉(zhuǎn)化為主動(dòng)發(fā)現(xiàn)的能力，實(shí)現(xiàn)電網(wǎng)安全防線從“事后分析”到“事前預(yù)控”的改變。

3)智能搜索中心：提供靈活、全方位的信息獲取手段，相對(duì)現(xiàn)有系統(tǒng)，增加重要事件、用戶預(yù)訂信息的智能推送能力；引入語義分析及推理技術(shù)，運(yùn)用大數(shù)據(jù)深度學(xué)習(xí)算法、相關(guān)性分析法和離散事件分析方法，對(duì)用戶行為進(jìn)行分析、挖掘，獲得用戶偏好模型，大大提升系統(tǒng)在搜索方面的人性化及實(shí)用度，實(shí)現(xiàn)信息搜索從“對(duì)象檢索”到“行為檢索”的改變。

4)可視化展示中心：采用兩維平面全景、三維實(shí)景虛擬與視頻數(shù)據(jù)虛實(shí)綜合等展示技術(shù)，將統(tǒng)計(jì)分析中心、趨勢(shì)預(yù)警中心、智能搜索中心的分析結(jié)果進(jìn)行可視化展示，在時(shí)間尺度上，構(gòu)建了實(shí)時(shí)-準(zhǔn)實(shí)時(shí)-非實(shí)時(shí)-離線的綜合業(yè)務(wù)監(jiān)視一體化展示技術(shù)。相對(duì)傳統(tǒng)系統(tǒng)，在展示因素上，通過對(duì)關(guān)聯(lián)業(yè)務(wù)和專業(yè)習(xí)慣的挖掘，實(shí)現(xiàn)多模塊、跨業(yè)務(wù)、多數(shù)據(jù)庫(kù)聯(lián)合的全因素透視展示方法，從而提升對(duì)電網(wǎng)統(tǒng)計(jì)數(shù)據(jù)、系統(tǒng)運(yùn)行、設(shè)備狀態(tài)的掌控水平，實(shí)現(xiàn)數(shù)據(jù)展示從“單模弱表達(dá)”到“多模強(qiáng)表達(dá)”的改變。

1.3 技術(shù)路線

監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)以監(jiān)控業(yè)務(wù)需求為牽引，采用“數(shù)據(jù)到模型，模型到應(yīng)用”的技術(shù)路線[11]。從多維數(shù)據(jù)源中經(jīng)過相關(guān)性分析、因果關(guān)系檢測(cè)技術(shù)，生成基于數(shù)據(jù)驅(qū)動(dòng)方法的初篩大數(shù)據(jù)模型；按照業(yè)務(wù)實(shí)際應(yīng)用，通過人工經(jīng)驗(yàn)(信息分析師)完成初篩大數(shù)據(jù)模型與具體業(yè)務(wù)的對(duì)接，完成數(shù)理統(tǒng)計(jì)模型向更加精準(zhǔn)的因果型業(yè)務(wù)模型轉(zhuǎn)化，支撐電網(wǎng)監(jiān)控運(yùn)行實(shí)際工作，實(shí)現(xiàn)了研究數(shù)據(jù)與數(shù)據(jù)的關(guān)聯(lián)性，到研究模型與業(yè)務(wù)關(guān)聯(lián)性的轉(zhuǎn)變，如圖3所示。

圖3 監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)技術(shù)路線Fig.3 Technical route of monitoring operation big data analysis system

1)數(shù)據(jù)源端規(guī)范處理：針對(duì)業(yè)務(wù)數(shù)據(jù)多時(shí)空多業(yè)務(wù)分布等特點(diǎn)，在數(shù)據(jù)源端及接入過程完成對(duì)電網(wǎng)模型數(shù)據(jù)命名、電網(wǎng)設(shè)備對(duì)象標(biāo)識(shí)、電網(wǎng)數(shù)據(jù)對(duì)象結(jié)構(gòu)等方面的規(guī)范化處理，保證大數(shù)據(jù)平臺(tái)數(shù)據(jù)接入的標(biāo)準(zhǔn)化，確保數(shù)據(jù)間可通過對(duì)象為中心實(shí)現(xiàn)關(guān)聯(lián)。

2)全過程數(shù)據(jù)處理：針對(duì)源端規(guī)范后數(shù)據(jù)接入大數(shù)據(jù)平臺(tái)的方式，提出從規(guī)范化的通信協(xié)議技術(shù)，到調(diào)度主站數(shù)據(jù)虛擬化技術(shù)，再到數(shù)據(jù)混合計(jì)算模式的數(shù)據(jù)全過程處理技術(shù)體系，為不同時(shí)間頻度、不同業(yè)務(wù)維度的各類業(yè)務(wù)分析應(yīng)用提供大數(shù)據(jù)級(jí)的數(shù)據(jù)處理技術(shù)支撐。

3)大數(shù)據(jù)應(yīng)用模型構(gòu)建：針對(duì)大數(shù)據(jù)技術(shù)在電力系統(tǒng)監(jiān)控業(yè)務(wù)的深度應(yīng)用存在的電力系統(tǒng)毫秒級(jí)實(shí)時(shí)數(shù)據(jù)分析及電網(wǎng)監(jiān)控因果系統(tǒng)分析等挑戰(zhàn)，提出從相關(guān)性分析到因果關(guān)系檢驗(yàn)的監(jiān)控運(yùn)行大數(shù)據(jù)應(yīng)用模型自動(dòng)建模方法，解決大數(shù)據(jù)分析技術(shù)在因果關(guān)系占主導(dǎo)的監(jiān)控業(yè)務(wù)中不適用問題。

4)大數(shù)據(jù)分析功能研發(fā)：基于監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)的技術(shù)效率及數(shù)據(jù)融合基礎(chǔ)，針對(duì)監(jiān)控運(yùn)行大數(shù)據(jù)分析業(yè)務(wù)需求，構(gòu)建業(yè)務(wù)處理模型，應(yīng)用大數(shù)據(jù)展示技術(shù)，實(shí)現(xiàn)統(tǒng)計(jì)分析、趨勢(shì)預(yù)警、智能搜索及可視化展示四大應(yīng)用功能，并上線完成智能電網(wǎng)監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)研發(fā)及試點(diǎn)應(yīng)用。

2 關(guān)鍵技術(shù)

在以上總體設(shè)計(jì)的基礎(chǔ)上，提出了規(guī)范化數(shù)據(jù)接入、全過程數(shù)據(jù)處理和大數(shù)據(jù)因果分析三項(xiàng)關(guān)鍵技術(shù)，本文對(duì)其進(jìn)行概述性的介紹，技術(shù)的應(yīng)用方案及效果驗(yàn)證將在后續(xù)系列文章中進(jìn)行詳細(xì)闡述。

2.1規(guī)范化數(shù)據(jù)接入技術(shù)

系統(tǒng)所需數(shù)據(jù)源分散在跨部門的多個(gè)業(yè)務(wù)系統(tǒng)中，如圖4所示,包括:電網(wǎng)監(jiān)控運(yùn)行相關(guān)的EMS、配電自動(dòng)化系統(tǒng)和OMS；電網(wǎng)設(shè)備運(yùn)維監(jiān)測(cè)相關(guān)的輸變電設(shè)備在線監(jiān)測(cè)系統(tǒng)、山火監(jiān)測(cè)系統(tǒng)、PMS、雷電監(jiān)測(cè)系統(tǒng)和覆冰監(jiān)測(cè)系統(tǒng)；用戶側(cè)的用電采集系統(tǒng)和營(yíng)銷95598系統(tǒng)；以及氣象臺(tái)支撐的水文氣象外接系統(tǒng)。

圖4 監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)流框圖Fig.4 Data flow diagram of monitoring operation big data analysis system

數(shù)據(jù)接入技術(shù)包括數(shù)據(jù)源端規(guī)范和靜態(tài)數(shù)據(jù)點(diǎn)召兩部分。

1)數(shù)據(jù)源端規(guī)范技術(shù)

經(jīng)對(duì)數(shù)據(jù)源現(xiàn)狀分析，現(xiàn)階段不同系統(tǒng)間同一數(shù)據(jù)對(duì)象采用的建模方法不同，數(shù)據(jù)模型不一致，數(shù)據(jù)間難以實(shí)現(xiàn)關(guān)聯(lián)。針對(duì)數(shù)據(jù)源的多源、多維、全時(shí)間尺度特征，設(shè)計(jì)提出數(shù)據(jù)源端規(guī)范技術(shù)，實(shí)現(xiàn)對(duì)模型命名、設(shè)備信息對(duì)象化和全數(shù)據(jù)結(jié)構(gòu)的統(tǒng)一規(guī)范，采用面向?qū)ο蟮姆绞?，以設(shè)備為中心的完成數(shù)據(jù)組織，確保數(shù)據(jù)信息的標(biāo)準(zhǔn)化接入[12-14]。

2)靜態(tài)數(shù)據(jù)點(diǎn)召技術(shù)

現(xiàn)階段從變電站子站上傳至監(jiān)控系統(tǒng)(主站)的監(jiān)控?cái)?shù)據(jù)由監(jiān)控信息表進(jìn)行配置，對(duì)變電站各類遙信、遙測(cè)數(shù)據(jù)進(jìn)行了抽取、合并等后續(xù)加工，并非對(duì)變電站靜態(tài)數(shù)據(jù)完全再現(xiàn)，失去了設(shè)備運(yùn)行部分詳細(xì)信息，不利于設(shè)備缺陷深層次原因的追溯，本文設(shè)計(jì)靜態(tài)數(shù)據(jù)點(diǎn)召技術(shù)，利用通用服務(wù)協(xié)議[15]的擴(kuò)展性，開通除監(jiān)控信息表外的第二數(shù)據(jù)交互方式，對(duì)靜態(tài)數(shù)據(jù)實(shí)現(xiàn)多點(diǎn)、分時(shí)段召喚，作為重要的數(shù)據(jù)源為基于監(jiān)控?cái)?shù)據(jù)的設(shè)備運(yùn)行大數(shù)據(jù)分析應(yīng)用提供數(shù)據(jù)支撐。

通過規(guī)范化數(shù)據(jù)接入技術(shù)，有效地解決了數(shù)據(jù)范圍有限和數(shù)據(jù)關(guān)聯(lián)缺乏的兩個(gè)問題，擴(kuò)展了監(jiān)控業(yè)務(wù)分析的相關(guān)數(shù)據(jù)范圍，包括變電站、輸電線路全景數(shù)據(jù)及營(yíng)銷、運(yùn)檢、氣象等外部業(yè)務(wù)數(shù)據(jù)；應(yīng)用數(shù)據(jù)源端規(guī)范技術(shù)和靜態(tài)數(shù)據(jù)點(diǎn)招技術(shù)，實(shí)現(xiàn)多源、多地、多時(shí)序業(yè)務(wù)數(shù)據(jù)的關(guān)聯(lián)融合，提升數(shù)據(jù)質(zhì)量，為開展監(jiān)控業(yè)務(wù)的深化應(yīng)用提供強(qiáng)有力數(shù)據(jù)支撐。

2.2 全過程數(shù)據(jù)處理技術(shù)

系統(tǒng)完成所需信息接入，并不能立刻支撐應(yīng)用層的大數(shù)據(jù)分析業(yè)務(wù)，數(shù)據(jù)處理的好壞將直接影響上層數(shù)據(jù)應(yīng)用的質(zhì)量和效率。本文在對(duì)現(xiàn)有大數(shù)據(jù)處理技術(shù)研究[16]的基礎(chǔ)上，根據(jù)數(shù)據(jù)特征，提出了全過程數(shù)據(jù)處理技術(shù)，主要包括自薦式自適應(yīng)全壽命數(shù)據(jù)標(biāo)簽技術(shù)、數(shù)據(jù)集技術(shù)及混合計(jì)算技術(shù)。

1)自薦式自適應(yīng)全壽命數(shù)據(jù)標(biāo)簽技術(shù)

自薦式自適應(yīng)全壽命數(shù)據(jù)標(biāo)簽技術(shù)對(duì)接入大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，根據(jù)業(yè)務(wù)需求，添加對(duì)應(yīng)數(shù)據(jù)標(biāo)簽，實(shí)現(xiàn)多源多維數(shù)據(jù)分類標(biāo)識(shí)。同時(shí)標(biāo)簽技術(shù)具有時(shí)間、業(yè)務(wù)的自適應(yīng)能力，能夠根據(jù)歷史統(tǒng)計(jì)自動(dòng)推薦業(yè)務(wù)標(biāo)簽，具備標(biāo)簽自薦能力。

2)數(shù)據(jù)集技術(shù)

數(shù)據(jù)集技術(shù)是對(duì)標(biāo)簽后的數(shù)據(jù)歸集成數(shù)據(jù)集[17]，同時(shí)生成交互數(shù)據(jù)的元數(shù)據(jù)和數(shù)據(jù)源清單，實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)管理和數(shù)據(jù)源安全管控，同時(shí)支持?jǐn)?shù)據(jù)對(duì)外發(fā)布。其中，可交付數(shù)據(jù)集根據(jù)組織機(jī)構(gòu)的需要自動(dòng)生成可交互數(shù)據(jù)集，并響應(yīng)大數(shù)據(jù)分析算法和功能應(yīng)用的需求，自動(dòng)提供數(shù)據(jù)服務(wù)。

3)計(jì)算技術(shù)

根據(jù)監(jiān)控業(yè)務(wù)的工作特點(diǎn)，對(duì)大數(shù)據(jù)計(jì)算技術(shù)進(jìn)行優(yōu)化，對(duì)增量數(shù)據(jù)采用混合式計(jì)算技術(shù)，在正常運(yùn)行情況下采用定時(shí)批量計(jì)算，在設(shè)備故障等緊急情況下采用實(shí)時(shí)流式計(jì)算。

2.3 大數(shù)據(jù)因果分析技術(shù)

大數(shù)據(jù)究其本身是統(tǒng)計(jì)分析的方法，能夠分析出現(xiàn)象之間關(guān)聯(lián)的表面規(guī)律[18]，但無法檢驗(yàn)邏輯上的因果關(guān)系，屬于數(shù)據(jù)驅(qū)動(dòng)的研究范疇；電力監(jiān)控系統(tǒng)是一個(gè)因果關(guān)系系統(tǒng)，屬于模型驅(qū)動(dòng)的研究范疇，因此直接將大數(shù)據(jù)分析模型應(yīng)用到電力監(jiān)控運(yùn)行生產(chǎn)中存在挑戰(zhàn)[19]。

本文提出大數(shù)據(jù)因果分析技術(shù)，在挖掘出大量數(shù)據(jù)間隱藏的相關(guān)性的基礎(chǔ)上，應(yīng)用格蘭杰因果檢驗(yàn)法篩選出具有潛在因果關(guān)系的關(guān)聯(lián)因素組，實(shí)現(xiàn)從數(shù)據(jù)中自動(dòng)生成因果模型。大數(shù)據(jù)因果分析技術(shù)應(yīng)用邏輯如圖5所示，分為5個(gè)步驟。

圖5 監(jiān)控運(yùn)行大數(shù)據(jù)因果關(guān)系應(yīng)用邏輯圖Fig.5 Application logic diagram of big data causal relationship mining operation

1)設(shè)備監(jiān)控業(yè)務(wù)影響因素相關(guān)性檢測(cè)

分析電網(wǎng)設(shè)備運(yùn)行過程中出現(xiàn)的事件與可能影響其發(fā)生的因素的全關(guān)聯(lián)集合，如圖5第①步，將集合作為相關(guān)性匹配檢測(cè)模型輸入，判明與該事件發(fā)生的強(qiáng)關(guān)聯(lián)因素，如圖5第②步。

2)格蘭杰因果關(guān)系假設(shè)檢驗(yàn)

如圖5第③步，采用事件回歸方程和影響因素回歸方程對(duì)二者的時(shí)間序列進(jìn)行回歸處理，并通過相關(guān)性方程對(duì)每一影響因素與事件間的相關(guān)性真?zhèn)芜M(jìn)行檢驗(yàn)。

3)貝葉斯因果網(wǎng)絡(luò)建模

將步驟③得出的與事件具有顯著因果關(guān)系的影響因素，通過有向圖表征，對(duì)有向節(jié)點(diǎn)集進(jìn)行條件依賴編碼，使用聯(lián)合概率分布為無有向邊連接的節(jié)點(diǎn)集進(jìn)行條件獨(dú)立編碼的步驟，構(gòu)建貝葉斯因果網(wǎng)絡(luò)。如圖第4步，完成從全量數(shù)據(jù)中生成大數(shù)據(jù)因果模型。

4)業(yè)務(wù)模型轉(zhuǎn)化

如圖5第⑤步，在自動(dòng)生成的大數(shù)據(jù)因果模型基礎(chǔ)上，通過信號(hào)分析師根據(jù)人工經(jīng)驗(yàn)，對(duì)大數(shù)據(jù)模型和經(jīng)驗(yàn)?zāi)Ｐ瓦M(jìn)行結(jié)合，完成大數(shù)據(jù)統(tǒng)計(jì)模型向電網(wǎng)因果模型的轉(zhuǎn)化。即通過人工經(jīng)驗(yàn)，推動(dòng)數(shù)據(jù)驅(qū)動(dòng)模型轉(zhuǎn)化為監(jiān)控業(yè)務(wù)模型。

本文通過大數(shù)據(jù)因果分析技術(shù)，有效地解決了監(jiān)控分析缺乏理論層面突破的問題，實(shí)現(xiàn)針對(duì)設(shè)備實(shí)時(shí)監(jiān)控單項(xiàng)業(yè)務(wù)的數(shù)據(jù)驅(qū)動(dòng)建模。

3 應(yīng)用成效及展望

針對(duì)系統(tǒng)基礎(chǔ)數(shù)據(jù)層面，在系統(tǒng)建設(shè)前期，本文應(yīng)用規(guī)范化數(shù)據(jù)接入及全過程數(shù)據(jù)處理兩個(gè)方面的技術(shù)，投入大量工作進(jìn)行基礎(chǔ)數(shù)據(jù)清洗與整合工作。系統(tǒng)在江蘇示范應(yīng)用時(shí)，接入3 107座變電站、3億條告警信息和PB級(jí)遙測(cè)數(shù)據(jù)。針對(duì)數(shù)據(jù)多源、弱關(guān)聯(lián)、信息孤島、噪點(diǎn)數(shù)據(jù)等問題，進(jìn)行深度清理與整治，建設(shè)監(jiān)控信息映射字典庫(kù)，規(guī)范告警信息，同時(shí)推進(jìn)OMS-PMS-EMS數(shù)據(jù)關(guān)聯(lián)與區(qū)域互備數(shù)據(jù)清洗，最終建設(shè)完成監(jiān)控?cái)?shù)據(jù)中心，支撐上層應(yīng)用及多維系統(tǒng)數(shù)據(jù)服務(wù)。

在系統(tǒng)應(yīng)用層面，針對(duì)不同類型的監(jiān)控運(yùn)行業(yè)務(wù),系統(tǒng)應(yīng)用大數(shù)據(jù)因果分析技術(shù)，構(gòu)建業(yè)務(wù)大數(shù)據(jù)分析模型，通過定義模型的數(shù)據(jù)輸入類型、數(shù)據(jù)輸入方式、模型計(jì)算過程和模型調(diào)用間隔等內(nèi)容，完成各分析業(yè)務(wù)的實(shí)際應(yīng)用。截至目前，監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)已完成4大中心5類應(yīng)用51個(gè)功能模塊的研發(fā)，包括運(yùn)行風(fēng)險(xiǎn)趨勢(shì)預(yù)警模型、監(jiān)控設(shè)備異常偵測(cè)、電網(wǎng)事故協(xié)同處置、監(jiān)控業(yè)務(wù)流程管控和監(jiān)控報(bào)表統(tǒng)計(jì)分析模型等類型，其中電網(wǎng)跳閘檢索、監(jiān)控信息關(guān)聯(lián)性偵測(cè)、設(shè)備監(jiān)控運(yùn)行實(shí)時(shí)評(píng)價(jià)等36個(gè)功能模塊已經(jīng)在江蘇、浙江、天津、四川、遼寧五個(gè)試點(diǎn)調(diào)控中心上線運(yùn)行，尚有15個(gè)功能處在實(shí)用化過程中，基于系統(tǒng)構(gòu)建的開放平臺(tái)，新的業(yè)務(wù)應(yīng)用將結(jié)合生產(chǎn)需求不斷擴(kuò)充。

監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)經(jīng)過近兩年的建設(shè)，現(xiàn)已初見成效。在數(shù)據(jù)處理方面，應(yīng)用規(guī)范化數(shù)據(jù)接入和全過程數(shù)據(jù)處理技術(shù)，實(shí)現(xiàn)對(duì)主站端設(shè)備模型、缺陷、故障、告警等多源數(shù)據(jù)，及子站端的故障錄波、設(shè)備全景模型和狀態(tài)點(diǎn)召等歷史數(shù)據(jù)的大數(shù)據(jù)關(guān)聯(lián)存儲(chǔ)及監(jiān)控特征的標(biāo)簽化處理；在業(yè)務(wù)分析模型方面，應(yīng)用大數(shù)據(jù)因果分析技術(shù)，實(shí)現(xiàn)對(duì)主變油溫故障趨勢(shì)偵測(cè)、變電站直流系統(tǒng)異常偵測(cè)、電力設(shè)備缺陷性故障預(yù)警、連鎖跳閘故障診斷預(yù)測(cè)等業(yè)務(wù)分析模型的構(gòu)建及應(yīng)用；在監(jiān)控業(yè)務(wù)管理方面，實(shí)現(xiàn)日常監(jiān)控運(yùn)行由完全依賴人工經(jīng)驗(yàn)向大數(shù)據(jù)輔助研判的轉(zhuǎn)變，監(jiān)控工作模式由單一統(tǒng)計(jì)分析至多維數(shù)據(jù)挖掘的優(yōu)化，加強(qiáng)對(duì)監(jiān)控專業(yè)的管理力度，提升監(jiān)控工作效率。

截至目前監(jiān)控運(yùn)行大數(shù)據(jù)分析系統(tǒng)研究與應(yīng)用仍處于起步階段。大數(shù)據(jù)是一門技術(shù)，更是一個(gè)提升專業(yè)管理水平的平臺(tái)，但仍需加強(qiáng)數(shù)據(jù)綜合治理，不斷提煉規(guī)律，深化應(yīng)用，增值服務(wù)，推進(jìn)大數(shù)據(jù)在電網(wǎng)運(yùn)行管理中的全維度應(yīng)用。下一步將從三個(gè)方面進(jìn)行系統(tǒng)應(yīng)用深化，一是開展事件化技術(shù)研究，二是深化監(jiān)控運(yùn)行評(píng)價(jià)，三是完善監(jiān)控全景管理。其中事件化技術(shù)是在監(jiān)控大數(shù)據(jù)平臺(tái)的基礎(chǔ)上，提煉事件化的規(guī)律和經(jīng)驗(yàn)，形成設(shè)備信息分類匯集處置的規(guī)則，避免多源數(shù)據(jù)融合下的單一事件重復(fù)處理，提升信息處置效率和監(jiān)控運(yùn)行宏觀掌控能力；監(jiān)控運(yùn)行評(píng)價(jià)將建立變電站監(jiān)控運(yùn)行多維評(píng)價(jià)體系，對(duì)設(shè)備實(shí)時(shí)運(yùn)行狀態(tài)進(jìn)一步評(píng)估，為調(diào)度員、監(jiān)控員、監(jiān)控分析師以及檢修管理者提供更加直觀的決策支持。

參考文獻(xiàn)

[1] MANYIKA J, CHUI M, BROWN B, et al. Big data: the next frontier for innovation, competition, and productivity[R/OL]. [2017-05-01]. https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/big-data-the-next-frontier-for-innovation.

[2] 中國(guó)電機(jī)工程學(xué)會(huì)信息化專委會(huì).中國(guó)電力大數(shù)據(jù)發(fā)展白皮書[M].北京:中國(guó)電力出版社,2013.

[3] 薛禹勝,賴業(yè)寧.大能源思維與大數(shù)據(jù)思維的融合:(一)大數(shù)據(jù)與電力大數(shù)據(jù)[J]. 電力系統(tǒng)自動(dòng)化,2016,40(1):1-8.DOI:10.7500/AEPS20151208005.

XUE Yusheng, LAI Yening. The fusion of thinking of big energy and big data: Part one big data and power big data[J]. Automation of Electric Power Systems, 2016, 40(1): 1-8. DOI: 10.7500/AEPS20151208005.

[4] 辛耀中,石俊杰,周京陽,等.智能電網(wǎng)調(diào)度控制系統(tǒng)現(xiàn)狀與技術(shù)展望[J].電力系統(tǒng)自動(dòng)化,2015,39(1):2-8.DOI:10.7500/AEPS20141008024.

XIN Yaozhong, SHI Junjie, ZHOU Jingyang, et al. Technology development trends of smart grid dispatching and control systems[J]. Automation of Electric Power Systems, 2015, 39(1): 2-8. DOI: 10.7500/AEPS20141008024.

[5] 姚建國(guó),楊勝春,單茂華.面向未來互聯(lián)電網(wǎng)的調(diào)度技術(shù)支持系統(tǒng)架構(gòu)思考[J].電力系統(tǒng)自動(dòng)化,2013,37(21):52-59.

YAO Jianguo, YANG Shengchun, SHAN Maohua. The thinking about architecture of supports system for power dispatching technology for future interconnected network[J]. Automation of Electric Power Systems, 2013, 37(21): 52-59.

[6] 梁壽愚,胡榮,周華鋒,等.基于云計(jì)算架構(gòu)的新一代調(diào)度自動(dòng)化系統(tǒng)[J].南方電網(wǎng)技術(shù),2016,10(6):8-14.

LIANG Shouyu, HU Rong, ZHOU Huafeng, et al. A new generation of power dispatching automation system based on cloud computing architecture[J]. Southern Power System Technology, 2016, 10(6): 8-14.

[7] 荊銘,許洪強(qiáng),梁成輝.智能電網(wǎng)信息標(biāo)準(zhǔn)化在調(diào)度中心的應(yīng)用[J].電網(wǎng)技術(shù),2010,34(10):15-19.

JING Ming, XU Hongqiang, LIANG Chenghui. Application of information standardization of smart grid in power dispatching center[J]. Power System Technology, 2010, 34(10): 15-19.

[8] 趙云山,劉煥煥.大數(shù)據(jù)技術(shù)在電力行業(yè)的應(yīng)用研究[J].電信科學(xué),2014,30(1):57-62.

ZHAO Yunshan, LIU huanhuan. Application research of big data technology in power industry[J]. Telecommunications Science, 2014, 30(1): 57-62.

[9] 覃麗媛.電力大數(shù)據(jù)全景實(shí)時(shí)分析關(guān)鍵技術(shù)探討[J].電信科學(xué),2016,32(4):159-168.

QIN Liyuan. The discussion of key technologies in the real-time analysis of power big data[J]. Telecommunications Science, 2016, 32(4): 159-168.

[10] 彭小圣,鄧迪元,程時(shí)杰,等.面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J].中國(guó)電機(jī)工程學(xué)報(bào),2015,35(3):503-511.

PENG Xiaosheng, DENG Diyuan, CHENG Shijie, et al. The key technologies for power big data for smart grid application[J]. Proceedings of the CSEE, 2015, 35(3): 503-511.

[11] 周鄴飛,徐石明.智能變電站數(shù)據(jù)中心初探[J].電力系統(tǒng)自動(dòng)化,2011,35(18):57-61.

ZHOU Yefei, XU Shiming. A preliminary investigation on data center in smart substation[J]. Automation of Electric Power Systems, 2011, 35(18): 57-61.

[12] 電力系統(tǒng)廠站和主設(shè)備命名規(guī)范:DL/T 1624—2016[S].2002.

[13] 電網(wǎng)設(shè)備通用模型數(shù)據(jù)命名規(guī)范:GB/T 33601—2017[S].2002.

[14] 國(guó)家電力調(diào)度控制中心.電力調(diào)度通用數(shù)據(jù)對(duì)象結(jié)構(gòu)化設(shè)計(jì)[R].北京:國(guó)家電網(wǎng)公司,2017.

[15] 電力系統(tǒng)通用服務(wù)協(xié)議:GB/T 33602—2017[S].2017.

[16] 張引,陳敏,廖小飛.大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J].計(jì)算機(jī)研究與發(fā)展,2013,50(增刊):216-233.

ZHANG Yin, CHEN Min, LIAO Xiaofei. Big data application: a survey[J]. Journal of computer research and development, 2013, 50(Supplement): 216-233.

[17] 曹陽,姚建國(guó),楊勝春,等.基于模型集和差異模型的電網(wǎng)模型多版本管理方法[J].電力系統(tǒng)自動(dòng)化,2014,39(5):142-146.DOI:10.7500/AEPS20140422009.

CAO Yang, YAO Jianguo, YANG Shengchun, et al. A multi-version management method of grid model based on model set and difference model[J]. Automation of Electric Power Systems, 2014, 39(5): 142-146. DOI: 10.7500/AEPS20140422009.

[18] 趙國(guó)棟,易歡歡,糜萬軍,等.大數(shù)據(jù)時(shí)代的歷史機(jī)遇[M].北京:清華大學(xué)出版社,2013.

[19] 薛禹勝,賴業(yè)寧.大能源思維與大數(shù)據(jù)思維的融合:(二)應(yīng)用及探索[J].電力系統(tǒng)自動(dòng)化,2016,40(8):1-13.DOI:10.7500/AEPS20160311004.

XUE Yusheng, LAI Yening. The fusion of thinking of big energy and big data: Part two applications and explorations[J]. Automation of Electric Power Systems, 2016, 40(8): 1-13. DOI: 10.7500/AEPS20160311004.