周?chē)?guó)亮，呂凜杰，王桂蘭

（1. 國(guó)網(wǎng)冀北電力有限公司技能培訓(xùn)中心，河北 保定 071051；2.華北電力大學(xué)信息與網(wǎng)絡(luò)管理中心，河北 保定 071003）

電力信息化專(zhuān)欄

電力大數(shù)據(jù)全景實(shí)時(shí)分析關(guān)鍵技術(shù)

周?chē)?guó)亮1，呂凜杰1，王桂蘭2

（1. 國(guó)網(wǎng)冀北電力有限公司技能培訓(xùn)中心，河北 保定 071051；2.華北電力大學(xué)信息與網(wǎng)絡(luò)管理中心，河北 保定 071003）

針對(duì)智能電網(wǎng)建設(shè)過(guò)程中收集的電力大數(shù)據(jù)，基于電力系統(tǒng)全景實(shí)時(shí)數(shù)據(jù)分析的需求，探討基于大數(shù)據(jù)的電力系統(tǒng)安全可靠性分析、實(shí)時(shí)狀態(tài)監(jiān)控及能源全景動(dòng)態(tài)平衡調(diào)度等核心問(wèn)題的解決思路。 分析了利用大數(shù)據(jù)解決安全可靠性、設(shè)備全壽命周期管理及能源實(shí)時(shí)平衡調(diào)度等問(wèn)題的挑戰(zhàn)及解決思路，基于大規(guī)模實(shí)時(shí)多源細(xì)節(jié)數(shù)據(jù)和設(shè)備全景數(shù)據(jù)的計(jì)算，有助于提高系統(tǒng)分析的精度和準(zhǔn)確度，保證電網(wǎng)安全運(yùn)行；探討了內(nèi)存計(jì)算、實(shí)時(shí)流式大數(shù)據(jù)處理、大規(guī)模并行計(jì)算及列存儲(chǔ)等技術(shù)在電力大數(shù)據(jù)實(shí)時(shí)分析中的應(yīng)用；結(jié)合主流開(kāi)源大數(shù)據(jù)處理技術(shù)，設(shè)計(jì)了電力大數(shù)據(jù)分析平臺(tái)的分層體系架構(gòu)，為電力系統(tǒng)的高效運(yùn)行提供保證。

電力大數(shù)據(jù)；全景實(shí)時(shí)數(shù)據(jù)；內(nèi)存計(jì)算；數(shù)據(jù)流；大規(guī)模并行

1 引言

近年來(lái)，隨著全球能源危機(jī)、環(huán)境問(wèn)題等因素的不斷加劇，世界各國(guó)對(duì)清潔能源的開(kāi)發(fā)利用程度不斷提高，大量分布式、間歇性能源的廣泛接入對(duì)電力系統(tǒng)的安全穩(wěn)定運(yùn)行提出了更高的要求。在該前提下，智能電網(wǎng)應(yīng)運(yùn)而生。智能電網(wǎng)建設(shè)的最終目標(biāo)是成為覆蓋發(fā)、輸、變、配、用及調(diào)度等過(guò)程的全景實(shí)時(shí)電力系統(tǒng)，而支撐系統(tǒng)得以準(zhǔn)確、安全、實(shí)時(shí)及可靠運(yùn)行的基礎(chǔ)是電力系統(tǒng)多源異構(gòu)大數(shù)據(jù)的快速采集 、響 應(yīng) 和 分 析［1，2］。未 來(lái) 智 能 電 網(wǎng) 既 要 支 持 個(gè) 人 終 端 用 戶(hù) 與電網(wǎng)系統(tǒng)的交互，也要滿(mǎn)足控制系統(tǒng)對(duì)電網(wǎng)安全穩(wěn)定性的需求，智能電網(wǎng)中的多數(shù)應(yīng)用需要海量數(shù)據(jù)處理技術(shù)的支撐。

隨著智能電網(wǎng)建設(shè)在廣度和深度上的不斷推進(jìn)，在智能電網(wǎng)運(yùn)行過(guò)程中會(huì)收集到系統(tǒng)內(nèi)外的海量全景數(shù)據(jù)，形成電力大數(shù)據(jù)。比如，截至 2013 年底，國(guó)家電網(wǎng)公司累計(jì)安裝智能電能表 1.82 億只，實(shí)現(xiàn)用電信息采集 1.91 億戶(hù)，智能電表應(yīng)用量占全球的一半，其用電信息采集系統(tǒng)成為世界上最大 的 電 能 計(jì) 量 自 動(dòng) 化 系 統(tǒng) ，將 產(chǎn) 生 以 PB 級(jí) 計(jì) 的 數(shù) 據(jù)［3］。同 樣在 電 力 系 統(tǒng) 狀 態(tài) 監(jiān) 測(cè) 中 安 裝 的 PMU（phasor measurement unit，相 量 測(cè) 量 單 元 ）是 用 于 進(jìn) 行 同 步 相 位 測(cè) 量 、輸 出 和 動(dòng)態(tài)記錄的 裝 置 。100 個(gè) PMU 一天收集 62 億個(gè) 數(shù) 據(jù) 點(diǎn) ，數(shù)據(jù) 量 約 為 60 GB，而 如 果 監(jiān) 測(cè) 裝 置 增 加 到 1 000 套 ，每 天采 集 的 數(shù) 據(jù) 點(diǎn) 為 415 億個(gè)，數(shù) 據(jù) 量 將 達(dá) 到 402 GB。表 1 展示了智能電表生成數(shù)據(jù)量與采集頻率的關(guān)系。

表1 智能電表生成數(shù)據(jù)量與采集頻率的關(guān)系

同樣，在電力系統(tǒng)的其他各環(huán)節(jié)，隨著大量傳感采集裝置的安裝都將產(chǎn)生大規(guī)模的數(shù)據(jù)，而如何規(guī)劃、存儲(chǔ)、整合及綜合分析這些數(shù)據(jù)，是電力系統(tǒng)當(dāng)前需要迫切解決的關(guān)鍵問(wèn)題之一。但電力大數(shù)據(jù)與傳統(tǒng)互聯(lián)網(wǎng)大數(shù)據(jù)不同，對(duì)分析的全景性、實(shí)時(shí)性和可靠性提出了更高的要求。

通過(guò)建設(shè)基于大數(shù)據(jù)分析技術(shù)的全景實(shí)時(shí)系統(tǒng)，并使之成為整個(gè)系統(tǒng)的“神經(jīng)中樞”，將有助于從大數(shù)據(jù)驅(qū)動(dòng)的角度解決電力系統(tǒng)當(dāng)前面臨的主要挑戰(zhàn)，比如可靠性分析、實(shí)時(shí)調(diào)度等問(wèn)題，也有利于提高數(shù)據(jù)的利用率，挖掘數(shù)據(jù)價(jià)值。電力大數(shù)據(jù)全景實(shí)時(shí)分析平臺(tái)在系統(tǒng)中的地位如圖1所示。

將電力大數(shù)據(jù)中心建設(shè)成為整個(gè)電力系統(tǒng)的中心節(jié)點(diǎn)，負(fù)責(zé)全景信息收集、整合、狀態(tài)監(jiān)控和資源調(diào)度平衡。通過(guò)獲取整個(gè)系統(tǒng)的實(shí)時(shí)全景數(shù)據(jù)，將電力系統(tǒng)變成一個(gè)“端到端”的透明系統(tǒng)，實(shí)現(xiàn)全局信息共享，消除“信息孤島”，避免由于信息不對(duì)稱(chēng)造成的資源浪費(fèi)；利用大數(shù)據(jù)分析技術(shù)，結(jié)合電力系統(tǒng)理論知識(shí)，構(gòu)建系統(tǒng)分析模型，提高電力系統(tǒng)整體規(guī)劃水平，促進(jìn)能源動(dòng)態(tài)平衡；利用全景實(shí)時(shí)大數(shù)據(jù)，實(shí)現(xiàn)對(duì)輸變電設(shè)備的實(shí)時(shí)監(jiān)控、評(píng)估、分析及狀態(tài)預(yù)測(cè)，從而快速隔離事故；利用大數(shù)據(jù)，實(shí)時(shí)獲取發(fā)電及負(fù)荷信息，達(dá)到資源的優(yōu)化配置、調(diào)度，提高新能源接納吸收能力，促進(jìn)“削峰填谷”和高級(jí)需求響應(yīng)技術(shù)的應(yīng)用。

圖1 電力大數(shù)據(jù)分析平臺(tái)在系統(tǒng)中的地位

2 相關(guān)工作

云計(jì)算技術(shù)作為處理大數(shù)據(jù)的有效方式，在國(guó)內(nèi)電力行業(yè)中的應(yīng)用研究還處于探索起步階段，研究?jī)?nèi)容主要集中在系統(tǒng)構(gòu)想、實(shí)現(xiàn)思路和前景展望等方面。參考文獻(xiàn)［3］針對(duì)智能電網(wǎng)狀態(tài)監(jiān)測(cè)的特點(diǎn)，結(jié)合開(kāi)源技術(shù) Hadoop，借助虛擬化技術(shù)、分布式冗余存儲(chǔ)以及基于列存儲(chǔ)的數(shù)據(jù)管理模式來(lái)存儲(chǔ)和管理數(shù)據(jù)，以保證電網(wǎng)海量狀態(tài)數(shù)據(jù)的可靠和高效管理，但目前還只是一個(gè)框架設(shè)想。為了解決電力系統(tǒng)災(zāi)備中心資源利用率低、災(zāi)備業(yè)務(wù)流程復(fù)雜等一系列問(wèn)題，參考文獻(xiàn)［4］設(shè)計(jì)了云計(jì)算資源管理平臺(tái)框架和部分模塊，其目標(biāo)是實(shí)現(xiàn)電力企 業(yè) ERP 數(shù)據(jù) 的 備份，但尚未實(shí)現(xiàn)。參考文獻(xiàn)［5］初步設(shè)計(jì)了電力系統(tǒng)仿真云計(jì)算中心的系統(tǒng)架構(gòu)及其所包含的層次結(jié)構(gòu)：基礎(chǔ)設(shè)施云、數(shù)據(jù)管理云、仿真計(jì)算云等。參考文獻(xiàn)［6］探討了未來(lái)智能電網(wǎng)控制中心面臨的挑戰(zhàn)，提出物聯(lián)網(wǎng)和云計(jì)算技術(shù)結(jié)合是新型控制中心的技術(shù)支撐?；?Hadoop 云計(jì)算平臺(tái)，設(shè)計(jì)實(shí)現(xiàn)了基于 Hadoop 分布式文件系統(tǒng)的電力設(shè)備狀態(tài)監(jiān)測(cè)存儲(chǔ)系統(tǒng)［7］，對(duì) 動(dòng) 態(tài) 時(shí) 序 數(shù) 據(jù) 、靜 態(tài) 數(shù) 據(jù) 以 及 視 頻 數(shù) 據(jù) 進(jìn) 行 了 存儲(chǔ)、關(guān)鍵字查詢(xún)與并行處理方面的研究，通過(guò)對(duì)系統(tǒng)的測(cè)試，驗(yàn)證了云計(jì)算平臺(tái)高可靠性、良好的可擴(kuò)展性和數(shù)據(jù)并行訪(fǎng)問(wèn)的性能優(yōu)勢(shì)。

在國(guó)外，云計(jì)算技術(shù)目前已用于電力系統(tǒng)海量數(shù)據(jù)的存儲(chǔ)和處理，并有實(shí)際運(yùn)行的系統(tǒng)。參考文獻(xiàn)［8］分析了電力系統(tǒng)中不同用戶(hù)的實(shí)時(shí)查詢(xún)需求，設(shè)計(jì)了用于實(shí)時(shí)數(shù)據(jù)流管理的智能電網(wǎng)數(shù)據(jù)云模型，該模型較適合處理電力系統(tǒng)中的大規(guī)模流式數(shù)據(jù)，同時(shí)基于該模型實(shí)現(xiàn)了一個(gè)實(shí)時(shí)流 數(shù) 據(jù) 的 智 能 測(cè) 量 與 管 理 系 統(tǒng) 。Cloudera 公 司［9］設(shè) 計(jì) 并 實(shí)施 了 基 于 Hadoop 平 臺(tái) 的 智 能 電 網(wǎng) 在 TVA （Tennessee Valley Authority，田 納 西 河 流 域 管 理 局 ）上 的 項(xiàng) 目 ，幫 助TVA 管 理 PB 級(jí) 的 PMU 數(shù) 據(jù) ，體 現(xiàn) 了 Hadoop 平 臺(tái) 高 可 靠性以及價(jià)格低廉的優(yōu)勢(shì)。另外，TVA 在該項(xiàng)目基礎(chǔ)上開(kāi)發(fā)的 superPDC，通過(guò) openPDC 項(xiàng) 目 將其開(kāi)源 ，此 工 作 將有利于推動(dòng)量測(cè)數(shù)據(jù)的大規(guī)模分析處理，并可為電網(wǎng)其他時(shí)序 數(shù) 據(jù) 的 處 理 提 供 參 考 。 日 本 Kyushu 電 力 公 司［10］使 用Hadoop 平臺(tái)對(duì)大規(guī)模的電力系統(tǒng)用戶(hù)消費(fèi)數(shù)據(jù)進(jìn)行快速并行分析，并在該平臺(tái)基礎(chǔ)上開(kāi)發(fā)了各類(lèi)分布式的批處理應(yīng)用軟件，提高了數(shù)據(jù)處理的速度和效率。參考文獻(xiàn)［11］對(duì)云計(jì)算平臺(tái)應(yīng)用于智能電網(wǎng)進(jìn)行了詳細(xì)的分析，得出的結(jié)論是：現(xiàn)有云計(jì)算平臺(tái)可以滿(mǎn)足智能電網(wǎng)監(jiān)控軟件運(yùn)行的可靠性和可擴(kuò)展性，但實(shí)時(shí)性、一致性、全局性、數(shù)據(jù)隱私性和安全性等方面的要求尚不能滿(mǎn)足，有待進(jìn)一步深入研究。

隨著大數(shù)據(jù)在電力系統(tǒng)中的形成，電力大數(shù)據(jù)的研究也 獲 得 了 各 方 關(guān) 注 。參 考 文 獻(xiàn)［12］探 討 了 大 數(shù) 據(jù) 在 電 力 系統(tǒng)生產(chǎn)、控制和保護(hù)中的應(yīng)用，從特征量提取、系統(tǒng)整合和案例分析 3 個(gè)方面進(jìn)行了論述，并指出操作計(jì)劃制定、實(shí)時(shí)監(jiān)控和故障檢測(cè)保護(hù)是將來(lái)的研究方向。參考文獻(xiàn)［13］認(rèn)為電力系統(tǒng)大數(shù)據(jù)與傳統(tǒng)商業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)不同，對(duì)實(shí)時(shí)性和安全可靠性的要求更高，需要設(shè)計(jì)新型的處理分析系統(tǒng)，作者設(shè)計(jì)了原型系統(tǒng)，并在電力公司試用，性能獲得了一個(gè)數(shù)量級(jí)的提高。風(fēng)機(jī)選址是風(fēng)電場(chǎng)建設(shè)中的一項(xiàng)重要工 作［14］，IBM 利 用 氣 候 大 數(shù) 據(jù) 、潮 汐 相 位 、地 理 空 間 與 傳 感器數(shù)據(jù)、衛(wèi)星圖像、森林砍伐地圖等信息幫助丹麥能源公司維斯塔斯的風(fēng)機(jī)選址安裝，從而使風(fēng)機(jī)獲得最優(yōu)的發(fā)電量和最低的維護(hù)成本等。

電力系統(tǒng)是一個(gè)復(fù)雜、龐大的系統(tǒng)，傳統(tǒng)的系統(tǒng)可靠性評(píng)估、潮流計(jì)算等算法，具有處理數(shù)據(jù)有限、算法復(fù)雜度高、計(jì)算量大等特點(diǎn)，很難適應(yīng)全景大數(shù)據(jù)的環(huán)境。參考文獻(xiàn) ［15］研 究 了 實(shí) 時(shí) 并 行 潮 流 計(jì) 算 技 術(shù) ，通 過(guò) 并 行 計(jì) 算 技 術(shù)提高計(jì)算的效率。參考文獻(xiàn)［16］研究了利用集群計(jì)算電網(wǎng)可靠性的技術(shù)。參考文獻(xiàn)［17］研究了海量電網(wǎng)交換數(shù)據(jù)的處理技術(shù)。

綜上所述，電力大數(shù)據(jù)分析處理已經(jīng)成為提升電力系統(tǒng)安全和運(yùn)行效率的重要途徑，也是智能電網(wǎng)建設(shè)過(guò)程中必須面對(duì)的問(wèn)題。目前研究思路主要集中在互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)在電力系統(tǒng)中的應(yīng)用，而結(jié)合電力系統(tǒng)特點(diǎn)，并與電力生產(chǎn)運(yùn)行系統(tǒng)緊密結(jié)合的大數(shù)據(jù)分析技術(shù)研究較少，將是未來(lái)研究的方向。

3 全景實(shí)時(shí)分析關(guān)鍵技術(shù)問(wèn)題

3.1 基于大數(shù)據(jù)的大電網(wǎng)安全可靠性分析技術(shù)

隨著電網(wǎng)規(guī)模的不斷擴(kuò)大、大規(guī)模可再生間歇性能源的 接 入 ，電 網(wǎng) 面 臨 著 嚴(yán) 峻 的 安 全 可 靠 性 問(wèn) 題［16］。傳 統(tǒng) 電 力系統(tǒng)安全可靠性分析技術(shù)具有采集點(diǎn)少、運(yùn)算量大的特點(diǎn)，隨著覆蓋整個(gè)系統(tǒng)的信息采集系統(tǒng)逐步完善，智能電網(wǎng)可以實(shí)時(shí)獲取整個(gè)系統(tǒng)的全景數(shù)據(jù)，而基于全景數(shù)據(jù)的分析評(píng)估計(jì)算量非常大，容易造成“計(jì)算災(zāi)難”，幾千階的微分方程求解，無(wú)法滿(mǎn)足實(shí)時(shí)性要求；另一方面，隨著大規(guī)模分布式間歇能源的接入，由于分布式能源的不確定性和難以預(yù)測(cè)等，很容易對(duì)大電網(wǎng)造成沖擊，從而對(duì)系統(tǒng)的穩(wěn)定 性 提 出 了 更 高 的 要 求［18］。因 此 ，利 用 大 數(shù) 據(jù) 從 全 局 角 度來(lái)動(dòng)態(tài)實(shí)時(shí)分析系統(tǒng)的安全可靠性是電力大數(shù)據(jù)分析面臨的一項(xiàng)重要工作。

潮流計(jì)算是電力系統(tǒng)安全可靠性分析的重要手段之一，而傳統(tǒng)潮流計(jì)算的計(jì)算復(fù)雜度高、數(shù)據(jù)量小、計(jì)算精度難以保證。當(dāng)面對(duì)全景實(shí)時(shí)大數(shù)據(jù)和動(dòng)態(tài)實(shí)時(shí)變化的分布式能源時(shí)，傳統(tǒng)的計(jì)算技術(shù)很難動(dòng)態(tài)精確計(jì)算系統(tǒng)的潮流情況，而基于大數(shù)據(jù)的高性能并行快速高精度的潮流計(jì)算技術(shù)，有助于提高潮流計(jì)算的速度和精度，從而提高電力系統(tǒng)可靠性水平。

目前電力可靠性分析主要采用傳統(tǒng)的 N-1 （即當(dāng)某一設(shè)備失效后系統(tǒng)的安全性評(píng)價(jià)）安全準(zhǔn)則，不考慮概率較低的多重事件，而電網(wǎng)事故中很多情況下會(huì)因?yàn)槟骋辉O(shè)備故障產(chǎn)生連鎖反應(yīng)，所以有必要研究多重事故發(fā)生情況下的系統(tǒng)可靠性問(wèn)題 （即 N-m）。而 N-m 情況下的可靠性分析計(jì)算量將呈指數(shù)級(jí)增長(zhǎng)，并且在數(shù)據(jù)規(guī)模不斷增長(zhǎng)的情況下，分析任務(wù)很難在有效時(shí)間內(nèi)實(shí)時(shí)完成。

在電力系統(tǒng)安全穩(wěn)定分析中，大多數(shù)分析歸結(jié)為代價(jià)很高的高維稀疏矩陣與向量常量的乘法運(yùn)算。比如在潮流計(jì)算的過(guò)程中，如果電力網(wǎng)絡(luò)有 n 個(gè)節(jié)點(diǎn)，則有節(jié)點(diǎn)方程：

3.2 基于大數(shù)據(jù)的輸變電設(shè)備全壽命周期管理

除了安全穩(wěn)定運(yùn)行非常重要外，電力系統(tǒng)本身是一個(gè)動(dòng)態(tài)實(shí)時(shí)變化的系統(tǒng)，因此必須實(shí)時(shí)監(jiān)測(cè)系統(tǒng)的運(yùn)行狀態(tài)，快速處理各種情況，保證系統(tǒng)的安全穩(wěn)定運(yùn)行。統(tǒng)計(jì)發(fā)現(xiàn)大多數(shù)電網(wǎng)故障主要是設(shè)備故障問(wèn)題引發(fā)的，通過(guò)收集設(shè)備的全壽命周期數(shù)據(jù)（實(shí)驗(yàn)數(shù)據(jù)、運(yùn)行數(shù)據(jù)及氣候環(huán)境數(shù)據(jù)等），建立設(shè)備運(yùn)行模型，有利于實(shí)時(shí)評(píng)估設(shè)備狀態(tài)，從 而 避 免 由 于 設(shè) 備 故 障 造 成 的 電 網(wǎng) 事 故［19］。目 前 的 設(shè) 備 管理系統(tǒng)記錄存儲(chǔ)的主要是設(shè)備臺(tái)賬信息，而設(shè)備全壽命數(shù)據(jù)由于時(shí)間和空間跨度大，收集整理具有很大的難度。通過(guò)大數(shù)據(jù)中心，整合系統(tǒng)可利用的所有內(nèi)外部數(shù)據(jù)，使設(shè)備的全壽命周期管理成為可能。利用設(shè)備全壽命周期大數(shù)據(jù)，構(gòu)建新的設(shè)備運(yùn)行評(píng)估模型，以修正由于試驗(yàn)環(huán)境條件有限造成的設(shè)備模型不準(zhǔn)確、運(yùn)行等級(jí)分類(lèi)不足等問(wèn)題。在設(shè)備全壽命周期大數(shù)據(jù)的基礎(chǔ)上，利用聚類(lèi)劃分、異常點(diǎn)檢測(cè)、深度學(xué)習(xí)等技術(shù)，實(shí)現(xiàn)設(shè)備的無(wú)監(jiān)督分類(lèi)及故障 預(yù) 測(cè)［20］。

當(dāng)前，電力設(shè)備狀態(tài)評(píng)估主要是基于實(shí)驗(yàn)室建立的模擬環(huán)境產(chǎn)生的測(cè)試數(shù)據(jù)，利用人工智能（神經(jīng)網(wǎng)絡(luò)等）對(duì)數(shù)據(jù)進(jìn)行分析、劃分等級(jí)。然而這種方式存在數(shù)據(jù)樣本有限、數(shù)據(jù)與真實(shí)環(huán)境不一致、算法針對(duì)大規(guī)模數(shù)據(jù)集失效等問(wèn)題。借助電力大數(shù)據(jù)，利用數(shù)據(jù)分析技術(shù)，挖掘設(shè)備狀態(tài)、環(huán) 境 等 之 間 的 關(guān) 聯(lián) 規(guī) 則 ，發(fā) 現(xiàn) 有 價(jià) 值 的 特 征 量［21-23］，實(shí) 現(xiàn) 設(shè)備狀態(tài)監(jiān)控，保證電網(wǎng)安全運(yùn)行。因此，在設(shè)備全壽命周期管理中的關(guān)鍵問(wèn)題是數(shù)據(jù)挖掘分析算法在電力系統(tǒng)中的深度廣泛應(yīng)用。

3.3 全景實(shí)時(shí)能源動(dòng)態(tài)平衡調(diào)度技術(shù)

電力系統(tǒng)作為一個(gè)有機(jī)的整體，系統(tǒng)內(nèi)電能的生產(chǎn)、輸送與使用總量在不斷變化，但必須保持瞬間平衡。根據(jù)電力生產(chǎn)發(fā)、供、用必須同時(shí)完成的瞬時(shí)平衡規(guī)律及電能不能大規(guī)模有效存儲(chǔ)的特點(diǎn)，需要對(duì)電網(wǎng)進(jìn)行嚴(yán)格的科學(xué)調(diào)度，保持電網(wǎng)正常運(yùn)行。電力系統(tǒng)調(diào)度當(dāng)前主要應(yīng)用SCADA （supervisory control and data acquisition，數(shù) 據(jù) 采 集與監(jiān)視控制）系統(tǒng)，以實(shí)現(xiàn)數(shù)據(jù)采集、設(shè)備控制、測(cè)量、參數(shù)調(diào)節(jié)以及各類(lèi)信號(hào)報(bào)警等各項(xiàng)功能。然而，傳統(tǒng)調(diào)度系統(tǒng)由于數(shù)據(jù)處理能力和速度有限，只接受電力系統(tǒng)主參數(shù)，而 大 量 細(xì) 節(jié) 數(shù) 據(jù) 由 于 不 能 利 用 而 丟 棄［24］。但 隨 著 大 規(guī) 模 間歇性能源的接入，電力系統(tǒng)的結(jié)構(gòu)更加復(fù)雜多變，海量、分散、異構(gòu)的實(shí)時(shí)信息大量涌入數(shù)據(jù)中心，面對(duì)大量實(shí)時(shí)信息時(shí)，傳統(tǒng)調(diào)度系統(tǒng)的實(shí)時(shí)性和合理性很難滿(mǎn)足要求，無(wú)法實(shí)現(xiàn)電網(wǎng)的精益化調(diào)度。在智能電網(wǎng)環(huán)境下，電力調(diào)度中心面臨的形勢(shì)如圖2所示。

圖2 電力調(diào)度中心面臨的形勢(shì)

在掌握全系統(tǒng)實(shí)時(shí)數(shù)據(jù)的情況下，電力大數(shù)據(jù)中心將能夠更有效地實(shí)現(xiàn)全局資源的整合，實(shí)現(xiàn)電力供需平衡調(diào)度。在電網(wǎng)運(yùn)行過(guò)程中，根據(jù)能量的實(shí)時(shí)需求、負(fù)荷建模信息 及 實(shí) 時(shí) 產(chǎn) 能 信 息 進(jìn) 行 能 量 自 動(dòng) 調(diào) 配 等 技 術(shù)［25，26］是 系 統(tǒng) 的關(guān)鍵。因此，基于大數(shù)據(jù)的調(diào)度技術(shù)關(guān)鍵問(wèn)題是設(shè)計(jì)基于大規(guī)模多源細(xì)節(jié)數(shù)據(jù)的電力系統(tǒng)調(diào)度模型和實(shí)時(shí)流數(shù)據(jù)分析處理技術(shù)，實(shí)現(xiàn)電力系統(tǒng)調(diào)度從粗放型向集約型的轉(zhuǎn)變。

4 電力大數(shù)據(jù)實(shí)時(shí)分析核心技術(shù)

4.1 主要技術(shù)挑戰(zhàn)

目前主流的 Hadoop 批處理方 式可以適應(yīng)電力大數(shù)據(jù)的歷史數(shù)據(jù)分析，但 Hadoop 采用 先存儲(chǔ)后計(jì)算的模式，且需要頻繁的磁盤(pán)操作，難以滿(mǎn)足對(duì)生產(chǎn)系統(tǒng)的快速響應(yīng)需求。因此，電力大數(shù)據(jù)全景實(shí)時(shí)分析平臺(tái)面臨著嚴(yán)重的性能和安全性挑戰(zhàn)，具體而言主要包括如下兩個(gè)方面。

（1）利用大規(guī)模復(fù)雜細(xì)節(jié)多源數(shù)據(jù)的電力系統(tǒng)分析算法

在 智 能 電 網(wǎng) 環(huán) 境 下 ，PMU、AMI （advanced metering infrastructure，高 級(jí) 電 表 架 構(gòu) ）及 IED （intelligent electronic device，智能電子設(shè)備）提供了大規(guī)?？衫玫膹?fù)雜細(xì)節(jié)數(shù)據(jù)，這些數(shù)據(jù)為提高電力系統(tǒng)的操作水平、建模技術(shù)和計(jì)劃調(diào)度提供了機(jī)遇。通過(guò)現(xiàn)代計(jì)算機(jī)高并行計(jì)算平臺(tái)，設(shè)計(jì)快速、高精度的安全穩(wěn)定分析算法，能夠提高數(shù)據(jù)利用率，并保證系統(tǒng)的實(shí)時(shí)性要求。

（2）大規(guī)模實(shí)時(shí)流數(shù)據(jù)調(diào)度、分析技術(shù)

為了保證監(jiān)測(cè)、調(diào)度等關(guān)鍵業(yè)務(wù)的時(shí)效性，大規(guī)模實(shí)時(shí)流數(shù)據(jù)的接入和分析性能至關(guān)重要。將常用數(shù)據(jù)存儲(chǔ)在分布式內(nèi)存中，并充分利用多核或眾核處理器的并行技術(shù)和大內(nèi)存的緩存技術(shù)以及高效的調(diào)度算法，以保證流數(shù)據(jù)的實(shí)時(shí)處理效率。

4.2 內(nèi)存計(jì)算

在電力系統(tǒng)中多項(xiàng)業(yè)務(wù)處理任務(wù)需要高性能計(jì)算技術(shù) 的 支 撐 。而 隨 著 現(xiàn) 代 計(jì) 算 機(jī) 體 系 結(jié) 構(gòu) 的 發(fā) 展 ，64 bit計(jì) 算機(jī) 理 論 內(nèi) 存 可 達(dá) 232×4 GB，因 此 在 內(nèi) 存 中 可 以 存 儲(chǔ) 更 多的 數(shù) 據(jù) ，利 用 內(nèi) 存 計(jì) 算 技 術(shù)［27，28］，避 免 代 價(jià) 很 高 的 磁 盤(pán) 操作，可以有效提高數(shù)據(jù)處理的性能。 內(nèi)存計(jì)算主要用于數(shù)據(jù)密集型計(jì)算的處理，面向數(shù)據(jù)量大且需要實(shí)時(shí)分析處理的情況。針對(duì)電力大數(shù)據(jù)價(jià)值密度低的特點(diǎn)，依據(jù)數(shù)據(jù)的使用頻率，將電力大數(shù)據(jù)分為熱數(shù)據(jù)和冷數(shù)據(jù)，熱數(shù)據(jù)存儲(chǔ)在內(nèi)存中，冷數(shù)據(jù)存儲(chǔ)在磁盤(pán)上。

目 前 比 較 成 熟 的 內(nèi) 存 計(jì) 算 平 臺(tái) 包 括 HANA 和 Spark等。HANA 是由 SAP 提出的基于內(nèi)存計(jì)算技術(shù)的高性能實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)，采用的主要技術(shù)包括：內(nèi)存數(shù)據(jù)讀取和處理、行列混合存儲(chǔ)、并行計(jì)算、數(shù)據(jù)壓縮等。HANA 在遼寧電力公司應(yīng)用效果明顯，部分業(yè)務(wù)系統(tǒng)的效率提高達(dá)幾十倍，但系統(tǒng)部署、維護(hù)成本很高。

Spark 是 一 款 基 于 內(nèi) 存 計(jì) 算 的 開(kāi) 源 集 群 計(jì) 算 系 統(tǒng) ，與Hadoop 類(lèi)似，但適合高效運(yùn)行的數(shù)據(jù)分析算法，比如機(jī)器學(xué)習(xí)算法等。其可以在并行操作之間重用工作數(shù)據(jù)集，從而提高效率。與 Hadoop 相比，性能可獲得兩個(gè)數(shù)據(jù)量級(jí)的提升。電力系統(tǒng)中的數(shù)據(jù)分析算法可以通過(guò) Spark 來(lái)提高效率。比如在電力系統(tǒng)中需要針對(duì)設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)進(jìn)行聚 類(lèi) 劃 分 ，從 而 實(shí) 現(xiàn) 分 類(lèi) 處 理 ，提 高 工 作 效 率 。k-means 是一種基本的聚類(lèi)劃分算法，在電力系統(tǒng)中應(yīng)用廣泛，基于Spark 的 k-means 聚 類(lèi) 算 法 實(shí) 現(xiàn) 過(guò) 程 如 下 。

（1）讀 取 存 儲(chǔ) 在 HDFS 上 的 文 件 塊 （block）到 內(nèi) 存 中 ，每個(gè)塊轉(zhuǎn)化為一個(gè) RDD，里面包含監(jiān)測(cè)數(shù)據(jù)的特征量（vector）集合。

（2）然 后對(duì) RDD 進(jìn) 行映 射 （map）操作 ，計(jì) 算 每 個(gè)vector（point）對(duì) 應(yīng) 的 聚 類(lèi) 編 號(hào) （class），并 輸 出 鍵 值 對(duì) （k，υ）為（class，（point，1）），生成為新的 RDD。

（3）接 著 在 歸約 （reduce）操 作 中 ，對(duì) 每 個(gè)新 的 RDD 進(jìn)行混合，相 同聚類(lèi)的數(shù) 據(jù)存放在一起，并在 RDD 內(nèi)部計(jì)算每個(gè)聚類(lèi)中心點(diǎn)。

（4）最后判斷中心點(diǎn)與前一個(gè)中心點(diǎn)之間的距離，如果滿(mǎn)足要求，則結(jié)束，否則從步驟（2）開(kāi)始，直到滿(mǎn)足結(jié)束條件。

（5）最后將輸出結(jié)果寫(xiě)到 HDFS 中。

Spark 中 k-means 實(shí) 現(xiàn) 過(guò) 程 如 圖 3 所 示 ，其 中 ① ～ ⑤ 表示數(shù)據(jù)點(diǎn)，黑點(diǎn)表示聚類(lèi)的中心點(diǎn)。

圖3 Spark 中 k-means 實(shí)現(xiàn)過(guò) 程

4.3 流式大數(shù)據(jù)分析技術(shù)

在電力系統(tǒng)中，各種監(jiān)測(cè)、采集裝置的流數(shù)據(jù)和極端天氣情況下的報(bào)警數(shù)據(jù)構(gòu)成了電力流式大數(shù)據(jù)。流式電力大數(shù)據(jù)具有實(shí)時(shí)性、易失性、突發(fā)性、無(wú)序性、無(wú)限性等特征［29］，并 要 求 在 有 限 時(shí) 間 內(nèi) 處 理 完 成 ，不 能 遺 漏 數(shù) 據(jù) ，因 此流式大數(shù)據(jù)的實(shí)時(shí)處理對(duì)系統(tǒng)提出了更高的要求。電力大數(shù)據(jù)分析應(yīng)涵蓋低時(shí)延、高吞吐量且持續(xù)可靠運(yùn)行的流式大 數(shù) 據(jù) 計(jì) 算 系 統(tǒng)［30，31］。目 前 在 商 業(yè) 互 聯(lián) 網(wǎng) 領(lǐng) 域 應(yīng) 用 比 較 多的 流 數(shù) 據(jù) 分 析 平 臺(tái) 包 括 Storm、S4 等 ，但 這 些 系 統(tǒng) 對(duì) 數(shù) 據(jù)處理的時(shí)限和安全性要求很難直接應(yīng)用于電力系統(tǒng)，還有待針對(duì)特定行業(yè)做進(jìn)一步完善。

Storm 是 具 有 分 布 式 和 高 容 錯(cuò) 的 實(shí) 時(shí) 計(jì) 算 系 統(tǒng) ，以 簡(jiǎn)單、高效、可靠的方式處理流式數(shù)據(jù)，并保證消息不丟失，處理嚴(yán)格有序。其主要特征包括：編程模型簡(jiǎn)單、支持多種編程語(yǔ)言、作業(yè)級(jí)容錯(cuò)、水平擴(kuò)展、快速消息計(jì)算等。但其資源分配策略并沒(méi)有考慮系統(tǒng)拓?fù)浣Y(jié)構(gòu)，任務(wù)調(diào)度機(jī)制過(guò)于簡(jiǎn)單，因此很難直接應(yīng)用于電力大數(shù)據(jù)處理。在一個(gè)Storm 系 統(tǒng) 中 有 兩 類(lèi) 節(jié) 點(diǎn) ：一 個(gè) 主 節(jié) 點(diǎn) nimbus、多 個(gè) 從 節(jié) 點(diǎn)supervisor。3 種 運(yùn) 行 環(huán) 境 ：master、cluster 和 slave。

使 用 Storm 處 理 流 數(shù) 據(jù) 時(shí) ，首 先 要 設(shè) 計(jì) 流 數(shù) 據(jù) 處 理 過(guò)程 的 拓 撲 （topology）結(jié) 構(gòu) ，也 就 是 數(shù) 據(jù) 處 理 的 先 后 邏 輯 關(guān)系。比如對(duì)狀態(tài)監(jiān)測(cè)流數(shù)據(jù)的處理順序依次為：獲取數(shù)據(jù)、去噪（多種方法）、計(jì)算特征量（多種方法）、評(píng)價(jià)狀態(tài)等。設(shè)計(jì)的拓?fù)浣Y(jié)構(gòu)如圖4所示。

圖4 流數(shù)據(jù)處理的拓?fù)浣Y(jié)構(gòu)

4.4 多核／眾核并行計(jì)算技術(shù)

當(dāng)前電力系統(tǒng)中的主要算法通過(guò)串行實(shí)現(xiàn)，而隨著需要處理數(shù)據(jù)的增加和計(jì)算任務(wù)復(fù)雜度的提高，算法處理時(shí)間不斷增長(zhǎng)，而通過(guò)并行計(jì)算技術(shù)，將部分算法通過(guò)并行來(lái) 實(shí) 現(xiàn) ， 可 以 顯 著 提 高 數(shù) 據(jù) 分 析 處 理 的 執(zhí) 行 速 度［32-35］。 同時(shí)，隨著現(xiàn)代處理器向多核和眾核方向發(fā)展，充分利用多線(xiàn)程并行，可以提高電力大數(shù)據(jù)平臺(tái)集群中節(jié)點(diǎn)的利用率，從而加快數(shù)據(jù)處理的效率。目前，普通 CPU 已經(jīng)配置8個(gè)計(jì)算核心，而圖形處理器（GPU）擁有上千個(gè)計(jì)算核心，具有更強(qiáng)大的數(shù)據(jù)處理能力，兩者混合并行計(jì)算技術(shù)，將是未來(lái)的主流計(jì)算平臺(tái)。多核 CPU 與眾核 GPU 的結(jié)構(gòu) 如圖5所示。

圖5 多核 CPU 與眾核 GPU 的結(jié)構(gòu)

近年來(lái)，GPU 從圖形圖像處理領(lǐng)域進(jìn)入通用計(jì)算領(lǐng)域，成為理想的高性能計(jì)算平臺(tái)。GPU 在眾多領(lǐng)域的大數(shù)據(jù)分析中，有效地提升了數(shù)據(jù)處理的效率。 GPU 通過(guò)大規(guī)模線(xiàn)程并行隱藏內(nèi)存訪(fǎng)問(wèn)時(shí)延，同時(shí)支持幾百萬(wàn)線(xiàn)程運(yùn)行 ，線(xiàn) 程 間 切 換 代 價(jià) 很 低 。GPU 的 并 行 采 用 SIMD（single instruction multiple data， 單 指 令 多 數(shù) 據(jù) ）并 行 ，同 一 指 令 一次操作不同的數(shù)據(jù)。GPU 適合處理電力系統(tǒng)中數(shù)據(jù)密集型的計(jì)算任務(wù)，利用它可以有效提高電力系統(tǒng)中密集數(shù)據(jù)的分析處理效率。比如處理電力系統(tǒng)安全性分析中的稀疏矩陣與向量乘積的計(jì)算過(guò)程如下。

首先將稀疏矩陣以偏移量+前綴和+值的形式存儲(chǔ)，并通過(guò)前綴和記錄每行中非零元素的個(gè)數(shù)及位置信息；然后將常量存放在共享內(nèi)存中，其中 CUDA 的每個(gè)線(xiàn)程塊負(fù)責(zé)稀疏矩陣中的一行和常量乘積；而塊內(nèi)的每個(gè)線(xiàn)程負(fù)責(zé)進(jìn)行常量與稀疏矩陣本行內(nèi)對(duì)應(yīng)元素的乘法運(yùn)算，并求和。大致的運(yùn)行過(guò)程如圖6所示。

圖6 GPU 下的矩陣與向量乘法 運(yùn) 算

4.5 列存儲(chǔ)技術(shù)

在電力大數(shù)據(jù)全景實(shí)時(shí)分析中，應(yīng)支持多種數(shù)據(jù)存儲(chǔ)模 式 ， 比 如 文 件 存 儲(chǔ) 、key-value 及 結(jié) 構(gòu) 化 數(shù) 據(jù) 存 儲(chǔ) 等［36，37］。而在電力系統(tǒng)中，結(jié)構(gòu)化數(shù)據(jù)占有較大的比例，比如 PMU的數(shù)據(jù)、設(shè)備監(jiān)測(cè)的數(shù)據(jù)及居民用電數(shù)據(jù)等。結(jié)構(gòu)化數(shù)據(jù)采用列存儲(chǔ)，可以有效地提高數(shù)據(jù)分析效率。

列存儲(chǔ)要求每列單獨(dú)存儲(chǔ)，這樣在執(zhí)行查詢(xún)時(shí)只需要讀取與查詢(xún)相關(guān)的列，而不相關(guān)的列不用讀取，當(dāng)一個(gè)表包含很多列，而查詢(xún)只涉及較少的列時(shí)，可以大量減少磁盤(pán) I／O，從 而 提 高 查 詢(xún) 性 能 。另 外 ，由 于 每 一 列 內(nèi) 的 數(shù) 據(jù) 單獨(dú)存儲(chǔ)，一列內(nèi)的數(shù)據(jù)相似度更高，當(dāng)采用壓縮存儲(chǔ)時(shí)有更高的壓縮率。在列存儲(chǔ)數(shù)據(jù)庫(kù)中常用的壓縮技術(shù)主要有 ：數(shù) 據(jù) 字 典 、位 向 量 和 run-length 3 種 方 法 。

以電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)為例，討論列存儲(chǔ)在電力系統(tǒng)中的應(yīng)用。電能質(zhì)量監(jiān)測(cè)系統(tǒng)需要存儲(chǔ)大量的時(shí)序監(jiān)測(cè)數(shù)據(jù)，這些數(shù)據(jù)分為不同的監(jiān)測(cè)類(lèi)別，刻畫(huà)了電能質(zhì)量的不同方面的特性，比如諧波、簡(jiǎn)諧波及波形、參數(shù)數(shù)據(jù)等。而用戶(hù)的查詢(xún)分析主要是針對(duì)每個(gè)監(jiān)測(cè)點(diǎn)或通道的查詢(xún)和分析，因此將每一個(gè)通道的數(shù)據(jù)盡量存儲(chǔ)在相鄰的節(jié)點(diǎn)，有助于后續(xù)的數(shù)據(jù)檢索分析，通過(guò)以監(jiān)測(cè)點(diǎn)+通道號(hào)為key，以 監(jiān) 測(cè) 數(shù) 據(jù) 為 value 的 鍵 值 對(duì) 方 式 存 儲(chǔ) ，從 而 實(shí) 現(xiàn) 監(jiān)測(cè)數(shù)據(jù)的連續(xù)存儲(chǔ)，方便后續(xù)的數(shù)據(jù)檢索操作。

根據(jù)監(jiān)測(cè)數(shù)據(jù)的監(jiān)測(cè)類(lèi)別劃分為不同的列簇，其中諧波、間諧波及頻譜數(shù)據(jù)劃分為一個(gè)列簇，數(shù)據(jù)不是根據(jù)次數(shù)分別存儲(chǔ)，而是采用組合壓縮存儲(chǔ)；各項(xiàng)電壓電流波形數(shù)據(jù)劃分為一個(gè)列簇；其他監(jiān)測(cè)數(shù)據(jù)為另一個(gè)列簇；閃變數(shù)據(jù)也組成一個(gè)列簇。通過(guò)劃分列簇，利用數(shù)據(jù)的相關(guān)性提 高 讀 取 效 率 。其 存 儲(chǔ) 結(jié) 構(gòu) 在 HBase 數(shù) 據(jù) 庫(kù) 上 的 表 現(xiàn) 大 致如圖7所示。

5 電力大數(shù)據(jù)分析平臺(tái)

當(dāng)前，電力系統(tǒng)雖然已經(jīng)建成了規(guī)模龐大的數(shù)據(jù)中心，但主要存在如下兩方面的問(wèn)題：不同的業(yè)務(wù)系統(tǒng)被分割為不同的“信息孤島”，彼此之間數(shù)據(jù)不能共享，不能從系統(tǒng)全景的角度分析解決問(wèn)題；為了保證系統(tǒng)的實(shí)時(shí)性，大量有助于提高計(jì)算精度和準(zhǔn)確率的信息并不接入數(shù)據(jù)中心，從而造成系統(tǒng)因?yàn)闊o(wú)法協(xié)調(diào)全部可用資源而導(dǎo)致整體運(yùn)行效率和數(shù)據(jù)利用率低。通過(guò)建設(shè)智能電網(wǎng)全景實(shí)時(shí)大數(shù)據(jù)分析平臺(tái)，有助于上述問(wèn)題的解決。

另一方面，電力系統(tǒng)作為人類(lèi)有史以來(lái)創(chuàng)造的最復(fù)雜系統(tǒng)之一，具有系統(tǒng)規(guī)模龐大、整體性強(qiáng)、復(fù)雜度高、安全穩(wěn)定運(yùn)行要求高、電能光速傳輸并不能大規(guī)模有效存儲(chǔ)等特性，決定了電力大數(shù)據(jù)全景實(shí)時(shí)分析將面臨著兩方面的主要挑戰(zhàn)：大數(shù)據(jù)分析挖掘技術(shù)與電力系統(tǒng)理論的深度融合，從數(shù)據(jù)驅(qū)動(dòng)的角度探討解決系統(tǒng)所面臨問(wèn)題的思路，促進(jìn)大數(shù)據(jù)在電力系統(tǒng)中的應(yīng)用落地；滿(mǎn)足一定可靠性和時(shí)間約束的大數(shù)據(jù)（批處理和流數(shù)據(jù)）全景實(shí)時(shí)分析技術(shù)，快速?gòu)南到y(tǒng)整體層面分析解決問(wèn)題、合理調(diào)度資源，滿(mǎn)足電力系統(tǒng)高可靠性的要求。

參考當(dāng)前電力系統(tǒng)面臨的各項(xiàng)挑戰(zhàn)和大數(shù)據(jù)實(shí)時(shí)分析主流技術(shù)，電力大數(shù)據(jù)全景實(shí)時(shí)分析平臺(tái)采用分層架構(gòu)，層與層之間采用松耦合模式。結(jié)合電力系統(tǒng)運(yùn)行特點(diǎn)及借鑒主流開(kāi)源系統(tǒng)，架構(gòu)應(yīng)包括如下幾個(gè)層次。

最底層是數(shù)據(jù)存儲(chǔ)層，為保證平臺(tái)的可擴(kuò)展性采用分布式文件存儲(chǔ)系統(tǒng)，并設(shè)計(jì)以數(shù)據(jù)相關(guān)性和負(fù)載均衡策略為基礎(chǔ)的數(shù)據(jù)分布方案。在分布式文件系統(tǒng)之上，結(jié)合高性能列存儲(chǔ)技術(shù)，進(jìn)一步優(yōu)化存儲(chǔ)代價(jià)和性能。本層可以采 用 Hadoop 的 分 布 式 文 件 系 統(tǒng) 存 儲(chǔ) 方 案 并 結(jié) 合 HBase 的列存儲(chǔ)技術(shù)。

其次是流式大數(shù)據(jù)處理和分布式內(nèi)存層，流式大數(shù)據(jù)處理模塊用于響應(yīng)電力系統(tǒng)中的實(shí)時(shí)流數(shù)據(jù)，關(guān)鍵是流數(shù)據(jù)的任務(wù)調(diào)度技術(shù)；分布式內(nèi)存用于存儲(chǔ)使用頻率高的熱數(shù)據(jù)，為上層計(jì)算提供數(shù)據(jù)緩存，減少磁盤(pán)訪(fǎng)問(wèn)代價(jià)。本層可 以 采 用 Storm 和 Spark 技 術(shù) 分 別 實(shí) 現(xiàn) 流 數(shù) 據(jù) 處 理 和 內(nèi) 存計(jì)算。

然后是整合計(jì)算層，設(shè)計(jì)電力系統(tǒng)中基于大數(shù)據(jù)的并行分 析算法框架 ，并考慮利用多核、大 內(nèi) 存和 GPU 等 現(xiàn) 代計(jì)算機(jī)的硬件體系架構(gòu)特征的核心算法庫(kù)，將電力系統(tǒng)中常用的分析算法封裝為庫(kù)函數(shù)供上層高級(jí)應(yīng)用調(diào)用。

最后一層是應(yīng)用層，包括可靠性分析、狀態(tài)監(jiān)測(cè)和能源調(diào)度等各種業(yè)務(wù)應(yīng)用系統(tǒng)，并直接和最終用戶(hù)交互。

電力大數(shù)據(jù)全景實(shí)時(shí)分析平臺(tái)層次體系結(jié)構(gòu)如圖8所示。

圖7 HBase 電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)

通過(guò)前置通信集群不間斷采集設(shè)備及系統(tǒng)的事件、狀態(tài)、預(yù)警等多數(shù)據(jù)源信息，形成流數(shù)據(jù)，完成高效實(shí)時(shí)數(shù)據(jù)收集功能。然后，將收集的數(shù)據(jù)傳輸給流計(jì)算模塊，完成數(shù)據(jù) 混 合 并 實(shí) 時(shí) 預(yù) 處 理 ，基 于 CEP （complex event processing，復(fù)雜事件處理）的快速發(fā)現(xiàn)和異常數(shù)據(jù)過(guò)濾，分析狀態(tài)并實(shí)時(shí)反饋給用戶(hù)。最后將數(shù)據(jù)存儲(chǔ)在分布式文件系統(tǒng)中進(jìn)行持久化存儲(chǔ)，使用內(nèi)存計(jì)算技術(shù)進(jìn)行數(shù)據(jù)快速分析與預(yù)警計(jì)算，保證電力系統(tǒng)中數(shù)據(jù)分析實(shí)時(shí)性的要求。

電力大數(shù)據(jù)分析平臺(tái)的特色包括如下兩個(gè)方面。

（1）大數(shù)據(jù)與電力系統(tǒng)深度融合的復(fù)雜電網(wǎng)分析、監(jiān)控、調(diào)度技術(shù)和理論

隨著電力大數(shù)據(jù)規(guī)模不斷膨脹以及電網(wǎng)結(jié)構(gòu)、運(yùn)行模式復(fù)雜多變，從大數(shù)據(jù)角度探討復(fù)雜電網(wǎng)分析、監(jiān)控、調(diào)度技術(shù)和理論，促進(jìn)大數(shù)據(jù)在電力系統(tǒng)中的深度應(yīng)用，發(fā)現(xiàn)挖掘電力大數(shù)據(jù)的價(jià)值。

（2）面向電力行業(yè)特定領(lǐng)域的大數(shù)據(jù)全景實(shí)時(shí)分析技術(shù)

針對(duì)電力行業(yè)對(duì)數(shù)據(jù)分析時(shí)效性、全景性的高要求，面向特定行業(yè)領(lǐng)域的大數(shù)據(jù)實(shí)時(shí)分析技術(shù)，提供整個(gè)電力系統(tǒng)的全景視圖和實(shí)時(shí)動(dòng)態(tài)監(jiān)控、調(diào)度技術(shù)，促進(jìn)大數(shù)據(jù)在特定行業(yè)應(yīng)用中落地。

圖8 電力大數(shù)據(jù)分析平臺(tái)結(jié)構(gòu)

6 結(jié)束語(yǔ)

本文主要綜述了電力大數(shù)據(jù)全景實(shí)時(shí)分析面臨的挑戰(zhàn)及實(shí)現(xiàn)技術(shù)，并探討平臺(tái)的體系架構(gòu)。然而，建設(shè)電力大數(shù)據(jù)中心需要一個(gè)較長(zhǎng)的時(shí)間周期和各方的通力配合，其中的關(guān)鍵技術(shù)和挑戰(zhàn)也需要進(jìn)一步深入研究。結(jié)合電力系統(tǒng)應(yīng)用需求，開(kāi)發(fā)部署面向電力行業(yè)的大數(shù)據(jù)中心，將推動(dòng)大數(shù)據(jù)在電力系統(tǒng)中的研究和發(fā)展。

［1］ 宋 亞 奇 ，周 國(guó) 亮 ，朱 永 利. 智 能 電 網(wǎng) 大 數(shù) 據(jù) 處 理 技 術(shù) 現(xiàn) 狀 與挑 戰(zhàn) ［J］. 電 網(wǎng) 技 術(shù) ，2013，37（4）：927-935. SONG Y Q，ZHOU G L，ZHU Y L.Present status and challenges of big data processing in smart grid［J］.Power System Technology，2013，37（4）：927-935.

［2］ 王 德文，宋亞奇，朱 永利. 基 于 云 計(jì) 算 的 智能 電網(wǎng) 信 息 平 臺(tái)［J］.電 力 系 統(tǒng) 自 動(dòng) 化 ，2010（22）：7-12. WANG D W，SONG Y Q，ZHU Y L.Information platform of smart grid based on cloud computing ［J］.Automation of Electric Power Systems，2010（22）：7-12.

［3］ 中 國(guó) 電 機(jī) 工 程 學(xué) 會(huì) 信 息 化 專(zhuān) 委 會(huì).中 國(guó) 電 力 大 數(shù) 據(jù) 發(fā) 展 白 皮書(shū)［R］.2013. Electric Power Informatization Special Committee.China power big data development white paper［R］.2013.

［4］ 朱 征，顧 中 堅(jiān)，吳 金 龍，等. 云 計(jì) 算 在 電 力 系 統(tǒng) 數(shù) 據(jù) 災(zāi) 備 業(yè) 務(wù)中 的 應(yīng) 用 研 究 ［J］. 電 網(wǎng) 技 術(shù).2012，36（9）：43-50. ZHU Z，GU Z J，WU J L，et al.Application of cloud computing in electric power system data recovery［J］.Power System Technology，2012，36（9）：43-50.

［5］ 沐 連 順 ，崔 立 忠 ，安 寧. 電 力 系 統(tǒng) 云 計(jì) 算 中 心 的 研 究 與 實(shí)踐 ［J］. 電 網(wǎng) 技 術(shù) ，2011，35（6）：170-175. MU L S，CUI L Z，AN N.Research and practice of cloud computing center for power system［J］.Power System Technology，2011，35（6）：170-175.

［6］ 王 廣 輝，李 保 衛(wèi)，胡 澤 春 ，等. 未 來(lái) 智 能 電 網(wǎng) 控 制 中 心 面 臨 的挑 戰(zhàn) 和 形 態(tài) 演 變 ［J］. 電 網(wǎng) 技 術(shù) ，2011，35（8）：1-5. WANG G H，LI B W，HU Z C，et al.Challenges and future evolution of control center under smart grid environment ［J］. Power System Technology，2011，35（8）：1-5.

［7］ 劉 樹(shù) 仁 ，宋 亞 奇 ，朱 永 利 ，等.基 于 Hadoop 的 智 能 電 網(wǎng) 狀 態(tài) 監(jiān)測(cè) 數(shù) 據(jù) 存 儲(chǔ) 研 究 ［J］. 計(jì) 算 機(jī) 科 學(xué) ，2013，40（1）：81-84. LIU S R，SONG Y Q，ZHU Y L，et al.Research on data storage for smart grid condition monitoring using Hadoop ［J］. Computer Science，2013，40（1）：81-84.

［8］ RUSITSCHKA S，EGER K，GERDES C.Smart grid data cloud：a model for utilizing cloud computing in the smart grid domain［C］／／The 1st International Conference on Smart Grid Communications，October 4-6，2010，Gaithersburg，USA.New Jersey：IEEE Press，2010：483-488.

［9］ CHRISTOPHE B.The smart grid：hadoop at the Tennessee Valley Authority（TVA）［EB／OL］. ［2013-02-08］.http：／www.cloudera.com／blog ／2009／06／smart-grid-hadoop-tennessee-valley-authority- tva／.

［10］KAWASOE S，IGARASHI Y，SHIBAYAMA K，et al.Examples ofdistributed information platforms constructed by power utilities in Japan ［C］／CIGRE Symposium，August 26-31，Paris，F(xiàn)rance. ［S.l.：s.n.］，2012：134-306.

［11］KENNETH P B，LAKSHMI G，ROBBERT V R，et.al.Running smart grid control software on cloud computing architectures［C］／／Workshop on Computational Needs for the Next Generation Electric Grid，April 19-20，2011，Ithaca，USA.New York：Department of Energy’s Sci Tech Connect，2011：1-28.

［12］KEZUNOVIC M，LE X，GRIJALVA S.The role of big data in improvingpowersystem operationand protection ［C］／／Bulk Power System Dynamics and Control- IX Optimization，Security and Control of the Emerging Power Grid （IREP），August 25-30，2013，Rethymnon，Greece.New Jersey：IEEE Press，2013：1-9.

［13］JIAN Y， POORVA S， IAN G， etal.Large-scaledata challenges in future power grids［C］／7th International Symposium on Service Oriented System Engineering，March 25-28，2013，Redwood City，CA，USA.New Jersey：IEEE Press，2013：324-328.

［14］賽 迪 網(wǎng). 維 斯 塔 斯 利 用 IBM 大 數(shù) 據(jù) 分 析 實(shí) 現(xiàn) “ 智 慧 風(fēng) 能 ”［EB／OL］. ［2012-03-23］. http：／news.ccidnet.com／art／1032／20120323／3709391.html. CCID net.The realization of “wisdom wind” using IBM big data analysis in Vestas ［EB／OL］. ［2012-03-23］.http：／news. ccidnet.com／art／1032／20120323／3709391.html.

［15］李 傳 棟 ，房 大 中 ，楊 金 剛 ，等. 大 規(guī) 模 電 網(wǎng) 并 行 潮 流 算 法 ［J］. 電網(wǎng)技術(shù)，2008，32（7）：34-39. LI C D，F(xiàn)ANG D Z，YANG J G，et al.New research on parallel power-flow calculation for large-scale power system ［J］. Power System Technology，2008，32（7）：34-39.

［16］劉洋，謝 開(kāi) 貴，周家 啟，等. 大 電力 系 統(tǒng)可 靠 性評(píng) 估 高性 能計(jì)算平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)［J］. 電力系統(tǒng)自動(dòng)化，2006，30（18）：1-8. LIU Y，XIE K G，ZHOU J Q，et al.Design and implementation of HPC platform for bulk power system reliability evaluation ［J］. Automation of Electric Power Systems，2006，30（18）：1-8.

［17］桂 勛. 基 于 遞 推 算 法 的 海 量 COMTRADE 數(shù) 據(jù) 計(jì) 算 并 行 化 ［J］.電力系統(tǒng)自動(dòng)化，2014，38（1）：86-91. GUI X.Calculation parallelization for massive COMTRADE data based on recursive algorithms ［J］.Automation of Electric Power Systems，2014，38（1）：86-91.

［18］何 劍 ，程 林 ，孫 元 章. 電 力 系 統(tǒng) 運(yùn) 行 可 靠 性 最 優(yōu) 控 制 ［J］. 中 國(guó)電機(jī)工程學(xué)報(bào)，2010，30（7）：15-21. HE J，CHENG L，SUN Y Z.Optimal control of power system’s operational reliability［J］.Proceeding of the CSEE，2010，30 （7）：15-21.

［19］江 修 波 ，吳 文 宣 ，陳 祥 偉. 區(qū) 間 分 析 法 在 電 力 變 壓 器 全 壽命 周 期 成 本 模 型 中 的 應(yīng) 用 ［J］. 電 力 自 動(dòng) 化 設(shè) 備 ，2011，31（9）：50-54. JIANG X B，WU W X，CHEN X W.Transformer life cycle cost model based on interval analysis ［J］.Electric Power Automation Equipment，2011，31（9）：50-54.

［20］劉吉臻，楊光軍，譚文，等.基于數(shù)據(jù)驅(qū)動(dòng)的電站燃燒穩(wěn)定度綜合評(píng)價(jià)［J］. 中 國(guó)電機(jī)工程 學(xué) 報(bào)，2007，27（35）：1-6. LIU J Z，YANG G J，TAN W，et al.Synthetic evaluation on the degreeofcombustion stabilityin powerstation based on data-driven［J］.Proceedings of the CSEE，2007，27（35）：1-6.

［21］張 廣 斌 ，束 洪 春，于 繼 來(lái). 利 用 廣 義 電 流 模 量 的 行 波 實(shí) 測(cè) 數(shù)據(jù) 半 監(jiān) 督 聚 類(lèi) 篩 選 ［J］. 中 國(guó) 電 機(jī) 工 程 學(xué) 報(bào) ，2012，32 （10）：150-159. ZHANG G B，SHU H C，YU J L.Travelling wave field data contingency screening based on semi-supervised clustering using generalized current modal components［J］.Proceedings of the CSEE，2012，32（10）：150-159.

［22］陳鐵華，陳啟卷.模糊聚類(lèi)分析在水電機(jī)組故障診斷中的應(yīng)用［J］.中國(guó)電機(jī)工程學(xué)報(bào)，2002，22（3）：43-47. CHEN T H，CHEN Q J.Fuzzy clustering analysis based vibration fault diagnosis of hydroelectric generating unit［J］.Proceedings of the CSEE，2002，22（3）：43-47.

［23］王 一 ，何 奔 騰，王 慧 芳. 基 于 全 壽 命 狀 態(tài) 的 設(shè) 備 可 靠 性 研 究 ［J］.電網(wǎng)技術(shù)，2011，35（8）：207-211. WANG Y，HE B T，WANG H F.Research on equipment reliability based on life cycle states［J］.Power System Technology，2011，35（8）：207-211.

［24］曹軍威，萬(wàn)宇鑫，涂國(guó)煜，等.智能電網(wǎng)信息系統(tǒng)體系結(jié)構(gòu)研究［J］.計(jì)算機(jī)學(xué)報(bào).2013（1）：143-167. CAO J W，WAN Y X，TU G Y，et al.Information system architecture for smart grids ［J］.Chinese Journal of Computers.2013（1）：143-167.

［25］王蓓蓓，劉 小聰，李 揚(yáng). 面向 大容 量 風(fēng) 電 接 入 考慮 用 戶(hù) 側(cè) 互 動(dòng) 的系 統(tǒng) 日 前 調(diào) 度 和 運(yùn) 行 模 擬 研 究 ［J］. 中 國(guó) 電 機(jī) 工 程 學(xué) 報(bào) ，2013，36（22）：35-44. WANG B B，LIU X C，LI Y.Day-ahead generation scheduling and operation simulation consideringdemand Response in large-capacity wind power integrated systems ［J］.Proceeding of the CSEE，2013，36（22）：35-44.

［26］黃 海 濤. 居 民 分 時(shí) 階 梯 電 價(jià) 聯(lián) 合 優(yōu) 化 模 型 研 究 ［J］. 電 網(wǎng) 技 術(shù) ，2012，36（10）：253-258. HUANG H T.A Jointoptimization modelofresidential time-of-use rlock electricity rate ［J］.Power System Technology，2012，36（10）：253-258.

［27］金海，廖 小 飛，葉晨成. 內(nèi) 存 計(jì) 算：大 數(shù) 據(jù) 處 理 的 機(jī)遇 與 挑 戰(zhàn)［J］.中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊，2013，9（4）：40-46. JIN H，LIAO X F，YE C C.In-memorycomputing：The opportunities and challenges of big data processing ［J］. Communication of China Computer F ederation，2013，9 （4）：40-46.

［28］PARK K H，PARK S K，SEOK H.Efficient memory management of a hierarchical and a hybrid main memory for MNMATE platform［C］／International Workshop on Programming Models and Applications for Multicores and Manycores.March 12-16，2012，New York ，USA.New York：ACM Press，2012：83-92.

［29］孫 大 為，張 廣艷，鄭 緯民. 大 數(shù) 據(jù) 流 式 計(jì) 算：關(guān)鍵 技 術(shù) 及 系 統(tǒng) 實(shí)例［J］.軟件學(xué)報(bào)，2014，25（4）：839-862.SUN D W，ZHANG G Y，ZHENG W M.Big data stream computing：technologies and instances ［J］.Journal of Software，2014，25（4）：839-862.

［30］趙加奎，楊國(guó)鳳，沐連順，等.數(shù)據(jù)流技術(shù)在電網(wǎng)自動(dòng)化中的應(yīng)用研究［J］. 電 網(wǎng)技術(shù)，2011，35（8）：6-11. ZHAO J K ，YANG G F，MU L S，et al.Research on the application of the data stream technology in grid automation ［J］. Power System Technology，2011，35（8）：6-11.

［31］張之哲，李興源，程時(shí)杰.智能電網(wǎng)統(tǒng)一信息系統(tǒng)的框架、功能和實(shí)現(xiàn)［J］. 中 國(guó)電機(jī)工 程學(xué)報(bào)，2010，30（34）：1-7. ZHANG Z Z，LI X Y，CHENG S J.Structures，functions and implementation of united information system for smart grid ［J］. Proceedings of the CSEE，2010，30（34）：1-7.

［32］郭 春 輝. 基 于 GPU 的 電 力 系 統(tǒng) 并 行 計(jì) 算 的 研 究 ［D］. 濟(jì) 南 ： 山東大學(xué)，2013：18-34. GUO C H.Research on parallel computing of electric power system based on GPU ［D］.Jinan：Shan Dong University，2013：18-34.

［33］李 鵬，丁 承 第，王成 山，等. 基于 多 核 心 處 理 器 的 分布 式 發(fā) 電 微網(wǎng)系統(tǒng)暫態(tài)并行仿真方法 ［J］.中國(guó)電機(jī)工程學(xué)報(bào)，2013，33（16）：171-178. LI P ，DING C D ，WANG C S ，et al.A parallel algorithm oftransientsimulation for distributed generation system based on multi-core CPU ［J］.Proceeding of the CSEE，2013，33（16）：171-178.

［34］唐聰，嚴(yán)正，周挺輝.基于圖形處理器的廣義最小殘差迭代法在 電 力 系 統(tǒng) 暫 態(tài) 仿 真 中 的 應(yīng) 用 ［J］. 電 網(wǎng) 技 術(shù) ，2013，37（5）：1365-1371. TANG C，YAN Z，ZHOU T H.Application of graph processing unit-based generalized minimal residual iteration in power system transient simulation ［J］.Power System Technology，2013，37 （5）：1365-1371.

［35］馬發(fā)勇，厲啟鵬，馬志斌，等.電力調(diào)度 SCADA 系統(tǒng)中歷史數(shù)據(jù)壓縮 及 存 儲(chǔ)策略［J］. 電 網(wǎng) 技術(shù)，2014，38（4）：1109-1114. MA F Y，LI Q P，MA Z B，et al.The research of historical data compression and storage strategy in power dispatch SCADA system［J］.Power System Technology，2014，38（4）：1109-1114.

［36］閆湖，周薇，李 立新，等. 基 于分 布 式鍵 值對(duì) 存 儲(chǔ)技 術(shù) 的 EMS數(shù)據(jù)庫(kù) 平 臺(tái)［J］. 電網(wǎng)技術(shù)，2012，36（9）：162-167. YAN H，ZHOU W，LI L X，et al.Database platform of EMS system based on distributed key-value pair storage technology［J］. Power System Technology，2012，36（9）：162-167.

［37］ZHONG Y，SUN S，LIAO H，et al.A novel method to manage very large raster data on distributed key-value storage system ［C］／The 19th International Conference on Geoinformatics，June 24-26，2011，Shanghai，China.New Jersey：IEEE Press，2011：1-6.

Key technology of power big data for global real-time analysis

ZHOU Guoliang1，LV Linjie1，WANG Guilan2
1.Skill Training Center of State Grid Jibei Electric Power Co.，Ltd.，Baoding 071051，China 2.Network and Information Management Center，North China Electric Power University，Baoding 071003，China

For power big data collected during smart grid construction process，based on the demand of power system global and real-time data analysis，ideas of solving power system security and reliability，real-time status monitoring，energy global dynamic balance scheduling and other key issues were explored.The problems of big data safety and reliability，equipment life-cycle management and energy real-time balance scheduling were analyzed and discussed，system analysis precision and accuracy based on large-scale real-time multi-source detail data and global data of equipment would be improved，then application of in-memory computing，real-time streaming data processing technology，massively parallel computing technology and column stores were explored；a layered architecture of power big data analytics platform which combined with the mainstream open source big data processing technology was proposed to provide guarantees for the efficient operation of the power system.

power big data，global real-time data，in-memory computing，data stream，massively parallel

s：Natural Science Foundation of Hebei Province（No.F2014502069），F(xiàn)undamental Research Funds for Central University（No.13MS103）

TP391

：A

10.11959／j.issn.1000-0801.2016103

周 國(guó) 亮 （1978-）， 男 ， 博 士 ， 國(guó) 網(wǎng) 冀 北 電 力 有限公司技能培訓(xùn)中心副教授，主要研究方向?yàn)殡娏Υ髷?shù)據(jù)分析、智能電網(wǎng)等。

呂 凜 杰 （1978-）， 男 ， 國(guó) 網(wǎng) 冀 北 電 力 有 限 公司技能培訓(xùn)中心講師，主要研究方向?yàn)殡娏νㄐ偶夹g(shù)。

王 桂 蘭 （1979-）， 女 ， 華 北 電 力 大 學(xué) 信 息 與網(wǎng)絡(luò)管理中心講師，主要研究方向?yàn)轱L(fēng)機(jī)故障定位與檢測(cè)。

2016-01-25；

2016-03-15

河 北 省 自 然 科 學(xué) 基 金 資 助 項(xiàng) 目 （No.F2014502069）；中 央 高 校 基 本 科 研 業(yè) 務(wù) 費(fèi) 專(zhuān) 項(xiàng) 資 金 資 助 項(xiàng) 目 （No.13MS103）