李潔珊，趙志勤

(中國南方電網(wǎng)有限責任公司 超高壓輸電公司，廣東 廣州 510000)

0 引 言

隨著現(xiàn)代電力行業(yè)的不斷發(fā)展，輸電線路數(shù)據(jù)呈現(xiàn)數(shù)量大、維度高、來源多、聯(lián)系緊等特點。與之相比，電力大數(shù)據(jù)具有容量大、類型多、速度快的特點[1-3]。隨著各種智能終端接入電網(wǎng)，輸電線路數(shù)據(jù)數(shù)量、數(shù)據(jù)存儲類型、信息傳輸方法不斷增多[4]，現(xiàn)有數(shù)據(jù)處理方式不利于智能電網(wǎng)的發(fā)展。

目前，國內(nèi)外已有大量相關(guān)的研究。文獻[5]在數(shù)據(jù)量爆炸性增長的背景下，從大能源與大數(shù)據(jù)融合的角度描述大數(shù)據(jù)對電力企業(yè)數(shù)據(jù)處理方式的影響；文獻[6]提出了適合電力大數(shù)據(jù)應用的數(shù)據(jù)技術(shù)框架和關(guān)鍵技術(shù)體系；文獻[7]針對廣東電網(wǎng)發(fā)展的階段性特點，探討廣東電網(wǎng)大數(shù)據(jù)的發(fā)展思路。許多研究基于單一或多個大數(shù)據(jù)計算技術(shù)提出相應的電力系統(tǒng)或其他行業(yè)的大數(shù)據(jù)平臺解決方案。文獻[8]利用分布式處理架構(gòu)與電網(wǎng)實際分布式架構(gòu)的相似性，提出了一種綜合數(shù)據(jù)平臺建設模式和基于多代理技術(shù)的系統(tǒng)框架；文獻[9]基于Map-Reduce模型設計了可以并行計算正域中元素個數(shù)的屬性約簡算法；文獻[10]根據(jù)OpenFlow的技術(shù)特點，提出未來國家電網(wǎng)公司大數(shù)據(jù)平臺應用的方法，具有較好的可擴展性和加速比，可以處理電力大數(shù)據(jù)集；文獻[11]針對海量設備狀態(tài)數(shù)據(jù)和動態(tài)信息的在線收集問題，基于Hadoop技術(shù)設計了一套數(shù)據(jù)儲存處理系統(tǒng)，具有高效查詢的優(yōu)勢。以上研究大多集中于總體架構(gòu)和電力系統(tǒng)總的信息平臺設計，覆蓋面較大，缺少針對發(fā)輸配用特定平臺的研究。

本文提出以大數(shù)據(jù)技術(shù)支撐的統(tǒng)一云平臺架構(gòu)設計方案。

1 輸電線路大數(shù)據(jù)特征及需求分析

1.1 輸電線路數(shù)據(jù)分析

輸電線路數(shù)據(jù)根據(jù)文件格式可分為文檔、純文本、線路實時圖像、XML、HTML、報表、視頻文件；按照數(shù)據(jù)存儲方式可以分為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)；按照數(shù)據(jù)單位大小分為Byte、Block、Chunk等級別；按照數(shù)據(jù)內(nèi)容可分為臺賬、日志、記錄、測量等數(shù)據(jù)。

具體線路數(shù)據(jù)來源及數(shù)據(jù)分類如表1所示。

表1 輸電線路數(shù)據(jù)源表單

1.2 輸電線路云平臺需求分析

輸電線路數(shù)據(jù)云平臺是表1中各個系統(tǒng)平臺應用的基礎，在上述平臺系統(tǒng)的數(shù)據(jù)添加、查詢、更新和管理中起到了關(guān)鍵性的作用。

輸電線路數(shù)據(jù)云平臺中，輸電線路半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)主要由運維自動化平臺產(chǎn)生，包括現(xiàn)場圖像、照片數(shù)據(jù)，微氣象數(shù)據(jù)，調(diào)度自動化系統(tǒng)(Power dispatching Automation System, PAS)測量數(shù)據(jù)和波記錄數(shù)據(jù)。不同測量數(shù)據(jù)的規(guī)模總量和增量大體可以分為3類：(1)日增量大，但產(chǎn)生頻率較低，雷電定位系統(tǒng)數(shù)據(jù)；(2)日增量較小，但產(chǎn)生頻率較高，如保護裝置動作記錄及錄波記錄；(3)日增量較大且產(chǎn)生頻率較高，如SCADA量測數(shù)據(jù)和PAS量測數(shù)據(jù)。因此需要對現(xiàn)有的數(shù)據(jù)存儲進行優(yōu)化，以提高數(shù)據(jù)的利用效率。

各類數(shù)據(jù)存量及增量速度表如表2所示。

表2 各類數(shù)據(jù)存量及增量速度表

從表1和表2可以看出數(shù)據(jù)源分散，無法將現(xiàn)有的數(shù)據(jù)進行多部門、跨專業(yè)、以設備為中心的有效融合，而應用大數(shù)據(jù)技術(shù)的云數(shù)據(jù)平臺可以有效地解決數(shù)據(jù)整合優(yōu)化的問題。

2 OpenStack云平臺技術(shù)分析

2.1 OpenStack技術(shù)介紹

OpenStack是云計算服務商Rackspace和美國航空航天局一起開發(fā)的開源的基礎設施及服務云計算平臺，它能夠幫助服務運營商或者大型企業(yè)來管理物理資源設備，搭建和運行云計算平臺[12-14]。該技術(shù)具有靈活、松耦合以及開源特點3大優(yōu)勢。

2.2 OpenStack技術(shù)在數(shù)據(jù)云平臺服務分析

OpenStack主要由計算服務，存儲服務、鏡像服務、認證服務和UI服務組成，其具體架構(gòu)如圖1所示。

圖1 OpenStack概念架構(gòu)

(1)計算服務。主要提供虛擬主機服務，用于為單個用戶或使用群組管理虛擬機實例的整個生命周期，根據(jù)用戶需求來提供虛擬服務；

(2)存儲服務。提供一種分布式、持續(xù)虛擬對象存儲，通過在軟件層引入一致性散列技術(shù)和數(shù)據(jù)冗余性，提供了很好的非結(jié)構(gòu)化數(shù)據(jù)存儲方案；

(3)鏡像服務。一套虛擬機鏡像查找及檢索系統(tǒng)，支持多種虛擬機鏡像格式，有創(chuàng)建上傳鏡像、刪除鏡像、編輯鏡像基本信息的功能；

(4)認證服務。對于用戶管理可以實現(xiàn)用戶與用戶行為跟蹤，同時提供一個服務目錄，包括服務項與相關(guān)接口的位置；

(5)UI服務。使用python語言開發(fā)的Web端管理門戶，封裝了大部分主要的API，用戶可通過圖形化的界面對OpenStack中的資源進行操控，簡化了OpenStack的交互方式。

3 基于OpenStack的輸電線路數(shù)據(jù)云平臺架構(gòu)設計

3.1 輸變電線路云平臺設計思路

輸電線路數(shù)據(jù)云平臺核心思想如圖2所示。

3.2 數(shù)據(jù)云平臺整體架構(gòu)

輸電線路數(shù)據(jù)云平臺以數(shù)據(jù)為中心，將實際數(shù)據(jù)作為應用基礎，使用OpenStack搭建云平臺，統(tǒng)一管理和調(diào)度硬件資源，為上層的大數(shù)據(jù)處理提供資源透明

的彈性服務。平臺整體框架由數(shù)據(jù)采集層、數(shù)據(jù)中心層、應用層以及接入層共4個層次組成，如圖3所示。

圖2 輸電線路數(shù)據(jù)云平臺核心思想

圖3 總體架構(gòu)圖

數(shù)據(jù)采集層是輸電線路數(shù)據(jù)私有云平臺的最底層，作為整個平臺的智能感知層，實現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)的智能化識別、定位、跟蹤、接入、信號轉(zhuǎn)換、監(jiān)控、初步處理和管理，再通過網(wǎng)絡將各種方式采集的數(shù)據(jù)或人為加工的數(shù)據(jù)統(tǒng)一傳輸和存儲到上層。

數(shù)據(jù)中心層是私有數(shù)據(jù)云平臺的核心，數(shù)據(jù)預處理模塊對底層數(shù)據(jù)進行數(shù)據(jù)清洗，并將多個數(shù)據(jù)源中的相似數(shù)據(jù)結(jié)合起來統(tǒng)一存儲。數(shù)據(jù)存儲模塊分為大數(shù)據(jù)存儲和傳統(tǒng)存儲兩個框架，分別存儲非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)計算模塊以Hadoop/MapReduce并行處理引擎為基礎，支持調(diào)度和分配計算資源，結(jié)合數(shù)據(jù)挖掘技術(shù)，利用多種計算方式，計算推演不同來源數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，提供給上層前端應用。

應用層包括輸電線路狀態(tài)實時監(jiān)測報警、基礎臺賬、圖形展示、安全管理等高級應用，采用基于面向服務的體系結(jié)構(gòu)(service oriented architecture, SOA)的輕量級服務總線，實現(xiàn)不同粒度服務的靈活配置。

接入層即用戶終端，平臺數(shù)據(jù)及分析結(jié)果等可以通過移動終端或者PC終端被用戶實時訪問，并且支持現(xiàn)有主流操作系統(tǒng)，提高平臺的適應性與兼容性。

3.3 輸電線路數(shù)據(jù)云平臺基礎服務體系分析

輸電線路數(shù)據(jù)云平臺包括云主機服務、云硬盤服務、對象存儲服務和管理服務。本研究以安全生產(chǎn)的海量數(shù)據(jù)進行梳理分析和圖3所示架構(gòu)為基礎，提供可以靈活部署的分層基礎服務體系，其具體組件服務架構(gòu)如圖4所示。

圖4 服務架構(gòu)圖

云平臺基礎服務主要由4種服務組成：

(1)云主機服務。計算服務的主要提供者，主要部署在可以提供CPU和內(nèi)存服務的計算節(jié)點上，由于計算節(jié)點具有伸縮性，可以按照實際需求控制物理節(jié)點數(shù)；

(2)云硬盤服務。提供虛擬磁盤服務，在默認的機架式服務器集群中，與云主機服務都部署在計算節(jié)點上，因此也可以按照應用需求實現(xiàn)彈性伸縮，并且節(jié)點之間互不干擾；

(3)對象存儲服務。提供安全可靠的存儲服務，每個對象存儲設備具有一定的智能，基于OpenStack的對象存儲服務即Swift子項目，具有很強的數(shù)據(jù)持久性和無單點故障的特點，適用于靜態(tài)數(shù)據(jù)的長期存儲；

(4)關(guān)系型數(shù)據(jù)庫服務(relational database service，RDS)?，F(xiàn)有數(shù)據(jù)中大量數(shù)據(jù)還是以二維形式存儲，并且RDS具有保持數(shù)據(jù)一致性、數(shù)據(jù)新的開銷小等優(yōu)點，因此與非關(guān)系數(shù)據(jù)庫互為補充。

除了主要的服務組件，還有相應的管理服務，主要由監(jiān)控服務、計費服務和負載均衡這3個服務組成。管理節(jié)點部署管理員平臺和產(chǎn)品用戶平臺，同時也部署了云監(jiān)控以及各個云服務的API組件。這是云平臺的唯一入口。在用戶請求量較大的情況，可考慮萬兆網(wǎng)卡。

4 結(jié)束語

本研究根據(jù)輸電網(wǎng)實際數(shù)據(jù)特點和OpenStack技術(shù)的優(yōu)點，提出基于OpenStack的輸電線路數(shù)據(jù)云平臺架構(gòu)和服務架構(gòu)。

(1)現(xiàn)有輸電線路數(shù)據(jù)同時存在結(jié)構(gòu)化數(shù)據(jù)和半

結(jié)構(gòu)化數(shù)據(jù)，且數(shù)據(jù)量增長較快，需要根據(jù)數(shù)據(jù)來源不同和數(shù)據(jù)特性對其進行區(qū)分；

(2)OpenStack服務架構(gòu)本身具有靈活、松耦合、開源等特點，可以有效提高輸電線路數(shù)據(jù)平臺服務框架搭建效率；

(3)基于OpenStack的輸電線路大數(shù)據(jù)平臺可以有效地提高數(shù)據(jù)關(guān)聯(lián)度、處理結(jié)構(gòu)復雜的輸電數(shù)據(jù)，由于服務松耦合性，可以縮短服務響應時間，提高平臺運行效率。

[1] 中國電機工程學會信息化專委會.中國電力大數(shù)據(jù)發(fā)展白皮書[M].北京：中國電力出版社,2013.

[2] 彭小圣,鄧迪元,程時杰,等.面向智能電網(wǎng)應用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J].中國電機工程學報,2015,35(3):503-511.

[3] 趙云山，劉煥煥.大數(shù)據(jù)技術(shù)在電力行業(yè)的應用研究[J].電信科學,2014,50(1):57-62.

[4] 朱朝陽，王繼業(yè)，鄧春宇.電力大數(shù)據(jù)平臺研究與設計[J].電力信息與通信技術(shù),2015,13(6):1-7.

[5] 薛禹勝,賴業(yè)寧.大能源思維與大數(shù)據(jù)思維的融合(一)大數(shù)據(jù)與電力大數(shù)據(jù)[J].電力系統(tǒng)自動化,2016,40(1):1-8.

[6] 李棟華,耿世奇,鄭 建.能源互聯(lián)網(wǎng)形勢下的電力大數(shù)據(jù)發(fā)展趨勢[J].現(xiàn)代電力,2015,32(5):10-14.

[7] 蔡 徽.廣東電網(wǎng)電力大數(shù)據(jù)現(xiàn)狀及主要發(fā)展思路[J].廣東電力，2014,27(12):11-14.

[8] 暢廣輝,鎬俊杰,劉滌塵,等.基于多代理技術(shù)的電力控制中心綜合數(shù)據(jù)平臺設計[J].電力系統(tǒng)自動化,2008,32(1):85-89.

[9] 曲朝陽,陳 帥,楊 帆,等.基于云計算技術(shù)的電力大數(shù)據(jù)預處理屬性約簡方法[J].電力系統(tǒng)自動化,2014,38(8):67-71.

[10] 尹曉華,胡 楠,劉 為,等.OpenFlow在電力大數(shù)據(jù)平臺中的應用[J].電力建設,2015,36(3):43-48.

[11] 李 偉,張 爽,康建東,等.基于hadoop的電網(wǎng)大數(shù)據(jù)處理探究[J].電子測試,2014(1):74-77.

[12] 李知杰,趙健飛.OpenStack開源云計算平臺[J].軟件導刊,2012,11(12):10-12.

[13] 李小寧,李 磊,金連文,等.基于OpenStack構(gòu)建私有云計算平臺[J].電信科學,2012,28(9):1-8.

[14] CHEN S C, HWANG R H. A scalable integrated SDN and OpenStack management system[C]. International Conference on Computer and Information Technology, Nadi: IEEE,2016.