尹 詩，遲 巖，王其樂，王寅生，何 偉

(中能電力科技開發(fā)有限公司，北京 西城 100034)

TK 89

A

2096-2185(2017)05-0060-05

10.16513/j.cnki.10-1427/tk.2017.05.010

基于大數(shù)據(jù)的風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)

尹 詩，遲 巖，王其樂，王寅生，何 偉

(中能電力科技開發(fā)有限公司，北京 西城 100034)

隨著風(fēng)力發(fā)電機組裝機規(guī)模不斷擴大，風(fēng)電企業(yè)對生產(chǎn)運營及設(shè)備管控提出了更高的要求。為更客觀地評價風(fēng)電企業(yè)運營管控狀況，各大運行商相繼建立了風(fēng)電生產(chǎn)運營監(jiān)控中心，以實現(xiàn)對下轄風(fēng)電企業(yè)進行精細化管理。傳統(tǒng)風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)以實時數(shù)據(jù)庫作為底層數(shù)據(jù)存儲，以單臺硬件作為系統(tǒng)后臺計算資源；但是，伴隨著計算指標，尤其數(shù)據(jù)存儲的增加，傳統(tǒng)的數(shù)據(jù)存儲架構(gòu)已滿足不了當(dāng)前系統(tǒng)建設(shè)的需要。提出基于大數(shù)據(jù)的風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)設(shè)計架構(gòu)，并在此基礎(chǔ)上實現(xiàn)風(fēng)電生產(chǎn)運營監(jiān)控、經(jīng)營管控指標計算等功能。國內(nèi)某大型風(fēng)電運營商已應(yīng)用該系統(tǒng)，實現(xiàn)了每年600 TB的秒級風(fēng)機數(shù)據(jù)存儲，形成了適合風(fēng)電企業(yè)發(fā)展需要并具有擴展能力的數(shù)據(jù)中心。

風(fēng)電大數(shù)據(jù)；監(jiān)控中心；生產(chǎn)運營；經(jīng)營管控；Hadoop技術(shù)

0 引言

風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)實現(xiàn)了集團企業(yè)范圍內(nèi)的風(fēng)電機組、升壓站、測風(fēng)塔等風(fēng)電場設(shè)備運行數(shù)據(jù)遠程監(jiān)視、故障實時報警、自動報表統(tǒng)計、實時數(shù)據(jù)分析、運行指標對比、日常運行管理等功能。

文獻[1]主要介紹了生產(chǎn)指標實時監(jiān)控、對標及分析一體化管控平臺，構(gòu)建了集團級發(fā)電企業(yè)生產(chǎn)調(diào)度管理、實時監(jiān)控等系統(tǒng)；文獻中未涉及利用大數(shù)據(jù)分布式技術(shù)建立風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)。

文獻[2]利用風(fēng)電機組實際運行數(shù)據(jù)，對風(fēng)電機組的風(fēng)特性、功率特性等性能指標進行了分析與評價；但是未涉及基于Hadoop的風(fēng)電大數(shù)據(jù)平臺設(shè)計。

文獻[3]將風(fēng)電機組運行狀態(tài)監(jiān)測評估與數(shù)據(jù)采集與監(jiān)視控制(supervisory control and data acquisition，SCADA)系統(tǒng)相結(jié)合，利用風(fēng)電機組實際運行數(shù)據(jù)，對風(fēng)電機組的風(fēng)特性、功率特性等性能指標進行了分析與評價；但未涉及大數(shù)據(jù)風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)設(shè)計。

圖1 基于Hadoop的風(fēng)電大數(shù)據(jù)平臺設(shè)計Fig.1 Big data platform design of wind farm based on Hadoop

1 基于Hadoop的風(fēng)電大數(shù)據(jù)平臺設(shè)計

Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)，被互聯(lián)網(wǎng)廠商廣泛應(yīng)用于解決結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù)存儲及計算分析問題；特別是Spark基于多次迭代的算法運行效率極其快速，且整個架構(gòu)基于比較廉價的x86標準硬件。Hadoop中含NoSql數(shù)據(jù)庫HBase，拋棄了關(guān)系數(shù)據(jù)庫復(fù)雜的關(guān)系操作、事務(wù)處理等功能，僅提供簡單的鍵值對(Key，Value)數(shù)據(jù)的存儲與查詢，具有高擴展性和高性能?；ヂ?lián)網(wǎng)領(lǐng)域誕生的Hadoop技術(shù)為工業(yè)領(lǐng)域大數(shù)據(jù)平臺提供了解決方案?；贖adoop的風(fēng)電大數(shù)據(jù)平臺設(shè)計如圖1所示[6-8]。

1) 原始數(shù)據(jù)收集。

各風(fēng)場產(chǎn)生的秒級數(shù)據(jù)首先通過數(shù)據(jù)中心連接各風(fēng)場的專線傳輸至數(shù)據(jù)中心實時數(shù)據(jù)庫集群。數(shù)據(jù)包含風(fēng)電機組數(shù)據(jù)、升壓站數(shù)據(jù)、測風(fēng)塔數(shù)據(jù)、關(guān)口表數(shù)據(jù)、機組故障錄波數(shù)據(jù)和AGC/AVC數(shù)據(jù)。

2) 原始數(shù)據(jù)持久化。

Kafka集群負責(zé)將信息持久化，保證數(shù)據(jù)不丟失，另外Kafka集群還擔(dān)負了數(shù)據(jù)源的負載均衡和HA。

3) 數(shù)據(jù)處理。

該系統(tǒng)采用WDD35D4角位移傳感器作為擺桿的實時姿態(tài)檢測與反饋裝置。WDD35D4角位移傳感器采用3.3V電壓供電，只有一根信號輸出線，由該信號線輸出角位移傳感器的實時電位值[4]。采用Stm32f103上集成的ADC外設(shè)直接測量傳感器的電位值，將ADC1的通道10(PC0)配置成模擬輸入模式，采用DMA方式將采集到的電位值周期性地存放到指定內(nèi)存位置，在需要使用該變量時將其取出。擺桿與角位移傳感器的轉(zhuǎn)軸連接，系統(tǒng)通過實時測出的電位值，與擺桿處于平衡位置時的電位值進行比較，算出實時偏差并將其傳入PID控制器，控制電機糾正偏差，形成一個負反饋系統(tǒng)。

實時流計算Spark Streaming集群負責(zé)從Kafka集群獲取數(shù)據(jù)，進行解碼、數(shù)據(jù)清洗、轉(zhuǎn)換、合并計算和輸出至實時處理集群文件系統(tǒng)。

4) 數(shù)據(jù)存儲。

實時流計算Spark Streaming集群按設(shè)定周期向?qū)崟r查詢HBase集群、關(guān)系型數(shù)據(jù)庫Oracle、分布式文件系統(tǒng)HDFS輸出數(shù)據(jù)。

5) 數(shù)據(jù)掃描。

統(tǒng)計分析工具從分布式存儲掃描數(shù)據(jù)進行統(tǒng)計分析。

6) 數(shù)據(jù)導(dǎo)出。

從生產(chǎn)環(huán)境中抽取探索分析環(huán)境的數(shù)據(jù)。

全開放架構(gòu)(方案1)和實時數(shù)據(jù)庫(方案2)兩種風(fēng)電大數(shù)據(jù)平臺方案的對比結(jié)果如表1所示。

綜上分析，方案1是現(xiàn)有大數(shù)據(jù)平臺開源架構(gòu)，社區(qū)生態(tài)系統(tǒng)完善，有豐富第三方工具包可選擇，技術(shù)支持可選擇任意大數(shù)據(jù)平臺提供商。方案1的架構(gòu)已經(jīng)在互聯(lián)網(wǎng)、典型、銀行等行業(yè)大規(guī)模商用。

數(shù)據(jù)服務(wù)中心主要存儲各個風(fēng)場共計約10 000臺風(fēng)機的100點、500點秒級和10 min數(shù)據(jù)。數(shù)據(jù)通過Spark Streaming集群接收處理分別轉(zhuǎn)移至列式數(shù)據(jù)庫、分布式文件系統(tǒng)和關(guān)系型數(shù)據(jù)庫。

熱數(shù)據(jù)主要以100點數(shù)據(jù)為主，數(shù)據(jù)采集頻度為秒級和分鐘級。秒級數(shù)據(jù)存儲在HDFS中，提供MapReduce和Spark運行業(yè)務(wù)分析模型和批量處理作業(yè)；秒級數(shù)據(jù)儲存在HBase中，業(yè)務(wù)人員依據(jù)RowKey查詢；分鐘級數(shù)據(jù)和統(tǒng)計結(jié)果數(shù)據(jù)存儲在Oracle中，業(yè)務(wù)人員通過SQL進行查詢。故障點前后10 min的500點數(shù)據(jù)也作為熱數(shù)據(jù)，用于故障分析。

冷數(shù)據(jù)主要以400點等全量分鐘級數(shù)據(jù)和秒級數(shù)據(jù)進行集中存儲，以方便以后擴展使用。

2 基于大數(shù)據(jù)平臺的風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)設(shè)計

為保障生產(chǎn)設(shè)備安全可靠運行，提高設(shè)備管控能力，促進安全生產(chǎn)專業(yè)化管理水平的提升，提高生產(chǎn)數(shù)據(jù)處理與分析能力，實現(xiàn)安全生產(chǎn)集約化管理，建立現(xiàn)代、新型的安全生產(chǎn)管理體系，融入集團公司一體化管理信息化平臺，風(fēng)電企業(yè)運營商提出了“數(shù)據(jù)整合，專業(yè)管理，集中值守，融入平臺”風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)?；诖髷?shù)據(jù)平臺的風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)功能模塊的設(shè)計如圖2所示[9]。

2.1實時監(jiān)控類

集控中心的實時數(shù)據(jù)來自大數(shù)據(jù)平臺，實現(xiàn)更全面、更準確的現(xiàn)場運營監(jiān)控，展示實時性聚焦類數(shù)據(jù)，分為4個方面： 1)全國監(jiān)控數(shù)據(jù)，即風(fēng)速、功率、實時出力比、發(fā)電量(日、月、年累計)、可利用小時、故障停運情況；2)(列表監(jiān)控)省級、場級、單機監(jiān)控數(shù)據(jù)，即容量、風(fēng)速、溫度、功率、機組運行狀態(tài)、發(fā)電量(年、月累計)、年可利用小時、年計劃完成率；3)實時出力比，即省級實時出力比、全國實時出力趨勢；4)實時預(yù)警類數(shù)據(jù)，即停機報警、故障停機報警、通訊中斷報警、功率變化速率報警、限電超限報警和異常情況申訴報警等。

2.2經(jīng)營管控類

主要是結(jié)合規(guī)劃發(fā)展、計劃經(jīng)營、安全生產(chǎn)分別在前期規(guī)劃管控、市場營銷和生產(chǎn)運維方面不同側(cè)重的管控要求，建立一整套全新的經(jīng)濟運行管控指標，即測風(fēng)管理指標、計劃容量分析指標、對標管理指標、電量差異率指標、限電比例指標、損失電量占比指標、風(fēng)功率預(yù)測準確度指標、電量完成進度指標、設(shè)備可利用率、能量可利用率、故障損失時間、不可用時間、場用電率和設(shè)備可靠性指標(故障率、MTBF、MTTR)。

表1 風(fēng)電大數(shù)據(jù)平臺方案對比Table 1 Comparison of big data platform schemes of wind farm

圖2 基于大數(shù)據(jù)平臺的風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)功能模塊設(shè)計Fig.2 Function module design of wind power production operation monitoring System based on big data platform

2.3技術(shù)支撐類

主要是提供給現(xiàn)場一線員工能夠獨立使用的設(shè)備性能及運維管理工作指導(dǎo)分析的技術(shù)支持系統(tǒng)，有效能分析系統(tǒng)、備品備件管理系統(tǒng)、運行數(shù)據(jù)分析系統(tǒng)、技術(shù)監(jiān)督管理系統(tǒng)和遠程狀態(tài)檢測系統(tǒng)，未來將擴展采用大數(shù)據(jù)挖掘手段研發(fā)出來的新的系統(tǒng)模型。

2.4運行管理類

針對目前外界對龍源電力不同的報表需求，實現(xiàn)一次性填報數(shù)據(jù)，自動生成不同需求下的報表：1)各類生產(chǎn)報表(日報、月報、季報、年報、各類匯總報表)；2)設(shè)備臺賬統(tǒng)計類信息(按照機型、容量、臺數(shù)這3個報表需求，統(tǒng)計不同廠家品牌部件的分布情況)。

數(shù)據(jù)存儲模塊采用列存儲Parguet實現(xiàn)列存儲：可在數(shù)據(jù)加載時直接轉(zhuǎn)換為Parquent列存儲(Storm中完成)；或者落地HDFS后，周期性批量轉(zhuǎn)為Parquent格。因此100個數(shù)據(jù)點和500個數(shù)據(jù)點在沒有冗余的情況下，可實現(xiàn)相同的訪問速度。

針對所存儲的全量數(shù)據(jù)，數(shù)據(jù)分析采用Map/Reduce和Spark分布式計算框架進行并行計算，基于Hadoop Yarn框架對分析任務(wù)進行統(tǒng)一管理與調(diào)度。同時，支持Matlab和R等語言和統(tǒng)計工具；此外，HDFS中的數(shù)據(jù)會定期執(zhí)行2個批量任務(wù)：

1) 數(shù)據(jù)匯總。從HDFS定期運行M/R或者Spark程序，匯總10 min級數(shù)據(jù)到Oracle數(shù)據(jù)庫。

2)數(shù)據(jù)統(tǒng)計匯總和報表生成模塊主要包括各種數(shù)據(jù)統(tǒng)計分析應(yīng)用及應(yīng)用的開發(fā)運行環(huán)境。此系統(tǒng)基于10 min匯總數(shù)據(jù)架設(shè)，支持多種分析應(yīng)用程序開發(fā)環(huán)境，包括Spark R、Python、Java、Matlab。

系統(tǒng)支持Tableau可視化和BI工具，用戶可輕松定制各種報表，其數(shù)據(jù)源支持Oracle數(shù)據(jù)庫和文件。

2.5數(shù)據(jù)分析挖掘

大量后臺作業(yè)、KPI計算遷移到大數(shù)據(jù)平臺。大數(shù)據(jù)平臺內(nèi)置常用的數(shù)據(jù)挖掘算法，并通過大規(guī)模并行計算能力提高分析師的數(shù)據(jù)驗證過程。搭建基于Python的機器學(xué)習(xí)算法環(huán)境，并在單機算法基礎(chǔ)上搭建適合集群大數(shù)據(jù)處理的算法環(huán)境。支持的算法包括numpy、scipy、scikit-learn和H2O，可進行故障報警分析、功率曲線分析、單機性能分析和風(fēng)資源分析等[10]。

2.6設(shè)備健康度評估

基于風(fēng)電場運行維護的歷史數(shù)據(jù)及實時數(shù)據(jù)，建立大數(shù)據(jù)風(fēng)機預(yù)測與健康管理模型；通過概率統(tǒng)計數(shù)據(jù)對老舊風(fēng)機及關(guān)鍵部件進行健康狀態(tài)分析，預(yù)測其剩余壽命；最后給風(fēng)機及關(guān)鍵部件的壽命評估提供理論指導(dǎo)。采用可行性與準確性較高的PHM為數(shù)據(jù)驅(qū)動技術(shù)，主要包括了人工智能方法和統(tǒng)計數(shù)據(jù)驅(qū)動的方法，通過機器學(xué)習(xí)擬合設(shè)備性能變量的演化規(guī)律，進而通過外推到失效閾值實現(xiàn)設(shè)備健康度的評估。

3 大數(shù)據(jù)平臺應(yīng)用數(shù)據(jù)交互設(shè)計

大數(shù)據(jù)平臺提供應(yīng)用數(shù)據(jù)接入功能，本文通過Sqoop與外部應(yīng)用的主流傳統(tǒng)數(shù)據(jù)庫進行數(shù)據(jù)互通，實現(xiàn)數(shù)據(jù)接入。Sqoop主要用來在Hadoop和關(guān)系數(shù)據(jù)庫中傳遞數(shù)據(jù)，通過Sqoop可方便地將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫導(dǎo)入到HDFS，或者將數(shù)據(jù)從HDFS導(dǎo)出到關(guān)系數(shù)據(jù)庫[11-13]。

支持的數(shù)據(jù)庫包括IBM DB2、Oracle、Greenplum、MySQL、vertica等。

Sqoop架構(gòu)非常簡單，其整合了Hive、Hbase和Oozie，通過MapReduce任務(wù)來傳輸數(shù)據(jù)，從而提供并發(fā)特性和容錯。利用JDBC標準接口訪問數(shù)據(jù)，所以可兼容幾乎所有的數(shù)據(jù)庫類產(chǎn)品。

大數(shù)據(jù)平臺提供應(yīng)用數(shù)據(jù)輸出功能，外部應(yīng)用程序需要獲取大數(shù)據(jù)平臺中存儲的數(shù)據(jù)時，推薦使用2種方式：直接訪問分布式文件系統(tǒng)的文件操作接口或以JDBC/ODBC方式連接Hive訪問計算結(jié)果數(shù)據(jù)[14]。

4 結(jié)論

基于大數(shù)據(jù)平臺的風(fēng)電生產(chǎn)運營監(jiān)控系統(tǒng)以風(fēng)電運營大數(shù)據(jù)平臺作為底層存儲、計算框架，實現(xiàn)風(fēng)電企業(yè)實時監(jiān)控、自動報表統(tǒng)計、實時數(shù)據(jù)分析、運行指標對比、日常運行管理等功能?；贖adoop開源大數(shù)據(jù)平臺架構(gòu)，能夠解決大容量實時數(shù)據(jù)存儲，Map/Reduce和Spark分布式并行計算框架能夠解決單臺服務(wù)器計算資源的瓶頸。

風(fēng)電大數(shù)據(jù)平臺的建設(shè)，打通了風(fēng)電企業(yè)數(shù)據(jù)中心建設(shè)各個環(huán)節(jié)，實現(xiàn)了風(fēng)電實時運行數(shù)據(jù)的全量采集、接收、存儲和管理。形成了適合企業(yè)發(fā)展需要并具有擴展能力的數(shù)據(jù)中心，為集團大數(shù)據(jù)長期建設(shè)打下了堅實基礎(chǔ)，并逐步挖掘與提升了企業(yè)的數(shù)據(jù)價值。

[1] 國家電投集團內(nèi)蒙古能源集團有限責(zé)任公司. 集團級電力生產(chǎn)指標實時監(jiān)控、 對標及分析一體化管控平臺的研發(fā)與應(yīng)用[R]. 呼和浩特: 國家電投集團內(nèi)蒙古能源集團有限責(zé)任公司, 2013.

[2] 汪喆. 基于大數(shù)據(jù)分析的風(fēng)電機組運行狀態(tài)監(jiān)測評估[D]. 北京: 華北電力大學(xué), 2016.

WANG Zhe. Based on large data analysis of wind turbine operation monitoring and evaluation[D]. Beijing: North China Electric Power University, 2016.

[3] GUO Peng, INFIELD D, YANG Xiyun. Wind turbine generator condition monitoring using temperature trend analysis[J]. IEEE Transactions on Sustainable Energies, 2012, 3(1): 124-133.

[4] 中國電機工程學(xué)會. 中國電力大數(shù)據(jù)發(fā)展白皮書[R]. 北京: 中國電機工程學(xué)會, 2013.

[5] 孫大為, 張廣艷, 鄭緯民. 大數(shù)據(jù)流式計算: 關(guān)鍵技術(shù)及系統(tǒng)實例[J]. 軟件學(xué)報, 2014, 25(4): 839-862.

SUN Dawei, ZHANG Guangyan, ZHENG Weimin. Big data

flow calculation: key technology and system instance[J]. Journal of Software, 2014, 25(4): 839-862.

[6] SAAVEDRA-MORENO B, SALCEDO-SANZ S, PANIAGUA-TINEO A, et al. Seeding evolutionary algorithms with heuristics for optimal wind turbines positioning in wind farms[J]. Renewable Energy, 2011, 36(11): 2838-2844.

[7] XU D P, ZHANG X F, LIU Y B. Overview of relevant control problems of wind turbines[J]. Electric Power, 2005, 38(4): 70-74.

[8] XIAO Yunqi, JIA Pengxiao. A novel optimum power fuzzy control strategy for doubly-fed wind turbine[C]//Proceedings of 8th ICCA, Xiamen, 2010.

[9] XIAO Yunqi, Lü Yuegang. Pitch-controlled wind turbine synchronized cutting-in control and modeling-simulation[C]//Proceedings of WCICA, Bejing, 2012.

[10] WANG Wei, LIU Jizhen, ZENG Deliang, et al. An improved coordinated control strategy for boiler-turbine units supplemented by cold source flow adjustment[J]. Energy, 2015, 88: 927-934.

[11] TAN Wen, MARQUEZ H J, CHEN Tongwen, et al. Analysis and control of a nonlinear boiler-turbine unit[J]. Journal of Process Control, 2005, 15(8): 883-891.

[12] YANG Xiyun, GUO Peng. Petri net model and reliability evaluation for wind turbine hydraulic variable pitch system[J]. Energies, 2011, 4(6): 978-997.

[13] LIU Xiangjie, JIANG D, LEE K Y. Quasi-min-max fuzzy MPC of UTSG water level based on off-line invariant set[J]. IEEE Trans. on Nuclear Science, 2015, 62(5): 2266-2272.

[14] LIU Xiangjie, KONG Xiaobing. Nonlinear model predictive control for DFIG-based wind power generation[J]. IEEE Transactions on Automation Science and Engineering: Regular Paper, 2014， 11(4)：1046-1055.

WindPowerOperationManagementandControlCenterBasedonBigData

YIN Shi, CHI Yan, WANG Qile, WANG Yinsheng, HE Wei

(Zhongneng Power-tech Development Co., Ltd., Xicheng District, Beijing 100034, China)

With the larger scale of installed wind power operators, wind power enterprises of production operation and equipment control get higher requirements. To better control the objective evaluation of the wind power enterprises operation, each enterprise has set up wind power production operation monitoring center to administer wind power enterprises to carry out fine management. Traditionally, wind power production operation monitoring system takes real time database as the underlying data store, and a single hardware as the system background computing resource. However, with the calculation index, especially the increase of data storage, the traditional data storage architecture has already can’t satisfy the need of the construction of the current system. This paper proposes the wind power production operation monitoring system design framework based on big data, and on this basis to realize the wind power production operation monitoring, wind power management control indicators, and other functions. The system has been applied in a large wind power operator in China, realized the data storage of fan per second of 600 TB per year, and formed a data center which is suitable for the development of wind power enterprises and has the ability to expand.

big data of wind farm; monitoring center; production operations; management and control; Hadoop technology

國家能源自主創(chuàng)新和能源裝備專項項目

Project supported by National Energy Independent Innovation and Special Projects of Energy Equipment

尹 詩

2017-07-02

尹 詩(1988—)，男，碩士，工程師，研究方向為風(fēng)電企業(yè)信息化，yinshi@clypg.com.cn。遲 巖(1973—)，男，學(xué)士，高級工程師，研究方向為風(fēng)電企業(yè)管理；王其樂(1982—)，男，碩士，工程師，研究方向為風(fēng)電信息化；王寅生(1986—)，男，博士，工程師，研究方向為運營大數(shù)據(jù)；何 偉(1982—)，男，碩士，工程師，研究方向為風(fēng)電企業(yè)信息化。

(編輯 谷子)