譚文勝，萬 元，潘平衡

（五凌電力有限公司，湖南 長沙410004）

0 引言

傳統(tǒng)的水電企業(yè)在生產(chǎn)運營過程中產(chǎn)生了大量的數(shù)據(jù)，包括生產(chǎn)領(lǐng)域的工業(yè)傳感器實時數(shù)據(jù)和業(yè)務(wù)管理領(lǐng)域的結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，但這部分數(shù)據(jù)分布在各個子系統(tǒng)中，不能保證互聯(lián)互通，共用共享，從而形成了一系列的“數(shù)據(jù)孤島”，不能有效地進行價值挖掘和利用，造成數(shù)據(jù)資源的浪費[1]。同時受制于存儲容量限制，生產(chǎn)中大量實時數(shù)據(jù)和關(guān)系型數(shù)據(jù)被丟棄，無法有效地發(fā)揮其潛在價值，再者由于各類前端感知設(shè)備廠家和業(yè)務(wù)管理軟件系統(tǒng)開發(fā)廠家各異，數(shù)據(jù)標準無法統(tǒng)一，缺乏有效技術(shù)手段深度融合多源異構(gòu)數(shù)據(jù)[2-3]。

鑒于此，本文設(shè)計一套符合水電企業(yè)自身特色的生產(chǎn)智能決策支持系統(tǒng)，在原有自動化、信息化的基礎(chǔ)上，采用統(tǒng)一的數(shù)據(jù)建模，深度融合生產(chǎn)實時域數(shù)據(jù)與管理域數(shù)據(jù)等多源異構(gòu)數(shù)據(jù)，將全部數(shù)據(jù)統(tǒng)一納入到綜合實時數(shù)據(jù)庫系統(tǒng)與Hadoop架構(gòu)的企業(yè)級大數(shù)據(jù)平臺中，并應(yīng)用機理計算、數(shù)據(jù)挖掘、機器自學(xué)習(xí)、人工智能等技術(shù)，研究開發(fā)智能應(yīng)用場景，實現(xiàn)設(shè)備運行狀態(tài)監(jiān)視、故障關(guān)鍵特征指標計算，同時預(yù)判設(shè)備運行趨勢，預(yù)警設(shè)備故障，為水電企業(yè)的運行決策、檢修決策等提供支撐。

1 基于大數(shù)據(jù)的水電智能決策支持系統(tǒng)設(shè)計

1.1 系統(tǒng)整體構(gòu)架

系統(tǒng)采用分層分布式構(gòu)架，體現(xiàn)了“數(shù)據(jù)與應(yīng)用分離”的原則，其整體架構(gòu)見圖1所示。

圖1 水電生產(chǎn)智能決策支持系統(tǒng)架構(gòu)

由圖1可知，系統(tǒng)整體架構(gòu)分成以下3部分：

（1）數(shù)據(jù)源及統(tǒng)一納管平臺：其中數(shù)據(jù)源包含水電站實時數(shù)據(jù)、企業(yè)級集控系統(tǒng)數(shù)據(jù)、ERP數(shù)據(jù)、梯級水調(diào)系統(tǒng)等生產(chǎn)管理系統(tǒng)數(shù)據(jù)；數(shù)據(jù)統(tǒng)一納管平臺通過網(wǎng)絡(luò)獲取各類數(shù)據(jù)后，對數(shù)據(jù)進行統(tǒng)一建模，以統(tǒng)一的數(shù)據(jù)命名規(guī)則、數(shù)據(jù)屬性標識方法等管理全部數(shù)據(jù)。

（2）應(yīng)用平臺：包含以數(shù)據(jù)驅(qū)動的工具套件，分別是數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)建模、數(shù)據(jù)統(tǒng)一訪問、微服務(wù)管理框架、數(shù)據(jù)治理、系統(tǒng)安全管理及監(jiān)控等8部分，構(gòu)建出開放的數(shù)據(jù)應(yīng)用開發(fā)平臺。應(yīng)用平臺對數(shù)據(jù)進行統(tǒng)一管理，并向業(yè)務(wù)層提供統(tǒng)一的數(shù)據(jù)服務(wù)。

（3）業(yè)務(wù)平臺：基于應(yīng)用平臺開發(fā)的業(yè)務(wù)功能應(yīng)用，主要包含設(shè)備運行狀態(tài)分析、設(shè)備定值自適應(yīng)挖掘、設(shè)備遠程運行特征挖掘、設(shè)備遠程狀態(tài)監(jiān)測與診斷分析、設(shè)備故障智能報警和異常預(yù)警等。業(yè)務(wù)平臺主要面向于系統(tǒng)應(yīng)用人員。

1.2 數(shù)據(jù)融合與建模

1.2.1 數(shù)據(jù)的融合與集成

數(shù)據(jù)融合與集成采用下列3種方式：

（1）對于工業(yè)實時數(shù)據(jù)，數(shù)據(jù)融合與集成采用目前先進的“消息訂閱”機制，在五凌統(tǒng)一數(shù)據(jù)納管平臺與各數(shù)據(jù)源系統(tǒng)上均布置“kafka”引擎，通過開發(fā)“kafka”實現(xiàn)數(shù)據(jù)的互聯(lián)互通、共享共用，其中水電站數(shù)據(jù)接入、集控數(shù)據(jù)接入作為數(shù)據(jù)的生產(chǎn)者，五凌統(tǒng)一數(shù)據(jù)納管平臺作為消費者。

（2）對于設(shè)備缺陷數(shù)據(jù)、人工巡檢數(shù)據(jù)、設(shè)備可靠性數(shù)據(jù)等關(guān)系型數(shù)據(jù)，采用直連數(shù)據(jù)庫讀庫的方式，五凌統(tǒng)一數(shù)據(jù)納管平臺直接定時從各業(yè)務(wù)系統(tǒng)中獲取。

（3）對于二進制文件、錄音數(shù)據(jù)、圖像數(shù)據(jù)等半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，五凌統(tǒng)一數(shù)據(jù)納管平臺采用FTP、SFTP協(xié)議直接定時從各業(yè)務(wù)系統(tǒng)中拷貝數(shù)據(jù)文件。

1.2.2 數(shù)據(jù)建模

數(shù)據(jù)建模是數(shù)據(jù)統(tǒng)一納管的核心與關(guān)鍵，唯采用統(tǒng)一、通用的數(shù)據(jù)建模手段，才可有效實現(xiàn)數(shù)據(jù)統(tǒng)一管理、查詢、分析與計算。數(shù)據(jù)建模需遵循“唯一性，可辨識性，簡潔性”的原則，同時要為后續(xù)數(shù)據(jù)的不斷擴展與高級應(yīng)用的開發(fā)而兼顧可擴展、可關(guān)聯(lián)及描繪全面等思想，鑒于此，本系統(tǒng)采用集團級大數(shù)據(jù)中心的“邏輯統(tǒng)一，物理分散”的數(shù)據(jù)管理方式，設(shè)計編制了統(tǒng)一數(shù)據(jù)模型標準，構(gòu)建了包含工業(yè)實時數(shù)據(jù)（設(shè)備實時監(jiān)測數(shù)據(jù)）、生產(chǎn)管理數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)數(shù)據(jù)、中間計算量等的模型規(guī)范。

以工業(yè)實時數(shù)據(jù)為例，其數(shù)據(jù)建模采用3段建模的方式，數(shù)據(jù)編碼共分為以下3段[1]：

（1）KKS碼段，KKS碼主要標識設(shè)備的具體位置，通過KKS碼，能準確定位設(shè)備的安裝位置，所屬部件、所屬系統(tǒng)等。

（2）測點碼段，測點碼段主要對測點的名稱進行標識，特別有利于分辨同一設(shè)備上安裝的多個同類型設(shè)備。

（3）屬性碼段，屬性碼段主要對測點的屬性進行描繪與定義，包括測點的安裝方位、通道屬性（電壓通道或電流通道）、采樣頻率、采樣精度、報警閾值等。

1.3 應(yīng)用開發(fā)平臺設(shè)計

應(yīng)用平臺綜合采用實時數(shù)據(jù)庫與Hadoop架構(gòu)的大數(shù)據(jù)平臺，完成數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一分析與計算、統(tǒng)一對外服務(wù)。

其中系統(tǒng)存儲采用分布式文件系統(tǒng)（HDFS），能實現(xiàn)存儲容量、計算資源的線性無限增容。對于工業(yè)實時數(shù)據(jù)分為內(nèi)存數(shù)據(jù)、熱數(shù)據(jù)（近3個月的數(shù)據(jù)）、冷數(shù)據(jù)（3個月以前的數(shù)據(jù)），內(nèi)存數(shù)據(jù)采用內(nèi)存庫redis存儲，便于實時讀取及報警，熱數(shù)據(jù)采用實時數(shù)據(jù)庫InfluxDB存儲，便于及時讀寫與挖掘，冷數(shù)據(jù)采用HBASE存儲，便于后臺的海量數(shù)據(jù)挖掘與分析。對于工業(yè)實時數(shù)據(jù)中的一些波形數(shù)據(jù)，根據(jù)波形文件的大小及特征，分別采用MongoDB存儲及文件系統(tǒng)存儲等方式。對于生產(chǎn)管理域的關(guān)系型數(shù)據(jù)，主要采用HIVE引擎存儲。對于二進制文件、錄音數(shù)據(jù)、圖像數(shù)據(jù)等半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，直接以文件形式存儲在分布式文件系統(tǒng)上，并在有效建立每個文件索引的基礎(chǔ)上定期將小文件合并，防止文件的碎片化而影響系統(tǒng)運行速度。

系統(tǒng)在分析計算中支持大數(shù)據(jù)的Mapreduce、Spark、SparkSteaming、flink的分析計算框架。其中數(shù)據(jù)清洗治理和辨識，數(shù)據(jù)的精確性、完整性、一致性、有效性、唯一性的校驗，平滑降噪，基本質(zhì)量判斷，超范圍過濾，超閾值報警等均采用流式計算引擎（SparkSteaming、flink）實現(xiàn)，而關(guān)聯(lián)性強，所用數(shù)據(jù)量大、邏輯復(fù)雜的數(shù)據(jù)挖掘計算在后臺采用批量Mapreduce計算引擎實現(xiàn)。平臺提供公式編輯器實現(xiàn)模型算法，算法關(guān)聯(lián)數(shù)據(jù)對象后即可啟動功能模塊。

應(yīng)用平臺以數(shù)據(jù)對象的方式向外部或上層業(yè)務(wù)提供數(shù)據(jù)服務(wù)，只要調(diào)用應(yīng)用平臺上的數(shù)據(jù)服務(wù)API，并指定所需數(shù)據(jù)點名、時長等信息，即可將數(shù)據(jù)放入指定的緩存中以供使用，從而實現(xiàn)了數(shù)據(jù)應(yīng)用的有效分離[4-6]。

1.4 智能業(yè)務(wù)應(yīng)用設(shè)計

采用工業(yè)大數(shù)據(jù)技術(shù)，通過對現(xiàn)有數(shù)據(jù)的梳理，利用海量數(shù)據(jù)挖掘、機器自學(xué)習(xí)、統(tǒng)計分析計算等手段，挖掘設(shè)備運行規(guī)律、運行特征等，構(gòu)建設(shè)備健康/故障知識庫，設(shè)計了提高企業(yè)生產(chǎn)安全與效益的各種業(yè)務(wù)應(yīng)用功能，提前預(yù)防事故，減少機組非計劃停運，實現(xiàn)水電企業(yè)的生產(chǎn)智能化決策，提高設(shè)備健康狀態(tài)監(jiān)管能力。智能業(yè)務(wù)應(yīng)用包括以下幾個部分：1.4.1 設(shè)備運行狀態(tài)分析

系統(tǒng)提供專用的、開放式的大數(shù)據(jù)挖掘平臺，用戶能利用平臺對整合后歷史數(shù)據(jù)進行深度挖掘，總結(jié)設(shè)備在不同運行工況、不同運行條件下的運行狀況與運行規(guī)律，獲得不同運行參數(shù)間的關(guān)聯(lián)關(guān)系，能通過與歷史數(shù)據(jù)的對比、同類似運行工況下的趨勢對比、同類型設(shè)備的運行狀況數(shù)據(jù)對比，實現(xiàn)設(shè)備運行狀態(tài)的分析。系統(tǒng)能采用散點圖、折現(xiàn)圖、雷達圖、玫瑰圖等對設(shè)備運行狀態(tài)及歷史趨勢進行綜合展示。

1.4.2 設(shè)備遠程狀態(tài)監(jiān)測與診斷分析

集成設(shè)備在線監(jiān)測數(shù)據(jù)、離線檢測數(shù)據(jù)（包含設(shè)備歷年缺陷數(shù)據(jù)、預(yù)防性試驗數(shù)據(jù)、巡檢數(shù)據(jù)、缺陷處理數(shù)據(jù)等），實現(xiàn)對水電廠主機設(shè)備的監(jiān)測與綜合分析功能。系統(tǒng)能結(jié)合運行工況和運行狀態(tài)對數(shù)據(jù)越限、梯度越限、數(shù)據(jù)缺失等事件綜合分析判斷后自動告警，系統(tǒng)具備自動試驗分析功能，通過對若干狀態(tài)量的分析，自動辨識出設(shè)備的試驗狀態(tài)及試驗內(nèi)容，并根據(jù)試驗內(nèi)容，自動對試驗過程的關(guān)鍵數(shù)據(jù)進行分析，生成試驗報告。如：水電機組的開機試驗，停機試驗，負荷增減試驗，甩負荷試驗等。

1.4.3 設(shè)備故障智能報警和異常預(yù)警

針對已有成熟診斷模型的故障，系統(tǒng)構(gòu)建故障樣本及診斷邏輯，通過數(shù)據(jù)的邏輯判斷完成故障診斷。針對尚未有明確診斷模式的故障，由人工智能、機器自學(xué)習(xí)功能以海量歷史數(shù)據(jù)為基礎(chǔ)，以大數(shù)據(jù)分析方法與模型為核心，在專家的指導(dǎo)下組態(tài)數(shù)據(jù)及設(shè)備運行工況，通過大數(shù)據(jù)挖掘總結(jié)設(shè)備正常運行時的參數(shù)區(qū)間形成健康樣本，根據(jù)與健康樣本的偏差程度實現(xiàn)故障的診斷及嚴重程度的判定、智能報警和預(yù)警如圖2所示。

圖2 智能報警和異常預(yù)警

2 基于大數(shù)據(jù)的集水井系統(tǒng)故障預(yù)警

以集水井系統(tǒng)為例，在基于大數(shù)據(jù)的水電智能決策支持系統(tǒng)上構(gòu)建其故障診斷模型，模型共分為下列4個部分：

2.1 診斷模型設(shè)計

通過對集水井排水泵啟動、停止信息的捕捉，結(jié)合集水井水位數(shù)據(jù)、水庫水位數(shù)據(jù)、環(huán)境溫度數(shù)據(jù)、人工巡檢數(shù)據(jù)等，構(gòu)建集水井系統(tǒng)相關(guān)故障診斷。其原理是不斷統(tǒng)計集水井排水泵的啟動時間、停運時間，采用大數(shù)據(jù)技術(shù)從歷史數(shù)據(jù)中挖掘總結(jié)不同運行環(huán)境下集水井排水泵的啟動時間、停運時間統(tǒng)計規(guī)律，當啟動時間或停運時間脫離原有的歷史規(guī)律時，給出異常報警，并通過對關(guān)聯(lián)信息搜尋定位故障原因，同時推送維修方案

2.2 診斷知識庫

診斷知識庫主要給出不同運行狀況下集水井故障的類型、原因，具體見表1所示。

表1 集水井系統(tǒng)故障診斷知識庫

2.3 診斷邏輯設(shè)計

（1）記錄集水井排水泵狀態(tài)發(fā)生變化時的時刻值，設(shè)連續(xù)兩次的啟動時刻為Ts與Tsl，連續(xù)兩次的停泵時刻為Te與Tel，啟泵時集水井水位值Wls與Wlsl，停泵時集水井水位值Wle與Wlel。計算水泵的啟動時間Ton=Te-Ts與停運間隔時間Tstop=Ts-Tel。將Ton與Tstop不斷與定值比較，獲取相關(guān)的異常故障。

（2）計算集水井排水泵啟動、停止時的集水井水位（模擬量），與啟動、停泵的定值進行比較，計算偏差量，若偏差量較大，判定為自動化元件回路異常。建議對集水井水位（模擬量）傳感器進行檢查。

（3）當Tstop小于定值Ter-s，判斷為停運間隔時間過短異常，判定的故障為廠房滲漏異常。Tstop大于定值Ter-l判斷為停運間隔時間長異常，搜尋集水井水位模擬量，若已達到啟泵定值但泵尚未啟動，判定的故障為自動化元件回路異常。

（4）當Ton大于定值Tsr-l判斷為啟動時間長異常，搜尋水位模擬量，若未達停泵定值，判定的故障為電機及泵性能下降故障，建議搜尋離線電機振動值，人工巡檢數(shù)據(jù)，電機運行電壓、電流歷史趨勢值，判定電機是否存在問題。若已達停泵定值，判定的故障為自動化元件回路異常。Ton小于定值Tsr-s判斷為啟動時間過短異常，搜尋集水井水位模擬量，若未達到停泵定值但泵已停運，判定的故障為自動化元件回路異常。

2.4 基于大數(shù)據(jù)的定值自適應(yīng)挖掘

定值是關(guān)系到診斷正確與否的關(guān)鍵，定值設(shè)置不準確將直接導(dǎo)致誤判及漏判，從而降低診斷的可靠性及可信度。本模型可采用工業(yè)大數(shù)據(jù)的思想、應(yīng)用網(wǎng)格動態(tài)定值的方式確定診斷定值。定值通過搜尋歷史數(shù)據(jù)自適應(yīng)產(chǎn)生。

首先通過關(guān)聯(lián)信息量構(gòu)建信息網(wǎng)格，以水電站上庫水位WL、環(huán)境溫度T為參數(shù)構(gòu)建網(wǎng)格，其中WL在最大水位與最低水位之間劃分20個間隔，溫度按照5℃為間隔劃分。通過網(wǎng)格劃分，即可構(gòu)建W與T的二維網(wǎng)格平面，每種類型的診斷定值即形成了二維網(wǎng)格上的曲面。具體見圖3所示。

圖3 三維網(wǎng)格定值

采用統(tǒng)計方法獲取定值，以1年為周期，從水電站的歷史庫中搜尋集水井水泵啟動時間Ton與停運間隔時間Tstop（要求為集水井排水系統(tǒng)健康運行時的數(shù)據(jù)），同步記錄Ton時間段內(nèi)、停運間隔時間Tstop時間段內(nèi)的上庫水位WL與環(huán)境溫度T平均值。采用3δ原則獲取定值，同時遍歷WL、T的所有網(wǎng)格，獲取所有網(wǎng)格的定值，構(gòu)成一張定值網(wǎng)格表。其格式如表2。

表2 定值網(wǎng)格表

3 工業(yè)應(yīng)用

基于大數(shù)據(jù)技術(shù)的水電生產(chǎn)智能決策支持系統(tǒng)已在五凌電力有限公司成功部署，目前已完成五強溪電站、近尾洲電站的多源異構(gòu)數(shù)據(jù)的采集，大數(shù)據(jù)平臺的構(gòu)建及部分應(yīng)用功能的開發(fā)。

從應(yīng)用成效上看，該系統(tǒng)能為決策層、管理層、執(zhí)行層、操作層提供輔助決策支撐，效果良好。

4 結(jié)論

鑒于水電企業(yè)生產(chǎn)系統(tǒng)數(shù)據(jù)分散，無法共享共用等一系列問題，研制了基于大數(shù)據(jù)的水電智能決策支持系統(tǒng)，通過部署大數(shù)據(jù)平臺，整合各個設(shè)備和系統(tǒng)的多源異構(gòu)數(shù)據(jù)，形成標準化的統(tǒng)一數(shù)據(jù)，并實現(xiàn)了水電行業(yè)內(nèi)多年來積累的運行管理經(jīng)驗與先進的大數(shù)據(jù)技術(shù)深度融合，開發(fā)水電智能決策典型應(yīng)用案例與場景，可為智慧水電發(fā)展戰(zhàn)略落地提供技術(shù)支撐，將助力傳統(tǒng)水電企業(yè)的智慧轉(zhuǎn)型和管理進步。