王文斌，于遠鵬

（雅礱江流域水電開發(fā)有限公司，四川省成都市 610051）

大數(shù)據技術在流域梯級水電企業(yè)的應用

王文斌，于遠鵬

（雅礱江流域水電開發(fā)有限公司，四川省成都市 610051）

本文簡要介紹了大數(shù)據技術的特點和相關背景，結合流域梯級水電企業(yè)生產、管理方面的問題，分析了大數(shù)據技術的一些典型應用場景，提出了流域梯級水電企業(yè)大數(shù)據應用平臺的架構，以期其對解決目前水電企業(yè)發(fā)展中的問題具有建設性的意義。

大數(shù)據技術；流域調度；狀態(tài)檢修

0 引言

隨著信息技術的不斷發(fā)展，傳統(tǒng)行業(yè)也能夠生產出與大型電商企業(yè)同樣數(shù)量級的數(shù)據。一方面，原始數(shù)據背后的巨大價值等待著人們去挖掘，另一方面，對于數(shù)據處理的難度也是制約這一進程的關鍵因素。大數(shù)據技術的出現(xiàn)，改變了人們認識客觀事物規(guī)律的方法，即從以前的對事物由大到小的逐步剖析演變?yōu)閷⑹挛锓诺礁蟮沫h(huán)境中去尋找共性、特性與趨勢。新一輪數(shù)字化浪潮已經到來，作為傳統(tǒng)行業(yè)的水電企業(yè)如何把握住歷史機遇，利用大數(shù)據技術將企業(yè)經營管理水平提高到一個新的高度，值得所有從業(yè)人員的思考。

1 大數(shù)據技術的背景

大數(shù)據是指由數(shù)量巨大、結構復雜、類型眾多的數(shù)據構成的數(shù)據集合。大數(shù)據技術是指通過對數(shù)據進行整合計算、交叉分析，推導出趨勢和知識的能力，簡言之，從各種各樣類型的數(shù)據中，快速獲得有價值信息的能力。大數(shù)據有三個特性，可以概括為三“V”：一是規(guī)模性（Volume），依靠豐富的數(shù)據采集存儲手段，目前數(shù)據的規(guī)模已經從GB級別、TB級別躍升到PB、EB、ZB級別，據國際權威機構研究顯示，現(xiàn)在全球一年產生的數(shù)據量，比過去幾千年產生的數(shù)據量還要大，現(xiàn)今世界上90%的數(shù)據量是在過去一年多里產生的；二是多樣性（Variety），從日志、視頻、圖片到地理位置信息、企業(yè)生產數(shù)據等，數(shù)據不再是傳統(tǒng)意義上的數(shù)字，諸如天氣等因素都將成為數(shù)據采集的對象；三是高速性（Velocity），數(shù)據的時效性是很重要的，數(shù)據的采集和處理幾乎是同時發(fā)生的，即延時很小，這需要先進的算法和分布式的計算架構，這一點也是大數(shù)據和傳統(tǒng)的數(shù)據挖掘技術的本質區(qū)別。

2 國內外發(fā)展現(xiàn)狀

單個數(shù)據的價值有限，但海量的數(shù)據累加，量變就會引起質變，這個準則在幾乎所有行業(yè)都是通用的。

國內電商企業(yè)京東早在2011年就開始了大數(shù)據的相關工作。通過收集用戶的購買習慣和購買能力，京東為每位用戶做了用戶畫像，根據用戶購買和瀏覽歷史，用戶的資料被細分成了包含年齡、學歷、婚否、性別、收入、愛好等要素，按照系統(tǒng)預測向客戶推送存在潛在需求的產品信息，同時針對地區(qū)的需求分析，優(yōu)化每個區(qū)域中心倉庫的庫存結構。做到了預測銷售和倉庫自動補貨，實現(xiàn)了按需向用戶銷售，按需向供應商訂購。一個經典的閉環(huán)流程就是：京東從用戶近期所購物品分析出用戶即將出門旅游，其立即向用戶推送了戶外用品的信息，在用戶下單后立即自動向供貨商下單進行補貨，同時通過保險合作者向用戶推銷短期旅途保險，甚至還能預測用戶的目的地，提前推送景點門票的網購鏈接。通過強化大數(shù)據這一工具的應用，京東的銷售額從2011年的210億元增長到2014年的1000億元。

美國通用電氣公司（簡稱GE）在使用大數(shù)據上走在了世界的前列。GE是一家傳統(tǒng)行業(yè)的公司，其產品涵蓋了航空、醫(yī)療、能源等領域。過去，GE生產的航空發(fā)動機中的傳感器只能發(fā)出警報，即：故障發(fā)生后才會在儀表盤上以警報燈顯示。這類傳感器包括：溫度傳感器、氣壓傳感器和電壓傳感器，這些數(shù)據過去得不到重視，一般情況下，發(fā)動機只會保留三個平均值，分別是起飛、巡航和降落數(shù)據。從2010年起，GE在其新生產的航空發(fā)動機上大規(guī)模安裝智能傳感器，飛機飛行過程的全部基礎數(shù)據都將會保存并上傳至GE的全球數(shù)據分析中心，甚至飛機可以在飛行過程中實時地將傳輸數(shù)據到分析中心。依靠GE在全球航空市場的規(guī)模，GE建立了一個超大規(guī)模的工業(yè)物聯(lián)網，通過分析海量數(shù)據，發(fā)動機的故障預測率接近70%，為客戶節(jié)省了一大筆開支。

3 大數(shù)據技術在流域梯級水電企業(yè)應用的場景

水電行業(yè)是技術密集型行業(yè)，特點是設備種類多，自動化程度高，設備上安裝了數(shù)量龐大的傳感器，存儲了海量的設備運行數(shù)據；同時，由于流域梯級水電企業(yè)要兼顧流域不同電站的運營維護，必然會產生大量的備品備件的流轉信息，這些數(shù)據都為開展大數(shù)據分析的工作打下了堅實的基礎。

3.1 流域梯級水電企業(yè)電力營銷管理

流域梯級開發(fā)水電資源具有巨大的梯級補償效益，多電站運營也會產生一些不確定因素，如：不同的電站電量消納地區(qū)的不同導致的上下游水庫水位消落不同步，這將削弱水庫聯(lián)合優(yōu)化調度的優(yōu)勢；同時，由于電量消納地區(qū)的經濟變動，導致電力需求的變化，使得在電力需求高峰到來之前水庫蓄水不足或者電力需求低谷到來前水庫蓄水過多，都不利于優(yōu)化發(fā)電的需求。

通過采集大量的電力消納地區(qū)的經濟指標，組成一個大數(shù)據集，預測一段時期以后目標地區(qū)的經濟增長情況，依此推斷出目標地區(qū)的電力需求信息，并且與流域歷年水庫消落數(shù)據聯(lián)合來預測今后一段時間的發(fā)電情況，從而可以提前做好水庫水位的準備工作，使流域發(fā)電綜合耗水率降低，提高流域梯級補償效益。

3.2 流域主輔設備狀態(tài)檢修

水輪發(fā)電機組長期頻繁跨越振動區(qū)運行會導致機械損耗、固定連接件松動，給安全穩(wěn)定運行埋下隱患。通過監(jiān)測設備振動信號和分析倍頻信號，可以判斷出設備是否處于健康狀態(tài)。但流域水輪機組種類繁多，運行工況不盡相同，如果以單一機組為目標來做設備健康分析，要對每臺機組單獨建立數(shù)學模型，將會耗費很大的人力、物力。

統(tǒng)計流域所有機組出現(xiàn)故障的時間點，提取這一時間點前后機組的振動數(shù)據變化，用大數(shù)據的聚類分析方法找出每臺機組的特征參數(shù)，分析相同和不同類型的數(shù)據，相當于為每臺機組畫像，當機組運行參數(shù)出現(xiàn)這些故障特征值時，就可以預測機組處于將要出現(xiàn)故障的邊緣，由此可提前采取防范措施，從而為機組故障診斷和開展狀態(tài)檢修打下基礎。通過應用大數(shù)據技術，再結合具有故障診斷功能的專家系統(tǒng)，水電廠狀態(tài)檢修的應用場景如圖1所示。

圖1 水電廠狀態(tài)檢修應用場景Fig. 1 Application scenario of condition based maintenance in hydropower plant

3.3 流域梯級水庫的優(yōu)化調度

上文提到了利用預測電力銷售情況來提前準備水庫水位，而如何在當前來水情況下提前準備水庫水位則要依靠對河流徑流量的預測，否則會造成空庫等不到來水或者滿庫被迫放水的情況。

河流歷年的徑流量是不同的，而且受天氣等因素的影響較大。通過將流域歷年氣象預報、歷年徑流量信息、各電站發(fā)電流量信息等數(shù)據進行大數(shù)據分析，可以預測出流域各水庫的蓄水起始時間點，對于預測產生的誤差，可通過具有前饋的BP神經網絡與基于Markov過程的模型進行聯(lián)合優(yōu)化而消除，并且預測期越長，其預測結果越接近多年實際徑流量，最后結合各電站每年供電曲線優(yōu)化出實際的蓄水起始時間，從而降低蓄水的時間成本，還能同時滿足發(fā)電和防汛的需求。

3.4 流域備品備件管理及優(yōu)化

流域各機組進入檢修期的時間并不同步，而各機組由于各種原因需要更換的備品備件也不相同。遇到突發(fā)的故障需要更換零部件，由于備品沒有足夠的庫存而采購會拉長機組的檢修期，降低機組的并網時間。

將各機組歷年更換的備品備件情況進行統(tǒng)計，按照需求數(shù)量和緩急程度梳理出各種備品備件的排行榜，依照優(yōu)先級準備不同數(shù)量的備品，即：數(shù)量需求大的大量采購，各電站備品庫都安排庫存；數(shù)量需求小的按各電站出現(xiàn)故障的頻率依次遞減采購數(shù)量，對于數(shù)量需求極小的備品采購較小數(shù)量，存放于流域備品中心庫。結合分析各機組出現(xiàn)故障的平均時間和故障類型，提前安排備品的出庫和運輸，從而可以實現(xiàn)在故障到來之前將備品送至現(xiàn)場，縮短備品的物流時間。

如果設備出現(xiàn)故障時相應備品數(shù)量不足，將延長設備的消缺時間，降低設備的可靠系數(shù)。建立面向備品供應商的采購平臺，通過大數(shù)據分析工具，預測到備品即將出現(xiàn)短缺信息時，提前向供應商下單，從而縮短備品的采購時間。

3.5 企業(yè)文化管理及優(yōu)化

企業(yè)文化對于企業(yè)發(fā)展有著重要的戰(zhàn)略意義。企業(yè)文化的提煉和發(fā)展關系著企業(yè)未來的命運，關系著企業(yè)的戰(zhàn)斗力和凝聚力。如何讓企業(yè)文化深入員工心中則是企業(yè)文化管理的重中之重。

企業(yè)內網每天都會發(fā)布很多新聞，但不同新聞的點擊率和閱讀量都存在差距，甚至同一類新聞的點擊率都相差巨大。

利用企業(yè)內網新聞網站抓取每位員工的點擊和瀏覽記錄，對每位員工的新聞閱讀習慣和閱讀領域進行大數(shù)據分析，為每個員工畫像，要素可以包括：新聞類型、新聞的寫作特點、新聞的焦點等，依照每位員工的畫像為其推送感興趣的新聞，同時通過搜集到的閱讀點擊數(shù)據來優(yōu)化新聞的寫作方法，可以實現(xiàn)每一篇新聞稿都是員工喜歡的類型和寫作風格，這樣可以在潛移默化中將企業(yè)的文化價值導向以員工喜聞樂見的方式傳播下去，從而大大提高了企業(yè)文化的作用。

4 相關技術手段

4.1 大數(shù)據計算框架

要組建流域水電企業(yè)的大數(shù)據平臺，需要將大量不同類型的數(shù)據收集在一起進行處理，各種數(shù)據對處理的延時敏感程度不同，尤其像機組狀態(tài)數(shù)據對處理的實時性要求較高，這就要求平臺的搭建應將系統(tǒng)響應時間最小放在第一位，同時由于隨著數(shù)據的積累，數(shù)據文件的容量也將會越來越大，因此系統(tǒng)還要兼顧大容量數(shù)據文件的處理，目前行業(yè)內應用最廣的是基于Hadoop的分布式計算框架。

Hadoop是以分布式文件系統(tǒng)為基礎的一種高效并行計算框架，由于采用了開源結構，Hadoop能夠顯著地降低企業(yè)部署時的成本。Hadoop由數(shù)臺x86架構的服務器組成計算節(jié)點，其中一臺為管理節(jié)點，數(shù)據文件分散存放于各節(jié)點上，文件類型為Hadoop分布式文件系統(tǒng)（HDFS），該文件系統(tǒng)能夠提供完全冗余功能，保障數(shù)據的安全；通過高效的調度機制實現(xiàn)數(shù)據的容錯與超大規(guī)模的數(shù)據吞吐能力，利用Map/Reduce編程架構實現(xiàn)并行計算，降低大規(guī)模數(shù)據處理的復雜度，當數(shù)據文件增長到TB級別時仍能提供較強的并發(fā)處理能力。

4.2 存量數(shù)據的挖掘

企業(yè)在運營過程中會產生大量的數(shù)據，許多數(shù)據都在使用后沉淀到電子報表中，甚至是紙質文檔里，其后果是產生了許多數(shù)據孤島，掩蓋了數(shù)據的價值。將存量電子表格的數(shù)據按照一定規(guī)則自動導入到大數(shù)據平臺的文件存儲系統(tǒng)中，同時改造企業(yè)獲取信息的手段，將新增的數(shù)據導入HDFS中，努力消除數(shù)據孤島，使數(shù)據在所有平臺流動起來。

4.3 超大規(guī)模傳感器網絡的應用

設備的狀態(tài)信號需要傳感器的采集，目前機組安裝的傳感器數(shù)量有限，采集速率也不利于開展機組實時狀態(tài)分析，改造機組的傳感器網絡，使用數(shù)量更多、反應更靈敏、檢測更精確的傳感器將成為搭建大數(shù)據平臺的先決條件。

目前備品備件的存放還依賴于倉庫管理人員手動清點后再錄入倉庫臺賬，其缺點是效率低、容易出錯。采用物聯(lián)網的思維，在每一個備品上貼上唯一的射頻識別標簽（RFID）識別碼，可以精確定位到每一個備品的位置，出庫和退庫的狀態(tài)都由系統(tǒng)自動錄入，降低了人為操作的誤差，同時結合流域各電站自建庫和流域中心庫的分布，可以極大地優(yōu)化備品備件的管理模式。

4.4 異構數(shù)據分析軟件

傳統(tǒng)數(shù)據分析軟件是采用定向識別后進行進行和知識發(fā)現(xiàn)的，存在處理流水過長的弊端，采用異構數(shù)據分析軟件，可以根據分析目標發(fā)散式的識別數(shù)據，在識別的同時進行挖掘和分析，提高了分析效率，縮短了分析時間，增加了分析的實時性。

5 結論

通過大數(shù)據平臺的搭建，企業(yè)可以實現(xiàn)各種數(shù)據的內部流動，并能基于外部因素對未來數(shù)據進行預測，平臺結構如圖2所示。

圖2 流域梯級水電企業(yè)大數(shù)據應用平臺架構Fig. 2 Platform architecture for big data application in cascade hydropower company

各子系統(tǒng)數(shù)據導入大數(shù)據平臺后，通過算法規(guī)則生成具有參考價值的數(shù)據提供給企業(yè)決策層使用，同時當企業(yè)外部因素變動后，決策層可以通過改變算法規(guī)則來調整生成的數(shù)據，使之不斷滿足企業(yè)發(fā)展的需求。

德國在2013年提出了工業(yè)4.0的概念，即：繼蒸汽機的應用、規(guī)?；a和電子信息技術等三次工業(yè)革命后，人類將迎來以信息物理融合系統(tǒng)（CPS）為基礎，以生產高度數(shù)字化、網絡化、機器自組織為標志的第四次工業(yè)革命。中國在2015年“兩會”期間提出了“互聯(lián)網+”的概念，即充分發(fā)揮互聯(lián)網在生產要素配置中的優(yōu)化和集成作用，將互聯(lián)網的創(chuàng)新成果深度融合于傳統(tǒng)行業(yè)，提升實體經濟的創(chuàng)新力和生產力，形成更廣泛的以互聯(lián)網為基礎設施和實現(xiàn)工具的經濟發(fā)展新形態(tài)。“互聯(lián)網+”代表一種新的經濟形態(tài)，推動了社會以用戶創(chuàng)新、開放創(chuàng)新、大眾創(chuàng)新、協(xié)同創(chuàng)新為特點的創(chuàng)新2.0，改變了我們的生產、工作、生活方式，也引領了創(chuàng)新驅動發(fā)展的“新常態(tài)”。

大數(shù)據作為一個具有極大潛力的載體工具，在融入了先進理念后將為企業(yè)運營提供極大的戰(zhàn)略支撐作用。流域梯級水電企業(yè)在運營中產生的海量數(shù)據為開展大數(shù)據分析工作提供了堅實的物質基礎，運用好這一工具，有利于企業(yè)增強自身競爭力，順應當今社會萬眾創(chuàng)新的“新常態(tài)”，對提高我國經濟實力和創(chuàng)新能力有著積極的作用。

流域梯級水電企業(yè)肩負著為國家提供優(yōu)質清潔能源、優(yōu)化能源結構的戰(zhàn)略性任務，應用大數(shù)據技術，使之服務于國家能源戰(zhàn)略。運用科學手段優(yōu)化企業(yè)運營、提高企業(yè)精細化管理的水平將成為“經濟新常態(tài)”下的企業(yè)愿景。

[1] 白晟，李榮香.大數(shù)據應用發(fā)展及挑戰(zhàn)[J].赤峰學院學報（自然科學版）.2016，14：20-21.

[2] 陶雪嬌，胡曉峰，劉洋.大數(shù)據研究綜述[J].系統(tǒng)仿真學報.2013，S1：142-146.

[3] Thomas Sandholm，Kevin Lai.MapReduce optimization using regulated dynamic prioritization[J]. ACM SIGMETRICS Performance Evaluation Review.2009，1：299-310.

2016-04-30

2016-05-20

王文斌（1985—），男，中級工程師，主要研究方向：電力市場改革、大數(shù)據應用等。E-mail：wangwenbin@ylhdc.com.cn

于遠鵬（1974—），男，中級工程師，主要研究方向：水電站運營管理。E-mail：yuyuanpeng@ylhdc.com.cn

The Application of Big Data Technology in Cascade Hydropower Company

WANG Wenbin，YU Yuanpeng
（Yalong River Hydropower Development Company，Chengdu 610051，China）

A brief introduction to the characteristics and background of the big data technology with the problems in production and administration of cascade hydropower company was presented，by analyzing some typical application scenarios of big data technology，a framework of big data application in cascade hydropower company was proposed by which to resolve growth problems of cascade hydropower company in a constructive way.

big data technology； river scheduling； condition based maintenance

TM622

A學科代碼：470.4047

10.3969/j.issn.2096-093X.2017.03.012