王衛(wèi)列，高 嵐

（1.國(guó)網(wǎng)電力科學(xué)研究院，江蘇省南京市 211106；2.國(guó)網(wǎng)電力科學(xué)研究院，江蘇省南京市 211106）

建設(shè)大壩監(jiān)測(cè)的大數(shù)據(jù)應(yīng)避免的問(wèn)題

王衛(wèi)列1，高 嵐2

（1.國(guó)網(wǎng)電力科學(xué)研究院，江蘇省南京市 211106；2.國(guó)網(wǎng)電力科學(xué)研究院，江蘇省南京市 211106）

目前國(guó)內(nèi)各個(gè)行業(yè)都在上大數(shù)據(jù)項(xiàng)目，大壩監(jiān)測(cè)行業(yè)也是一樣，但行業(yè)內(nèi)存在對(duì)大數(shù)據(jù)技術(shù)概念認(rèn)識(shí)模糊的現(xiàn)象，在技術(shù)構(gòu)想方面有一些盲動(dòng)現(xiàn)象。本文探討了大壩監(jiān)測(cè)大數(shù)據(jù)建設(shè)中可能存在的一些錯(cuò)誤思路，希望能促進(jìn)同行一起思考，避免走彎路。

大數(shù)據(jù)；大壩監(jiān)測(cè)

0 前言

無(wú)疑，大數(shù)據(jù)和云計(jì)算是當(dāng)下IT的發(fā)展熱點(diǎn)，隨之國(guó)內(nèi)很多新的IT項(xiàng)目紛紛貼上了大數(shù)據(jù)和云計(jì)算的概念標(biāo)簽，然而由于處于大數(shù)據(jù)系統(tǒng)的發(fā)展初期，各自對(duì)其的認(rèn)識(shí)存在不同，不免會(huì)出現(xiàn)一些不成熟的發(fā)展思路，本文結(jié)合大壩安全監(jiān)測(cè)信息系統(tǒng)引入對(duì)大數(shù)據(jù)的展望，探索其發(fā)展過(guò)程中應(yīng)避免的各種問(wèn)題。

1 應(yīng)該避免的問(wèn)題

1.1 傳統(tǒng)系統(tǒng)的重復(fù)建設(shè)

很多新大數(shù)據(jù)項(xiàng)目都聲稱(chēng)將極大地提高決策和智能水平，然而仔細(xì)審視這些項(xiàng)目的內(nèi)容卻發(fā)現(xiàn)其實(shí)質(zhì)還屬于“新瓶裝老酒”，只是用大數(shù)據(jù)的概念裝飾了一下。

例如，建立某個(gè)數(shù)據(jù)中心，主要內(nèi)容是將多個(gè)工程現(xiàn)場(chǎng)的數(shù)據(jù)匯集到中心，然后在中心通過(guò)與工程現(xiàn)場(chǎng)相似的應(yīng)用系統(tǒng)再分析處理這些數(shù)據(jù)，其內(nèi)容實(shí)質(zhì)還是一個(gè)傳統(tǒng)的系統(tǒng)，只是搬了個(gè)家，常常發(fā)現(xiàn)其挖掘的數(shù)據(jù)價(jià)值并沒(méi)有發(fā)生超越。

對(duì)這種系統(tǒng)我們應(yīng)該有鑒別能力，避免國(guó)家的重復(fù)投資。

1.2 有Hadoop就是大數(shù)據(jù)

很多人認(rèn)為有Hadoop（或其他類(lèi)似系統(tǒng)，如Spark等）就是大數(shù)據(jù)了，于是只重視創(chuàng)Hadoop系統(tǒng)然后將各路工程的數(shù)據(jù)匯入，然后聲稱(chēng)實(shí)現(xiàn)了某大數(shù)據(jù)系統(tǒng)，其實(shí)Hadoop只是解決了大規(guī)模存儲(chǔ)和并發(fā)，雖然突破了大數(shù)據(jù)的幾個(gè)關(guān)鍵技術(shù)瓶頸，但遠(yuǎn)遠(yuǎn)不是大數(shù)據(jù)的全部，再者在并發(fā)和存儲(chǔ)方面Hadoop還不是唯一的解決方案。

驗(yàn)證是否是大數(shù)據(jù)，可以參考業(yè)界提出的4V特征，Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值），其中value是大數(shù)據(jù)的終極目標(biāo)，也就是通過(guò)對(duì)大數(shù)據(jù)的分析來(lái)獲取以往傳統(tǒng)系統(tǒng)難以得到的有價(jià)值的信息，從而獲得巨大的經(jīng)濟(jì)和社會(huì)效益，如果只是停留在用Hadoop及類(lèi)似系統(tǒng)解決了前3個(gè)V的話，那么這樣的大數(shù)據(jù)系統(tǒng)只是徒有其表。

以后在鑒別大數(shù)據(jù)系統(tǒng)的真?zhèn)螘r(shí)，不要被Hadoop之類(lèi)的數(shù)據(jù)術(shù)語(yǔ)所遮目，要全面考量4V在系統(tǒng)中的必要性，尤其要看清能為我們帶來(lái)什么分析價(jià)值（即value）。

下面我們具體結(jié)合大壩監(jiān)測(cè)信息系統(tǒng)來(lái)分析是否符合4V特性。我們?cè)鲞^(guò)一次試驗(yàn)，我們的在系統(tǒng)存儲(chǔ)了2億7000萬(wàn)條測(cè)量數(shù)據(jù)，一共花了140G存儲(chǔ)空間，這個(gè)數(shù)據(jù)規(guī)模相當(dāng)于一天存入1萬(wàn)條測(cè)量數(shù)據(jù)共使用了73年（通常情況下大壩測(cè)點(diǎn)每天就一條測(cè)量數(shù)據(jù)），顯然這種數(shù)據(jù)規(guī)模還遠(yuǎn)沒(méi)有達(dá)到所謂的Volume問(wèn)題（即使將多個(gè)大壩的測(cè)量數(shù)據(jù)匯聚到一起，注：這里不是說(shuō)數(shù)據(jù)匯聚時(shí)直接使用工程中的原測(cè)量數(shù)據(jù)，這里只是用這個(gè)細(xì)粒度的數(shù)據(jù)做一個(gè)規(guī)模估計(jì)）；另外，我們系統(tǒng)僅僅供少數(shù)專(zhuān)業(yè)人士查看，所以其并發(fā)性要求很不高，如果與阿里巴巴、騰訊等系統(tǒng)相比，其Velocity要求實(shí)在是太低了；在Variety方面，大壩除了測(cè)量數(shù)據(jù)外，確實(shí)還會(huì)有一些非結(jié)構(gòu)化數(shù)據(jù)（如圖片、視頻等），但比起社交網(wǎng)絡(luò)形成的非結(jié)構(gòu)化數(shù)據(jù)，其復(fù)雜度還相對(duì)比較低，對(duì)這些數(shù)據(jù)，通過(guò)關(guān)系數(shù)據(jù)庫(kù)中的BLOB和xml字段也能應(yīng)付，當(dāng)然在這方面，今后可能會(huì)有所發(fā)展；在Value挖掘方面，如果使用原來(lái)的大壩監(jiān)測(cè)數(shù)據(jù)，則其價(jià)值已經(jīng)被發(fā)掘得差不多了，在數(shù)據(jù)中心重復(fù)這樣的系統(tǒng)，意義不大。

當(dāng)然，我們不必為大壩監(jiān)測(cè)數(shù)據(jù)尚不滿(mǎn)足4V特性而去否定大壩數(shù)據(jù)在大數(shù)據(jù)建設(shè)中的作用，我們的眼光不能僅僅限制在自己的專(zhuān)業(yè)領(lǐng)域，大數(shù)據(jù)的價(jià)值發(fā)現(xiàn)一般是通過(guò)跨領(lǐng)域的數(shù)據(jù)挖掘產(chǎn)生，當(dāng)大壩專(zhuān)業(yè)領(lǐng)域的安全監(jiān)測(cè)、施工管理等數(shù)據(jù)與水情水調(diào)、氣象、強(qiáng)震監(jiān)測(cè)、堤防監(jiān)測(cè)、防災(zāi)應(yīng)急等系統(tǒng)的數(shù)據(jù)進(jìn)行聯(lián)合挖掘時(shí)，可以充分體現(xiàn)自身的價(jià)值（value），這方面是我們的空白，也是我們今后發(fā)展的方向。

1.3 無(wú)分析目標(biāo)的數(shù)據(jù)匯聚

常常有這樣的現(xiàn)象，在做大數(shù)據(jù)項(xiàng)目的計(jì)劃時(shí)，不管三七二十一，先把分布在各廠中的多個(gè)系統(tǒng)數(shù)據(jù)傳送到數(shù)據(jù)中心，如此缺少目的性的數(shù)據(jù)匯聚很容易形成數(shù)據(jù)垃圾，最后因做無(wú)用功而造成浪費(fèi)。

我們建立大數(shù)據(jù)中心，一個(gè)很重要的目的是為了從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值，而且是那些在我們已有系統(tǒng)中挖掘不出來(lái)的價(jià)值，這需要對(duì)跨領(lǐng)域、跨系統(tǒng)的數(shù)據(jù)進(jìn)行分析才能獲得，在這個(gè)層面上看，似乎上述的數(shù)據(jù)匯聚方式是合理的，但答案是否定的。 因?yàn)槿魏我粋€(gè)數(shù)據(jù)分析問(wèn)題都需要有針對(duì)性的數(shù)據(jù)建模，只有在我們確定具體分析目標(biāo)后，才能決定哪個(gè)數(shù)據(jù)源中的哪些數(shù)據(jù)列是有效的，才能確定數(shù)據(jù)格式和粒度，才能考慮跨系統(tǒng)的數(shù)據(jù)維度如何統(tǒng)一，才能確立挖掘的數(shù)據(jù)模型如何建立，如此精細(xì)的數(shù)據(jù)需求不可能通過(guò)盲動(dòng)的數(shù)據(jù)匯聚得到。有人說(shuō)，可以先匯到中心，然后再慢慢抽?。‥TL），然而已建的子系統(tǒng)種類(lèi)多、數(shù)據(jù)量大，無(wú)端消耗中心的大量存儲(chǔ)實(shí)難稱(chēng)道，所以目的性不強(qiáng)的數(shù)據(jù)匯聚一定會(huì)浪費(fèi)大量的人力、財(cái)力。當(dāng)然，分析目標(biāo)的確定不會(huì)一蹴而就，常常是一個(gè)反復(fù)迭代的過(guò)程，在其后的定義問(wèn)題（確定分析目標(biāo)）、數(shù)據(jù)準(zhǔn)備、形成數(shù)據(jù)視圖、數(shù)據(jù)建模和部署發(fā)布的過(guò)程中都會(huì)根據(jù)實(shí)施過(guò)程中遇到的問(wèn)題反復(fù)調(diào)整分析目標(biāo)，然而這些都是目的性很強(qiáng)的活動(dòng)，我們只是花了我們必須付出的代價(jià)，只有這樣才能最大程度地減少因盲動(dòng)而造成的損失。

除了對(duì)大數(shù)據(jù)的認(rèn)識(shí)程度以外，沒(méi)有確定分析目標(biāo)（定義問(wèn)題）的原因很大程度上是因?yàn)檫@項(xiàng)工作的確有難度，這需要業(yè)務(wù)決策人員和數(shù)據(jù)挖掘?qū)I(yè)人員深入進(jìn)行溝通，我們常常遇到的情況是僅僅技術(shù)人員在那里空想，沒(méi)有對(duì)業(yè)務(wù)問(wèn)題的深入理解，是不可能完成這項(xiàng)任務(wù)的，所以業(yè)務(wù)決策人員不要坐等系統(tǒng)完成后才介入。

業(yè)務(wù)決策人員可以從業(yè)務(wù)流程的角度去發(fā)現(xiàn)問(wèn)題（決策時(shí)需要查詢(xún)的數(shù)據(jù)、預(yù)測(cè)、評(píng)估等），數(shù)據(jù)挖掘?qū)I(yè)人員則思考如何構(gòu)建數(shù)據(jù)模型，數(shù)據(jù)挖掘人員可以從技術(shù)角度提出一些問(wèn)題來(lái)和業(yè)務(wù)人員溝通，另外定義問(wèn)題的重點(diǎn)在跨系統(tǒng)的數(shù)據(jù)分析（單個(gè)系統(tǒng)能回答的問(wèn)題無(wú)需數(shù)據(jù)中心來(lái)分析）。

這里舉個(gè)例子來(lái)說(shuō)明如何確定分析目標(biāo)，申明一下，可能所涉及的業(yè)務(wù)問(wèn)題不一定正確，我們只是來(lái)模擬一個(gè)確定分析目標(biāo)的過(guò)程，假設(shè)我們現(xiàn)在要做出的是：洪水來(lái)臨時(shí)，區(qū)域內(nèi)多個(gè)大壩的棄、保水決策，為了支持這個(gè)決策，需要系統(tǒng)能回答很多數(shù)據(jù)查詢(xún)和預(yù)測(cè)問(wèn)題，如：目前的氣象條件以及保水策略下水庫(kù)水位的預(yù)測(cè)；在目前的水位和大壩的狀態(tài)下，升水速率限制什么范圍可保證大壩的安全？在目前的水位下，流域內(nèi)大壩聯(lián)動(dòng)泄洪策略是否可保洪峰安全度過(guò)，泄洪時(shí)應(yīng)該如何組織人力資源執(zhí)行應(yīng)急預(yù)案，這些問(wèn)題由業(yè)務(wù)決策人員根據(jù)自己的決策流程的需要來(lái)提出，數(shù)據(jù)分析專(zhuān)業(yè)人員會(huì)和業(yè)務(wù)決策人員反復(fù)溝通后分析需要哪些數(shù)據(jù)以及如何數(shù)據(jù)建模，這可能涉及氣象預(yù)測(cè)、洪水預(yù)報(bào)、大壩安全監(jiān)測(cè)和分析、流域三維數(shù)據(jù)、歷史泄洪水土流失數(shù)據(jù)、歷史泄洪形成的重大民事事件、應(yīng)急預(yù)案、視頻監(jiān)控、汛期值班任務(wù)、人力資源、搶險(xiǎn)器材庫(kù)存等數(shù)據(jù)，需要雙方緊密合作來(lái)確定這些問(wèn)題，然后由專(zhuān)業(yè)人員來(lái)采集數(shù)據(jù)、建模并實(shí)現(xiàn)所需的分析預(yù)測(cè)目標(biāo)，如果相關(guān)基礎(chǔ)數(shù)據(jù)缺失，還可以提出相應(yīng)的數(shù)據(jù)建設(shè)需求。

總之，盡管確定分析目標(biāo)是困難的，但是這是我們大數(shù)據(jù)分析的出發(fā)點(diǎn)，必須從這里開(kāi)始考慮。

1.4 大數(shù)據(jù)中心沒(méi)有自己的研發(fā)隊(duì)伍

國(guó)內(nèi)某些單位常有這樣的習(xí)慣性思維，就是要搞什么系統(tǒng)就是委托第三方廠家研發(fā)一套，最后經(jīng)過(guò)安裝、培訓(xùn)來(lái)接手這套系統(tǒng)，然而如果要建的是具有大數(shù)據(jù)概念的數(shù)據(jù)中心，則需要改變這種思路?？梢宰屑?xì)了解一下已有的大數(shù)據(jù)系統(tǒng)（阿里巴巴、騰訊、亞馬遜，Microsoft Azure），無(wú)一不是自己的研發(fā)隊(duì)伍在運(yùn)維這套系統(tǒng)；不然進(jìn)場(chǎng)的各應(yīng)用廠家各行其是，必定造成中心的應(yīng)用邏輯混亂，成為信息的垃圾場(chǎng)。

數(shù)據(jù)中心將匯聚各種所需專(zhuān)業(yè)系統(tǒng)的數(shù)據(jù)，而對(duì)它們的分析要求常常是原來(lái)某個(gè)專(zhuān)業(yè)系統(tǒng)所不能提供的，而且分析目標(biāo)也是不斷變化的，這需要中心有自己的數(shù)據(jù)分析開(kāi)發(fā)人員。

數(shù)據(jù)中心所涉及的云計(jì)算和大數(shù)據(jù)軟硬件架構(gòu)，對(duì)其維護(hù)升級(jí)需要技術(shù)能力很強(qiáng)的專(zhuān)職技術(shù)人員，依賴(lài)第三方做到這點(diǎn)也是不可能的。

各種專(zhuān)業(yè)應(yīng)用是如何影響中心的數(shù)據(jù)建設(shè)呢？其實(shí)只有在中心進(jìn)行數(shù)據(jù)采集時(shí)才會(huì)發(fā)生關(guān)系，其采集模式無(wú)論是拉模式還是推模式，只要符合其交互的服務(wù)接口和數(shù)據(jù)標(biāo)準(zhǔn)即可，而這些標(biāo)準(zhǔn)也應(yīng)該是中心的技術(shù)人員提出。

綜上所述，中心的工作必須有一支自己的研發(fā)隊(duì)伍，而且是研發(fā)的主體。

1.5 不注重信息安全問(wèn)題

數(shù)據(jù)中心很多信息影響到國(guó)家的安全，例如在做局域網(wǎng)應(yīng)用時(shí)，常常比較重視功能性開(kāi)發(fā)，對(duì)非功能性的安全問(wèn)題重視不夠，如今數(shù)據(jù)中心是依賴(lài)于Internet運(yùn)行的，其信息安全問(wèn)題是首先要解決的問(wèn)題，這方面涉及的技術(shù)繁多且復(fù)雜，在這里不多贅述，應(yīng)該高度重視該問(wèn)題才是。

2 綜述

無(wú)論我們采用什么技術(shù)手段，應(yīng)該深刻理解其技術(shù)內(nèi)涵，不能為贏得什么彩頭而使用技術(shù)，不然會(huì)造成國(guó)家財(cái)產(chǎn)的嚴(yán)重浪費(fèi)；隨著大數(shù)據(jù)和云計(jì)算技術(shù)在國(guó)內(nèi)應(yīng)用的深入，我相信對(duì)這些技術(shù)的使用會(huì)越來(lái)越成熟，會(huì)為我們的國(guó)家和社會(huì)創(chuàng)造巨大的價(jià)值。

[1] 郭曉科.大數(shù)據(jù).北京：清華出版社，2013.

[2] 高彥杰.Spark大數(shù)據(jù)處理.北京：機(jī)械工業(yè)出版社，2014.

[3] 大數(shù)據(jù)研究報(bào)告編寫(xiě)組.綜合分析冷靜看待大數(shù)據(jù)標(biāo)準(zhǔn)化漸行漸近.信息技術(shù)與標(biāo)準(zhǔn)化，2013，（9）.

王衛(wèi)列（1961—），男，高級(jí)工程師，主要研究方向：電力系統(tǒng)軟件開(kāi)發(fā)。E-mail：wangweilie@sgepri.sgcc.com.cn

高 嵐（1965—），女，高級(jí)工程師，主要研究方向：電力系統(tǒng)計(jì)算機(jī)應(yīng)用。E-mail：gaolan@sgepri.sgcc.com.cn

Problems Should Be Avoided in Constructing the Big Data System of Dam Monitoring

WANG Weilie1，GAO Lan2
（1. State Grid Electric Power Research Institute，Nanjing 211106，China；2. State Grid Electric Power Research Institute，Nanjing 211106，China）

Big data is more and more popular today and it is same in dam monitoring system also. But within the industry there are large technical concepts of fuzzy phenomena，some blind in technology ideas. This article discusses some wrong ideas in construction of big data system of dam monitoring. I hope peers to reflect together on how to avoid these mistakes.

big data；dam monitoring