胡家磊

摘 ? ?要： 隨著物聯(lián)網(wǎng)的應(yīng)用，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)分析方法已經(jīng)無法適用海量數(shù)據(jù)的實(shí)時(shí)分析，為此如何在感知物聯(lián)網(wǎng)下使用大數(shù)據(jù)處理分析實(shí)時(shí)數(shù)據(jù)是一個(gè)重要論題。

關(guān)鍵詞： 大數(shù)據(jù) ? ?物聯(lián)網(wǎng) ? ?山體感知 ? ?數(shù)據(jù)分析處理

1.大數(shù)據(jù)的概述

大數(shù)據(jù)的概念起源于阿爾文·托夫勒在《第三次浪潮》中提出“大數(shù)據(jù)”一詞。直到最近幾年，由世界著名的咨詢公司麥肯錫正式向世界提出“我們的大數(shù)據(jù)時(shí)代已經(jīng)來臨了”。政府與信息行業(yè)迅速以最高熱情投入研究過程中。匯聚各種知識(shí)與信息的圖書館集合了信息新技術(shù)和新理念的前沿。在美國(guó)等發(fā)達(dá)國(guó)家，大數(shù)據(jù)已經(jīng)充分被應(yīng)用在交通、地質(zhì)等重要的領(lǐng)域中。

大數(shù)據(jù)的提出已經(jīng)有相當(dāng)長(zhǎng)的時(shí)間，但一直沒有一個(gè)準(zhǔn)確的定義規(guī)定什么是大數(shù)據(jù)，在行業(yè)內(nèi)一般有兩種比較被大家認(rèn)可的說法：一是數(shù)據(jù)的種類需要至少兩種以上和容量在100TB以上。并且這些數(shù)據(jù)是實(shí)時(shí)和高速的，或者由小數(shù)據(jù)緩慢構(gòu)成的大規(guī)模數(shù)據(jù)，但每年數(shù)據(jù)的增長(zhǎng)是上年數(shù)量的160倍。二是收集、管理和處理數(shù)據(jù)的時(shí)間已經(jīng)遠(yuǎn)遠(yuǎn)超出可容忍時(shí)間的數(shù)據(jù)集。

政府近年來重點(diǎn)關(guān)注道路交通山體滑坡的安全問題。交通信息化在我國(guó)至今仍然處于薄弱環(huán)節(jié)，國(guó)內(nèi)處于山區(qū)的省份正在探索建設(shè)信息化感知系統(tǒng)，通過研究橋梁物聯(lián)網(wǎng)技術(shù)、隧道物聯(lián)網(wǎng)技術(shù)等，解決道路交通安全標(biāo)志準(zhǔn)用產(chǎn)品和山體檢測(cè)全程監(jiān)控等問題，全面提高山體和道路的安全保障。

2.山體感知物聯(lián)網(wǎng)中的大數(shù)據(jù)

在山體檢測(cè)實(shí)現(xiàn)綜合自動(dòng)化檢測(cè)之前，大多數(shù)的山體檢測(cè)僅僅是通過近期的雨量和山體密度等數(shù)據(jù)進(jìn)行安全檢測(cè)，數(shù)據(jù)采集量非常有限。綜合自動(dòng)化檢測(cè)能有效提高山體和山間道路安全的有效手段，對(duì)提高道路的正常通行、安全水平、地質(zhì)災(zāi)害預(yù)測(cè)預(yù)報(bào)有重要作用。而感知物聯(lián)網(wǎng)的出現(xiàn)，將各類傳感器直接埋入需要檢測(cè)的位置上，不僅可以對(duì)以往的檢測(cè)項(xiàng)目繼續(xù)檢測(cè)，而且可以對(duì)山體內(nèi)部巖石的孔隙度、導(dǎo)電性、含水量、巖石之間的擠壓變形程度、山體巖石的垂直位移情況和水平位移情況進(jìn)行監(jiān)控。

因此傳感器瞬間產(chǎn)生的實(shí)時(shí)數(shù)據(jù)非常龐大，導(dǎo)致山體檢測(cè)時(shí)的數(shù)據(jù)產(chǎn)生井噴、爆炸式的增長(zhǎng)。山體感知物聯(lián)網(wǎng)系統(tǒng)以山體檢測(cè)綜合檢測(cè)平臺(tái)為主題，采用光傳感技術(shù)實(shí)現(xiàn)。三維空間是數(shù)據(jù)產(chǎn)生爆炸式爆發(fā)的根源，涉及三個(gè)方面：一是大量同類型傳感器產(chǎn)生的同類型數(shù)據(jù);二是數(shù)據(jù)產(chǎn)生的速度逐步提高;三是不斷出現(xiàn)的新型數(shù)據(jù)類型。由此可見，在數(shù)據(jù)急劇增加的勢(shì)頭下，數(shù)據(jù)膨脹的速度會(huì)越來越快，必須采取新的數(shù)據(jù)處理方式，使用大數(shù)據(jù)的方法應(yīng)對(duì)快速增長(zhǎng)的數(shù)據(jù)量。

3.大數(shù)據(jù)在山體感知物聯(lián)網(wǎng)中的應(yīng)用

與傳統(tǒng)的數(shù)據(jù)處理方式相類似，大數(shù)據(jù)的處理要經(jīng)過數(shù)據(jù)采集、存儲(chǔ)、挖掘分析、顯示、實(shí)時(shí)處理等。

3.1數(shù)據(jù)采集

數(shù)據(jù)是大數(shù)據(jù)的基礎(chǔ)，這些數(shù)據(jù)以種類繁多、結(jié)構(gòu)多樣、數(shù)量龐大為特征。在分析數(shù)據(jù)時(shí)理論上是數(shù)據(jù)量越大越好，但在實(shí)際工作中卻不一定，數(shù)據(jù)量的龐大意味著其中摻雜大量受到干擾后的數(shù)據(jù)，這些數(shù)據(jù)在分析的過程中不僅起不到作用，反而會(huì)極大地影響數(shù)據(jù)分析的精確度，甚至?xí)苯訉?dǎo)致正確的數(shù)據(jù)被淹沒，造成完全錯(cuò)誤的結(jié)果。所以，在處理數(shù)據(jù)時(shí)應(yīng)先把冗余和歧義數(shù)據(jù)剔除掉，剩下和應(yīng)用有關(guān)的數(shù)據(jù)，再鎖定有價(jià)值的數(shù)據(jù)進(jìn)行應(yīng)用分析，得出正確結(jié)論。在山體感知物聯(lián)網(wǎng)系統(tǒng)中，我們要重點(diǎn)關(guān)注的是山體的構(gòu)成材質(zhì)，含水量、孔隙度、導(dǎo)電度、溫度、垂直方向的位移抖動(dòng)等諸多影響山體結(jié)構(gòu)的因素，數(shù)據(jù)量龐大，加之環(huán)境復(fù)雜，對(duì)數(shù)據(jù)的干擾因素眾多，很可能在采集的時(shí)候數(shù)據(jù)就已經(jīng)被干擾成錯(cuò)誤數(shù)據(jù)，因此要采用實(shí)時(shí)數(shù)據(jù)采集方式，降低數(shù)據(jù)被干擾率，這么做直接導(dǎo)致數(shù)據(jù)量急速膨脹，加大數(shù)據(jù)采集難度。

3.2存儲(chǔ)數(shù)據(jù)

數(shù)據(jù)作為一種資源，非常寶貴，經(jīng)過傳感器不間斷的采集后，數(shù)據(jù)要在第一時(shí)間壓入數(shù)據(jù)庫中，以備后面分析時(shí)調(diào)用。

3.3分析數(shù)據(jù)

經(jīng)過采集和存儲(chǔ)之后，數(shù)據(jù)已經(jīng)準(zhǔn)備就緒，下一步就是對(duì)數(shù)據(jù)的分析。這一環(huán)節(jié)在整個(gè)感知系統(tǒng)中都是相當(dāng)關(guān)鍵的步驟。當(dāng)原始數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫中時(shí)，并不具備實(shí)際意義，只有把原始數(shù)據(jù)中與應(yīng)用相關(guān)的信息篩選出來進(jìn)一步分析才能得到有效的數(shù)據(jù)，對(duì)其再精確分析后得到有價(jià)值的結(jié)果，從而實(shí)現(xiàn)海量數(shù)據(jù)的價(jià)值。對(duì)于感知山體物聯(lián)網(wǎng)，這一過程相當(dāng)重要，如果數(shù)據(jù)采集設(shè)備將數(shù)據(jù)已經(jīng)實(shí)時(shí)采集，但是數(shù)據(jù)不能被及時(shí)正確地分析出來，就無法做出及時(shí)預(yù)警，這樣會(huì)帶來不可估量的損失?，F(xiàn)階段，行業(yè)內(nèi)尚未研發(fā)出一種實(shí)時(shí)、高效的數(shù)據(jù)分析方法，大數(shù)據(jù)的分析方法有待進(jìn)一步探討。

3.4顯示數(shù)據(jù)

通過分析后的數(shù)據(jù)存于處理機(jī)的內(nèi)存中，無法被使用者直接認(rèn)知，需要通過數(shù)據(jù)顯示成可讀可見的形式向用戶展示分析結(jié)果。在山體感知物聯(lián)網(wǎng)中，系統(tǒng)分析后的結(jié)果以警報(bào)形式輸出，以便公路和山體檢測(cè)人員及時(shí)準(zhǔn)確地做出應(yīng)變。

3.5數(shù)據(jù)實(shí)時(shí)處理

數(shù)據(jù)處理的實(shí)時(shí)性包含三個(gè)環(huán)節(jié)的實(shí)時(shí)處理，即數(shù)據(jù)的實(shí)時(shí)獲取、實(shí)時(shí)分析和實(shí)時(shí)繪制。三個(gè)環(huán)節(jié)的共同效率決定了系統(tǒng)的實(shí)時(shí)性。在山體感知物聯(lián)網(wǎng)系統(tǒng)中，海量數(shù)據(jù)需要在極短時(shí)間內(nèi)獲取結(jié)果，以確保相關(guān)的結(jié)果能夠及時(shí)準(zhǔn)確、客觀地反映給使用者，過時(shí)的數(shù)據(jù)結(jié)果往往都是帶來災(zāi)難性的后果。因此，山體感知物聯(lián)網(wǎng)對(duì)系統(tǒng)數(shù)據(jù)分析的實(shí)時(shí)性要求非常高。

4.結(jié)語

通過分析海量數(shù)據(jù)的關(guān)聯(lián)性預(yù)測(cè)事物的發(fā)展方向是大數(shù)據(jù)應(yīng)用的主要方向，是人們通過現(xiàn)有數(shù)據(jù)創(chuàng)造性認(rèn)識(shí)新知識(shí)和創(chuàng)造新價(jià)值的過程。隨著各類傳感器的普及和網(wǎng)絡(luò)的提速，對(duì)數(shù)據(jù)的實(shí)時(shí)采集已不成問題，但在數(shù)據(jù)分析方面我國(guó)仍處于起步階段，數(shù)據(jù)的實(shí)時(shí)分析是系統(tǒng)的最大瓶頸，如何提高數(shù)據(jù)的分析處理速度是大數(shù)據(jù)在山體感知物聯(lián)網(wǎng)中的熱點(diǎn)問題。

參考文獻(xiàn)：

[1]馬建光，姜巍.大數(shù)據(jù)的概念、特征及其應(yīng)用[J].國(guó)防科技，2013，34，（2）：11-12.

[2]陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào)，2013，25，（s1）：143.

[3]馬小平，等.物聯(lián)網(wǎng)、大數(shù)據(jù)及云計(jì)算技術(shù)在煤礦.安全生產(chǎn)中的應(yīng)用研究[J].工礦自動(dòng)化，2014，40，（4）：8.