楊　軍

（江蘇省交通工程建設(shè)局，江蘇 南京 210004）

?

大數(shù)據(jù)分析技術(shù)在橋梁健康監(jiān)測(cè)中的應(yīng)用

楊軍

（江蘇省交通工程建設(shè)局，江蘇 南京 210004）

摘要：文章首先對(duì)大數(shù)據(jù)的基本概念進(jìn)行探討，在此基礎(chǔ)上提出橋梁健康監(jiān)測(cè)大數(shù)據(jù)中心的概念，并對(duì)其處理系統(tǒng)的功能與內(nèi)容、總體架構(gòu)進(jìn)行介紹，指出了大數(shù)據(jù)分析技術(shù)在橋梁健康檢測(cè)中的應(yīng)用前景和方向。

關(guān)鍵詞：橋梁健康監(jiān)測(cè)；大數(shù)據(jù)分析；數(shù)據(jù)融合；數(shù)據(jù)挖掘

1　概述

數(shù)據(jù)科學(xué)的發(fā)展經(jīng)歷了數(shù)據(jù)的產(chǎn)生、數(shù)據(jù)的形成和大數(shù)據(jù)的誕生三個(gè)階段。三個(gè)階段的不斷發(fā)展改變了也加深了人們用數(shù)據(jù)看世界的觀念。隨著現(xiàn)代測(cè)量技術(shù)和智能設(shè)備的發(fā)展，數(shù)據(jù)的形式由傳統(tǒng)單一的結(jié)構(gòu)化數(shù)據(jù)演變?yōu)橛山Y(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)組成的復(fù)雜的數(shù)據(jù)形式。而互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，人們得以分享這些數(shù)據(jù)的平臺(tái)，由此產(chǎn)生的海量數(shù)據(jù)被人們發(fā)現(xiàn)和利用，就產(chǎn)生了新型的大數(shù)據(jù)概念。大數(shù)據(jù)分析是大數(shù)據(jù)應(yīng)用的重要技術(shù)手段，大數(shù)據(jù)分析從技術(shù)手段上采用了最新的數(shù)據(jù)分析模型，通過(guò)數(shù)據(jù)之間特有的相關(guān)關(guān)系可以得出許多有關(guān)聯(lián)、有價(jià)值的結(jié)論。

近十年來(lái)，我國(guó)的橋梁健康監(jiān)測(cè)技術(shù)也有了很大發(fā)展［1-2］，大部分大跨度橋梁都建立了健康監(jiān)測(cè)系統(tǒng)。為了對(duì)系統(tǒng)產(chǎn)生的大量數(shù)據(jù)進(jìn)行分析與處理，需要通過(guò)數(shù)據(jù)中心對(duì)不同橋梁的健康監(jiān)測(cè)系統(tǒng)集中管理，提供決策支持。數(shù)據(jù)中心的建立為橋梁健康狀況的分析與預(yù)警提供了很好的基礎(chǔ)，使健康監(jiān)測(cè)技術(shù)得到大大的提高。但是管理者們更希望能夠通過(guò)系統(tǒng)數(shù)據(jù)的綜合分析并比較世界范圍的相關(guān)橋梁曾經(jīng)發(fā)生的事故原因，給出橋梁存在的問(wèn)題以及如何解決這些問(wèn)題。為此除了需要健康監(jiān)測(cè)系統(tǒng)本身的數(shù)據(jù)，也需要大量的社會(huì)（世界各地橋梁）數(shù)據(jù)來(lái)建立一個(gè)全新的數(shù)據(jù)中心-橋梁健康監(jiān)測(cè)大數(shù)據(jù)中心，來(lái)解決橋梁健康與安全問(wèn)題。

2　大數(shù)據(jù)分析處理系統(tǒng)［3］

2.1大數(shù)據(jù)基本概念

什么是大數(shù)據(jù)，迄今并沒(méi)有公認(rèn)的定義。從宏觀世界角度來(lái)講，大數(shù)據(jù)是融合物理世界（physical world）、信息空間和人類(lèi)社會(huì)（human society）三元世界的紐帶，因?yàn)槲锢硎澜缤ㄟ^(guò)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù)有了在信息空間（cyberspace）中的大數(shù)據(jù)反映，而人類(lèi)社會(huì)則借助人機(jī)界面、腦機(jī)界面、移動(dòng)互聯(lián)等手段在信息空間中產(chǎn)生自己的大數(shù)據(jù)映像。從信息產(chǎn)業(yè)角度來(lái)講，大數(shù)據(jù)還是新一代信息技術(shù)產(chǎn)業(yè)的強(qiáng)勁推動(dòng)力。所謂新一代信息技術(shù)產(chǎn)業(yè)本質(zhì)上是構(gòu)建在第三代平臺(tái)上的信息產(chǎn)業(yè)，主要是指大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)（社交網(wǎng)絡(luò)）等。大數(shù)據(jù)被普遍認(rèn)可的是4V定義，即規(guī)模性（Volume）、多樣性（Variety）、高速性（Velocity）和價(jià)值性（Value）。大數(shù)據(jù)處理和分析的終極目標(biāo)是借助對(duì)數(shù)據(jù)的挖掘，為人們?cè)诟黝?lèi)應(yīng)用中作出合理的預(yù)測(cè)或決策。深度學(xué)習(xí)、知識(shí)計(jì)算和社會(huì)計(jì)算是大數(shù)據(jù)分析處理系統(tǒng)的重要手段：深度學(xué)習(xí)提高精度。數(shù)據(jù)挖掘中，要挖掘大數(shù)據(jù)的大價(jià)值必然要對(duì)大數(shù)據(jù)進(jìn)行內(nèi)容上的分析與計(jì)算，而傳統(tǒng)的數(shù)據(jù)表達(dá)模型和方法通常是簡(jiǎn)單的淺層模型學(xué)習(xí)，效果不盡人意。深度學(xué)習(xí)可以對(duì)人類(lèi)難以理解的底層數(shù)據(jù)特征進(jìn)行層層抽象，凝練具有物理意義的特征，從而提高數(shù)據(jù)學(xué)習(xí)的精度。因此，深度學(xué)習(xí)是大數(shù)據(jù)分析的核心技術(shù)；知識(shí)計(jì)算是數(shù)據(jù)挖掘的深度。每一種數(shù)據(jù)來(lái)源都有一定的局限性和片面性，只有對(duì)各種來(lái)源的原始數(shù)據(jù)進(jìn)行融合才能反映事物的全貌，事物的本質(zhì)和規(guī)律往往隱藏在各種原始數(shù)據(jù)的相互關(guān)聯(lián)之中。而借助知識(shí)計(jì)算可以將碎片化的多源數(shù)據(jù)整合成反映事物全貌的完整數(shù)據(jù)，從而增加數(shù)據(jù)挖掘的深度。因此，基于大數(shù)據(jù)的知識(shí)計(jì)算是大數(shù)據(jù)分析的基礎(chǔ)；社會(huì)計(jì)算促進(jìn)認(rèn)知?；ヂ?lián)網(wǎng)技術(shù)的發(fā)展使得社會(huì)媒體成了一類(lèi)重要的信息載體，承載著對(duì)事物的客觀或主觀描述信息。因此，通過(guò)基于社會(huì)媒體數(shù)據(jù)的社會(huì)計(jì)算可以促進(jìn)人們對(duì)事物的認(rèn)知和輔助決策。但是，社會(huì)媒體大數(shù)據(jù)往往蘊(yùn)含著一個(gè)體量龐大、關(guān)系異質(zhì)、結(jié)構(gòu)多尺度和動(dòng)態(tài)演化的網(wǎng)絡(luò)，對(duì)它的分析既需要有效的計(jì)算方法，更需要支持大規(guī)模網(wǎng)絡(luò)結(jié)構(gòu)的圖數(shù)據(jù)存儲(chǔ)和管理結(jié)構(gòu)，以及高性能的圖計(jì)算系統(tǒng)結(jié)構(gòu)和算法；橋梁健康監(jiān)測(cè)大數(shù)據(jù)中心的建立與運(yùn)行正是使用這些大數(shù)據(jù)分析技術(shù)來(lái)實(shí)現(xiàn)的。

2.2橋梁健康監(jiān)測(cè)大數(shù)據(jù)中心的功能與內(nèi)容

橋梁健康監(jiān)測(cè)大數(shù)據(jù)中心是以橋梁健康、安全預(yù)防評(píng)估與診斷信息為基礎(chǔ)，以現(xiàn)代信息技術(shù)為支撐，能夠及時(shí)為橋梁及其群體的健康評(píng)估、診斷防治等提供科學(xué)指導(dǎo)，以提高綜合防治質(zhì)量和效率為目的的聯(lián)合機(jī)構(gòu)。中心應(yīng)集中信息技術(shù)和橋梁科學(xué)領(lǐng)域雄厚的技術(shù)與人才優(yōu)勢(shì)，構(gòu)建能夠涵蓋全國(guó)性的大中小型橋梁的健康、病害、預(yù)防、診治一體化管理的分析、整合、規(guī)范、指導(dǎo)的信息數(shù)據(jù)鏈交互平臺(tái)，提供一個(gè)可靠、高效并能夠不斷優(yōu)化服務(wù)的保障系統(tǒng)。橋梁健康監(jiān)測(cè)大數(shù)據(jù)中心的大數(shù)據(jù)主要有以下三個(gè)方面。

（1） 健康監(jiān)測(cè)系統(tǒng)本身產(chǎn)生的海量實(shí)時(shí)數(shù)據(jù)

健康監(jiān)測(cè)系統(tǒng)通過(guò)安裝在大橋上的各種傳感器對(duì)大橋關(guān)鍵結(jié)構(gòu)部位信息進(jìn)行不間斷采集，再對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)、傳輸、處理、分析，同時(shí)各個(gè)大橋上的數(shù)據(jù)也實(shí)時(shí)傳送到數(shù)據(jù)中心，最終產(chǎn)生海量實(shí)時(shí)數(shù)據(jù)。在大數(shù)據(jù)背景下，這類(lèi)數(shù)據(jù)處理源于數(shù)據(jù)的實(shí)時(shí)采集，數(shù)據(jù)處理的目標(biāo)是將 PB 級(jí)數(shù)據(jù)的處理時(shí)間縮短到秒級(jí)，而對(duì)應(yīng)的處理工具則需具備高性能、實(shí)時(shí)、可擴(kuò)展等特性。

（2） 橋梁的設(shè)計(jì)、施工監(jiān)控等資料數(shù)據(jù)

橋梁的設(shè)計(jì)、施工監(jiān)控、竣工動(dòng)靜載試驗(yàn)、年度或定期檢測(cè)等大橋相關(guān)資料也是橋梁數(shù)據(jù)的重要組成部分，這些數(shù)據(jù)可使用常規(guī)數(shù)據(jù)庫(kù)的形式存儲(chǔ)，屬于結(jié)構(gòu)化數(shù)據(jù)。目前分析工具與手段較多，屬傳統(tǒng)數(shù)據(jù)分析，但需要使用大數(shù)據(jù)分析軟件來(lái)與之比較與分析。

（3）社會(huì)數(shù)據(jù)

橋梁科技人員以及新聞報(bào)道人員針對(duì)橋梁的設(shè)計(jì)、施工以及運(yùn)營(yíng)等方面出版的書(shū)籍，發(fā)表的論文和報(bào)道屬于社會(huì)數(shù)據(jù)，可從中可檢索出相關(guān)有用信息來(lái)輔助健康與安全判斷。社會(huì)數(shù)據(jù)絕大部分是非結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)，要使用這部分?jǐn)?shù)據(jù)難度很大，是研究與開(kāi)發(fā)的重點(diǎn)。社會(huì)數(shù)據(jù)的搜索與提取主要使用大數(shù)據(jù)分析中的2個(gè)工具：語(yǔ)義搜索引擎和數(shù)據(jù)挖掘算法。

橋梁健康監(jiān)測(cè)需要的本質(zhì)功能是預(yù)測(cè)，而運(yùn)用大數(shù)據(jù)的“樣本=總體”的全新概念的本質(zhì)功能也是預(yù)測(cè)，通過(guò)數(shù)據(jù)融合和數(shù)據(jù)挖掘方法達(dá)到預(yù)測(cè)橋梁損傷的目的。

2.3大數(shù)據(jù)分析處理系統(tǒng)

隨著大數(shù)據(jù)技術(shù)的發(fā)展，科學(xué)家們能夠充分利用數(shù)據(jù)密集型環(huán)境，在保證不丟失健康問(wèn)題現(xiàn)實(shí)復(fù)雜性的同時(shí)提出一個(gè)統(tǒng)一的建模方法。在這種建模方式下，所有的橋梁專(zhuān)業(yè)評(píng)估和健康知識(shí)都作為依據(jù)，嵌入橋梁的電子健康檔案和通過(guò)渠道收集來(lái)的大量相關(guān)數(shù)據(jù)，用統(tǒng)一的建模方法，綜合各項(xiàng)數(shù)據(jù)進(jìn)行規(guī)?；耐茰y(cè)，得出一個(gè)多層次、多系統(tǒng)的關(guān)于健康領(lǐng)域研究、評(píng)估、修復(fù)方面的結(jié)論。在這些結(jié)論的基礎(chǔ)上通過(guò)繼續(xù)收集數(shù)據(jù)的反復(fù)論證從而反過(guò)來(lái)優(yōu)化模型結(jié)構(gòu)。這種模型的提出可以將關(guān)于評(píng)估診斷、維護(hù)修復(fù)、混雜因素和修飾因素的知識(shí)都捕獲到，并由概率圖模型框架予以表達(dá)。所以它不僅可以收集大量的數(shù)據(jù)，還可以用于挖掘電子健康檔案中日益增長(zhǎng)的統(tǒng)計(jì)數(shù)據(jù)來(lái)提出針對(duì)性的解決方案。

大數(shù)據(jù)分析處理系統(tǒng)有5個(gè)基本功能［4］：可視化分析（Analytic Visualizations）；數(shù)據(jù)挖掘算法（Data Mining Algorithms）；預(yù)測(cè)性分析能力（Predictive Analytic Capabilities）；語(yǔ)義引擎（Semantic Engines）；數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理（Data Quality and Master Data Management）。其總體架構(gòu)圖見(jiàn)圖1。

圖1　橋梁健康監(jiān)測(cè)大數(shù)據(jù)分析處理系統(tǒng)平臺(tái)總體架構(gòu)圖

隨著大數(shù)據(jù)分析的迅速發(fā)展，相應(yīng)的數(shù)據(jù)分析系統(tǒng)也相繼開(kāi)發(fā)出來(lái)，目前主要有以下幾種［5］：

（1）Storm。Storm是自由的開(kāi)源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康靥幚睚嫶蟮臄?shù)據(jù)流，可用于處理Hadoop的批量數(shù)據(jù)，Storm支持許多種編程語(yǔ)言。Storm有許多應(yīng)用領(lǐng)域：實(shí)時(shí)分析、在線(xiàn)機(jī)器學(xué)習(xí)、不停頓的計(jì)算、分布式RPC（遠(yuǎn)過(guò)程調(diào)用協(xié)議，一種通過(guò)網(wǎng)絡(luò)從遠(yuǎn)程計(jì)算機(jī)程序上請(qǐng)求服務(wù)）等。Storm的處理速度驚人，經(jīng)測(cè)試，每個(gè)節(jié)點(diǎn)每秒鐘可以處理100萬(wàn)個(gè)數(shù)據(jù)元組，并具有可擴(kuò)展、容錯(cuò)，容易設(shè)置和操作的性能。該軟件主要用來(lái)處理橋梁健康監(jiān)測(cè)大數(shù)據(jù)中心的各個(gè)大橋健康監(jiān)測(cè)系統(tǒng)本身產(chǎn)生的海量實(shí)時(shí)數(shù)據(jù)。

（2）RapidMiner。RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，其數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，能簡(jiǎn)化數(shù)據(jù)挖掘過(guò)程的設(shè)計(jì)和評(píng)價(jià)。RapidMiner具有如下功能和特點(diǎn)：免費(fèi)提供數(shù)據(jù)挖掘技術(shù)庫(kù)；數(shù)據(jù)挖掘過(guò)程簡(jiǎn)單，強(qiáng)大和直觀；內(nèi)部XML保證了標(biāo)準(zhǔn)化的格式來(lái)表示交換數(shù)據(jù)挖掘過(guò)程；多層次的數(shù)據(jù)視圖，確保有效和透明的數(shù)據(jù)；圖形用戶(hù)界面的互動(dòng)原型；強(qiáng)大的可視化引擎，許多尖端的高維數(shù)據(jù)的可視化建模；400多個(gè)數(shù)據(jù)挖掘運(yùn)營(yíng)商支持。該軟件主要用來(lái)處理橋梁健康監(jiān)測(cè)大數(shù)據(jù)中心的社會(huì)數(shù)據(jù)。

（3）Pentaho BI。Pentaho BI平臺(tái)是Pentaho Open BI 套件的核心架構(gòu)和基礎(chǔ)，是以流程為中心，其中樞控制器是一個(gè)工作流引擎，可以很容易地定制流程和添加新的流程。BI平臺(tái)包含組件和報(bào)表，用以分析這些流程的性能。目前，Pentaho的主要功能包括報(bào)表生成、分析、數(shù)據(jù)挖掘和工作流管理等等，這些組件通過(guò) J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技術(shù)集成到Pentaho平臺(tái)中。該軟件主要用于橋梁健康監(jiān)測(cè)大數(shù)據(jù)中心的大數(shù)據(jù)處理與分析；

3　結(jié)語(yǔ)

橋梁健康監(jiān)測(cè)技術(shù)是近幾十年來(lái)發(fā)展的新技術(shù)，它的海量數(shù)據(jù)，單系統(tǒng)的片面性還沒(méi)有得到很好的解決；同樣，大數(shù)據(jù)分析技術(shù)是近幾年來(lái)發(fā)展的全新技術(shù)，利用大數(shù)據(jù)分析擴(kuò)展認(rèn)知能力有著廣闊的應(yīng)用前景，深度學(xué)習(xí)、知識(shí)計(jì)算、可視化等大數(shù)據(jù)分析技術(shù)已被廣泛應(yīng)用于不同的行業(yè)和領(lǐng)域。本文提出了使用大數(shù)據(jù)分析技術(shù)建立橋梁健康監(jiān)測(cè)大數(shù)據(jù)中心的新概念，給出了大數(shù)據(jù)分析技術(shù)在橋梁健康監(jiān)測(cè)中的應(yīng)用前景和方向。隨著大數(shù)據(jù)時(shí)代的到來(lái)，橋梁健康監(jiān)測(cè)技術(shù)也會(huì)有突飛猛進(jìn)的發(fā)展，從而構(gòu)建一個(gè)全國(guó)性的大中小型橋梁的健康、病害、預(yù)防、診治一體化管理的用于分析、整合、規(guī)范、指導(dǎo)的信息數(shù)據(jù)鏈交互平臺(tái)，提供一個(gè)可靠、高效、并能夠不斷優(yōu)化服務(wù)的健康與安全保障系統(tǒng)。

參考文獻(xiàn)

［1］Bruschetta，F(xiàn)，Zonta D，Cappello C，et al. Fusion of monitoring ［1］data from cable-stayed bridge［R］. Environmental Energy and ［1］Structural Monitoring Systems，2013：1-6.

［2］孫利民，周毅．橋梁結(jié)構(gòu)健康監(jiān)測(cè)技術(shù)面臨的機(jī)遇與挑戰(zhàn)［1］［C］∥第五屆大跨徑橋梁結(jié)構(gòu)損傷預(yù)警及狀態(tài)評(píng)估技術(shù)［1］研討會(huì)，2014．

［3］程學(xué)旗，靳小龍，王元卓，等．大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述［1］［J］.軟件學(xué)報(bào)，2014（9）：1889-1908.

［4］36大數(shù)據(jù)．大數(shù)據(jù)分析與處理方法介紹［EB/OL］.（2013-［1］09-23）［2016-03-07］. http://www.36dsj.com/archives/3512.

［5］中國(guó)大數(shù)據(jù)．大數(shù)據(jù)處理分析的六大最好工具［EB/OL］. ［1］（2014-01-11）［2016-03-07］http://www.csdn.net/article/2014-［1］04-11/2819267-Cloud-BigData.

Application of Big Data Analysis Technology in Bridge Health Monitoring

Yang Jun
（Jiangsu Transportation Engineering Construction Bureau， Nanjing 210004， China）

Abstract:In this paper， the concept of big data is discussed firstly， then the concept of big data center for birdge health monitoring is put forward， the function， content and architecture of big data processing system are introduced. Thus the application prospect and direction of big data analysis technology in bridge health monitoring system are given.

Key words:bridge health monitoring； big data analysis； data fusion； data mining

中圖分類(lèi)號(hào)：U446.2

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1672–9889（2016）03–0030–03

收稿日期：（2016-03-07）

作者簡(jiǎn)介：楊軍（1971-），男，江蘇阜寧人，高級(jí)工程師，主要從事高速公路建設(shè)管理工作。