鄭金明

摘要：文章針對現(xiàn)有橋梁監(jiān)測數(shù)據(jù)多源異構(gòu)、海量數(shù)據(jù)難以處理、信息“孤島化”嚴重等問題，結(jié)合橋梁健康監(jiān)測數(shù)據(jù)實時變化、紛繁復雜和分布式存儲技術(shù)低成本、高容錯性、可移植的相關特點，提出基于Hadoop的橋梁監(jiān)測數(shù)據(jù)管理系統(tǒng)。通過建立橋梁監(jiān)測數(shù)據(jù)庫，搭建橋梁監(jiān)測系統(tǒng)，用實驗驗證了Hadoop集群存儲監(jiān)測信息的有效性。該方法充分利用了Hadoop平臺高效率、低成本、高可靠性的存儲特性，對監(jiān)測到的橋梁監(jiān)測數(shù)據(jù)進行了分布式存儲，有利于橋梁監(jiān)測數(shù)據(jù)的高效存儲和處理。

關鍵詞：Hadoop;HDFS;橋梁監(jiān)測;數(shù)據(jù)管理

中圖分類號：U446 文獻標識碼：A DOI：10.13282/j.cnki.wccst.2020.11.038

文章編號：1673—4874（2020）1卜0140-03

0引言

橋梁作為交通大動脈的重要組成部分，在國家經(jīng)濟建設與社會發(fā)展中具有重要地位。截至2018年年底，我國公路橋梁已達85.5萬座。近年來，結(jié)構(gòu)健康監(jiān)測（Structural Health Monitoring，SHM）技術(shù)在橋梁養(yǎng)護管理中應用廣泛_2_。目前已形成橋梁日常巡檢、經(jīng)常性檢測、定期檢測、荷載試驗及健康監(jiān)測組成的橋梁健康管理養(yǎng)護體系，積累了海量的橋梁監(jiān)測數(shù)據(jù)。橋梁監(jiān)測數(shù)據(jù)多源異構(gòu)，一座配置了SHM系統(tǒng)的橋梁每月監(jiān)測數(shù)據(jù)量達GB級，呈現(xiàn)出顯著的“大數(shù)據(jù)”特性。然而，隨著橋梁監(jiān)測數(shù)據(jù)的高速增長，我國大部分橋梁仍在采用“一橋一系統(tǒng)”的管理養(yǎng)護系統(tǒng)，橋梁病害檢測、健康監(jiān)測數(shù)據(jù)管理、橋梁定期巡檢等各信息化系統(tǒng)均獨立運行，各種多源異構(gòu)信息“孤島化”嚴重。在現(xiàn)有的橋梁運營管理技術(shù)實際應用中，同業(yè)主的預期差距較大，綜合管理各類橋梁監(jiān)測數(shù)據(jù)的系統(tǒng)亟待構(gòu)建。基于此，本文提出一種基于Hadoop云平臺的橋梁監(jiān)測數(shù)據(jù)管理系統(tǒng)，對采集得到的橋梁監(jiān)測數(shù)據(jù)進行分布式存儲，有利于橋梁監(jiān)測數(shù)據(jù)的高效存儲和處理，改善監(jiān)測數(shù)據(jù)信息孤島化問題。

1Hadoop技術(shù)概述

Hadoop是一個開源的分布式系統(tǒng)基礎架構(gòu)，廣泛應用于國內(nèi)外大數(shù)據(jù)處理，能夠以一種高效、可靠、低成本的方式對海量數(shù)據(jù)進行分布式數(shù)據(jù)管理。Hadoop框架中的核心是高容錯的分布式文件系統(tǒng)（Hadoop Distributed File system，HDFS）以及高性能的數(shù)據(jù)處理MapReduce系統(tǒng)。HDFS層主要存儲Hadoop集群中所有節(jié)點的文件，其中Name-node和Datanode兩類節(jié)點以管理者一工作者模式并行，管理節(jié)點記錄每個文件中各個數(shù)據(jù)塊在節(jié)點上的信息，而工作節(jié)點響應來自HDFS客戶端的讀寫請求，以及管理節(jié)點的創(chuàng)建、刪除、復制塊等命令。Mal3Reduce是一個分布式計算框架，主要通過映射（Map）和歸納（Reduce）對數(shù)據(jù)進行處理，Map讀取HDFS中的文件，將原始數(shù)據(jù)解析成很多鍵值對，而Reduce則對鍵值進行分組及處理。見圖1。

2橋梁監(jiān)測數(shù)據(jù)管理系統(tǒng)

2.1橋梁監(jiān)測系統(tǒng)的構(gòu)成

伴隨著橋梁的長期服役，混凝土材料日漸老化，由于荷載作用、施工缺陷、材料特性、環(huán)境因素等影響，在役橋梁會不可避免地產(chǎn)生裂縫、蜂窩、麻面等病害，故而對橋梁的關鍵部位進行監(jiān)測十分重要。目前中國已有多座在役橋梁安裝結(jié)構(gòu)健康監(jiān)測SHM系統(tǒng)，如香港青馬大橋、蘇通大橋、杭州灣跨海大橋等。而一個完整的結(jié)構(gòu)健康監(jiān)測系統(tǒng)分為硬件部分和軟件部分。硬件部分主要是指安裝在橋梁上的具有不同功能的傳感器，包括以加速度傳感器、應變計、溫度傳感器等為代表的傳感器監(jiān)測系統(tǒng)，用于信息的采集和處理;軟件部分則包括數(shù)據(jù)采集與傳輸，數(shù)據(jù)處理與分析以及數(shù)據(jù)庫的管理三個模塊。橋梁監(jiān)測系統(tǒng)軟件部分構(gòu)成如圖2所示。

3基于Hadoop平臺構(gòu)建橋梁監(jiān)測數(shù)據(jù)管理系統(tǒng)

3.1橋梁監(jiān)測數(shù)據(jù)庫

傳統(tǒng)的數(shù)據(jù)管理主要通過文件系統(tǒng)進行管理，其中數(shù)據(jù)一般面向特定的應用，數(shù)據(jù)獨立性差、共享性能低、管理成本高。Hadoop平臺用來解決目前橋梁監(jiān)測系統(tǒng)中海量數(shù)據(jù)的存儲及運算，其保存在云服務器上的各種監(jiān)測數(shù)據(jù)又能為后續(xù)研究人員提供科研數(shù)據(jù)，解決橋梁現(xiàn)有問題，保障橋梁的運營安全。本文基于Hadoop平臺構(gòu)建橋梁監(jiān)測數(shù)據(jù)管理系統(tǒng)，采用高可靠性、高性能的HBase分布式數(shù)據(jù)庫，適合存儲非結(jié)構(gòu)化和非關系型數(shù)據(jù)。其中RowKey為行鍵，Timestamp為時間戳，對應當時的時間值。CF1、CF2為數(shù)據(jù)中的列族，HBase中每一個表在水平方向會有一個或多個列族，其中一個列族又有任意多個列組成，類似于數(shù)據(jù)的幾級索引（見表1）。

橋梁監(jiān)測數(shù)據(jù)庫存儲著諸多信息，具體名稱可由業(yè)主方自己定義，如存儲橋梁名稱、橋梁類型、橋梁評估結(jié)果、加速度、位移等信息。同時鑒于云平臺需要處理復雜的數(shù)據(jù)信息，也對語言要求具有較強的擴展性，XML（可擴展標記語言）將信息串行化作文本存儲，以保障存儲數(shù)據(jù)在各種復雜場景下使用（見表2）。

橋梁監(jiān)測數(shù)據(jù)管理系統(tǒng)可按用戶需求劃分為多級節(jié)點，內(nèi)容也可由業(yè)主方制定。根節(jié)點包括橋梁總體數(shù)據(jù)，橋梁傳感器數(shù)據(jù)，數(shù)據(jù)傳輸，安全預警系統(tǒng)等。而一級節(jié)點如傳感器系統(tǒng)下的溫度、風速、加速度、位移、應變傳感器等，如圖3所示。

3.2實驗環(huán)境及結(jié)果

為驗證該監(jiān)測系統(tǒng)的有效性，搭建了一個Hadoop集群進行數(shù)據(jù)存儲測試。一共有3臺服務器，內(nèi)存為2G，硬盤為250g，以ubuntu9系統(tǒng)作為測試環(huán)境，其中一臺用于部署Namenode，另外兩臺部署Datanode。使用某座橋梁183個傳感器節(jié)點數(shù)據(jù)進行存儲，比較單機和配置了3臺服務器Hadoop集群的數(shù)據(jù)存儲時間，實驗結(jié)果為單機的響應時間為800ms，而配置了服務器集群的響應時間為150ms，Hadoop集群的存儲信息時間明顯低于單機存儲，表現(xiàn)出低成本、高效率的特點。

4結(jié)語

本文針對現(xiàn)有橋梁監(jiān)測數(shù)據(jù)多源異構(gòu)、海量監(jiān)測數(shù)據(jù)難以處理、信息孤島化嚴重等現(xiàn)象，提出基于Had00p平臺的橋梁監(jiān)測數(shù)據(jù)管理系統(tǒng)。利用高容錯的mFs分布式文件系統(tǒng)和高性能數(shù)據(jù)處理的Ma-pReduce系統(tǒng)對現(xiàn)有監(jiān)測數(shù)據(jù)進行高效率存儲和計算，通過建立橋梁監(jiān)測數(shù)據(jù)庫，搭建橋梁監(jiān)測系統(tǒng)，并用實驗驗證了搭建Hadoop集群的可行性，其信息存儲時間明顯低于單機存儲信息，有利于橋梁監(jiān)測數(shù)據(jù)的高效存儲和處理。