焦 贊

基于TOF原理的橋梁病害檢測(cè)與三維可視化研究

焦 贊

（同濟(jì)大學(xué)，上海 200092）

以無(wú)人機(jī)結(jié)合深度學(xué)習(xí)對(duì)橋梁進(jìn)行病害檢測(cè)和識(shí)別的研究越來(lái)越多，也越來(lái)越成熟，然而大多數(shù)研究?jī)H停留在病害表層二維圖像分析處理上，對(duì)重點(diǎn)病害的深度信息和三維可視化的相關(guān)研究較少。該文提出了一種采用基于TOF原理的Azure Kinect深度相機(jī)對(duì)橋梁重點(diǎn)病害進(jìn)行檢測(cè)并獲取深度信息的方法，通過(guò)對(duì)深度相機(jī)采集到的原始深度圖像保邊去噪和圖像增強(qiáng)得到病害深度圖像，以裂縫病害為例通過(guò)Revit建模軟件二次開(kāi)發(fā)重構(gòu)裂縫病害三維模型并結(jié)合病害定位信息整合在橋梁可視化模型上。深度信息的獲取與病害三維重構(gòu)將為橋梁病害檢測(cè)工作提供直觀便捷的新方式，有利于提高橋梁病害信息的展示效果和橋梁行業(yè)的信息化水平。

橋梁病害；可視化；深度相機(jī)；三維重構(gòu)

由于中國(guó)橋梁大規(guī)模的建成，橋梁的管理和維護(hù)的重要性日益凸顯，對(duì)橋梁病害的檢測(cè)、識(shí)別、管理系統(tǒng)和可視化這些方面的研究越來(lái)越多。目前隨著計(jì)算技術(shù)的快速發(fā)展，特別是2012年卷積神經(jīng)網(wǎng)絡(luò)（CNN）的興起,基于深度學(xué)習(xí)的病害識(shí)別研究日趨火熱，但是這些研究大多是對(duì)病害進(jìn)行二維圖像檢測(cè)識(shí)別，利用自然光（被動(dòng)式）的計(jì)算機(jī)視覺(jué)技術(shù)，部分區(qū)域的橋梁病害受到外界環(huán)境影響較大以致識(shí)別準(zhǔn)確率低，也無(wú)法反映部分病害的深度信息，不利于提高橋梁病害信息的準(zhǔn)確獲取。而目前基于主動(dòng)視覺(jué)技術(shù)的結(jié)構(gòu)光法和飛行時(shí)間法（TOF）能夠獲取深度數(shù)據(jù)，并通過(guò)這些數(shù)據(jù)進(jìn)行三維可視化模型構(gòu)建，為后續(xù)病害處理（如裂縫填補(bǔ)工作等）提供信息支持。

基于TOF原理的橋梁病害檢測(cè)與三維可視化病害模型重構(gòu)，除了可以單獨(dú)作為一種檢測(cè)手段，還可以與基于深度學(xué)習(xí)的無(wú)人機(jī)病害檢測(cè)相結(jié)合。因?yàn)楹笳邫z測(cè)識(shí)別的速度較快，識(shí)別范圍廣，幾乎實(shí)時(shí)監(jiān)測(cè)并整合到整橋病害信息系統(tǒng)，是對(duì)橋梁整體而言較為全面的檢測(cè)手段。而前者作為一種能夠較為全面反映病害信息的重點(diǎn)病害檢測(cè)手段，二者可以在橋梁整體快速檢測(cè)和重要病害全面信息檢測(cè)之間相互補(bǔ)充，共同提高橋梁病害檢測(cè)的信息化水平。

1 深度相機(jī)Azure Kinect簡(jiǎn)介

自從微軟第一代即Kinect v1出現(xiàn)以來(lái)，深度相機(jī)技術(shù)在各方面得到了廣泛應(yīng)用，相比較一般RGB相機(jī)，在功能上添加了一個(gè)深度測(cè)量，通過(guò)RGB彩色圖像和深度圖像，結(jié)合深度圖像處理算法，從而更方便準(zhǔn)確的感知周?chē)沫h(huán)境及變化。

Azure Kinect（微軟第四代）深度相機(jī)采用調(diào)幅連續(xù)波時(shí)差測(cè)距原理。該相機(jī)將近紅外(NIR)頻譜中的調(diào)制光投射到場(chǎng)景中。然后，它會(huì)記錄光線從相機(jī)傳播到場(chǎng)景，然后從場(chǎng)景返回到相機(jī)所花費(fèi)的間接時(shí)間測(cè)量值。處理這些測(cè)量值可以生成深度圖，深度圖像每個(gè)像素的一組z坐標(biāo)值，以毫米為單位。

Azure Kinect提供了深度、視覺(jué)、聲音、方向四類(lèi)傳感器SDK接口，可以不同程度的訪問(wèn)不同傳感器的底層數(shù)據(jù)。主要結(jié)構(gòu)包括:1）100萬(wàn)像素深度傳感器，具有寬、窄視場(chǎng)角選項(xiàng);2）7麥克風(fēng);3）1200萬(wàn)像素RGB攝像頭，與深度圖像匹配的彩色圖像;4）加速計(jì)和陀螺儀(IMU)，傳感器方向和空間跟蹤。

2 Kinect標(biāo)定

為確定圖像上某點(diǎn)和其實(shí)際位置兩個(gè)坐標(biāo)系的轉(zhuǎn)換關(guān)系，必須通過(guò)相機(jī)成像原理建立幾何模型來(lái)分析，這些模型參數(shù)（包括內(nèi)參、外參、畸變參數(shù)）即相機(jī)參數(shù)。由于相機(jī)本身制造誤差和器件精度原因，一般數(shù)情況下需要通過(guò)棋盤(pán)法實(shí)地實(shí)驗(yàn)并結(jié)合有效的算法才能得到相關(guān)參數(shù)，相機(jī)標(biāo)定目標(biāo)即獲取這些相機(jī)參數(shù)。

相機(jī)參數(shù)的標(biāo)定非常重要，因?yàn)闃?biāo)定結(jié)果的精度直接影響后續(xù)依靠深度圖像進(jìn)行建立病害三維模型的準(zhǔn)確性。標(biāo)定完成后，通過(guò)得到的標(biāo)定的幾何模型參數(shù)，建立原深度圖像與畸變校正圖像的坐標(biāo)變換矩陣，為深度圖像坐標(biāo)與橋梁病害實(shí)際坐標(biāo)間確定變換關(guān)系，實(shí)現(xiàn)準(zhǔn)確定位和病害模型重構(gòu)。

本次采用張正友相機(jī)標(biāo)定法，打印一張棋盤(pán)格貼在目標(biāo)病害底部所在平面上，從同一高度不同角度拍攝數(shù)張圖像，在Matlab應(yīng)用程序中找到Camera Calibration，使用這個(gè)工具箱自動(dòng)檢測(cè)，獲取標(biāo)定結(jié)果（表1）。

表1 相機(jī)標(biāo)定結(jié)果

3 圖像預(yù)處理

Kinect不是十分精密的橋梁病害三維掃描檢測(cè)專用設(shè)備，由于標(biāo)定不是十分準(zhǔn)確的，或圖像采集的環(huán)境條件（特別是光照因素）也會(huì)造成一定的誤差，被測(cè)病害內(nèi)部一些區(qū)域無(wú)法反射光線或者光線無(wú)法到達(dá)，以及混凝土表面背景等因素，所采集的原始圖像存在許多噪點(diǎn)，直接運(yùn)用一般不能滿足橋梁病害檢測(cè)的要求，因此對(duì)原始數(shù)據(jù)做預(yù)處理操作是非常必要的。

3.1 兩個(gè)相機(jī)采集圖像對(duì)齊操作

RGB相機(jī)的分辨率是3840x2160像素，深度照相機(jī)的分辨率是1024x1024像素，二者攝像頭的位置也不是完全一致的，所以二者采集到的圖像不是完全對(duì)齊的，也無(wú)法直接使用這些數(shù)據(jù)，否則會(huì)給病害三維重構(gòu)帶來(lái)難以避免的錯(cuò)誤。因此，預(yù)處理首先要通過(guò)分析攝像機(jī)成像原理，結(jié)合二者相對(duì)固定距離，用一個(gè)剛體變換矩陣表示二者坐標(biāo)系轉(zhuǎn)換[1]，由標(biāo)定結(jié)果參數(shù)，得到二者坐標(biāo)直接轉(zhuǎn)換關(guān)系，就可以深度圖像深度像素與RGB圖像像素之間一一對(duì)齊。

3.2 空洞填充與邊緣去噪

對(duì)于深度圖像空洞修復(fù)，利用深度圖的集群特性，用對(duì)應(yīng)灰度直方圖取得閾值范圍，并將圖像二值化生成掩膜，再使用改進(jìn)算法深度擴(kuò)充[2]。對(duì)于噪點(diǎn)去除過(guò)程需要對(duì)較強(qiáng)的邊緣性信息予以保留，采用一種利用已經(jīng)對(duì)齊的兩個(gè)相機(jī)采集的圖像，改進(jìn)的雙邊濾波算法來(lái)有效平滑圖像[3]。

3.3 圖像增強(qiáng)

濾波之后的深度圖像，可能存在病害如裂縫，其深度淺或者寬度小，與周?chē)鸁o(wú)病害混凝土的灰度值對(duì)比不是很明顯，為了更好區(qū)分并突出病害，避免光照不均以及背景影響，所以還需要對(duì)深度圖像做增強(qiáng)處理。使用拉普拉斯增強(qiáng)和LBP算子特性提取[4]，對(duì)圖像邊緣非常敏感，可以提高相對(duì)背景對(duì)比度，使圖像的背景灰度值幾近0，病害處深度信息依然存在，基本排除背景對(duì)建模影響（圖1）。

圖1 裂縫深度圖像預(yù)處理前后

4 病害三維模型構(gòu)建

病害三維坐標(biāo)相關(guān)系數(shù)計(jì)算，由Kinect標(biāo)定得到的為確定空間病害某點(diǎn)的三維坐標(biāo)與其在圖像中對(duì)應(yīng)像素點(diǎn)坐標(biāo)的數(shù)學(xué)關(guān)系，以確定病害圖像所在模型表面位置、圖像像素點(diǎn)間與實(shí)際病害點(diǎn)間擴(kuò)大比例、圖像灰度值與實(shí)際深度值的擴(kuò)大比例。

經(jīng)過(guò)圖像預(yù)處理之后的深度圖像，可以使用Dynamo可視化編程建模，將病害模型展示在Revit軟件中，實(shí)現(xiàn)可視化。功能實(shí)現(xiàn)如下:通過(guò)通過(guò)路徑批量獲取文件，加載圖像；將原圖像在x、y兩個(gè)方向上等距劃分為100*100網(wǎng)格，形成xy平面坐標(biāo)點(diǎn)集（裂縫底面網(wǎng)格）并根據(jù)點(diǎn)間擴(kuò)大比例放縮；然后返回指定網(wǎng)格位置灰度值，根據(jù)深度值擴(kuò)大比例使xy平面網(wǎng)絡(luò)各點(diǎn)沿z軸方向平移，形成裂縫深度曲面表面各點(diǎn)坐標(biāo)點(diǎn)集；根據(jù)兩大坐標(biāo)點(diǎn)集生成對(duì)應(yīng)平面和曲面，然后將兩個(gè)平面閉合形成對(duì)應(yīng)實(shí)體病害模型；根據(jù)病害圖像實(shí)際位置將其移動(dòng)到Revit模型對(duì)應(yīng)位置。（圖2）

圖2 裂縫病害深度圖像、裂縫三維曲面及其細(xì)節(jié)（從左到右）

5 結(jié)論

本文研究了使用基于TOF原理的Kinect深度相機(jī)對(duì)橋梁病害進(jìn)行檢測(cè)與并利用Dynamo可視化編程進(jìn)行基于預(yù)處理后的病害深度圖像的病害三維可視化兩方面內(nèi)容，先后通過(guò)深度相機(jī)簡(jiǎn)介、Kinect標(biāo)定、圖像預(yù)處理，最后進(jìn)行病害（以裂縫為例）三維模型重構(gòu)并定位，初步驗(yàn)證了該方法可以完成病害檢測(cè)和模型構(gòu)建兩方面的任務(wù)，為橋梁運(yùn)維工作提供了一個(gè)病害三維可視化方案。由于包含深度信息，大大提高了病害檢測(cè)信息密度和可視化程度，有利于提高橋梁行業(yè)信息化程度和BIM技術(shù)的進(jìn)一步應(yīng)用。

[1]夏文玲,顧照鵬,楊唐勝.實(shí)時(shí)三維重建算法的實(shí)現(xiàn)——基于Kinect與單目視覺(jué)SLAM的三維重建[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(24):199-203.

[2]李應(yīng)彬,馮杰,張華熊,李晨勤.基于改進(jìn)雙邊濾波的Kinect深度圖像空洞修復(fù)算法研究[J].工業(yè)控制計(jì)算機(jī),2013,26(11):105-106+109.

[3]杜海洋. 基于Kinect的三維重建與動(dòng)作交互技術(shù)研究[D].北京交通大學(xué),2016.

[4]Panning,A. K. Al-Hamadi,R. Niese,B. Michaelis. Facial expressiOn recOgnitiOn based On Haar-like feature detectiOn[J]. Pattern RecOgnitiOn and Image Analysis,2008,18(3).

焦贊（1995.01- ），男，漢族，籍貫：河南省許昌，學(xué)歷：研究生在讀，單位：同濟(jì)大學(xué)，研究方向：橋梁病害智能檢測(cè)與可視化。

S210

A

1007-6344（2021）04-0274-02