杜 鵬， 邵 帥， 余忠儒， 周志祥,2*， 鄧國軍

(1.重慶交通大學(xué)土木工程學(xué)院， 重慶 400074； 2.省部共建山區(qū)橋梁及隧道工程國家重點實驗室, 重慶 400074)

橋梁工程是現(xiàn)代快捷交通體系的重要組成部分，大跨徑橋梁結(jié)構(gòu)能極大地提高交通效率。在運營階段，橋梁結(jié)構(gòu)處于復(fù)雜的荷載環(huán)境，如結(jié)構(gòu)自重、汽車荷載、溫度荷載、風(fēng)荷載、地震荷載等，再加之材料本身的力學(xué)性能也會隨時間的推移逐漸退化，由于內(nèi)外因素的綜合作用導(dǎo)致結(jié)構(gòu)承載能力降低和使用壽命縮短[1]。因此，橋梁結(jié)構(gòu)在運營時期健康狀態(tài)的檢測與監(jiān)測是橋梁領(lǐng)域研究的熱點，是保障橋梁安全運營必不可少的重要舉措。常規(guī)的橋梁檢測與監(jiān)測技術(shù)使用成本高、危險性高、效率低、阻礙交通，而所得結(jié)果不全面、不理想，往往很難表征整個橋梁結(jié)構(gòu)的健康狀態(tài)[2]。

近幾年，基于計算機(jī)視覺的圖像分析處理技術(shù)廣泛運用于橋梁設(shè)計、施工、運營管理等各個階段，顯著地影響土木工程今后的發(fā)展趨勢。中外研究者為將現(xiàn)代智能技術(shù)運用于土木工程各個領(lǐng)域，已做了大量的研究：Chang等[3]利用攝像機(jī)攝影測量拉索的振動，成功獲取了拉索的動位移以及振動頻率等。Yu等[4]提出利用深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)預(yù)測在預(yù)定參數(shù)和邊界條件下拓?fù)鋬?yōu)化結(jié)構(gòu)的方法。沙愛民等[5]結(jié)合非接觸攝影測量和卷積神經(jīng)網(wǎng)絡(luò)，開展了對道路路面裂縫寬度及坑槽的識別研究，結(jié)果表明，非接觸影像測量效率高，精度滿足工程要求。Tong等[6]利用卷積神經(jīng)網(wǎng)絡(luò)對瀝青路面的探地雷達(dá)圖像進(jìn)行了反射裂縫的識別、定位、測量和三維重建。李惠等[7]提出了海量結(jié)構(gòu)健康檢測數(shù)據(jù)的科學(xué)處理方法，包括數(shù)據(jù)挖掘、數(shù)據(jù)恢復(fù)等，為實現(xiàn)土木工程智能化奠定了基礎(chǔ)。鮑躍全等[8]對人工智能時代的土木工程發(fā)展，包含城市智能規(guī)劃、結(jié)構(gòu)智能設(shè)計、智能養(yǎng)護(hù)、智能防災(zāi)等多方面進(jìn)行了深入分析，論證了人工智能將推動土木工程邁向高效、智能、綠色、可持續(xù)的方向發(fā)展。相對于常規(guī)的人工巡檢技術(shù)，計算機(jī)視覺技術(shù)表現(xiàn)出獨特的優(yōu)越性：全天候?qū)崟r監(jiān)控、采樣頻率高、成本低、自動化程度高、安全等。因此，計算機(jī)視覺將值得進(jìn)一步研究，使其更加廣泛的運用于土木工程領(lǐng)域。

結(jié)合計算機(jī)視覺、圖像分析等技術(shù)的最新進(jìn)展，本文在課題組超大跨自錨式懸索橋縮尺試驗橋多損傷工況下的全息影像監(jiān)測數(shù)據(jù)基礎(chǔ)上[9-11]，提出一種無需在結(jié)構(gòu)上布置任何靶點就能快速從結(jié)構(gòu)振動視頻中獲取任意特征點位移響應(yīng)的灰度值匹配方法。本文方法能快速獲取結(jié)構(gòu)表面任意特征點的位移響應(yīng)，能為橋梁結(jié)構(gòu)健康狀態(tài)判斷提供重要依據(jù)，該方法費用低、效率高、可操作性強，且精度滿足工程要求。

1 全息性態(tài)特征提取方法

為獲取橋梁結(jié)構(gòu)表面密集特征點的全息性態(tài)特征，本文在統(tǒng)計學(xué)歸一化互相關(guān)(normalized cross correlation, NCC)分析的基礎(chǔ)上，提出基于橋梁結(jié)構(gòu)影像序列數(shù)據(jù)獲取結(jié)構(gòu)表面特征點動態(tài)位移響應(yīng)的方法，該方法能對橋梁結(jié)構(gòu)目標(biāo)區(qū)域?qū)崟r追蹤，從結(jié)構(gòu)微弱振動視頻中提取特征點的位移響應(yīng)[12]。相較于常規(guī)離散點接觸式位移傳感器獲取結(jié)構(gòu)幾何變形而言，本文方法能獲取結(jié)構(gòu)表面密集的、連續(xù)的像素級虛擬特征點的位移響應(yīng)，能更準(zhǔn)確地表征結(jié)構(gòu)的幾何變形。

1.1 全息影像序列數(shù)據(jù)預(yù)處理

全息原始動態(tài)影像序列數(shù)據(jù)包含大量環(huán)境噪聲，為了對影像序列數(shù)據(jù)準(zhǔn)確高效地分析，首先應(yīng)將影像序列數(shù)值化處理，再全息特征點差分，最終只保留包含橋梁結(jié)構(gòu)特征點的影像數(shù)據(jù)[13]。二維的單張靜態(tài)圖片或視頻中每一幀動態(tài)圖片本質(zhì)上是由大量的像素塊構(gòu)成，每一個像素塊有其自身的灰度值，因此每一個像素存在一定的視覺差異，便構(gòu)成了一張包含各種信息的圖像。

全息影像序列數(shù)據(jù)的數(shù)值化即是將影像轉(zhuǎn)化為計算機(jī)可處理分析的灰度值矩陣，矩陣的維數(shù)與攝影設(shè)備的分辨率有關(guān)，本文使用索尼FDR-AX700民用攝像機(jī)采集橋梁結(jié)構(gòu)影像信息，其分辨率為(1 080×1 920) px。本文以圖像的左上角為坐標(biāo)原點建立視域直角坐標(biāo)系，圖像由若干個像素信息區(qū)域組成，假設(shè)各區(qū)域的灰度值函數(shù)為f(x,y)，則全息影像序列的數(shù)值化示意圖如圖1所示。

圖1 影像數(shù)值化處理Fig.1 Image numerical processing

非接觸視覺測量精度受環(huán)境溫度、環(huán)境濕度以及光照強度等影響，為了盡可能減小環(huán)境變化引起的測量誤差，消除影像數(shù)據(jù)所包含的環(huán)境噪聲，僅凸顯視域內(nèi)橋梁結(jié)構(gòu)全息變形信息。對于環(huán)境因素變化較大的長期性橋梁健康監(jiān)測，應(yīng)先收集橋梁結(jié)構(gòu)周圍的環(huán)境信息，構(gòu)建環(huán)境信息序列數(shù)據(jù)池，利用機(jī)器學(xué)習(xí)、噪聲剔除等手段，將環(huán)境變化引起的結(jié)構(gòu)全息特征點位移信息剔除，得到結(jié)構(gòu)真實的位移響應(yīng)，從而降低測量誤差，可參考課題組已有的研究[14]。對于環(huán)境相對穩(wěn)定的情況，如短期性檢測和室內(nèi)試驗等，只需對采集的影像序列數(shù)據(jù)進(jìn)行全息特征點差分處理，僅保留關(guān)鍵的橋梁結(jié)構(gòu)全息信息，就能獲得較高的測量精度。全息特征點差分處理是將視域范圍內(nèi)不包含橋梁結(jié)構(gòu)的背景圖像與包含橋梁結(jié)構(gòu)的圖像兩者對應(yīng)像素的灰度值相減，通過設(shè)定合適的灰度值閾值H，從而降低圖像視域中的環(huán)境噪聲。假設(shè)背景圖像灰度值函數(shù)為f1(x,y)，單張或一幀包含橋梁結(jié)構(gòu)信息的灰度值函數(shù)為f2(x,y)，則全息特征點差分法計算式為

Δf(x,y)=f2(x,y)-f1(x,y)

(1)

(2)

式中：f(x,y)為全息特征點(x，y)差分后的灰度值函數(shù)；H為灰度值閾值。

通過式(1)、式(2)的計算能得到只保留橋梁結(jié)構(gòu)全息特征點的影像序列數(shù)據(jù)，從而減小后期圖像序列數(shù)據(jù)處理的計算量和環(huán)境誤差，全息特征點差分示意如圖2所示。

圖2 全息特征點差分Fig.2 Holographic feature point difference

1.2 全息性態(tài)特征點定位

橋梁全息性態(tài)特征提取方法是基于計算目標(biāo)對像與源圖像的灰度值匹配程度，采取逐點定位、反復(fù)計算灰度值相關(guān)系數(shù)，并且以相關(guān)系數(shù)最大值點作為最佳匹配點[12]。假設(shè)源圖像S(source image)的尺寸為Y×X，目標(biāo)對象T(target object)的尺寸為M×N，目標(biāo)對象在源圖像的相對區(qū)域為Si,j，其中i=1,2,…,X、j=1,2,…,Y，i和j為目標(biāo)對象左上角在源圖像的相對坐標(biāo)。假設(shè)源圖像為整體坐標(biāo)，目標(biāo)對象為局部坐標(biāo)，目標(biāo)對象在源圖像的位置為相對坐標(biāo)，則橋梁全息性態(tài)特征提取方法的相關(guān)系數(shù)計算式為

N(i,j)=

(3)

(4)

(5)

橋梁全息性態(tài)特征點定位是經(jīng)過反復(fù)逐點匹配計算，尋找相關(guān)系數(shù)最大的匹配點，再輸出目標(biāo)對象在當(dāng)前圖像的相對坐標(biāo)。但對于分辨率很高的圖像算法運算量極大，對計算機(jī)性能要求更高。

針對橋梁結(jié)構(gòu)表面全息特征點位置變化可以預(yù)先判斷的特點，提出在整個視域中預(yù)先人為給定匹配模板，減小搜索匹配計算區(qū)域，從而在滿足精度的前提下盡量減小計算量，匹配模板示意如圖2所示。針對圖2所示對象，算法優(yōu)化前后計算結(jié)果及耗時對比如表1所示。

由表1可知，算法優(yōu)化后依然能準(zhǔn)確定位結(jié)構(gòu)表面特征點的位置，但計算耗時降低86.7%。結(jié)果表明，利用結(jié)構(gòu)本身屬性選擇合適的匹配模板，將極大地降低算法的計算量，使本文算法適用性更強。

1.3 橋梁結(jié)構(gòu)全息變形計算

橋梁全息性態(tài)特征提取方法能快速追蹤目標(biāo)對象在多幀圖像之間的移動信息。對于含有一系列圖像的結(jié)構(gòu)振動視頻，對每一幀圖像進(jìn)行重復(fù)計算，再結(jié)合時間向量屬性即可獲取特征點的動態(tài)位移響應(yīng)。優(yōu)化算法獲取結(jié)構(gòu)特征點位移響應(yīng)的基本步驟如下：

(1)在源圖像中選取M×N區(qū)域作為目標(biāo)對象區(qū)域，目標(biāo)對象應(yīng)包含結(jié)構(gòu)特征點區(qū)域，且目標(biāo)對象尺寸應(yīng)略大于特征點區(qū)域。

(3)獲取每一幀匹配計算相關(guān)系數(shù)最大點的位置坐標(biāo)，得到位移時程坐標(biāo)矩陣W：

(6)

(4)根據(jù)位移時程坐標(biāo)矩陣W計算目標(biāo)對象位置變化矩陣D，再結(jié)合時間向量T便可得到特征點動態(tài)位移響應(yīng)，D與T表示為

(7)

(8)

位置變化矩陣D中，第一列表示水平方向的位置變化，第二列表示豎直方向的位置變化，其中Dxk與Dyk的計算方法類似。對于橋梁結(jié)構(gòu)而言一般只考慮其豎直方向的位移，文中后續(xù)的試驗驗證也僅考慮了豎直方向的位移響應(yīng)。Dyk、Tk計算式為

Dyk=yk-y1，k=2,3，…，p

(9)

Tk=(k-1)t，k=2,3，…，p

(10)

式中：p為視頻的總幀數(shù)；t為相鄰兩幀照片拍攝時間間隔。

2 試驗驗證

在課題組既有研究的基礎(chǔ)上，通過傳統(tǒng)高精度接觸式位移傳感器測量與本文方法獲取的測試結(jié)果對比分析，探索本文方法獲取橋梁結(jié)構(gòu)動態(tài)位移響應(yīng)的可行性與精度。本次試驗以主跨為406.0 m的鄭州桃花峪黃河公路大橋按1∶30的縮尺比例制作的試驗?zāi)Ｐ蜆驗橐劳?，該試驗橋總長24.2 m。本次試驗的實驗小車及其驅(qū)動裝置和行駛軌道、單點錘擊激勵位置、接觸式位移傳感器、智能影像數(shù)據(jù)采集系統(tǒng)等布置如圖3所示。

2.1 試驗方案

本次試驗分為兩類加載形式：①利用可調(diào)節(jié)荷載、控制速度的試驗小車加載，其荷載范圍為10～100 kg，速度范圍為0.5～2 m/s。相對于單點靜力加載，該加載方式能更好地模擬汽車行駛情況，反映結(jié)構(gòu)在服役狀態(tài)下真實的幾何變形。②利用不同質(zhì)量的力錘，單點激勵試驗橋主跨L/2處(L為自錨式懸索橋主跨長度)，用以模擬橋梁結(jié)構(gòu)在服役時受到突發(fā)的撞擊和地震等沖擊荷載。為研究在不同荷載等級、不同荷載類型下本文非接觸測量方法的敏感性和精度，共設(shè)計了4種試驗工況如表2所示。在該試驗橋模型具有代表性的5個截面布置有常規(guī)接觸式位移傳感器如圖4所示。為減小試驗環(huán)境激勵引起的初始誤差，在每一次試驗開始前需使橋梁靜止5 min，以減小環(huán)境噪聲和試驗人員移動引起的結(jié)構(gòu)變形。

圖4 位移傳感器布置Fig.4 Displacement sensor layout

2.2 試驗數(shù)據(jù)采集

數(shù)據(jù)采集分為常規(guī)接觸式位移傳感器數(shù)據(jù)采集和非接觸式智能影像數(shù)據(jù)采集。在試驗正式開始前5 s同時開始兩種數(shù)據(jù)采集，在試驗結(jié)束后5 s同時結(jié)束兩種數(shù)據(jù)采集。

在試驗室選取視覺開闊，無遮擋的空間布置非接觸式智能影像數(shù)據(jù)采集系統(tǒng)，該系統(tǒng)由自動巡航云臺、動態(tài)影像采集器兩大部分組成，如圖5所示。自動巡航云臺可以實現(xiàn)水平360°，豎直180°無死角旋轉(zhuǎn)，且具有預(yù)置守望功能，能預(yù)先設(shè)置影像采集的視域位置和采集時間，實現(xiàn)全自動化的相關(guān)影像數(shù)據(jù)采集。本次試驗使用的動態(tài)影像采集器是索尼FDR-AX700民用攝像機(jī)，其焦距范圍24～200 mm，幀速率為100幀/s，圖像分辨率為1 080P，基本能滿足本次試驗使用要求。在試驗室布置環(huán)境數(shù)據(jù)采集裝置，主要用于實時采集環(huán)境溫度、濕度、光照強度、噪聲強度等參數(shù)，形成環(huán)境數(shù)據(jù)池，對后期影像數(shù)據(jù)修正提供依據(jù)。

圖5 非接觸式智能影像數(shù)據(jù)采集系統(tǒng)Fig.5 Non-contact intelligent image data acquisition system

3 試驗結(jié)果及分析

在兩類不同荷載類型激勵下，利用本文方法獲取橋梁結(jié)構(gòu)主跨L/2點的動態(tài)位移響應(yīng)與接觸式位移傳感器測試結(jié)果對比分析，如圖6、圖7所示。

圖6 行車激勵下主跨L/2點位移響應(yīng)Fig.6 The displacement response of the main span L/2 under the driving excitation of the car

圖7 單點激勵下主跨L/2點位移響應(yīng)Fig.7 The displacement response of the main span L/2 under single excitation

由6圖、圖7可知，本文方法與傳統(tǒng)接觸式位移傳感器獲取的橋梁主跨L/2截面處動態(tài)位移響應(yīng)整體趨勢相同，兩條曲線有較高的吻合度，本文方法測量結(jié)果基本能表征結(jié)構(gòu)真實的動態(tài)位移響應(yīng)。但圖6中曲線有較多的毛刺，其主要原因是試驗荷載產(chǎn)生的位移響應(yīng)與環(huán)境噪聲產(chǎn)生的效應(yīng)不同步，而實測的位移響應(yīng)是兩者的疊加，所以測得的位移響應(yīng)曲線不光滑。本次試驗環(huán)境噪聲主要有兩種：①試驗橋面凹凸不平，試驗小車在行駛的過程中會產(chǎn)生較大的振動，使得主梁變形存在較大的隨機(jī)性；②環(huán)境激勵，試驗在室內(nèi)自然環(huán)境中開展，自然環(huán)境激勵將迫使結(jié)構(gòu)產(chǎn)生微小的振動變形，試驗橋附近開展的疲勞荷載試驗可能加大了本次試驗的環(huán)境噪聲。

提取各測點位移最大值對比分析如表3所示，分析表明，本文方法測量結(jié)果與接觸式位移傳感器測量結(jié)果誤差在5%以內(nèi)，滿足工程精度要求。但本次試驗單像素代表的實際位移值為0.022 mm，相比于百分表測量最小刻度0.01 mm還有待提高，若本文方法用于測量更小的結(jié)構(gòu)幾何變形，精度可能會降低。

表3 主跨各測點最大位移誤差分析Table 3 Analysis of maximum displacement error of each measuring point of main span

為了驗證本文算法的高效性，嘗試同時對一個視域內(nèi)多個無靶點對象定位追蹤，同時獲取多個特征點的位移響應(yīng)。結(jié)果表明，同時獲取多個無靶點目標(biāo)的位移響應(yīng)是可行的，并且同時追蹤多個目標(biāo)耗時比依次追蹤單個目標(biāo)總耗時更少。在此僅列出B1工況同時獲取3個特征點位移響應(yīng)分析結(jié)果，如圖8所示，耗時對比如表4所示。

圖8 多目標(biāo)追蹤結(jié)果Fig.8 Multi-target tracking results

表4 單幀匹配計算耗時表Table 4 Single frame matching calculation time table

綜合以上試驗分析可知，本文算法能通過結(jié)構(gòu)的振動視頻獲取結(jié)構(gòu)表面任意特征點的位移時程響應(yīng)，測量誤差能控制在5%以內(nèi)，基本能滿足橋梁等民用設(shè)施的健康監(jiān)測要求。相對于常規(guī)離散式的接觸測量，本文方法獲取的數(shù)據(jù)更加精準(zhǔn)全面，同時克服了常規(guī)測量儀器布置數(shù)量有限、布置空間有限、需定期標(biāo)定、測量周期長等問題。

4 結(jié)論

提出基于全息影像序列數(shù)據(jù)獲取橋梁結(jié)構(gòu)表面任意征點全息位移響應(yīng)的方法，并利用試驗室內(nèi)超大跨自錨式懸索橋模型開展了兩類試驗，用以驗證本文方法的可行性，得到以下結(jié)論。

(1)提出的無靶點非接觸橋梁全息性態(tài)特征提取方法能高精度、高效率地獲取結(jié)構(gòu)表面任意特征點動態(tài)位移響應(yīng)，與傳統(tǒng)位移傳感器實測結(jié)果誤差在5%以內(nèi)，為實現(xiàn)大跨徑橋梁實時健康監(jiān)測奠定了基礎(chǔ)。

(2)本文算法實現(xiàn)了同時對多個目標(biāo)對象無靶點定位追蹤，相比于有靶點的單目標(biāo)非接觸攝影測量和常規(guī)接觸式測量本文方法適用范圍更廣、效率更高。

(3)影像數(shù)據(jù)采集易受光照、溫度、濕度等環(huán)境噪聲影響，測量結(jié)果不太穩(wěn)定，尚需進(jìn)一步優(yōu)化算法，盡量降低環(huán)境噪聲的影響。

隨著計算機(jī)處理能力的提升和高分辨率、高幀速率攝影設(shè)備的發(fā)展，通過上述算法獲取結(jié)構(gòu)表面密集特征點的位移響應(yīng)將會更加高效、準(zhǔn)確。再對位移時程響應(yīng)數(shù)據(jù)進(jìn)一步處理可以獲取結(jié)構(gòu)加速度、固有頻率、振型等參數(shù)。希望基于以上研究建立一套實時的橋梁結(jié)構(gòu)康健監(jiān)測預(yù)警系統(tǒng)，一旦發(fā)現(xiàn)結(jié)構(gòu)某一參數(shù)異常，立即給相關(guān)單位和工作人員發(fā)送預(yù)警信息，使其能及時對結(jié)構(gòu)開展進(jìn)一步精細(xì)化檢測，從而避免災(zāi)害事故的發(fā)生。