柳勝超，王夏黎，張 琪，趙嘉興

(長(zhǎng)安大學(xué) 信息工程學(xué)院，陜西 西安710064)

0 引言

橋梁在陸路交通中屬于一種特殊的道路結(jié)構(gòu)，是日常生活的基礎(chǔ)設(shè)施之一。 自古至今，橋梁作為交通樞紐中較為重要的一環(huán)，其安全性一直是人們關(guān)注的焦點(diǎn)。橋梁安全性主要分為建設(shè)安全性與使用安全性。 基于各種因素，橋梁在施工與運(yùn)營(yíng)期間會(huì)出現(xiàn)結(jié)構(gòu)變形[1-2]，橋梁變形程度能夠直接反映出橋梁的健康狀況。隨著國(guó)民經(jīng)濟(jì)的日益增長(zhǎng)和近現(xiàn)代交通技術(shù)的不斷發(fā)展，橋梁的體積越來(lái)越大，橋梁結(jié)構(gòu)越來(lái)越復(fù)雜，橋梁的應(yīng)用環(huán)境越來(lái)越多樣。 因此在橋梁建設(shè)過(guò)程中，如何實(shí)時(shí)地檢測(cè)橋梁的變形程度，以確保橋梁工程的安全就成為橋梁建設(shè)的一項(xiàng)重要技術(shù)。

目前，圖像檢測(cè)作為一種新興的檢測(cè)技術(shù)，它相比于傳統(tǒng)檢測(cè)的優(yōu)越性在于：非接觸式檢測(cè)、高精度。 它通過(guò)把被測(cè)對(duì)象的圖像作為檢測(cè)和傳遞信息的手段,從圖像中提取有用信息進(jìn)而獲得待測(cè)參數(shù)。

2006 年，趙文光等人設(shè)計(jì)了以含有特殊黑白圖案的標(biāo)定板為基礎(chǔ)的視覺位移監(jiān)測(cè)法[3]；2015 年，合肥工業(yè)大學(xué)的胡夢(mèng)嵐開發(fā)了一套基于圖像處理技術(shù)的橋梁動(dòng)態(tài)位移檢測(cè)系統(tǒng)[4]，通過(guò)實(shí)驗(yàn)驗(yàn)證了該系統(tǒng)的精度，并把該系統(tǒng)運(yùn)用到黃山廣宇大橋和黃山太平湖大橋的位移監(jiān)測(cè)中，取得了較好的效果。前者需聚焦于人工標(biāo)志，后者是圖像內(nèi)單點(diǎn)的監(jiān)測(cè)，而兩者皆是平面內(nèi)的變形監(jiān)測(cè)。 結(jié)構(gòu)變形定位主要利用圖像特征追蹤，現(xiàn)有的主流算法有模板匹配相關(guān)系數(shù)法[5]：優(yōu)點(diǎn)在于計(jì)算簡(jiǎn)單準(zhǔn)確和速度快，缺點(diǎn)是不能適應(yīng)劇烈光照變化和目標(biāo)劇烈形變；Mean Shift 算法[6]優(yōu)勢(shì)是計(jì)算量不大，在目標(biāo)區(qū)域已知的情況下完全可以做到實(shí)時(shí)跟蹤，但是，在窗口大小保持不變的情況下，當(dāng)目標(biāo)尺度發(fā)生變化或目標(biāo)結(jié)構(gòu)變形速度較快時(shí)，會(huì)跟蹤失??；基于深度學(xué)習(xí)的目標(biāo)追蹤方法[7]優(yōu)點(diǎn)在于對(duì)物體的姿態(tài)變化、尺寸變化、旋轉(zhuǎn)變化、光照變化和復(fù)雜背景雜波等影響因素具有較強(qiáng)的魯棒性，缺點(diǎn)在于檢測(cè)精度較低。

為此，本文提出一種基于數(shù)字圖像技術(shù)與深度學(xué)習(xí)的無(wú)接觸式、遠(yuǎn)距離、實(shí)時(shí)、高精度和高魯棒性的結(jié)構(gòu)檢測(cè)方法。 該方法的主要思想是首先通過(guò)高分辨率攝影設(shè)備獲取橋梁結(jié)構(gòu)的動(dòng)態(tài)視頻序列圖像；其次對(duì)圖像進(jìn)行預(yù)處理；然后提取圖像ROI 用于確定待處理的具體橋梁結(jié)構(gòu)部位； 最后利用卷積神經(jīng)網(wǎng)絡(luò)與改進(jìn)后的SURF 算法的結(jié)合實(shí)現(xiàn)橋梁結(jié)構(gòu)的變形檢測(cè)。

1 橋梁結(jié)構(gòu)圖像采集及預(yù)處理

1.1 橋梁結(jié)構(gòu)圖像采集系統(tǒng)

實(shí)驗(yàn)在滬通大橋28# 與29#橋塔上進(jìn)行，圍繞施工引起的主塔變形問題展開。圖1 所示為采集系統(tǒng)示意圖，主要由天文望遠(yuǎn)鏡頭、與鏡頭匹配的天文攝影CCD[8-9]組成攝影設(shè)備，采集橋梁結(jié)構(gòu)的動(dòng)態(tài)視頻序列圖像。

圖1 圖像采集系統(tǒng)

1.2 橋梁結(jié)構(gòu)圖像采集

圖2所示為采用自主選型的攝影設(shè)備在滬通大橋28# 橋塔最高處(30 m)拍攝的原始圖像，拍攝距離331 m，拍攝天氣為大霧，實(shí)驗(yàn)拍攝圖像尺寸為1 920×1 080，拍攝對(duì)象為塔頂一角。

圖2 滬通大橋28# 橋塔原始圖像

從圖2 可以看出：橋塔監(jiān)測(cè)結(jié)構(gòu)為多邊形；在大霧天氣下，由于光照不足，橋塔結(jié)構(gòu)與背景對(duì)比度較小；由于現(xiàn)場(chǎng)攝影設(shè)備受污、光照不足與拍攝距離過(guò)遠(yuǎn)等，圖像噪聲干擾比較嚴(yán)重。 這些因素對(duì)橋梁結(jié)構(gòu)特征的提取與追蹤會(huì)產(chǎn)生負(fù)影響。 因此需要對(duì)原始圖像進(jìn)行預(yù)處理。

1.3 橋梁結(jié)構(gòu)圖像預(yù)處理

隨著拍攝距離的增加，空氣質(zhì)量對(duì)攝影質(zhì)量的影響就越大，特別是在大霧、雨和雪等天氣下圖像質(zhì)量下降嚴(yán)重。因此，必須對(duì)圖像進(jìn)行預(yù)處理。預(yù)處理的過(guò)程是，首先采用暗通道去雨霧算法[10-15]，去除天氣因素對(duì)圖像的影響；然后對(duì)圖像進(jìn)行灰度轉(zhuǎn)換并使用中值濾波去除圖像噪聲；最后通過(guò)直方圖均衡增加圖像對(duì)比度。 經(jīng)過(guò)預(yù)處理后在保留了橋梁結(jié)構(gòu)信息的前提下，去除了大霧對(duì)原始圖像影響。圖2 預(yù)處理結(jié)果如圖3 所示。

圖3 預(yù)處理后的圖像

2 橋梁結(jié)構(gòu)特征處理

2.1 選擇橋梁結(jié)構(gòu)區(qū)域

高分辨率圖像內(nèi)進(jìn)行全局特征提取與匹配較為費(fèi)時(shí)，特別是對(duì)橋梁多個(gè)結(jié)構(gòu)進(jìn)行檢測(cè)時(shí)。 為了提高實(shí)時(shí)性，在圖像內(nèi)選擇待檢測(cè)結(jié)構(gòu)區(qū)域，使用局部圖像進(jìn)行特征提取。 從局部圖像中提取橋梁結(jié)構(gòu)特征，可以去除圖像中其他信息的干擾，找到最能代表橋梁結(jié)構(gòu)的區(qū)域，即橋梁表面有明顯紋理特征的地方，例如橋頂、拐角等。圖4 為所選擇的橋頂結(jié)構(gòu)。

圖4 局部結(jié)構(gòu)區(qū)域選擇

2.2 特征提取

為了能夠處理各種圖像變換問題，在設(shè)計(jì)圖像特征描述子的時(shí)候，應(yīng)同時(shí)考慮不變性(魯棒性)和區(qū)分性。 在諸多局部特征描述子中，SIFT[16]是應(yīng)用最廣的，SURF[17]算子是對(duì)SIFT 的改進(jìn)，它利用Haar小波來(lái)近似SIFT 方法中的梯度操作，利用積分圖技術(shù)進(jìn)行快速計(jì)算，SURF 的速度是SIFT 的3 倍，大部分情況下它和SIFT 的性能相當(dāng)。 此外，還有應(yīng)用廣泛的ORB[18]算法，其優(yōu)勢(shì)在于計(jì)算，速度是SURF的5 倍，但是在旋轉(zhuǎn)魯棒性、模糊魯棒性、尺度變換魯棒性上比SURF 差[19-20]。

由于橋梁結(jié)構(gòu)圖像采集環(huán)境復(fù)雜，對(duì)算法的實(shí)時(shí)性要求高，檢測(cè)算法要求在局部特征描述時(shí)具有高效性和強(qiáng)魯棒性，SURF 算法不僅對(duì)圖像旋轉(zhuǎn)、縮放具有極強(qiáng)的適應(yīng)性，而且在光照變化、視角變化、仿射變換和噪聲等情況下也能保持穩(wěn)定性。 因此，基于SURF 算法進(jìn)行特征提取。

SURF 特征提取算法主要有3 個(gè)步驟：構(gòu)建Hessian(黑塞矩陣)、計(jì)算特征點(diǎn)主方向、生成特征點(diǎn)描述子。

(1)構(gòu)建Hessian(黑塞矩陣)

在離散空間上，為了得到Hessian 矩陣的四個(gè)元素，SURF 采用二階標(biāo)準(zhǔn)高斯核函數(shù)對(duì)圖像進(jìn)行卷積運(yùn)算。 在尺度σ 下，點(diǎn)X=(x，y)處對(duì)應(yīng)的Hessian矩陣為：

式中，Lxx(X，σ)、Lxy(X，σ)、Lyy(X，σ)是標(biāo)準(zhǔn)高斯函數(shù)G(x，y，σ)的二階偏導(dǎo)數(shù)與圖像在點(diǎn)(x，y)處卷積的結(jié)果。

這樣可以計(jì)算出圖像上所有點(diǎn)的Hessian 行列式值。

(2)計(jì)算特征點(diǎn)主方向

在特征點(diǎn)區(qū)域內(nèi)統(tǒng)計(jì)其Haar 小波特征，以60°扇形為單位，統(tǒng)計(jì)扇形區(qū)域內(nèi)所有特征點(diǎn)的水平和垂直Haar 小波特征總和，然后 60°扇形以一定間隔進(jìn)行旋轉(zhuǎn)，旋轉(zhuǎn)一周后以小波特征最大的扇形方向作為該特征點(diǎn)的主方向，過(guò)程示意圖如圖5 所示。

圖5 特征點(diǎn)主方向

(3)生成特征點(diǎn)描述子

以特征點(diǎn)為中心，沿主方向?qū)?0 s×20 s 的圖像劃分為4×4 個(gè)子塊(s 代表特征點(diǎn)的尺度)，每個(gè)子塊用尺寸2 s 的Harr 模板進(jìn)行響應(yīng)值計(jì)算，統(tǒng)計(jì)16個(gè)子區(qū)域的響應(yīng)信息，每個(gè)子區(qū)域采用式(4)進(jìn)行統(tǒng)計(jì)， 其中dx 和dy 分別代表像素在x 軸與y 軸上的物理尺寸，同時(shí)每個(gè)像素點(diǎn)的響應(yīng)要乘以對(duì)應(yīng)位置的高斯權(quán)重(σ=3.3 s)。

每個(gè)子區(qū)域攜帶4 個(gè)信息，共有16 個(gè)子區(qū)域，共64 維。 最后為了防止光照與對(duì)比度的影響，對(duì)特征矢量歸一化處理。

2.3 SURF 算法的改進(jìn)

在圖像預(yù)處理去除雨霧等天氣因素的影響后，發(fā)現(xiàn)橋梁結(jié)構(gòu)特征主要分布在圖像的高頻信息。 使用Sobel 算子提取圖像高頻信息。 在對(duì)500 幅高頻圖片進(jìn)行分析后，發(fā)現(xiàn)圖像中不僅包含水平和垂直特征，還包括線特征、對(duì)角線特征。

本文通過(guò)實(shí)驗(yàn)，添加45°斜方向的邊緣特征、線特征和對(duì)角線特征濾波器模板。 本文采用的濾波器模板如圖6 所示。

圖6 本文使用的特征

如圖6 所示，從左到右依次是邊緣特征{de1，…，de4}、線性特征{dl1，…，dl4}和對(duì)角線特征{dt1，dt2}，其中邊緣特征和線性特征包含了水平方向、垂直方向、正反45°斜向特征。 生成特征點(diǎn)描述子公式改進(jìn)為如式(5)所示：

相比于原SURF 算法每個(gè)子區(qū)域攜帶信息增加至20 個(gè)，共有16 個(gè)子區(qū)域，共320 維。 向量維度增加提升了特征的鑒別力，特征檢測(cè)的效果更佳，但一定程度上使算法復(fù)雜程度更高。 改進(jìn)前后SURF算法的特征提取結(jié)果如圖7 所示。

圖7 特征提取結(jié)果

如圖7 所示，源圖像經(jīng)過(guò)預(yù)處理，去除了光照、大霧和椒鹽噪聲的影響，直接使用SURF 算法所檢測(cè)的特征點(diǎn)只有8 個(gè)(圖7(a)中的黑點(diǎn))，丟失大量結(jié)構(gòu)信息。 而使用本文改進(jìn)的SURF 算法進(jìn)行特征提取后的特征點(diǎn)數(shù)量有46 個(gè)(圖7(b)，特征點(diǎn)標(biāo)記有重疊)。

可見改進(jìn)后的SURF 算法比SURF 算法提取特征點(diǎn)更多，能夠更準(zhǔn)確地反映橋梁結(jié)構(gòu)信息。

3 橋梁變形檢測(cè)

3.1 結(jié)構(gòu)匹配

變形檢測(cè)先要進(jìn)行結(jié)構(gòu)匹配。 結(jié)構(gòu)匹配的過(guò)程是調(diào)整好攝影設(shè)備，對(duì)第一張圖像進(jìn)行特征提取，作為基準(zhǔn)特征點(diǎn)序列S，然后逐次與后面的圖像提取的特征點(diǎn)E 進(jìn)行匹配。 匹配使用基于暴力匹配算法的交叉修正匹配算法。算法先使用暴力匹配獲取第一次匹配序列F，然后使用反向匹配去除掉僅單向匹配的點(diǎn)，得到匹配序列P，最后進(jìn)行匹配修正去除誤匹配得到匹配序列P′。 交叉修正匹配算法原理如下。

暴力匹配是計(jì)算序列S 的每一個(gè)點(diǎn)與序列E每一個(gè)點(diǎn)的歐式距離，計(jì)算公式見式(6)，距離最小者即為匹配點(diǎn)，見式(7)。

假如S1與E3匹配，min 返回最小值，SE1=SE1.3。循環(huán)進(jìn)行得到匹配序列F。 所以該暴力匹配算法的時(shí)間復(fù)雜度為平方階：Tn=O(n2)。

反向匹配：E3與特征序列S 執(zhí)行一次暴力匹配，若ES3=ES3.1，則真正表示E3與S1匹配成功。P1=(S1，E3，SE1)，依次重復(fù)式(6)最終可得到匹配序列P。 而交叉匹配就是暴力匹配與反向匹配的結(jié)合，所以該交叉匹配算法的時(shí)間復(fù)雜度為平方階：Tn=O(2n2)。

匹配修正：計(jì)算出最小歐氏距離d，見式(8)：

對(duì)匹配序列P 進(jìn)行篩選，使得滿足SE1≤2.5d且SE1≤0.2 的歐氏距離插入到新的匹配序列P′，0.2 是本文所給出的一個(gè)經(jīng)驗(yàn)值。 所以交叉修正匹配算法的時(shí)間復(fù)雜度為平方階：Tn=O(2n2+n)，與暴力匹配時(shí)間復(fù)雜度的階位是一致的。圖8 所示為各匹配算法的匹配效果圖。

圖8 匹配效果圖

分別使用暴力匹配、交叉匹配、修正匹配對(duì)特征匹配序列進(jìn)行統(tǒng)計(jì)，當(dāng)歐式距離超過(guò)0.2 時(shí)誤匹配的錯(cuò)誤率如表1 所示。

表1 歐式距離超過(guò)0.2 時(shí)各方法的匹配錯(cuò)誤率

從表1 可看出，在算法時(shí)間復(fù)雜度的階位一致的情況下，雖然使用耗時(shí)較短的暴力匹配得到更多的匹配關(guān)系，但是在該次實(shí)驗(yàn)中，匹配序列F 的誤匹配率高達(dá)10.86%。 而使用交叉匹配后，誤匹配率降低到2.78%，使用交叉修正匹配后，可以剔除誤匹配，所以，交叉修正匹配算法能夠在相同階位的時(shí)間復(fù)雜度準(zhǔn)確地找到優(yōu)秀匹配點(diǎn)，剔除誤匹配。

3.2 結(jié)構(gòu)定位

完成匹配后，通過(guò)分別定位匹配序列P′中屬于特征點(diǎn)序列S 和E 在圖像上的位置，便可獲取圖像內(nèi)橋梁結(jié)構(gòu)特征的像素相對(duì)變化，使用的方法是在外包矩形中心和多點(diǎn)平均重心的基礎(chǔ)上新提出來(lái)的多點(diǎn)加權(quán)重心。 最后通過(guò)攝像機(jī)標(biāo)定，將像素距離轉(zhuǎn)化為物理距離。

外包矩形中心：特征點(diǎn)坐標(biāo)就是特征序列最小外包矩形中心，由于需要統(tǒng)計(jì)當(dāng)前圖像序列與第一張圖像的P′最小最大坐標(biāo)，因此該算法的時(shí)間復(fù)雜度為線性階：Tn=O(n)。

多點(diǎn)平均重心：

所以該算法的時(shí)間復(fù)雜度為線性階：Tn=O(n)。多點(diǎn)加權(quán)重心：

所以該算法的時(shí)間復(fù)雜度為線性階：Tn=O(n)。

圖9 多點(diǎn)平均重心法示意圖 圖10 多點(diǎn)加權(quán)重心法示意圖

從圖9 與圖10 可以發(fā)現(xiàn)，多點(diǎn)加權(quán)重心相比于使用矩形中心點(diǎn)和多點(diǎn)平均重心法，在特征點(diǎn)序列定位結(jié)構(gòu)時(shí)考慮每個(gè)匹配點(diǎn)的性能也就是歐式距離，然后對(duì)每個(gè)點(diǎn)進(jìn)行加權(quán)，匹配效果好的其權(quán)重較大，實(shí)驗(yàn)發(fā)現(xiàn)這樣具有較強(qiáng)的抗噪聲能力。 其中實(shí)驗(yàn)中的數(shù)據(jù)為結(jié)構(gòu)變形在圖像上的像素值。

表2 是使用三種方法對(duì)圖8 的變形檢測(cè)結(jié)果，在圖像內(nèi)偏移的相對(duì)坐標(biāo)為(6，11)，根據(jù)攝像機(jī)標(biāo)定[21]可以得到變形物理值為(3.1 mm，5.7 mm)。 圖像內(nèi)右下方為正方向。 在距離鏡頭50 m～300 m，每隔25 m 測(cè)量一次，最后所得校驗(yàn)系數(shù)為0.001 6/m，即在331 m 處一個(gè)像素代表0.53 mm。

表2 對(duì)圖8 的變形檢測(cè)結(jié)果

進(jìn)行了16 次實(shí)驗(yàn)，平均誤差結(jié)果如表3 所示，匹配誤差公式如下：

表3 16 次實(shí)驗(yàn)，不同方法的平均誤差(%)

經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)在匹配序列存在誤匹配時(shí)，在時(shí)間復(fù)雜度相同的情況下，多點(diǎn)加權(quán)重心算法性能表現(xiàn)更好，在匹配序列F 與P 上尤為明顯。

當(dāng)檢測(cè)異常時(shí)，存在兩種情況：一種是變形過(guò)大時(shí)，目標(biāo)結(jié)構(gòu)超出局部圖像區(qū)域；另一種是目標(biāo)結(jié)構(gòu)異常丟失。因此，為解決匹配異常問題，采用發(fā)生匹配異常時(shí)間超過(guò)預(yù)定值時(shí)，使用深度學(xué)習(xí)方法進(jìn)行異常搜索檢測(cè)。 若檢測(cè)結(jié)果為第一種情況，則需重新劃分結(jié)構(gòu)所在局部區(qū)域，否則只需給出報(bào)警信息。

4 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，多種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)法被提出，最矚目的兩個(gè)方向?yàn)椋阂粋€(gè)是基于區(qū)域候選網(wǎng)絡(luò)(RPN)的目標(biāo)檢測(cè)算法，如R-CNN、Faster R-CNN 等，這類算法分為兩個(gè)階段，首先使用(RPN)來(lái)提取候選目標(biāo)信息，再經(jīng)過(guò)檢測(cè)網(wǎng)絡(luò)完成對(duì)候選目標(biāo)的位置和類別的預(yù)測(cè)和識(shí)別；另一個(gè)是回歸的目標(biāo)檢測(cè)算法，如SSD、YOLOv3[22-23]等，此類算法不需要使用RPN，直接通過(guò)網(wǎng)絡(luò)來(lái)產(chǎn)生目標(biāo)的位置和類別信息。 因此，基于回歸檢測(cè)算法具有更快的檢測(cè)速度。

深度學(xué)習(xí)的目標(biāo)追蹤對(duì)象是基于前文所述的圖像處理方法的橋梁結(jié)構(gòu)。 因?yàn)楦魇礁鳂拥臉蛄航Y(jié)構(gòu)太多，不對(duì)所有橋梁結(jié)構(gòu)進(jìn)行訓(xùn)練，只對(duì)當(dāng)前檢測(cè)任務(wù)的結(jié)構(gòu)目標(biāo)進(jìn)行訓(xùn)練。

本文對(duì)YOLOv3 網(wǎng)絡(luò)進(jìn)行改進(jìn)，對(duì)549 張橋梁結(jié)構(gòu)圖使用改進(jìn)的SURF 方法進(jìn)行處理，所得結(jié)果制作數(shù)據(jù)集，進(jìn)行訓(xùn)練和目標(biāo)的檢測(cè)。

4.1 YOLOv3 網(wǎng)絡(luò)介紹

YOLOv3 采用了Darknet53 的網(wǎng)絡(luò)結(jié)構(gòu)，共包含53 個(gè)卷積層，Darknet53 網(wǎng)絡(luò)由5 個(gè)殘差塊組成，每個(gè)殘差塊開頭進(jìn)行了5 次下采樣，在最后3 次下采樣分別輸出三個(gè)8×8，16×16 和32×32 尺度特征，送入檢測(cè)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)。其中32×32 尺度特征圖感受野最小，適合檢測(cè)小尺寸的對(duì)象。

4.2 改進(jìn)后的YOLOv3 網(wǎng)絡(luò)

針對(duì)橋梁結(jié)構(gòu)多中小目標(biāo)的情況，需要高分辨率的特征圖，也需要開闊的感受視野，本文對(duì)YOLOv3 網(wǎng)絡(luò)進(jìn)行修改， 取消最后一個(gè)殘差塊的下采樣，輸出兩個(gè)16×16 和一個(gè)32×32 尺度特征，增加輸出特征圖的分辨率，同時(shí)將Darknet53 改為采用更小網(wǎng)絡(luò)結(jié)構(gòu)的Darknet33。 這是由于深度學(xué)習(xí)中網(wǎng)絡(luò)規(guī)模過(guò)大會(huì)增加學(xué)習(xí)的參數(shù)數(shù)量，而本文的數(shù)據(jù)集采集是基于不同項(xiàng)目動(dòng)態(tài)制作的，規(guī)模較小，輸入數(shù)據(jù)無(wú)法提供大量的特征信息，也會(huì)導(dǎo)致識(shí)別率的下降。

與YOLOv3 的對(duì)比試驗(yàn)表明，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)橋梁中小目標(biāo)的檢測(cè)的召回率與準(zhǔn)確率都有明顯的提升。 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖11 所示。

圖11 改進(jìn)后的YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)

4.3 實(shí)驗(yàn)結(jié)果與分析

對(duì)YOLOv3 和改進(jìn)的YOLOv3 分別進(jìn)行訓(xùn)練，訓(xùn)練集圖像為486 張，驗(yàn)證集53 張，測(cè)試集為12 張，初始學(xué)習(xí)率為0.000 1，當(dāng)經(jīng)過(guò)3 個(gè)Epoch 模型性能不再提升時(shí)，減少10 倍學(xué)習(xí)率，使損失函數(shù)進(jìn)一步收斂。 當(dāng)經(jīng)過(guò)10 個(gè)Epoch 模型性能不再提升時(shí)，訓(xùn)練結(jié)束。 利用旋轉(zhuǎn)圖像、增加對(duì)比度等方法對(duì)數(shù)據(jù)集中的圖像進(jìn)行增強(qiáng)和擴(kuò)充。 圖12 為批尺寸為4時(shí)訓(xùn)練過(guò)程中損失值的收斂曲線。

在圖12 中，原網(wǎng)絡(luò)在迭代Epoch 60 時(shí)停止訓(xùn)練，此時(shí)loss 收斂為18.3，val_loss 收斂為18.3。 新網(wǎng)絡(luò)迭代103 時(shí)停止訓(xùn)練，此時(shí)loss 為8.3，val_loss為7.6。 可以看出新網(wǎng)絡(luò)訓(xùn)練誤差和驗(yàn)證誤差都優(yōu)于YOLOv3。

目標(biāo)召回率R 和檢測(cè)準(zhǔn)確率S 的公式分別如式(14)、(15)所示。 XTP表示正確檢測(cè)出來(lái)的目標(biāo)，XFN表示沒有被檢測(cè)出來(lái)的目標(biāo)，XFP表示被錯(cuò)誤檢出的目標(biāo)。 為了避免網(wǎng)絡(luò)結(jié)構(gòu)的特殊性，分別設(shè)置訓(xùn)練批尺寸為2、4、8，對(duì)網(wǎng)絡(luò)進(jìn)行3 次訓(xùn)練以及測(cè)試。 表4 為實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果。

圖12 訓(xùn)練過(guò)程的損失值函數(shù)曲線

表4 3 次實(shí)驗(yàn)準(zhǔn)確率與召回率

由表4 可看出，通過(guò)對(duì)YOLOv3 網(wǎng)絡(luò)進(jìn)行優(yōu)化，檢測(cè)時(shí)間降低為原來(lái)的三分之一，檢測(cè)目標(biāo)的準(zhǔn)確性與目標(biāo)的召回率也相比YOLOv3 得到了提高。

5 結(jié)構(gòu)檢測(cè)算法

利用改進(jìn)的SURF 算法與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行研發(fā)的系統(tǒng)流程圖如圖13 所示。

6 實(shí)驗(yàn)結(jié)果與分析

6.1 算法性能

表5 是依據(jù)本文算法開發(fā)的系統(tǒng)與其他設(shè)備或者算法的對(duì)比，可以發(fā)現(xiàn)本文算法測(cè)量精度高，結(jié)構(gòu)目標(biāo)選取方式簡(jiǎn)單，可進(jìn)行多結(jié)構(gòu)目標(biāo)的同時(shí)觀測(cè)。

6.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)在滬通大橋29# 橋塔展開， 檢測(cè)時(shí)， 由于橋塔表面是水泥面，結(jié)構(gòu)表面特征不明顯，在檢測(cè)區(qū)域加裝模板設(shè)備。 2019 年3 月10 日晚9 點(diǎn)主塔張拉，對(duì)塔頂進(jìn)行檢測(cè)，此時(shí)距塔頂為235 m。 測(cè)量單位：mm，檢測(cè)精度0.3 mm，檢測(cè)結(jié)果如圖14 所示。

圖13 橋梁變形檢測(cè)系統(tǒng)流程圖

圖14 中橫坐標(biāo)為時(shí)間軸，上圖表示的是橋塔東西偏移的時(shí)序圖，正方向?yàn)闁|偏移。 下圖表示的是橋塔南北偏移的時(shí)序圖，正方向?yàn)橄虮逼啤?圖中散點(diǎn)是設(shè)備每一次的測(cè)量值，線是散點(diǎn)的平均擬合曲線。 可看出檢測(cè)系統(tǒng)在運(yùn)行正常期間，能夠遠(yuǎn)距離無(wú)接觸地實(shí)時(shí)反映主塔在施工時(shí)的變形情況，在橋塔張拉時(shí)，橫向塔偏范圍在12 mm 內(nèi)，縱向塔偏范圍在11 mm 內(nèi)。

表5 本文方法與其他方法的對(duì)比

圖14 檢測(cè)實(shí)驗(yàn)結(jié)果圖

7 結(jié)束語(yǔ)

具有高精度、多目標(biāo)、遠(yuǎn)距離非接觸式、實(shí)時(shí)性檢測(cè)等特點(diǎn)的數(shù)字圖像檢測(cè)已經(jīng)成為了物體結(jié)構(gòu)表面檢測(cè)的有效工具。 本文研究了把傳統(tǒng)數(shù)字圖像技術(shù)與深度學(xué)習(xí)結(jié)合，深度學(xué)習(xí)模塊增加了傳統(tǒng)算法的魯棒性，同時(shí)傳統(tǒng)數(shù)字圖像技術(shù)可以彌補(bǔ)在訓(xùn)練樣本不足的情況下，深度學(xué)習(xí)檢測(cè)結(jié)果穩(wěn)定性低的缺點(diǎn)。 由于實(shí)際應(yīng)用中對(duì)滬通長(zhǎng)江大橋29# 主塔檢測(cè)在235～325 m 之間，檢測(cè)目標(biāo)與鏡頭距離過(guò)遠(yuǎn)，發(fā)現(xiàn)在空氣濕度較大且溫度變化劇烈時(shí)，空氣折射率的變化會(huì)影響檢測(cè)精度，下一步將重點(diǎn)研究如何在此情景下，增加溫度與濕度補(bǔ)償措施以提高檢測(cè)精度。