胡曉勇， 徐嘉明， 劉愛(ài)榮， 楊智誠(chéng)， 楊永民

（1.廣州市市政工程設(shè)計(jì)研究總院有限公司，廣州 510060；2.華南理工大學(xué)自動(dòng)化科學(xué)與工程學(xué)院，廣州 510640；3.廣州大學(xué)風(fēng)工程與工程振動(dòng)研究中心，廣州 510006；4.仲愷農(nóng)業(yè)工程學(xué)院城鄉(xiāng)建設(shè)學(xué)院，廣州 510225）

0 引 言

混凝土結(jié)構(gòu)性能退化主要通過(guò)缺陷的形式變現(xiàn)出來(lái)，其中包括裂縫、剝落、洞穴和風(fēng)化等，而裂縫是主要的基礎(chǔ)形式病癥［1-2］?；炷两Y(jié)構(gòu)裂縫的擴(kuò)展降低了結(jié)構(gòu)的安全性、穩(wěn)定性和可靠性，由此需要對(duì)其進(jìn)行必要的檢測(cè)和維護(hù)。在檢測(cè)階段，需要獲取裂縫的形態(tài)、病癥、損害程度等信息作為結(jié)構(gòu)可靠性評(píng)估和損害管理的依據(jù)。目前，基于機(jī)器視覺(jué)的自動(dòng)化裂縫檢測(cè)技術(shù)快速發(fā)展，搭載了機(jī)器視覺(jué)的水下檢測(cè)機(jī)器人或無(wú)人機(jī)通過(guò)攝像機(jī)捕獲結(jié)構(gòu)表面視頻序列，結(jié)合圖像處理算法對(duì)裂縫進(jìn)行提取以及分析［3］，并且能夠?qū)崿F(xiàn)在從光照不均勻和復(fù)雜紋理背景中快速精確分離裂縫區(qū)域［4］。

近年來(lái)，學(xué)者們?cè)O(shè)計(jì)了不同的算法以提取復(fù)雜背景中裂縫的特征。Chen 等［5］針對(duì)電致發(fā)光圖中的裂縫提出了方向可調(diào)證據(jù)濾波來(lái)生成裂縫顯著性圖，能夠突出隨機(jī)分布的晶格背景中的裂縫信息，但濾波核的尺寸自適應(yīng)確定是該方法的難點(diǎn)。Cho等［6］基于邊緣檢測(cè)算法提出了一種寬度變換裂縫檢測(cè)算法，通過(guò)搜索垂直于裂縫伸展方向的邊緣點(diǎn)對(duì)，并將其連接起來(lái)組成裂縫區(qū)域。該方法效果的優(yōu)劣取決于提取邊緣是否連續(xù)，如果出現(xiàn)邊緣斷裂或者丟失，則邊緣點(diǎn)對(duì)會(huì)搜尋錯(cuò)誤，最終導(dǎo)致裂縫分割失敗。Qu 等［7-8］基于滲透模型建立了一種魯棒的裂縫檢測(cè)方法，其原理是依次遍歷圖像像素點(diǎn)，并通過(guò)灰度信息和圓度信息進(jìn)行區(qū)域生長(zhǎng)，滿足一定條件的像素點(diǎn)則被認(rèn)為是裂縫缺陷中，但由于每個(gè)像素點(diǎn)的分類(lèi)過(guò)程十分復(fù)雜的，所以該方法難以應(yīng)用到在線檢測(cè)中。

基于深度學(xué)習(xí)的端到端網(wǎng)絡(luò)方法實(shí)現(xiàn)裂縫特征自動(dòng)學(xué)習(xí)和檢測(cè)分割具有良好的效果［9-10］。其中，Unet++是目前較為通用的卷積神經(jīng)網(wǎng)絡(luò)，其在充足的訓(xùn)練數(shù)據(jù)和標(biāo)記數(shù)據(jù)下可以獲得理想的性能，但該方法需要獲取的大量的裂縫樣本數(shù)據(jù)，特別是對(duì)稀有類(lèi)型的裂縫樣本，存在較大的難度［11-13］。本文提出了一種快速、準(zhǔn)確的裂縫自動(dòng)分割方法，包括圖像預(yù)處理增強(qiáng)圖像對(duì)比度，基于改進(jìn)的局部二值模式生成裂縫的顯著圖來(lái)緩解背景光照不均勻以及噪聲影響問(wèn)題，提取裂縫區(qū)域并迭代修正裂縫分割結(jié)果等過(guò)程。該方法只需要少量的訓(xùn)練樣本來(lái)自適應(yīng)配置參數(shù)便能獲得較好的檢測(cè)結(jié)果，并且可應(yīng)用到在線檢測(cè)中，有利于工程應(yīng)用。

1 裂縫檢測(cè)方法

圖1給出了本文關(guān)于裂縫自動(dòng)分割方法的主要流程，主要包含圖像預(yù)處理、顯著圖生成和裂縫分割。本文的最終目的是要將裂縫區(qū)域從復(fù)雜的背景中分離出來(lái)，具體的步驟如下：

（1）圖像預(yù)處理。圖像預(yù)處理的主要目標(biāo)是增強(qiáng)裂縫與背景間的對(duì)比度。從圖1（a）可以看到，裂縫區(qū)域的灰度值比背景低，而主要關(guān)注區(qū)域正是低灰度值的部分。因此，采用了對(duì)數(shù)變換將較暗的裂縫缺陷進(jìn)行灰度范圍擴(kuò)展，使得圖像顯示出更多低灰度細(xì)節(jié)。根據(jù)變換后圖像灰度的值將圖像灰度范圍映射到［0，255］之間，從而實(shí)現(xiàn)裂縫與背景之間的對(duì)比度增強(qiáng)，如圖1（b）所示，增強(qiáng)圖記為G。

（2）全局和局部二值模式顯著圖。局部二值模式（Local Binary Patterns，LBP）主要是用來(lái)描繪局部紋理特征，而本文改進(jìn)的LBP算法是針對(duì)裂縫檢測(cè)設(shè)計(jì)的，該方法不僅繼承了原始LBP 的局部特性，同時(shí)也考慮到了全局信息。為了更好地說(shuō)明本文提出的全局和局部二值模式顯著圖算法，首先回顧一下旋轉(zhuǎn)不變LBP算法。該算法中，圖像上的任意像素點(diǎn)會(huì)與其相鄰的像素點(diǎn)集依次進(jìn)行比較計(jì)算LBP碼［14］：

圖1 裂紋自動(dòng)分割方法的框架

式中：C為L(zhǎng)BP碼；gt為目標(biāo)像素點(diǎn)pt的灰度值；gi為第i個(gè)相鄰像素點(diǎn)pi的灰度值；n表示相鄰像素點(diǎn)的總個(gè)數(shù)。

由此，得到旋轉(zhuǎn)不變LBP碼為

式中：IRC為旋轉(zhuǎn)不變LBP 碼；B2D 表示二進(jìn)制轉(zhuǎn)換為十進(jìn)制；D2B表示十進(jìn)制轉(zhuǎn)換為二進(jìn)制；Rot（x，j）表示對(duì)二進(jìn)制數(shù)值x執(zhí)行j次循環(huán)按位旋轉(zhuǎn)。

雖然旋轉(zhuǎn)不變LBP 描繪局部特征被應(yīng)用到紋理檢測(cè)中，但是這種特征結(jié)果用于缺陷檢測(cè)是困難的，因?yàn)槠錂z測(cè)結(jié)果受目標(biāo)像素點(diǎn)到相鄰像素點(diǎn)的距離r=的影響。當(dāng)r小于缺陷最短距離的1/2 或當(dāng)r遠(yuǎn)大于缺陷最短距離時(shí)，處在缺陷內(nèi)部的像素點(diǎn)和處在背景中的像素點(diǎn)的IRC 幾乎沒(méi)有區(qū)別，這樣會(huì)導(dǎo)致檢測(cè)結(jié)果出現(xiàn)較多假陰性和假陽(yáng)性。多數(shù)情況下，該算法只能檢測(cè)出粗糙的缺陷邊緣。

為了緩解這個(gè)問(wèn)題，本文提出了改進(jìn)的LBP 檢測(cè)方法，兼顧局部與全局信息來(lái)測(cè)量所有像素在4 個(gè)方向（即：水平，垂直以及兩個(gè)對(duì)角線）的變化，如圖2 所示，其中，綠色空心圓表示目標(biāo)像素；正方形框表示相鄰的像素，不同顏色的直線代表代表不同的方向。

備份和恢復(fù)：語(yǔ)料文獻(xiàn)數(shù)據(jù)的備份由數(shù)據(jù)庫(kù)自動(dòng)完成，語(yǔ)料文本的備份還需要更新數(shù)據(jù)庫(kù)中備份文件路徑的信息。并做一個(gè)鏡像文件到備份的磁盤(pán)中。根據(jù)需要可以隨時(shí)恢復(fù)備份了的語(yǔ)料文木。

圖2 改進(jìn)的LBP檢測(cè)方法示意圖

在每個(gè)方向中，目標(biāo)像素會(huì)與其所在方向均布的n個(gè)點(diǎn)進(jìn)行比較，比較的規(guī)則與原始的LBP 一致。在本文中，取n=8，圖像灰度范圍控制在［0，255］。這n個(gè)點(diǎn)的灰度值可由7 ×7 矩形領(lǐng)域灰度均值替代，由此可以降低噪聲的影響，同時(shí)將式（1）中的閾值常數(shù)值0設(shè)為1 個(gè)相對(duì)閾值TR，即：

式中：d表示上述的4 個(gè)方向，d=1 為左上對(duì)角線方向，d=2 為水平方向，d=3 為垂直方向，d=4 為左下對(duì)角線方向。

由此，每個(gè)目標(biāo)像素會(huì)有4 個(gè)IRCd值，即有4 幅不同方向的旋轉(zhuǎn)不變LBP檢測(cè)圖，如圖1（c）～1（f）所示。取其平均作為顯著圖，如圖1（g），記為S。從圖中可以看到，復(fù)雜的背景被過(guò)濾掉了，裂縫顯而易見(jiàn)，但仍然存在一些離散的噪聲，因而需要進(jìn)行第3 步裂紋分割與修正。

值得注意的是，上述相對(duì)閾值TR是由對(duì)比度增強(qiáng)后圖像的灰度直方圖確定的。如圖3 所示，首先鎖定最大的駝峰，為1 個(gè)類(lèi)高斯分布［15］

式中：μH為類(lèi)高斯曲線最大值所對(duì)應(yīng)的灰度值；σH為類(lèi)高斯曲線的標(biāo)準(zhǔn)差。

圖3 預(yù)處理后圖像的灰度直方圖

根據(jù)高斯分布可知，背景出現(xiàn)的概率在高斯分布的中部，而缺陷總是出現(xiàn)在其兩端，因此需要粗略計(jì)算背景灰度范圍。由圖3 可以看到，腰部以下的地方可能會(huì)受到噪聲影響，所以通過(guò)對(duì)類(lèi)高斯曲線求導(dǎo)，求得函數(shù)y最大值所對(duì)應(yīng)灰度值μH左邊部分一階導(dǎo)數(shù)為0 的位置（即μH-σH）。由于裂縫是暗缺陷，且認(rèn)為類(lèi)高斯分布是對(duì)稱的，只需計(jì)算左邊即可，然后令相對(duì)閾值TR=ασH。

式中：AReg表示某區(qū)域Reg 的像素個(gè)數(shù)；DReg表示區(qū)域中心到邊緣最大的距離。

若區(qū)域是個(gè)圓形，Cir =1；若區(qū)域有空洞或很長(zhǎng)，Cir ＜1。同時(shí)基于萬(wàn)有引力定律，認(rèn)為裂縫區(qū)域面積越大，其端點(diǎn)對(duì)附近點(diǎn)的影響范圍越大，即

式中：RReg表示區(qū)域的影響半徑；k是1 個(gè)變化系數(shù)。

綜合以上的特點(diǎn)，設(shè)計(jì)了如下裂縫分割程序：

2 實(shí)驗(yàn)與分析

本文提出了全局和局部二值模式裂縫自動(dòng)分割方法（GLBPCS）的性能評(píng)估，對(duì)照已公開(kāi)的裂縫數(shù)據(jù)集Crack Forest 1. 0（https：/ /github. com/cuilimeng/CrackForest）上圖像分別用可控證據(jù)濾波法（SEF 方法）［5］，寬度變換法（WT 方法）［6］，滲透算法（P 方法）［7］，改進(jìn)的U 型卷積神經(jīng)網(wǎng)絡(luò)法（Unet++方法）［13］進(jìn)行檢測(cè)并比較，性能指標(biāo)分別采用重合率Dc（即真實(shí)值與預(yù)測(cè)值的重合率），準(zhǔn)確率Pr（即正確缺陷像素個(gè)數(shù)占總預(yù)測(cè)缺陷值的比值）和召回率Re（即正確缺陷像素個(gè)數(shù)占總的真實(shí)缺陷值的比值）以及運(yùn)行時(shí)間來(lái)表示。

式中：TP表示真實(shí)值和預(yù)測(cè)值皆為缺陷的像素個(gè)數(shù)；FP表示真實(shí)值是背景但預(yù)測(cè)值是缺陷的像素個(gè)數(shù)；FN表示真實(shí)值是缺陷但預(yù)測(cè)值是背景的像素個(gè)數(shù)。

2.1 GLBPCS參數(shù)配置

圖4 不同方法對(duì)公開(kāi)裂縫數(shù)據(jù)集Crack Forest 1.0的檢測(cè)結(jié)果

Crack Forest 1.0 中包含118 張480 ×320 的三通道圖像，如圖4 所示，其中從上往下分別是原始圖（圖4（a1）～（a6）），真實(shí)值（圖4（b1）～（b6）），SEF（圖4（c1）～（c6）），WT（圖4（d1）～（d6）），P（圖4（e1）～（e6）），Unet++（圖4（f1）～（f6））和GLBPCS（圖4（g1）～（g6））的檢測(cè)結(jié)果。原始圖選取了不同樣式的裂縫形狀進(jìn)行分析，如圖4（a1）、圖4（a4）和圖4（a6）均為單支裂縫，圖4（a3）和圖4（a5）為多支裂縫，圖4（a2）為網(wǎng)狀裂縫。同時(shí)圖像中還包含了噪聲的影響，如圖4（a3）中存在油漆，圖4（a6）中存在油斑。由此，將數(shù)據(jù)集平均分為訓(xùn)練集和測(cè)試集，GLBPCS 采用自適應(yīng)的方法配置參數(shù)，具體為從訓(xùn)練集中任意選取5個(gè)樣本計(jì)算Dc來(lái)調(diào)節(jié)各參數(shù)取得較優(yōu)結(jié)果。程序自動(dòng)生成4 幅曲線圖，即閾值系數(shù)α，標(biāo)準(zhǔn)差系數(shù)λ，變化系數(shù)k，允許灰度變化范圍δ分別與重合率Dc的關(guān)系，如圖5 所示，程序自動(dòng)選取平均最大Dc所對(duì)應(yīng)的值，即α=3，λ=1，k= 7，δ=11，考慮到算法精度和運(yùn)行時(shí)間的平衡，k微調(diào)為5。

圖5 GLBPCS的參數(shù)自適應(yīng)配置

2.2 實(shí)驗(yàn)結(jié)果對(duì)比

實(shí)驗(yàn)結(jié)果從視覺(jué)比較和定量分析兩方面進(jìn)行評(píng)價(jià)：①SEF方法，如圖4（c1）～（c6）所示，該方法能夠檢測(cè)出各種裂縫的類(lèi)型，但其檢測(cè)效果受限于濾波核尺寸，當(dāng)核較大時(shí)該方法能檢測(cè)較寬的裂縫，當(dāng)核較小時(shí)其能檢測(cè)較窄的裂縫；②WT 方法，如圖4（d1）～（d6）所示，該方法檢測(cè)效果較差，幾乎無(wú)法辨識(shí)裂縫的特征，這是因?yàn)樵摲椒ㄒ蕾囘吘壧崛⌒Ч?，?duì)于裂縫與背景過(guò)渡平滑的位置，邊緣提取可能會(huì)失敗，導(dǎo)致邊緣點(diǎn)對(duì)尋找失敗或錯(cuò)誤；③P 方法，如圖4（e1）～（e6）所示，該方法對(duì)復(fù)雜背景中的缺陷提取效果一般，僅在背景較為純凈而且無(wú)太多噪聲干擾的情況下能取得較好的效果；④Unet ++方法，如圖4（f1）～（f6）所示，該方法基本能完全提取裂縫區(qū)域，主要得益于上百萬(wàn)的樣本參數(shù)，即使這樣也引入了較多的假陽(yáng)性區(qū)域；⑤本文提出的GLBPCS 方法，如圖4（g1）～（g6）所示，該方法能夠較好地檢測(cè)出裂縫的區(qū)域，而且不會(huì)引入過(guò)多假陽(yáng)性，主要是因?yàn)楦倪M(jìn)的LBP算法融合了全局與局部信息，加上修正算法中引入了萬(wàn)有引力理論和圓度特征，使得裂縫特征能夠較好地被提取。

圖6給出了不同裂縫檢測(cè)方法的定量分析結(jié)果。由于真實(shí)值是人為標(biāo)記，存在主觀因素，因而3 個(gè)指標(biāo)Dc、Pr、Re≥0.5 即認(rèn)為該算法檢測(cè)效果較好。從圖中可以看到，本文提出方法的3 個(gè)指標(biāo)均超過(guò)0.6，檢測(cè)效果優(yōu)于其他方法。雖然其檢測(cè)速度慢于SEF 方法和WT方法，但是還是能達(dá)到1 s內(nèi)在線檢測(cè)的要求。

圖6 不同方法檢測(cè)結(jié)果的定量分析柱狀圖

3 結(jié) 語(yǔ)

本文提出的混凝土結(jié)構(gòu)裂縫自動(dòng)分割方法，利用對(duì)數(shù)變換增強(qiáng)裂縫圖像的對(duì)比度，使得裂縫的暗部信息更加豐富；改進(jìn)了旋轉(zhuǎn)不變局部二值模式紋理特征，融合四方向的全局信息，生成裂縫顯著圖；最后，引入了萬(wàn)有引力定律，以及灰度和圓度特征對(duì)裂縫分割結(jié)果進(jìn)行修正，提高了分割精度。該方法能夠在光照不均和復(fù)雜紋理的背景中分割出裂縫區(qū)域，具有較好的魯棒性，且滿足在線檢測(cè)要求。然而，裂縫區(qū)域附近的噪聲還是難以完全過(guò)濾，這是下一步需要改進(jìn)的地方。