孟慶成　李明健　萬達(dá)　胡壘　吳浩杰　齊欣

摘要：針對(duì)主流深度學(xué)習(xí)裂縫分割算法消耗大量計(jì)算資源、傳統(tǒng)圖像處理方法檢測(cè)精度低、丟失裂縫特征等問題，為了實(shí)現(xiàn)對(duì)混凝土裂縫的實(shí)時(shí)檢測(cè)和在像素級(jí)水平上分割裂縫，提出一種基于輕量級(jí)卷積神經(jīng)絡(luò)M-Unet的裂縫語義分割模型，首先對(duì)MobileNet_V2輕量網(wǎng)絡(luò)進(jìn)行改進(jìn)，修剪其網(wǎng)絡(luò)結(jié)構(gòu)并優(yōu)化激活函數(shù)，再用改進(jìn)的MobileNet_V2替換U-Net參數(shù)量巨大的編碼器部分，以實(shí)現(xiàn)模型的輕量化并提升裂縫的分割效果。構(gòu)建包含5 160張裂縫圖像的SegCracks數(shù)據(jù)集對(duì)提出方法進(jìn)行驗(yàn)證，試驗(yàn)結(jié)果表明：優(yōu)化后的M-Unet裂縫分割效果優(yōu)于U-Net、FCN8和SegNet等主流分割網(wǎng)絡(luò)和傳統(tǒng)圖像處理技術(shù)，獲得的IoU_Score為96.10%，F(xiàn)1_Score為97.99%。與改進(jìn)前U-Net相比，M-Unet權(quán)重文件大小減少了7%，迭代一輪時(shí)間和預(yù)測(cè)時(shí)間分別縮短了63.3%和68.6%，IoU_Score和F1_Score分別提升了5.79%和3.14%，并且在不同開源數(shù)據(jù)集上的交叉驗(yàn)證效果良好。表明提出的網(wǎng)絡(luò)具有精度高、魯棒性好和泛化能力強(qiáng)等優(yōu)點(diǎn)。

關(guān)鍵詞：混凝土裂縫；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；裂縫檢測(cè)；裂縫分割

中圖分類號(hào)：TU755.7? ? ?文獻(xiàn)標(biāo)志碼：A? ? ?文章編號(hào)：2096-6717（2024）01-0215-08

Real-time segmentation algorithm of concrete cracks based on M-Unet

MENG Qingcheng1， LI Mingjian1， WAN Da1， HU Lei1， Wu Haojie1， QI xin2

（1. School of Civil Engineering and Geomatics， Southwest Petroleum University，Chengdu 610500；

2.School of Civil Engineering， Southwest Jiaotong University， Chengdu 610031）

Abstract： Mainstream deep learning algorithm for crack segmentation consumes a lot of computing resources while the traditional image processing methods are of low detection accuracy and lost crack features. In order to realize the real-time detection of concrete cracks and the segmentation of cracks at the pixel level， a crack semantic segmentation model based on lightweight convolutional neural network M-Unet is proposed. Firstly， the MobileNet_V2 lightweight network is improved， its network structure is trimmed and the activation function is optimized， and then the encoder part with huge parameters of U-Net is replaced by the improved MobileNet_V2 to realize the lightweight of the model and improve the segmentation effect of cracks. The SegCracks data set containing 5 160 crack images is constructed to verify the proposed method. The experimental results show that the crack segmentation effect of the optimized M-Unet is better than the mainstream segmentation networks of U-Net， FCN8 and SegNet and the traditional image processing techniques， the obtained IoU_Score is 96.10%， F1_Score is 97.99%. Compared with the original U-Net， the weight file size M-Unet is reduced by 7 %， the iteration time and prediction time are reduced by 63.3% and 68.6% respectively， and the IoU_Score and F1_Score are increased by 5.79 % and 3.14 % respectively. The cross validation results on different open source data sets are good， which shows that the proposed network has the advantages of high accuracy， good robustness and strong generalization ability.

Keywords： concrete cracks； convolutional neural network； deep learning； crack detection； crack segmentation

在混凝土自身材料特性影響及多重因素作用下，混凝土結(jié)構(gòu)服役期間會(huì)不可避免地產(chǎn)生裂縫。裂縫是混凝土結(jié)構(gòu)病害的一種初期表現(xiàn)，若初期裂縫得不到即時(shí)修補(bǔ)，在外力的作用下，裂縫的長(zhǎng)度、寬度、深度會(huì)不斷地增加，使得混凝土構(gòu)件的有效截面面積減小，承載力降低，繼而可能會(huì)導(dǎo)致事故的發(fā)生[1]。早期的裂縫檢測(cè)主要是人工檢測(cè)方法，人工檢測(cè)可以直接對(duì)裂縫的特征進(jìn)行判斷，較為簡(jiǎn)便靈活，但人工檢測(cè)的結(jié)果受限于主觀判斷，依賴檢測(cè)人員的經(jīng)驗(yàn)儲(chǔ)備，且人力物力消耗大，容易發(fā)生安全事故，導(dǎo)致人工檢測(cè)難以完成大量的裂縫檢測(cè)任務(wù)[2]。后來出現(xiàn)了基于傳統(tǒng)圖像處理技術(shù)的裂縫檢測(cè)方法，常見的有基于閾值的裂縫圖像分割方法和邊緣檢測(cè)方法[3]。傳統(tǒng)圖像處理技術(shù)促進(jìn)了混凝土裂縫檢測(cè)技術(shù)的發(fā)展，取得了一定的成就，但在解決復(fù)雜裂縫以及背景噪聲多的圖像時(shí)，傳統(tǒng)圖像處理技術(shù)存在較多的局限性，使其無法獲得穩(wěn)定的檢測(cè)結(jié)果，無法適應(yīng)復(fù)雜的實(shí)際場(chǎng)景[4]。

深度學(xué)習(xí)（Deep Learning，DL）算法具有強(qiáng)大的特征提取能力，早期受限于計(jì)算機(jī)硬件設(shè)備的性能而沒有得到普遍的應(yīng)用[5]。隨著計(jì)算機(jī)硬件設(shè)備性能的提升和現(xiàn)代科技的飛速發(fā)展，深度學(xué)習(xí)算法的應(yīng)用得到了普及并促進(jìn)了圖像識(shí)別技術(shù)的發(fā)展。深度學(xué)習(xí)算法是一種包含多隱含層和多感知層的網(wǎng)絡(luò)結(jié)構(gòu)，相比于傳統(tǒng)算法能更好地描述物體抽象的和深層次的信息，在圖像識(shí)別領(lǐng)域表現(xiàn)突出，因此越來越多的科研人員將其應(yīng)用于結(jié)構(gòu)損傷檢測(cè)任務(wù)中[6]。胡文魁等[7]針對(duì)傳統(tǒng)方法去除裂縫圖像噪聲不明顯以及輸出結(jié)果中裂縫不連續(xù)的問題提出一種BCI-AS方法，在像素級(jí)水平上的裂縫分割精度達(dá)到了94.45%。李良福等[8]先利用滑動(dòng)窗口算法對(duì)裂縫圖像切割成多個(gè)區(qū)域，再用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）對(duì)切割后圖像分類，最后用改進(jìn)的滑動(dòng)窗口算法檢測(cè)裂縫，取得良好的檢測(cè)效果。Liu等[9]采用U-Net方法識(shí)別混凝土裂縫，與全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）相比，該方法的效率更高、準(zhǔn)確性更好，但存在邊緣平滑、細(xì)節(jié)丟失的問題。Ren等[10]提出了一種改進(jìn)的深度全卷積網(wǎng)絡(luò) CrackSegNet，可有效地消除噪聲的干擾，可從復(fù)雜背景的裂縫圖像中執(zhí)行端到端的裂縫分割。Xue等[11]提出基于R-FCN的隧道襯砌裂縫圖像檢測(cè)方法，獲得了比GoogLeNet和VGG等模型更好的檢測(cè)效果。王森等[12]提出一種深度全卷積神經(jīng)網(wǎng)絡(luò)用于裂縫圖像的分割，該算法準(zhǔn)確率達(dá)92.46%，但沒有用其他數(shù)據(jù)對(duì)算法的有效性進(jìn)行測(cè)試，缺乏對(duì)模型泛化能力的驗(yàn)證。

上述網(wǎng)絡(luò)模型均取得了較好的裂縫分割效果，但所需的計(jì)算量大、缺乏對(duì)裂縫分割速度的考慮，在裂縫檢測(cè)量巨大和設(shè)備計(jì)算資源有限的前提下，難以滿足裂縫檢測(cè)實(shí)時(shí)性的要求。提出一種結(jié)合改進(jìn)的MobileNet_V2輕量網(wǎng)絡(luò)和U-Net網(wǎng)絡(luò)的裂縫語義分割模型M-Unet，利用改進(jìn)的MobileNet_V2網(wǎng)絡(luò)替換U-Net網(wǎng)絡(luò)的下采樣部分，減少參數(shù)量，達(dá)到網(wǎng)絡(luò)輕量化的效果，并設(shè)置多組對(duì)比實(shí)驗(yàn)以驗(yàn)證方法的有效性。

1 數(shù)據(jù)集的制作

1.1 采集裂縫圖像

圖像采集于已投入使用的包括橋梁、擋土墻、大壩和隧道等各種混凝土結(jié)構(gòu)，經(jīng)過一周的采集，共計(jì)采集到1 226張分辨率為4 032×3 024的三通道RGB原始混凝土裂縫圖像。為了讓網(wǎng)絡(luò)學(xué)習(xí)到更多不同背景噪聲條件下的裂縫特征，反映混凝土結(jié)構(gòu)在服役期間所處的真實(shí)環(huán)境，采集到的裂縫圖像包含了不同時(shí)間段、不同光照條件、不同污漬情況、不同清晰度等情況的圖像，采集到的部分裂縫圖像如圖1所示。

1.2 圖像標(biāo)注及增強(qiáng)

從1 226張裂縫圖像中挑選出250張效果較好的裂縫圖像，利用語義分割標(biāo)注軟件Labelme對(duì)250張裂縫圖像進(jìn)行標(biāo)注，標(biāo)注過程如圖2所示，不同于目標(biāo)檢測(cè)任務(wù)中的數(shù)據(jù)標(biāo)注，在目標(biāo)檢測(cè)中對(duì)圖像數(shù)據(jù)的標(biāo)注僅需用矩形框?qū)⒛繕?biāo)區(qū)域框住，而在語義分割任務(wù)的圖像標(biāo)注過程中，需要將裂縫圖像放大，并沿著目標(biāo)的輪廓逐點(diǎn)標(biāo)注，實(shí)現(xiàn)亞像素級(jí)別的裂縫標(biāo)注，標(biāo)注點(diǎn)間的線寬與裂縫尺寸相比是微不足道的，不會(huì)對(duì)裂縫幾何尺寸測(cè)量造成影響。將所有標(biāo)注點(diǎn)閉合成環(huán)即完成對(duì)裂縫的標(biāo)注，閉合區(qū)域以外的其他區(qū)域?yàn)楸尘皡^(qū)域。

對(duì)標(biāo)注后的裂縫圖像進(jìn)行切分，將每一張裂縫圖像切分成分辨率大小為512×512的不重疊區(qū)域，并從中剔除缺乏裂縫特征的圖像。使用Labelme標(biāo)注的圖像會(huì)生成記錄標(biāo)注過程中關(guān)鍵點(diǎn)位置信息的json文件，但json文件并不能作為裂縫語義分割網(wǎng)絡(luò)訓(xùn)練所需的直接數(shù)據(jù)，為了將其用于訓(xùn)練，通過編寫的Python腳本將json文件中的位置信息轉(zhuǎn)換為可直接訓(xùn)練的掩碼位圖GroundTruth圖像，圖3為轉(zhuǎn)換后的部分圖像。

對(duì)標(biāo)注好的裂縫圖像進(jìn)行數(shù)據(jù)增強(qiáng)，使用數(shù)據(jù)擴(kuò)增工具Augmentor對(duì)裂縫數(shù)據(jù)集擴(kuò)增操作，如旋轉(zhuǎn)、放大、扭曲等，最終得到5 160張帶有掩碼位圖的裂縫圖像，將數(shù)據(jù)集命名為SegCracks，將SegCracks按7∶2∶1劃分成訓(xùn)練集、驗(yàn)證集和測(cè)試集。

2 M-Unet裂縫語義分割網(wǎng)絡(luò)

2.1 改進(jìn)的MobileNet_V2網(wǎng)絡(luò)

MobileNet_V2[13]是一種適用于移動(dòng)設(shè)備的輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)，其核心是采用反向殘差的深度可分卷積代替了普通卷積，使用深度可分卷積可顯著降低網(wǎng)絡(luò)計(jì)算復(fù)雜度，減少參數(shù)量。MobileNet_V2在網(wǎng)絡(luò)訓(xùn)練中使用的激活函數(shù)為ReLU6，并采用批量標(biāo)準(zhǔn)化Batch Normalization和Dropout操作，以達(dá)到加快網(wǎng)絡(luò)收斂速度和防止過擬合現(xiàn)象。對(duì)MobileNet_V2的改進(jìn)主要有以下兩方面。

一是對(duì)網(wǎng)絡(luò)結(jié)構(gòu)層進(jìn)行修剪，減少線性瓶頸結(jié)構(gòu)bottleneck的重復(fù)次數(shù)，以減少網(wǎng)絡(luò)復(fù)雜度并且進(jìn)一步輕量化模型，改進(jìn)后的MobileNet_V2網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

二是優(yōu)化了原始網(wǎng)絡(luò)的激活函數(shù)。激活函數(shù)是神經(jīng)網(wǎng)絡(luò)處理非線性問題的關(guān)鍵，在MobileNet_V2網(wǎng)絡(luò)中使用的是ReLU6激活函數(shù)，函數(shù)圖像如圖4（a）所示，雖然ReLU6激活函數(shù)可以顯著提高網(wǎng)絡(luò)非線性映射能力，但由其函數(shù)圖象也可看出，當(dāng)x<0時(shí)，激活函數(shù)的梯度為零，并且在其后面的神經(jīng)元梯度也將變?yōu)榱?，神?jīng)元壞死后不會(huì)對(duì)傳入的數(shù)據(jù)響應(yīng)，參數(shù)也得不到更新。因此，對(duì)原網(wǎng)絡(luò)激活函數(shù)進(jìn)行優(yōu)化，引入LeakeyReLU激活函數(shù)，其表達(dá)式如式（1）所示，其函數(shù)圖像如圖4（b）所示。與ReLU6激活函數(shù)相比，使用LeakeyReLU不僅能有效解決ReLU6梯度消失和神經(jīng)元壞死等問題，而且因其函數(shù)圖象左側(cè)的軟飽和性使其具備更強(qiáng)的噪聲干擾抵抗能力。

（1）

式中：α為偏移量，默認(rèn)值為0.01。

2.2 M-Unet網(wǎng)絡(luò)

U-Net[14]網(wǎng)絡(luò)主要是由左邊的壓縮路徑和右邊的擴(kuò)展路徑兩部分組成，是一種典型的編碼-解碼結(jié)構(gòu)，如圖5所示。壓縮路徑由3×3的卷積層和2×2的池化層組成，主要用于對(duì)裂縫圖像特征信息的逐層提取和壓縮，而擴(kuò)展路徑由卷積層和反卷積層組成，用于還原裂縫圖像特征的位置信息，從而實(shí)現(xiàn)端到端的裂縫檢測(cè)。U-Net網(wǎng)絡(luò)的壓縮路徑在池化操作前都會(huì)自動(dòng)保存裂縫特征圖像，并以跳躍連接的方式將裂縫圖像特征傳輸給對(duì)應(yīng)的擴(kuò)展路徑部分，這樣可以有效彌補(bǔ)因池化操作而丟失的裂縫特征信息。

U-Net網(wǎng)絡(luò)的下采樣部分通常是參數(shù)量很大的VGG16網(wǎng)絡(luò)，在裂縫分割任務(wù)中會(huì)消耗大量的計(jì)算資源，難以滿足在實(shí)際工程應(yīng)用中的實(shí)時(shí)性要求。輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MobileNet_V2的模型參數(shù)量?jī)H為VGG16網(wǎng)絡(luò)的1/41，為了進(jìn)一步降低對(duì)設(shè)備性能的要求和提高裂縫語義分割速度，對(duì)U-Net網(wǎng)絡(luò)進(jìn)行優(yōu)化，采用改進(jìn)后MobileNet_V2網(wǎng)絡(luò)替換U-Net網(wǎng)絡(luò)的下采樣部分，以實(shí)現(xiàn)模型的輕量化、減少計(jì)算復(fù)雜度并提高裂縫的語義分割效果，將優(yōu)化后的輕量級(jí)語義分割網(wǎng)絡(luò)命名為M-Unet。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)硬件環(huán)境為第10代英特爾處理器i7-10700，32 GB的運(yùn)行內(nèi)存，NVIDIA GeForce RTX 2060顯卡，顯存為6 GB。軟件環(huán)境為64位Windows 10操作系統(tǒng)，使用高級(jí)程序設(shè)計(jì)語言Python，在深度學(xué)習(xí)框架Pytorch下運(yùn)行。

實(shí)驗(yàn)使用的數(shù)據(jù)集為SegCracks數(shù)據(jù)集，經(jīng)過超參數(shù)的調(diào)優(yōu)，最終選取批量大小為4、Adam自適應(yīng)學(xué)習(xí)率優(yōu)化器和指數(shù)衰減學(xué)習(xí)率的組合。共設(shè)置4組實(shí)驗(yàn)：第1組實(shí)驗(yàn)為對(duì)比3種損失函數(shù)，選取1種最適用于裂縫語義分割任務(wù)的損失函數(shù)；第2組實(shí)驗(yàn)是對(duì)提出的M-Unet網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，通過多種指標(biāo)對(duì)網(wǎng)絡(luò)的性能進(jìn)行分析；第3組實(shí)驗(yàn)是將M-Unet網(wǎng)絡(luò)與3種主流的深度學(xué)習(xí)語義分割網(wǎng)絡(luò)和傳統(tǒng)圖像處理方法的裂縫分割結(jié)果進(jìn)行對(duì)比分析，以驗(yàn)證提出方法的有效性；第4組實(shí)驗(yàn)是為驗(yàn)證網(wǎng)絡(luò)的泛化能力，在CFD[15]、CRACK500[16]、GAPS384[17]3個(gè)開源數(shù)據(jù)集進(jìn)行交叉驗(yàn)證。

3.2 模型性能評(píng)價(jià)指標(biāo)

通常情況下，單一的準(zhǔn)確率評(píng)判標(biāo)準(zhǔn)不一定能全面反映網(wǎng)絡(luò)的裂縫分割效果，為更加全面準(zhǔn)確地評(píng)估網(wǎng)絡(luò)性能而引入混淆矩陣?；煜仃囀且环N可視化工具，其中每一行表示網(wǎng)絡(luò)預(yù)測(cè)值，每一列表示真實(shí)值，通過將網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果和真實(shí)結(jié)果放在同一個(gè)表中，混淆矩陣能清楚地表示出每個(gè)類別識(shí)別正確和錯(cuò)誤的數(shù)量，如表2所示。由混淆矩陣可以定義裂縫語義分割網(wǎng)絡(luò)的重要評(píng)價(jià)指標(biāo)，包括交并比（IoU）、精確率（Precision）、召回率（Recall）和F1_Score，其值越高，表示網(wǎng)絡(luò)的裂縫語義分割越好、綜合性能越優(yōu)，計(jì)算公式如式（2）～式（5）。

（5）

式中：TP、FP、FN分別為表2中的TP、FP、FN；I為模型的預(yù)測(cè)窗口與原來標(biāo)記窗口的交疊率，是語義分割中常用的一種度量標(biāo)準(zhǔn)；Pr為正確預(yù)測(cè)為裂縫占全部預(yù)測(cè)為裂縫的比值；R為正確預(yù)測(cè)為裂縫占全部實(shí)際為裂縫的比值；F1為精確率和召回率的調(diào)和指標(biāo)。

3.3 損失函數(shù)的選取

損失函數(shù)用于衡量預(yù)測(cè)值和真實(shí)值之間的誤差，其決定了網(wǎng)絡(luò)的訓(xùn)練方法，在網(wǎng)絡(luò)訓(xùn)練優(yōu)化過程中起指導(dǎo)性作用，可通過損失函數(shù)的反饋來調(diào)整和改進(jìn)模型的權(quán)重系數(shù)。第1組實(shí)驗(yàn)是對(duì)比語義分割領(lǐng)域常用的Dice Loss、BCE Loss和BCEWithLogits Loss損失函數(shù)的性能，在其余參數(shù)相同的情況下，經(jīng)過10輪的迭代，3種損失函數(shù)的訓(xùn)練集損失曲線如圖6所示、驗(yàn)證集損失曲線如7所示?？梢钥闯觯谟?xùn)練集損失曲線圖中，選用不同損失函數(shù)的損失值隨著迭代次數(shù)不斷增加而逐漸降低，網(wǎng)絡(luò)逐漸收斂。在驗(yàn)證集損失曲線圖中，選用Dice Loss損失函數(shù)的模型損失值明顯小于其余兩種，對(duì)網(wǎng)絡(luò)的優(yōu)化有更好的指導(dǎo)作用。因此，選用Dice Loss作為搭建網(wǎng)絡(luò)的損失函數(shù)。

3.4 測(cè)試模型性能

采用構(gòu)建的SegCracks數(shù)據(jù)集對(duì)搭建的M-Unet網(wǎng)絡(luò)進(jìn)行訓(xùn)練，經(jīng)過50次迭代后，網(wǎng)絡(luò)損失值變化曲線如圖8所示，可以看出，迭代35次以后損失值變化波動(dòng)趨于穩(wěn)定，網(wǎng)絡(luò)開始收斂，且驗(yàn)證集準(zhǔn)確率小于訓(xùn)練集準(zhǔn)確率，未產(chǎn)生過擬合現(xiàn)象。IoU_Score變化曲線和F1_Score變化曲線如圖9和圖10所示，量化結(jié)果如表3所示，提出的網(wǎng)絡(luò)在訓(xùn)練集和驗(yàn)證集上獲得的IoU_Score分別為97.34%和96.10%，F(xiàn)1_Score分別為98.65%和97.99%，在SegCracks數(shù)據(jù)集上取得了較好的裂縫分割結(jié)果，表明所提出的網(wǎng)絡(luò)模型具有良好的性能。使用完成訓(xùn)練后保存的最優(yōu)網(wǎng)絡(luò)權(quán)重對(duì)測(cè)試集進(jìn)行測(cè)試，結(jié)果表明分割一張裂縫圖像所需時(shí)間為0.211 s，滿足了實(shí)際工程應(yīng)用中對(duì)實(shí)時(shí)性的要求。

3.5 不同模型性能對(duì)比

將搭建的M-Unet網(wǎng)絡(luò)與U-Net、FCN8和SegNet主流語義分割網(wǎng)絡(luò)模型進(jìn)行對(duì)比分析，采用建立的數(shù)據(jù)集進(jìn)行訓(xùn)練，經(jīng)過50次迭代后4種網(wǎng)絡(luò)的評(píng)價(jià)指標(biāo)如表4所示，模型權(quán)重文件大小和每輪迭代所需時(shí)間如圖11所示。由圖11可知，F(xiàn)CN8網(wǎng)絡(luò)模型權(quán)重文件較大且運(yùn)行時(shí)間長(zhǎng)，難以應(yīng)用于現(xiàn)場(chǎng)檢測(cè)移動(dòng)端平臺(tái)并滿足實(shí)時(shí)檢測(cè)的需求，SegNet網(wǎng)絡(luò)雖然權(quán)重文件最小，但其迭代時(shí)間和預(yù)測(cè)時(shí)間均比M-Unet網(wǎng)絡(luò)長(zhǎng)，且裂縫分割效果不如U-Net網(wǎng)絡(luò)和M-Unet網(wǎng)絡(luò)。搭建的網(wǎng)絡(luò)迭代時(shí)間最短，相比于U-Net網(wǎng)絡(luò)，由于M-Unet網(wǎng)絡(luò)采用改進(jìn)后的MobileNet_V2替換了原U-Net網(wǎng)絡(luò)中參數(shù)量巨大的下采樣部分，使得權(quán)重文件大小減少了7%，迭代時(shí)間縮短63.3%。

由表4可以看出，在4個(gè)網(wǎng)絡(luò)模型中， M-Unet網(wǎng)絡(luò)在訓(xùn)練集和驗(yàn)證集上的IoU_Score和F1_Score均最高，網(wǎng)絡(luò)損失值最小，對(duì)裂縫的語義分割效果最好，且對(duì)裂縫的預(yù)測(cè)時(shí)間最短，分割一張裂縫的時(shí)間僅為SegNet的43.88%、U-Net的31.40%、FCN8的13.38%。與未改進(jìn)的U-Net網(wǎng)絡(luò)相比，M-Unet網(wǎng)絡(luò)在測(cè)試集上分割一張裂縫圖像時(shí)間僅需0.211 s，比U-Net縮短了68.6%，且IoU_Score和F1_Score有較大的提升，在訓(xùn)練集上分別提升2.94%和1.55%，在驗(yàn)證集上分別提升5.79%和3.14%。綜上，M-Unet網(wǎng)絡(luò)在實(shí)現(xiàn)模型輕量化的同時(shí)提升了對(duì)裂縫的分割精度，驗(yàn)證了改進(jìn)方法的有效性。

除與幾種主流深度學(xué)習(xí)語義分割網(wǎng)絡(luò)進(jìn)行對(duì)比外，還將傳統(tǒng)圖像處理方法中基于Prewitt算子、Canny算子、Sobel算子3種邊緣檢測(cè)方法[18]以及大津閾值法Otsu[19]與網(wǎng)絡(luò)分割結(jié)果進(jìn)行對(duì)比分析，不同方法的裂縫分割效果如圖12所示。由圖12可以看出，傳統(tǒng)圖像處理方法受噪聲影響較大，分割結(jié)果中噪聲干擾點(diǎn)較多，其中大津閾值法Otsu受噪聲和光照不均的影響最大，只能分割出部分裂縫，漏檢問題較嚴(yán)重，難以滿足實(shí)際需求?；谶吘墮z測(cè)方法能分割出裂縫大致形狀，分割效果優(yōu)于大津閾值法，但抵抗噪聲能力差，分割結(jié)果中也存在較多噪聲點(diǎn)，裂縫分割效果一般。其中基于Canny算子在分割細(xì)小的裂縫時(shí)難以保證裂縫邊緣的連續(xù)性，存在部分漏檢問題。相比于以上4種傳統(tǒng)圖像處理裂縫分割方法，基于深度學(xué)習(xí)的M-Unet網(wǎng)絡(luò)通過堆疊多層卷積層，可更好地提取裂縫更抽象的和更高層的特征，能夠獲得豐富的裂縫信息，且具有較強(qiáng)的去噪能力，提出的M-Unet網(wǎng)絡(luò)分割結(jié)果中僅有極少量的噪聲干擾點(diǎn)，且裂縫的連續(xù)性好，邊緣分割結(jié)果清晰，表明該方法具有比傳統(tǒng)圖像處理方法更好的裂縫語義分割效果。

3.6 不同數(shù)據(jù)集上交叉驗(yàn)證

為進(jìn)一步驗(yàn)證網(wǎng)絡(luò)的性能，在CFD、CRACK500和GAPS384三個(gè)開源數(shù)據(jù)集上進(jìn)行交叉驗(yàn)證。3個(gè)數(shù)據(jù)集上包含多種不同背景，不同噪聲和不同形態(tài)特征的裂縫，契合混凝土結(jié)構(gòu)服役運(yùn)營(yíng)期間所處的實(shí)際環(huán)境。M-Unet網(wǎng)絡(luò)在3種不同數(shù)據(jù)集上的模型評(píng)價(jià)指標(biāo)如表5所示，其中IoU_Score均達(dá)到了97%以上，F(xiàn)1_Score均達(dá)到了98%以上，表明優(yōu)化后的M-Unet網(wǎng)絡(luò)在新的數(shù)據(jù)集上也能獲得很高的裂縫分割精度，具有良好的魯棒性和泛化能力，可滿足實(shí)際工程對(duì)裂縫檢測(cè)的需求。

4 結(jié)論

針對(duì)混凝土結(jié)構(gòu)裂縫檢測(cè)量大、噪聲干擾多和檢測(cè)時(shí)間較長(zhǎng)等問題，提出M-Unet輕量級(jí)裂縫語義分割網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)混凝土裂縫圖像在像素級(jí)上的分類，并進(jìn)行多組對(duì)比實(shí)驗(yàn)，得出以下結(jié)論：

1）構(gòu)建包含5 160張裂縫圖像的SegCracks數(shù)據(jù)集，并基于此訓(xùn)練集對(duì)M-Unet網(wǎng)絡(luò)迭代優(yōu)化，優(yōu)化后的M-Unet網(wǎng)絡(luò)獲得IoU_Score為96.10%，F(xiàn)1_Score為97.99%，對(duì)裂縫的分割效果優(yōu)于主流語義分割網(wǎng)絡(luò)U-Net、FCN8和SegNet，且在保持高檢測(cè)精度的同時(shí)大幅降低模型權(quán)重文件體量和減少裂縫分割時(shí)間。

2）M-Unet通過將改進(jìn)MobileNet_V2輕量級(jí)網(wǎng)絡(luò)替換U-Net的編碼器部分，與原始U-Net相比，在實(shí)現(xiàn)模型輕量化的同時(shí)提高裂縫的分割精度，使得權(quán)重文件大小減少了7%，迭代一輪時(shí)間縮短63.3%，預(yù)測(cè)時(shí)間縮短68.6%，在驗(yàn)證集上獲得的IoU_Score和F1_Score分別提升5.79%和3.14%，證明了改進(jìn)方法的有效性。

3）與傳統(tǒng)的圖像處理方法相比，提出的M-Unet網(wǎng)絡(luò)對(duì)混凝土裂縫語義分割具有更強(qiáng)的抗噪性，且裂縫分割結(jié)果連續(xù)性好，邊緣清晰，很好地契合了裂縫的實(shí)際走向和形狀。

4）將M-Unet網(wǎng)絡(luò)在CFD、CRACK500和GAPS384三個(gè)開源數(shù)據(jù)集上進(jìn)行交叉驗(yàn)證，獲得的IoU_Score均達(dá)到了97%以上，F(xiàn)1_Score均達(dá)到了98%以上，表明搭建的網(wǎng)絡(luò)具有精度高、魯棒性好和泛化能力強(qiáng)等優(yōu)點(diǎn)。

參考文獻(xiàn)

[1]? LI Y， ZHANG J H， GUAN Z G， et al. Experimental study on the correlation between crack width and crack depth of RC beams [J]. Materials， 2021， 14（20）： 5950.

[2]? 舒江鵬， 李俊， 馬亥波， 等. 基于特征金字塔網(wǎng)絡(luò)的超大尺寸圖像裂縫識(shí)別檢測(cè)方法[J]. 土木與環(huán)境工程學(xué)報(bào)（中英文）， 2022， 44（3）： 29-36.

SHU J P， LI J， MA H B， et al. Crack detection method based on feature pyramid network for super large-scale images [J]. Journal of Civil and Environmental Engineering， 2022， 44（3）： 29-36. （in Chinese）

[3]? DONG J X， LIU J H， WANG N N， et al. Intelligent segmentation and measurement model for asphalt road cracks based on modified mask R-CNN algorithm [J]. Computer Modeling in Engineering & Sciences， 2021， 128（2）： 541-564.

[4]? ZHANG L X， SHEN J K， ZHU B J. A research on an improved Unet-based concrete crack detection algorithm [J]. Structural Health Monitoring， 2020， 20（4）： 1864-1879.

[5]? ZHAO Z Q， ZHENG P， XU S T， et al. Object detection with deep learning： A review [J]. IEEE Transactions on Neural Networks and Learning Systems， 2019， 30（11）： 3212-3232.

[6]? CHA Y J， CHOI W， SUH G， et al. Autonomous structural visual inspection using region-based deep learning for detecting multiple damage types [J]. Computer-Aided Civil and Infrastructure Engineering， 2018， 33（9）： 731-747.

[7]? 胡文魁， 鄧暉， 付志旭， 等. 基于全卷積神經(jīng)網(wǎng)絡(luò)的橋梁裂縫分割和測(cè)量方法[J]. 工業(yè)建筑， 2022， 52（4）： 192-201， 218.

HU W K， DENG H， FU Z X， et al. Bridge crack segmentation and measurement method based on full convolutional neural network [J]. Industrial Construction， 2022， 52（4）： 192-201， 218. （in Chinese）

[8]? 李良福， 馬衛(wèi)飛， 李麗， 等. 基于深度學(xué)習(xí)的橋梁裂縫檢測(cè)算法研究[J]. 自動(dòng)化學(xué)報(bào)， 2019， 45（9）： 1727-1742.

LI L F， MA W F， LI L， et al. Research on detection algorithm for bridge cracks based on deep learning [J]. Acta Automatica Sinica， 2019， 45（9）： 1727-1742. （in Chinese）

[9]? LIU Z Q， CAO Y W， WANG Y Z， et al. Computer vision-based concrete crack detection using U-net fully convolutional networks [J]. Automation in Construction， 2019， 104： 129-139.

[10]? REN Y P， HUANG J S， HONG Z Y， et al. Image-based concrete crack detection in tunnels using deep fully convolutional networks [J]. Construction and Building Materials， 2020， 234： 117367.

[11]? XUE Y D， LI Y C. A fast detection method via region-based fully convolutional neural networks for shield tunnel lining defects [J]. Computer-Aided Civil and Infrastructure Engineering， 2018， 33（8）： 638-654.

[12]? 王森， 伍星， 張印輝， 等. 基于深度學(xué)習(xí)的全卷積網(wǎng)絡(luò)圖像裂紋檢測(cè)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2018， 30（5）： 859-867.

WANG S， WU X， ZHANG Y H， et al. Image crack detection with fully convolutional network based on deep learning [J]. Journal of Computer-Aided Design ＆ Computer Graphics， 2018， 30（5）： 859-867. （in Chinese）

[13]? SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： Inverted residuals and linear bottlenecks [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA. IEEE， 2018： 4510-4520.

[14]? 朱蘇雅， 杜建超， 李云松， 等. 采用U-Net卷積網(wǎng)絡(luò)的橋梁裂縫檢測(cè)方法[J]. 西安電子科技大學(xué)學(xué)報(bào)， 2019， 46（4）： 35-42.

ZHU S Y， DU J C， LI Y S， et al. Method for bridge crack detection based on the U-Net convolutional networks [J]. Journal of Xidian University， 2019， 46（4）： 35-42. （in Chinese）

[15]? LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（2）： 318-327.

[16]? YANG F， ZHANG L， YU S J， et al. Feature pyramid and hierarchical boosting network for pavement crack detection [J]. IEEE Transactions on Intelligent Transportation Systems， 2020， 21（4）： 1525-1535.

[17]? EISENBACH M， STRICKER R， SEICHTER D， et al. How to get pavement distress detection ready for deep learning？ A systematic approach [C]//2017 International Joint Conference on Neural Networks （IJCNN）. Anchorage， AK， USA. IEEE， 2017： 2039-2047.

[18]? DORAFSHAN S， THOMAS R J， MAGUIRE M. Comparison of deep convolutional neural networks and edge detectors for image-based crack detection in concrete [J]. Construction and Building Materials， 2018， 186： 1031-1045.

[19]? CHEN X L， LI J， HUANG S W， et al. An automatic concrete crack-detection method fusing point clouds and images based on improved otsu's algorithm [J]. Sensors， 2021， 21（5）： 1581.

（編輯? 胡英奎）

DOI： 10.11835/j.issn.2096-6717.2022.079

收稿日期：2022?05?04

基金項(xiàng)目：國(guó)家自然科學(xué)基金（52078442）；四川省科技計(jì)劃（2021YJ0038）

作者簡(jiǎn)介：孟慶成（1980- ），男，博士，主要從事橋梁結(jié)構(gòu)健康監(jiān)測(cè)與損傷識(shí)別研究，E-mail：214400395@qq.com。

Received： 2022?05?04

Foundation items： National Natural Science Foundation of China （No. 52078442）： Science and Technology Program of Sichuan Province （No. 2021YJ0038）

Author brief： MENG Qingcheng （1980- ）， PhD， main research interests： bridge structure health monitoring and damage identification， E-mail： 214400395@qq.com.