喬 攀, 潘存治, 張萌萌

(1.石家莊鐵道大學(xué) 機(jī)械工程學(xué)院,河北 石家莊 050043;2.石家莊鐵道大學(xué) 交通運(yùn)輸學(xué)院,河北 石家莊 050043)

0 引言

截至2022年末,中國(guó)高鐵運(yùn)營(yíng)里程超過40 000 km,目前大多數(shù)高鐵線路都采用“以橋代路”的方式進(jìn)行修建[1]。因此橋梁結(jié)構(gòu)在高鐵線路中占據(jù)了較大的比例,高鐵橋梁的健康狀況成為保障行車安全和橋梁可靠性的關(guān)鍵因素。傳統(tǒng)的人工檢測(cè)方法存在效率低、成本高和人為主觀因素等問題;傳統(tǒng)數(shù)字圖像處理技術(shù)在處理橋梁結(jié)構(gòu)裂縫時(shí),由于裂縫的形態(tài)和尺度比較復(fù)雜、存在噪聲干擾和光照變化等因素,處理效果難以滿足工程需求[2]。

近年來,隨著機(jī)器學(xué)習(xí)和人工智能技術(shù)的發(fā)展,基于深度學(xué)習(xí)的圖像處理方法逐漸興起,并取得了很好的效果[3-4]。深度學(xué)習(xí)和機(jī)器視覺在高鐵橋梁裂縫檢測(cè)中具有更高的準(zhǔn)確性、更強(qiáng)的魯棒性、更高的實(shí)時(shí)性和更強(qiáng)的泛化能力,結(jié)合裂縫識(shí)別、分割、寬度測(cè)量等方法,實(shí)現(xiàn)高鐵橋梁裂縫的自動(dòng)檢測(cè)[5]和量化[6],為高鐵橋梁的安全監(jiān)測(cè)和維護(hù)提供更加可靠和高效的技術(shù)手段。

裂縫識(shí)別定位和裂縫分割是基于深度學(xué)習(xí)的裂縫檢測(cè)系統(tǒng)的兩大主要任務(wù)。REDMON et al[7]提出了YOLOv3算法,該算法對(duì)YOLO和YOLOv2進(jìn)一步改進(jìn),升級(jí)了網(wǎng)絡(luò)結(jié)構(gòu),提升了對(duì)小目標(biāo)的檢測(cè)能力。ZHANG et al[8]對(duì)YOLOv3進(jìn)行改進(jìn)用于實(shí)現(xiàn)橋面裂縫的檢測(cè),實(shí)現(xiàn)了高準(zhǔn)確率實(shí)時(shí)檢測(cè)橋面裂縫。SHU et al[9]將YOLOv5運(yùn)用到裂縫檢測(cè)中,相較于YOLOv3檢測(cè)效果更好,其識(shí)別精度與效率以及網(wǎng)絡(luò)的靈活性都得到大幅提升。李怡靜等[10]提出一種改進(jìn)U2-Net的裂縫檢測(cè)方法,將深度可分離卷積和擴(kuò)張卷積融入U(xiǎn)2-Net語義分割模型,提升了模型對(duì)微小裂縫的預(yù)測(cè)效果,提升了識(shí)別精確率。

1 高鐵橋梁裂縫智能檢測(cè)算法與實(shí)現(xiàn)

研究目的是開展基于機(jī)器視覺的高鐵橋梁裂縫檢測(cè)研究,主要包括以下3個(gè)部分內(nèi)容:裂縫自動(dòng)識(shí)別定位、分割和最大寬度測(cè)量。首先,采用YOLOv5作為裂縫識(shí)別定位模型,通過訓(xùn)練和優(yōu)化模型,實(shí)現(xiàn)對(duì)高鐵橋梁中裂縫的自動(dòng)定位,同時(shí),使用U2-Net作為裂縫分割模型,將其應(yīng)用于裂縫像素級(jí)別的分割,以獲取裂縫的準(zhǔn)確輪廓信息;然后,研究裂縫寬度測(cè)量方法;最后,利用機(jī)器視覺技術(shù)實(shí)現(xiàn)對(duì)裂縫實(shí)時(shí)監(jiān)測(cè)與寬度測(cè)量。

1.1 YOLOv5裂縫識(shí)別定位算法

YOLOv5是One-stage目標(biāo)檢測(cè)算法,它在經(jīng)過YOLOv1、YOLOv2、YOLOv3和YOLOv4的不斷改進(jìn)下,擁有了更強(qiáng)大性能的網(wǎng)絡(luò),使其速度與精度都得到了顯著的提升,尤其是在細(xì)小目標(biāo)的檢測(cè)任務(wù)上。YOLOv5主體模型結(jié)構(gòu)主要由4部分組成:輸入端、Backbone網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和預(yù)測(cè)端[11]。YOLOv5的模型結(jié)構(gòu)圖如圖1所示。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

輸入端負(fù)責(zé)對(duì)輸入圖像進(jìn)行預(yù)處理和數(shù)據(jù)增強(qiáng),以提高模型的泛化能力和魯棒性。主要包括Mosaic圖像增強(qiáng),將4張不同的圖像拼接成一張大圖像,增加數(shù)據(jù)集的多樣性和難度;自適應(yīng)錨框計(jì)算,根據(jù)輸入圖像中目標(biāo)的尺寸和形狀,自動(dòng)計(jì)算出最適合的錨框參數(shù),避免手動(dòng)設(shè)置;自適應(yīng)圖片縮放,根據(jù)輸入圖像中最大目標(biāo)的尺寸,動(dòng)態(tài)地調(diào)整輸入圖像的尺寸,以適應(yīng)不同尺度目標(biāo)的檢測(cè)。

Backbone網(wǎng)絡(luò)負(fù)責(zé)對(duì)輸入圖像進(jìn)行特征提取,提取出不同層次和尺度的特征圖。頸部網(wǎng)絡(luò)結(jié)合了FPN結(jié)構(gòu)和PAN機(jī)構(gòu),從骨干網(wǎng)絡(luò)的輸出中繼續(xù)提取特征,并進(jìn)行上采樣處理,從而進(jìn)一步提高模型在目標(biāo)檢測(cè)任務(wù)中的性能。預(yù)測(cè)端負(fù)責(zé)對(duì)特征圖進(jìn)行目標(biāo)檢測(cè)和分類,輸出最終的檢測(cè)結(jié)果。

1.2 U2-Net裂縫分割算法

U2-Net又稱U2-Net,是一種用于顯著目標(biāo)檢測(cè)的深度網(wǎng)絡(luò)架構(gòu),其主要特點(diǎn)是采用了2層嵌套的U-結(jié)構(gòu),即U2-結(jié)構(gòu),來提取和融合不同層次和尺度的特征圖,從而實(shí)現(xiàn)高效且準(zhǔn)確的目標(biāo)檢測(cè)。U2-結(jié)構(gòu)是U2-Net的核心組成部分,它由2個(gè)嵌套的U-結(jié)構(gòu)組成,即RSU(ReSidual U-blocks)。RSU是一種改進(jìn)的殘差U-塊,它可以在不同層次上提取特征,并通過跳躍連接實(shí)現(xiàn)特征之間的殘差學(xué)習(xí),還使用池化操作來增加總體體系結(jié)構(gòu)深度,而不會(huì)顯著增加計(jì)算成本。其由輸入卷積層、對(duì)稱編碼器-解碼器結(jié)構(gòu)和殘差連接3部分組成。與U-Net類似,它能夠從不同尺度的特征中提取信息,并通過殘差連接融合多尺度特征。U2-Net算法的網(wǎng)絡(luò)結(jié)構(gòu)和RSU殘差塊結(jié)構(gòu)如圖2所示。

圖2 U2-Net網(wǎng)絡(luò)結(jié)構(gòu)和RSU結(jié)構(gòu)

1.3 計(jì)算輪廓最大內(nèi)切圓裂縫寬度測(cè)量法

傳統(tǒng)的裂縫寬度測(cè)量法受到環(huán)境、裂縫形狀等影響導(dǎo)致效果不佳,本文提出了一種計(jì)算輪廓最大內(nèi)切圓算法。如圖3所示,該算法主要包括圖像預(yù)處理和裂縫輪廓提取、確定內(nèi)切圓搜索范圍及圓心、二分法求最大內(nèi)切圓半徑。首先,對(duì)圖像進(jìn)行連通域去噪、灰度處理和二值化,去除干擾因素,保留有效信息;然后,找到裂縫的輪廓,利用輪廓檢測(cè)的算法,提取出二值化圖像中的裂縫輪廓;最后,用輪廓最大內(nèi)切圓算法計(jì)算裂縫最大寬度,打印出裂縫寬度信息并在圖像中對(duì)應(yīng)位置繪制最大內(nèi)切圓。

圖3 計(jì)算輪廓最大內(nèi)切圓裂縫寬度測(cè)量法

2 裂縫檢測(cè)模型構(gòu)建和數(shù)據(jù)集制作

2.1 模型構(gòu)建和訓(xùn)練數(shù)據(jù)集制作

在進(jìn)行裂縫定位和分割模型的訓(xùn)練前,需要構(gòu)建相應(yīng)數(shù)據(jù)集。針對(duì)此任務(wù),基于Pytorch框架構(gòu)建和優(yōu)化了YOLOv5和U2-Net深度網(wǎng)絡(luò)模型。系統(tǒng)訓(xùn)練階段采用的計(jì)算機(jī)環(huán)境基于Python3.8、PyTorch1.1.1、AMD Ryzen 7 5800H處理器、英偉達(dá)RTX3060顯卡和32 GB內(nèi)存。

裂縫識(shí)別定位模型訓(xùn)練數(shù)據(jù)集采用Concrete Crack Images for Classification數(shù)據(jù)集中的40 000張混凝土裂縫圖像,并且利用對(duì)實(shí)驗(yàn)采集的2 000張高鐵橋梁裂縫進(jìn)行了隨機(jī)裁剪、隨機(jī)旋轉(zhuǎn)、隨機(jī)噪聲、隨機(jī)亮度等數(shù)據(jù)增強(qiáng)方法,將數(shù)據(jù)集擴(kuò)充到4 000張,二者相結(jié)合組成了本次裂縫識(shí)別定位模型的數(shù)據(jù)集共計(jì)44 000張。以YOLOv5s作為基礎(chǔ)模型架構(gòu),訓(xùn)練過程設(shè)置初始學(xué)習(xí)率為0.01、最小學(xué)習(xí)率設(shè)置為0.000 1、batch size大小為50、epochs大小為1 000、模型總共訓(xùn)練時(shí)間為25 h。

裂縫分割數(shù)據(jù)集共包含1 500張裂縫圖像,其中從Concrete Crack Images for Classification數(shù)據(jù)集中選擇了500張,加上采集的1 000張高鐵橋梁裂縫圖像。訓(xùn)練過程設(shè)置學(xué)習(xí)率為0.000 1、batch size大小為10、epochs為500、模型總共訓(xùn)練時(shí)間為10 h。

2.2 實(shí)驗(yàn)采集測(cè)試數(shù)據(jù)集

由于高鐵橋梁目前大多數(shù)年限較短,從安全因素考慮,采用實(shí)驗(yàn)?zāi)M進(jìn)行裂縫圖像數(shù)據(jù)的采集工作和裂縫檢測(cè)模型的測(cè)試。模擬實(shí)驗(yàn)采用4根混凝土樁進(jìn)行破壞性實(shí)驗(yàn),每根樁高60 cm、寬15 cm,對(duì)每個(gè)面按25 mm×25 mm方格進(jìn)行劃分,共144(24×6)個(gè)方格。

3 裂縫檢測(cè)模型實(shí)驗(yàn)測(cè)試與結(jié)果評(píng)估

3.1 模型評(píng)估

評(píng)估模型的目的是為了衡量訓(xùn)練得到的模型性能,即檢驗(yàn)?zāi)Ｐ偷臏?zhǔn)確性和可靠性。評(píng)估指標(biāo)是用于評(píng)估模型性能的量化標(biāo)準(zhǔn),評(píng)估指標(biāo)可以反映模型的優(yōu)劣。

引入3個(gè)評(píng)價(jià)指標(biāo),準(zhǔn)確率(Precision,Pr)、召回率(Recall,Re)和平均精確度(Average Precision,AP)來對(duì)模型進(jìn)行評(píng)估。Pr為被模型預(yù)測(cè)為正類的樣本中,實(shí)際為正類的比例

(1)

式中,TP為正確預(yù)測(cè)的正例數(shù);FP為錯(cuò)誤預(yù)測(cè)的正例數(shù)。

Re為實(shí)際為正類的樣本中,被模型預(yù)測(cè)為正類的比例

(2)

式中,FN為錯(cuò)誤預(yù)測(cè)的負(fù)例數(shù)。

AP為預(yù)測(cè)結(jié)果排序后每個(gè)閾值下的精確率的平均值

(3)

式中,Pr(Re)為召回率為Re時(shí)的最大精度值。

3.2 結(jié)果分析

3.2.1 識(shí)別定位模型結(jié)果分析

利用YOLOv5識(shí)別定位模型訓(xùn)練結(jié)果如圖4所示。模型的收斂速度很快且最終趨于平穩(wěn),所以選用該權(quán)重為檢測(cè)時(shí)的預(yù)權(quán)重。

圖4 各項(xiàng)訓(xùn)練評(píng)價(jià)指標(biāo)隨訓(xùn)練次數(shù)變化曲線

將測(cè)試圖像輸入到最優(yōu)網(wǎng)絡(luò)模型中之后,統(tǒng)計(jì)裂縫識(shí)別定位結(jié)果,得到該模型的準(zhǔn)確率、召回率、平均精確度分別為92.21%、94.63%、95.32%。

3.2.2 裂縫分割模型結(jié)果分析

模型將預(yù)測(cè)到的裂縫區(qū)域像素賦值為255,其他區(qū)域像素為0,并最終輸出裂縫的二值圖像。經(jīng)統(tǒng)計(jì),分割模型對(duì)測(cè)試集的準(zhǔn)確率、召回率、平均精確度分別達(dá)到92.86%、95.61%、93.35%,U2-Net裂縫分割模型對(duì)于測(cè)試集中單條裂縫、多條裂縫和交叉裂縫的準(zhǔn)確率、召回率、平均精確度如表1所示。

表1 U2-Net裂縫分割模型結(jié)果評(píng)估 %

在通過對(duì)分割后的圖像進(jìn)行預(yù)處理、裂縫邊緣提取之后,最終通過計(jì)算輪廓最大內(nèi)切圓算法打印出裂縫的像素寬度并在圖中繪制最大內(nèi)切圓位置,如圖5所示。最后需根據(jù)實(shí)際圖像參數(shù)將像素寬度轉(zhuǎn)化為實(shí)際寬度,以分辨率為512×512像素圖片為例,在方格劃分時(shí)每一個(gè)方格尺寸是25 mm×25 mm,25 mm對(duì)應(yīng)512個(gè)像素點(diǎn),所以,1 mm代表20.48像素,輸出的像素寬度除以20.48則為實(shí)際的裂縫寬度,單位為mm。

圖5 橋梁裂縫智能檢測(cè)示例

隨著時(shí)間的推移和承受不斷增加的荷載作用,未來的高鐵橋梁可能會(huì)出現(xiàn)開裂,通過對(duì)4根混凝土樁進(jìn)行破壞性實(shí)驗(yàn),模擬了高鐵橋梁可能出現(xiàn)的裂縫情況,并獲得了具有較高普適性的裂縫樣本集。該裂縫智能檢測(cè)系統(tǒng)可以實(shí)現(xiàn)裂縫的自動(dòng)定位、判斷,系統(tǒng)表現(xiàn)出較高的泛化能力,能夠較好地處理復(fù)雜的實(shí)驗(yàn)數(shù)據(jù)。

3.2.3 裂縫檢測(cè)方法對(duì)比分析

YOLOv5識(shí)別定位模型識(shí)別準(zhǔn)確率和召回率分別為92.21%、94.63%,均高于文獻(xiàn)[8]采用改進(jìn)YOLOv3模型中的裂縫識(shí)別準(zhǔn)確率89.16%和召回率91.16%;且對(duì)于512×512像素的圖像平均檢測(cè)速度為62.50幀/s,遠(yuǎn)高于文獻(xiàn)[8]中的檢測(cè)速度20.56幀/s?？梢奩OLOv5對(duì)于裂縫的識(shí)別定位更為準(zhǔn)確、速度更快。U2-Net裂縫分割模型分割準(zhǔn)確率為92.86%,高于文獻(xiàn)[12]中采用U-Net卷積網(wǎng)絡(luò)的裂縫分割準(zhǔn)確率91.40%;而僅使用U2-Net裂縫分割模型處理一張測(cè)試圖像用時(shí)平均為2 012 ms,本文中將YOLOv5與U2-Net結(jié)合進(jìn)行裂縫檢測(cè),經(jīng)過前者快速識(shí)別裁剪,明顯減少了后者的分割任務(wù)量,節(jié)約了55.77%的處理時(shí)間。

4 結(jié)論

提出計(jì)算輪廓最大內(nèi)切圓裂縫寬度測(cè)量法,再結(jié)合YOLOv5目標(biāo)檢測(cè)算法和U2-Net圖像分割算法構(gòu)成了高鐵橋梁裂縫智能檢測(cè)系統(tǒng),構(gòu)建并訓(xùn)練出了針對(duì)高鐵橋梁裂縫識(shí)別定位模型和分割模型,實(shí)現(xiàn)了裂縫的自動(dòng)定位、分割和測(cè)寬,裂縫檢測(cè)更精確、更快速,提升了檢測(cè)效率,得到以下結(jié)論:

(1)針對(duì)高鐵橋梁裂縫構(gòu)建和訓(xùn)練了YOLOv5裂縫識(shí)別定位模型,引入了U2-Net算法來完成裂縫分割任務(wù)。

(2)針對(duì)裂縫寬度計(jì)算部分,提出了基于計(jì)算輪廓最大內(nèi)切圓算法的裂縫最大寬度計(jì)算方法,獲得裂縫的寬度信息。與傳統(tǒng)裂縫圖像處理測(cè)寬方法相比,該方法能更好地適應(yīng)多條裂縫、交叉裂縫等復(fù)雜的裂縫形狀,從而使計(jì)算的裂縫最大寬度更為精確。

(3)為了模擬高鐵橋梁可能出現(xiàn)的裂縫,通過對(duì)混凝土樁進(jìn)行破壞性實(shí)驗(yàn),以此作為測(cè)試對(duì)象。對(duì)模型評(píng)估、測(cè)試,統(tǒng)計(jì)測(cè)試結(jié)果得到識(shí)別定位模型的準(zhǔn)確率、召回率、平均精確度別為92.21%、94.63%、95.32%;分割模型準(zhǔn)確率、召回率、平均精確度分別達(dá)到92.86%、95.61%、93.35%。對(duì)比結(jié)果表面,所提出的裂縫智能檢測(cè)方法具有更快的速度和更高的精確度,該方法為高鐵橋梁裂縫的智能檢測(cè)提供了技術(shù)支撐。

(4)此方法對(duì)單條和多條獨(dú)立裂縫的檢測(cè)效果較好,但對(duì)于分叉交叉裂縫等復(fù)雜情況識(shí)別效果依然不夠理想,后續(xù)需繼續(xù)提升系統(tǒng)泛化能力,進(jìn)一步優(yōu)化網(wǎng)絡(luò)架構(gòu)和豐富模型訓(xùn)練數(shù)據(jù)集樣本數(shù)量。