劉昆

摘要 由于環(huán)境影響、交通量增加和自然老化的綜合作用，橋面鋪裝及其附屬資產(chǎn)服役狀態(tài)不斷出現(xiàn)變化，及時獲取鋪裝及資產(chǎn)信息是開展養(yǎng)護(hù)決策的關(guān)鍵問題。文章以某長江公路大橋?yàn)檠芯繉ο螅紫冉佈b及資產(chǎn)的視頻數(shù)據(jù)集，采用YOLO-v5為機(jī)器視覺辨識框架，結(jié)合最佳訓(xùn)練策略擬合了適用于橋面鋪裝及資產(chǎn)的檢測模型。研究結(jié)果表明，檢測模型能夠有效提高日常巡檢效率，根據(jù)測試集數(shù)據(jù)顯示，該文建立的檢測模型最高檢測準(zhǔn)確率可達(dá)到97.2%，交并比為55.1%，相比同類模型具有顯著優(yōu)勢。

關(guān)鍵詞 橋面鋪裝;結(jié)構(gòu)資產(chǎn);深度學(xué)習(xí);目標(biāo)檢測;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號 U443.33 文獻(xiàn)標(biāo)識碼 A 文章編號 2096-8949（2022）10-0070-03

0 引言

大跨徑鋼橋面鋪裝及其附屬資產(chǎn)是確保橋梁結(jié)構(gòu)正常運(yùn)營的關(guān)鍵部分，其服役狀態(tài)直接影響到區(qū)域交通的互聯(lián)互通。橋面鋪裝及其附屬資產(chǎn)由于常年暴露于自然環(huán)境，且承受交通荷載的不斷作用，服役狀況不斷衰減并最終出現(xiàn)損傷。因此，針對鋪裝等設(shè)施狀況的全面、及時的檢測是制訂有效維養(yǎng)方案的關(guān)鍵。

在道路巡檢領(lǐng)域，深度學(xué)習(xí)中目標(biāo)檢測的方法得到廣泛應(yīng)用。目標(biāo)檢測[1]生成含有損壞邊框的邊界區(qū)域。對于每一個生成的邊界框，通常還會執(zhí)行損壞類型的辨識。這類模型最大優(yōu)點(diǎn)是可以將目標(biāo)識別和定位信息集成到一個網(wǎng)絡(luò)中，不需要對網(wǎng)絡(luò)進(jìn)行分步訓(xùn)練，可以有效提高運(yùn)算效率。Du等人基于全景圖像，利用YOLO-v3模型，實(shí)現(xiàn)路面損壞中的裂縫類病害、修補(bǔ)、坑槽、擁包自動識別及定位[2]。Ukhwah等人[3]基于三種不同架構(gòu)的YOLO，即YOLO-v3、YOLO-v3 Tiny和YOLO-v3 SPP對路面坑槽進(jìn)行了識別，結(jié)果顯示三者的平均mAP分別是83.43%、79.33%和88.93%，面積測量精度為64.45%、53.26%和72.10%，表明YOLO-v3 SPP的性能在坑槽檢測中更為優(yōu)越。Chitale等人[4]利用YOLO-v4和YOLO-v3對坑槽進(jìn)行了檢測，結(jié)果顯示，模型準(zhǔn)確率分別為93.3%和88.9%，IoU精度分別為0.741和0.635。此外，還對模型中不同的骨架網(wǎng)絡(luò)進(jìn)行了VGG[5]、ResNet[6]等實(shí)驗(yàn)，并采用了不同的訓(xùn)練策略。然而，為了提高目標(biāo)檢測的準(zhǔn)確率，還需要對特征提取網(wǎng)絡(luò)進(jìn)一步改善。

該文采用YOLO-v5-6.0的網(wǎng)絡(luò)框架，依托國內(nèi)某長江公路大橋的場景，根據(jù)采集到的交通標(biāo)牌、道路裂縫和坑槽等數(shù)據(jù)創(chuàng)建數(shù)據(jù)集，并進(jìn)行了準(zhǔn)確率、召回率和交并比的計(jì)算，探究對橋面鋪裝及其資產(chǎn)的識別效果。

1 智能化檢測模型

1.1 基于YOLO-v5-6.0的檢測模型

YOLO-v5-6.0在YOLO-v5的基礎(chǔ)上對網(wǎng)絡(luò)進(jìn)行的調(diào)整，提出更小的模型YOLO-v5n和YOLO-v5n6。YOLO-v5n模型與YOLO-v5s相比，網(wǎng)絡(luò)的深度不變，寬度減少了0.5倍，總參數(shù)量減少了75%，YOLO-v5-6.0網(wǎng)絡(luò)結(jié)構(gòu)分為四個部分：輸入端、主干網(wǎng)絡(luò)（Backbone）、融合網(wǎng)絡(luò)（Neck）和預(yù)測端。具體結(jié)構(gòu)如圖1所示。

為了從訓(xùn)練角度提高模型性能，該研究采用數(shù)據(jù)增強(qiáng)和正則化技術(shù)進(jìn)行模型訓(xùn)練優(yōu)化。數(shù)據(jù)增強(qiáng)的目的是增加輸入圖像的可變性，使得所設(shè)計(jì)的目標(biāo)檢測模型對不同環(huán)境獲得的圖像具有更高的魯棒性。該文在YOLO-v5-6.0框架的輸入端采用Mosaic數(shù)據(jù)增強(qiáng)方法，通過對4張圖片進(jìn)行隨機(jī)剪裁，再拼接到同一張圖上作為訓(xùn)練集。通過該技術(shù)，有效地豐富圖像的背景，提高了訓(xùn)練量大小，如圖2所示。

主干網(wǎng)絡(luò)的主要作用是在不同圖像細(xì)粒度上聚合，形成對應(yīng)圖像特征的卷積神經(jīng)網(wǎng)絡(luò)。主要結(jié)構(gòu)包括了CBS，Res unit，CSP1_X，CSP2_X結(jié)構(gòu)。經(jīng)過CBS層，即先經(jīng)過卷積層（Conv），提取輸入的不同特征，有助于找到特定的局部圖像特征;其次通過歸一化層（Batch Norm），將每次的梯度分布都控制在原點(diǎn)附近，實(shí)現(xiàn)結(jié)果歸一化，使各個塊的偏差不會過大;最后用SiLU激活函數(shù)輸入結(jié)果到下一層卷積。Res unit層是用于構(gòu)造深層網(wǎng)絡(luò)的殘差網(wǎng)絡(luò)結(jié)構(gòu)，減少網(wǎng)絡(luò)的傳播誤差。CSP1_X層由CBS層、Res unit層和拼接層（Concat）組成，CSP2_X層由X個CBS層、Res unit層和拼接層組成。拼接層經(jīng)常用于將特征聯(lián)合，多個卷積特征提取框架提取的特征融合或者是將輸出層的信息進(jìn)行融合。

融合網(wǎng)絡(luò)將特征混合組合，并傳遞到預(yù)測層。先進(jìn)行卷積提取特征輸出，再經(jīng)過三個不同卷積核的最大池化層進(jìn)行下采樣，將各自輸出結(jié)果進(jìn)行拼接融合并與其初始特征相加，最后再經(jīng)過卷積將輸出恢復(fù)到同初始輸入一致。并且采用自頂向下傳遞強(qiáng)特征的FPN結(jié)構(gòu)，以便改善低層特征的傳播，以及自底向上的含有兩個PAN結(jié)構(gòu)的特征金字塔，兩者結(jié)合操作，加強(qiáng)網(wǎng)絡(luò)特征融合的能力。輸出端部分，YOLOv5采用了GIoU作為損失函數(shù)，還通過非極大值抑制（NMS）來篩選目標(biāo)框。

1.2 模型訓(xùn)練

為了訓(xùn)練與測試識別模型，該研究收集了不同分辨率的橋面鋪裝及其資產(chǎn)圖像共計(jì)1 132張，其中裂縫圖像512張、坑槽圖像256張、交通標(biāo)牌364張。隨機(jī)選取1 018張圖像作為訓(xùn)練集、114張圖像作為測試集，訓(xùn)練集中裂縫圖像、坑槽病害圖像和交通標(biāo)牌圖像分別為461張、230張與327張，分辨率為1 920×1 080。再利用labelme軟件對目標(biāo)圖進(jìn)行標(biāo)記，標(biāo)記結(jié)果如圖3所示。

訓(xùn)練集輸入的圖像數(shù)據(jù)分辨率為1 920×1 080，batchsize設(shè)置為2，學(xué)習(xí)率為0.001，為了使損失函數(shù)更好收斂，使用學(xué)習(xí)率指數(shù)衰減讓學(xué)習(xí)率隨著學(xué)習(xí)進(jìn)度降低以達(dá)到更好的訓(xùn)練目的。識別模型的構(gòu)建使用pytorch 1.3.1版本在ubuntu18.04上部署了建模環(huán)境，并使用i9-9900k和RTX2080ti來進(jìn)行模型的訓(xùn)練和測試。

2 研究成果討論

該文所建立YOLO-v5-6.0的網(wǎng)絡(luò)模型共訓(xùn)練了300個批次（epoch），每個批次迭代100次。檢測模型在每一個批次結(jié)束時，將會評估識別模型針對驗(yàn)證集的驗(yàn)證效果，識別模型的Loss損失函數(shù)隨迭代次數(shù)的變化如圖4所示。

訓(xùn)練與驗(yàn)證結(jié)果均表明了所建立檢測模型具備有效的泛化性能，訓(xùn)練過程中未發(fā)生過擬合現(xiàn)象，訓(xùn)練后的模型能夠精確地識別橋面鋪裝及其資產(chǎn)。由圖4所示，Loss損失函數(shù)隨著迭代輪數(shù)的增加而減小，表明識別的精度在不斷提高。該文采用了YOLO-v5-6.0訓(xùn)練的網(wǎng)絡(luò)模型，根據(jù)數(shù)據(jù)集合進(jìn)行訓(xùn)練和驗(yàn)證，所得部分識別結(jié)果如圖5所示。

圖5表明，在所依托長江公路大橋的場景下，對于鋪裝病害和鋪裝資產(chǎn)檢測效果性能優(yōu)異，從直觀圖像來看，對于交通標(biāo)牌類的識別定位的準(zhǔn)確度高于裂縫和坑槽類。根據(jù)測試集計(jì)算所得的評價指標(biāo)如表1所示。

根據(jù)表1數(shù)據(jù)可知，對于交通標(biāo)牌此類目標(biāo)準(zhǔn)確率高達(dá)0.972，交并比也達(dá)到了0.551。對于小目標(biāo)的裂縫或者坑槽，準(zhǔn)確率（P）、召回率（R）和交并比（IOU）均有不同程度的下降。

3 結(jié)論

綜上所述，依托國內(nèi)某長江公路大橋的場景構(gòu)建橋面鋪裝及其資產(chǎn)數(shù)據(jù)集，利用YOLO-v5-6.0作為網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練并測試智能化檢測模型。研究結(jié)果表明，模型的平均準(zhǔn)確率達(dá)到0.947，針對交通標(biāo)牌資產(chǎn)的準(zhǔn)確率可達(dá)到0.972。該文所建立的檢測模型能夠有效識別橋面鋪裝病害及其資產(chǎn)，顯著提高巡檢效率，可為相關(guān)巡檢工作提供高效數(shù)據(jù)支撐。

參考文獻(xiàn)

[1]Nie，M.，andK.Wang.2018.“Pavementdistressdetectionbasedontransfer learning.” In Proc.， 5th Int. Conf. on Systems and Informatics （ICSAI）， 435–439. New York： IEEE.

[2]Du Y C， Pan N， Xu， ZH， Deng FW， Shen Y， Kang H. “Pavement distress detection and classification based on YOLO network”. 2020， 1-14.

[3]Ukhwah， Ernin Niswatul， Eko Mulyanto Yuniarno， and Yoyon Kusnendar Suprapto. "Asphalt Pavement Pothole Detection using Deep learning method based on YOLO Neural Network." 2019 International Seminar on Intelligent Technology and Its Applications （ISITIA）. IEEE， 2019.

[4]Chitale， Pranjal A.， et al. "Pothole Detection and Dimension Estimation System using Deep Learning （YOLO） and Image Processing." 2020 35th International Conference on Image and Vision Computing New Zealand （IVCNZ）. IEEE， 2020.

[5]Simonyan， K， and A.Zisserman. “Very deep convolutional networks for large-scale image recognition.” Preprint， submitted September 4， 2014.

[6]He， K.， X. Zhang， S. Ren， and J. Sun. 2016. “Deep residual learning for image recognition.” In Proc.， IEEE Conf. on Computer Vision and Pattern Recognition， 770–778. New York： IEEE.