彭家旭， 顧亦然，2

(1.南京郵電大學(xué) 自動化學(xué)院、人工智能學(xué)院， 江蘇 南京 210230；2.南京郵電大學(xué) 智慧校園研究中心， 江蘇 南京 210230）

0 引 言

公路橋梁是我國交通基礎(chǔ)設(shè)施體系中的一項重要組成部分。根據(jù)中華人民共和國交通運輸部《2020 年交通運輸行業(yè)發(fā)展統(tǒng)計公報》[1]顯示，截至2020 年末，全國公路橋梁91.28 萬座，其中特大橋梁6 444 座，大橋119 935 座。目前，我國橋梁多為鋼筋混凝土結(jié)構(gòu)，約占橋梁總數(shù)[2]的90%，在長期使用的過程中，由于受到車輛荷載、溫度變化及其他因素影響，局部路面出現(xiàn)不均勻沉降、平整度不足等狀況，橋梁路面結(jié)構(gòu)也出現(xiàn)了裂縫、保護層脫落等問題。有關(guān)專家認(rèn)為，我國40%的橋梁在役時間超過25 年，屬于“老齡化”橋梁[3]。由于橋梁瀝青路面養(yǎng)護多次大修中的銑刨、重鋪，使路面結(jié)構(gòu)與設(shè)計初期存在較大差異，部分路段裂縫問題嚴(yán)重；其次，有些路面未能及時監(jiān)測保養(yǎng)，路面表面損害嚴(yán)重，行車舒適性顯著降低，路面使用壽命大打折扣。

我國當(dāng)前所使用的橋梁檢測手段仍然是以傳統(tǒng)的人工檢測為主，但人工檢測過程中需要占道施工，對行車安全以及檢測人員的安全都造成了一定的威脅，而且人工檢測的工作量大、效率低、主觀性強，難以保證評估結(jié)果的準(zhǔn)確性與客觀性。

深度學(xué)習(xí)被廣泛用于機器視覺、自然語言處理等領(lǐng)域，相比傳統(tǒng)目標(biāo)檢測算法，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)可以自動提取目標(biāo)特征[4]，使特征表達更具魯棒性和泛化性[5]。根據(jù)有無候選框生成階段作為區(qū)分[6]，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)主要分為雙階段模型和單階段模型，雙階段模型有R-CNN[7]、FastR-CNN[8]、FasterRCNN[9]、MaskR - CNN[10]等，單 階 段 模 型 有SSD[11]、DSSD[12]、YOLO[13]、YOLOv2[14]、YOLOv3[15]、YOLOv4[16]等。

YOLO 系列目標(biāo)檢測算法是一種檢測精度高、速度快且檢測性能好的單階段檢測器。因此，本文以YOLO系列中較為先進的YOLOv5s 算法作為研究對象。YOLO 的整體思想是將整張圖作為神經(jīng)網(wǎng)絡(luò)的輸入，把目標(biāo)檢測的整個過程轉(zhuǎn)化成一個回歸問題，通過搭建的整個網(wǎng)絡(luò)結(jié)構(gòu)輸出目標(biāo)的坐標(biāo)位置和它屬于哪一個類別，達到定位檢測的目的?；谏疃葘W(xué)習(xí)的目標(biāo)檢測彌補了傳統(tǒng)方法硬件成本高、現(xiàn)場布置復(fù)雜等缺點，對橋梁檢測工作有著較大的幫助，對未來橋梁養(yǎng)護也有著深遠意義。

1 YOLOv5s 算法簡介

YOLOv5s 網(wǎng)絡(luò)是YOLOv5 系列中深度最小、特征圖寬度最小的網(wǎng)絡(luò)。YOLOv5s 由Input、Backbone、Neck、Head 四個部分組成，圖1 所示為YOLOv5s 模型結(jié)構(gòu)。

Input 部分進行Mosaic 數(shù)據(jù)增強、自適應(yīng)錨框計算[16]及自適應(yīng)圖片縮放。Mosaic 數(shù)據(jù)增強豐富了圖片信息，對圖片隨機縮放，再隨機分布進行拼接，大大豐富了檢測數(shù)據(jù)集，特別是隨機縮放增加了很多小目標(biāo)，讓網(wǎng)絡(luò)的魯棒性更好。自適應(yīng)錨框計算針對不同的數(shù)據(jù)集都會有初始設(shè)定長寬的錨框，訓(xùn)練時網(wǎng)絡(luò)在初始錨框的基礎(chǔ)上輸出預(yù)測框，進而和真實框進行比對，計算兩者差距，再反向更新，迭代網(wǎng)絡(luò)參數(shù)。自適應(yīng)圖片縮放可以有效提高檢測的準(zhǔn)確率。

Backbone 部 分 主 要 包 含CBL 模 塊、Focus 模 塊、CSP[17]模塊、SPP[18]模塊。CBL 為標(biāo)準(zhǔn)卷積模塊，包括普通卷積層Conv、批量歸一化層BN 和Leaky ReLU 激活函數(shù)層。Focus 模塊是對圖片進行切片操作，具體操作是：在一張圖片中每隔一個像素取一個值，類似于鄰近下采樣，可以得到4 張采樣圖片，4 張圖片互補。CSP 模塊是將原輸入分成兩個分支，分別進行卷積操作使得通道數(shù)減半，然后進行Bottleneck·N操作，Concat 兩個分支使得Bottlenneck CSP 的輸入與輸出一樣大小，讓模型獲得更多的特征。SPP 模塊稱為空間金字塔池化模塊，通過引入不同的池化核來提取特征圖中不同大小目標(biāo)的特征。

Neck 部分采用了PANET[19]的結(jié)構(gòu)，將特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network, FPN）[20]和路徑聚合網(wǎng)絡(luò)（Path Aggregation Network, PAN）[19]相結(jié)合。其中，F(xiàn)PN是自頂向下，將深層的語義特征傳遞到淺層，增強了語義信息，不過對淺層的定位信息沒有傳遞；PAN 是對FPN 的補充，在FPN 的后面添加了一個自底向上的金字塔結(jié)構(gòu)，將淺層的強定位特征傳遞到深層。FPN 和PAN又被稱為“雙塔戰(zhàn)術(shù)”。Head 部分中的主體部分就是3 個Detect 檢測器，即利用基于網(wǎng)格的anchor 在不同尺度的特征圖上進行目標(biāo)檢測的過程。 采用了Boundingbox 損失函數(shù)和NMS 非極大值抑制。非極大值抑制主要是用來抑制檢測時出現(xiàn)冗余的框。

2 YOLOv5s 算法改進

對現(xiàn)有YOLOv5s 網(wǎng)絡(luò)結(jié)構(gòu)進行擴展和優(yōu)化，使網(wǎng)絡(luò)結(jié)構(gòu)更簡單、更輕量。本文在刪除部分網(wǎng)絡(luò)結(jié)構(gòu)的同時，還嵌入了注意力機制模塊，這樣網(wǎng)絡(luò)就不會失去太多的準(zhǔn)確性。CBAM 模塊是一種的輕量級注意力模塊，模塊結(jié)構(gòu)如圖2 所示，可以在通道和空間維度上增加關(guān)注。CBAM 模塊由通道注意力模塊和空間注意力模塊兩個獨立的子模塊組成，分別在通道和空間中添加注意力模塊，不僅可以節(jié)省參數(shù)和計算能力，還可以確保它作為即插即用模塊插入現(xiàn)有的網(wǎng)絡(luò)架構(gòu)中。CBAM 模塊在特征映射上操作，通過通道注意力模塊和空間注意力模塊更細化地提取特征，提高了模型的表現(xiàn)力。本文在C3 模塊中相鄰的瓶頸模塊之間增加了CBAM 模塊，如圖3 所示，該模型稱為YOLOv5s-CBAM 模型。

圖2 CBAM 模塊結(jié)構(gòu)

圖3 本文CBAM 模塊結(jié)構(gòu)

通道注意力模塊是將特征圖輸入注意力模塊，分別為全局繪制池和空間最大池，然后分別變成兩層神經(jīng)網(wǎng)絡(luò)，將這兩個特征與Sigmoid 激活函數(shù)相結(jié)合，得到權(quán)系數(shù)Mc，將權(quán)系數(shù)與原有特征相乘可以得到新特征F，公式如下：

式中MLP 為多層感知機。

空間注意力模塊是對獲得的新特征進行平均池化和最大池化，然后把兩個輸出進行拼接，經(jīng)過一個7×7的卷積層和Sigmoid 激活函數(shù)后，得到權(quán)系數(shù)Ms，再乘以F′得到F″。最后，將F″與原始輸入相加，得到整個CBAM 輸出的新特征，公式如下：

式中：AvgPool 為平均池化；MaxPool為最大池化。

由于原YOLOv5 模型結(jié)構(gòu)大、層次深、參數(shù)多，考慮到模型的運行速度和精度，本文進行了信道修改和刪除，刪除了所有不重要的信道。但修改強度大、刪除層數(shù)多會影響精度，因此，增加了CBAM 注意機制模塊，確保在信道刪除時通過調(diào)整注意力機制將模型保持到一定的精度。

YOLOv5s 模型的輸入圖像大小一般為640×640、80×80、40×40、20×20。特征圖中的1 個像素分別對應(yīng)輸入圖像的8、16 和32 個像素。當(dāng)輸入圖像被下采樣到20×20 時，圖像中小于32×32 的像素目標(biāo)會被壓縮到小于一個像素點的大小，這樣目標(biāo)的特征信息會丟失更多，所以用20×20 的檢測頭檢測更小的目標(biāo)是沒有意義的。橋梁路面裂縫經(jīng)圖像拍攝上傳后，表現(xiàn)效果差異不大，屬于小目標(biāo)檢測，由于大目標(biāo)檢測探頭檢測小目標(biāo)意義不大，因此刪除了20×20 大目標(biāo)檢測頭，針對優(yōu)化后目標(biāo)尺寸的特點，YOLOv5s-CBAM 模型結(jié)構(gòu)如圖4 所示。

圖4 YOLOv5s-CBAM 模塊結(jié)構(gòu)

3 實驗結(jié)果及分析

3.1 數(shù)據(jù)集制作

本文研究對象為國內(nèi)低等級橋梁，制作訓(xùn)練集的過程中，從Github 上的橋梁裂縫數(shù)據(jù)集的開源圖片中選出了2 068 張裂縫的圖片。由于數(shù)據(jù)集中的圖像不足，因此本文決定使用數(shù)據(jù)增強來擴展數(shù)據(jù)集。

本文將原始圖像按1∶4 的比例展開，對圖像進行裁剪、旋轉(zhuǎn)、平移、鏡像等操作，最終獲得8 190 張圖片。5 000 張圖分配給訓(xùn)練集，2 200 張分配給驗證集，990 張分配給測試集。由于圖像分辨率較高，直接計算量過多，因此將圖像縮放到416×416 像素，并盡可能添加不同尺度和角度的橋梁裂縫，這樣有利于避免訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，從而提高網(wǎng)絡(luò)的泛化能力。

根據(jù)要求，將圖像轉(zhuǎn)換為VOC 格式，使用LabeImg標(biāo)注工具對圖像進行標(biāo)注，將橋梁裂縫的位置標(biāo)記為橫向裂縫（Transverse）、縱向裂縫（Longitudinal）、斜向裂縫（Oblique）以及交叉裂縫（Cross），如圖5 所示。

圖5 數(shù)據(jù)集標(biāo)注

3.2 實驗環(huán)境

本實驗使用的配置如下：計算機系統(tǒng)使用Windows 10， CPU 使 用 AMDRyzen55600X， GPU 使 用NVIDIAGeForceRTX3070，深度學(xué)習(xí)框架使用Pytorch。

3.3 模型對比

表1 所示為不同模型大小對比。從表1 可以看出，改進后的YOLOv5s 模型網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)減少了36.3%，參數(shù)數(shù)量減少了77%，都比原來的YOLOv5s 模型要小得多，加快了運算速度，更容易放入移動設(shè)備中進行檢測。

表1 模型大小對比

3.4 評價指標(biāo)

實驗采用準(zhǔn)確率（Precision,P）、召回率（Recall,R）、F1分?jǐn)?shù)（F1score）平均精度均值和每秒幀數(shù)來評價目標(biāo)檢測方法的性能。準(zhǔn)確率、召回率和F1分?jǐn)?shù)計算公式如下：

式中：TP 為被正確檢出的目標(biāo)數(shù)；FP 為被錯誤檢出的目標(biāo)數(shù)；FN 表示未被檢測出的目標(biāo)數(shù)。

3.5 實驗結(jié)果分析

本文YOLOv5s-CBAM 的檢測效果如圖6 所示，利用改進模型對橋梁裂縫進行檢測和分析，裂縫識別結(jié)果如表2 所示。從實驗結(jié)果來看，改進的基于YOLOv5s 的橋梁裂縫檢測模型對不同裂縫類型具有較好的識別效果。模型總體準(zhǔn)確率、召回率和F1分?jǐn)?shù)分別為91.8%、92.6%和91.9%。綜上，YOLOv5s-CBAM 模型可實現(xiàn)高精度的裂縫識別定位。

表2 裂縫識別結(jié)果 %

圖6 YOLOv5s-CBAM 的檢測效果

3.6 YOLOv5s-CBAM 與其他算法對比

本文算法與其他目標(biāo)檢測算法的對比實驗結(jié)果來自COCO 數(shù)據(jù)集，將YOLOv5s-CBAM 與其他目標(biāo)算法的性能進行對比，結(jié)果如表3 所示。

表3 不同模型的算法檢測結(jié)果對比

由表3 可知：YOLOv5s-CBAM 和YOLOv3、YOLOv4、YOLOv5s 相比，模型參量更小，mAP 有明顯提升，并且FPS 也有提升。實驗結(jié)果表明，相較于YOLOv3、YOLOv4 這些模型較大的算法并綜合模型參數(shù)量、mAP和FPS 來看，本文模型mAP@0.5 為85.3%，相比改進前提高了7.2 個百分點，模型參量僅為5.1 MB，相比之前降低了2.1 MB，YOLOv5s-CBAM 有更好的性能，在刪除通道并嵌入CBAM 注意力模塊后，增強了模型在復(fù)雜背景下的特征提取能力，提高了模型的檢測精度，并且提升了檢測速度。

4 結(jié) 語

本文針對橋梁裂縫檢測模型內(nèi)存消耗大、實時性差等問題，提出了一種基于YOLOv5s 目標(biāo)檢測模型的改進輕量級檢測模型，在盡可能保證精度的前提下，根據(jù)目標(biāo)尺寸的特點刪減網(wǎng)絡(luò)層數(shù)、裁剪通道、增加注意力機制。實驗結(jié)果表明，與其他主流的目標(biāo)檢測算法相比，本文方法具有更高的準(zhǔn)確率和效率，可以大大提高橋梁裂縫檢測的效率和安全性。