劉玉文，黃友銳，韓 濤

(1.安徽理工大學(xué) 人工智能學(xué)院，安徽 淮南 232001; 2.安徽理工大學(xué) 電氣與信息工程學(xué)院，安徽 淮南 232001;3.皖西學(xué)院 電氣與光電工程學(xué)院，安徽 六安 237012)

隨著車輛普及率的提高和道路使用頻次的上升，路面多種病害不斷顯現(xiàn)出來，急需提升道路養(yǎng)護(hù)管理效率.傳統(tǒng)的路面圖像信息獲取通過人工實(shí)地采集的方式，導(dǎo)致道路短時(shí)間地封閉，對交通管理造成很大影響.現(xiàn)今在路面分割方面，計(jì)算機(jī)視覺技術(shù)得到廣泛應(yīng)用，其具有信息采集速度快、識別精度高的特點(diǎn)，能夠很好地解決傳統(tǒng)人工獲取信息導(dǎo)致道路短時(shí)間封閉的問題.并且道路養(yǎng)護(hù)管理決策的關(guān)鍵在于實(shí)現(xiàn)對路面病害圖像快速精準(zhǔn)地分割，通過計(jì)算機(jī)視覺技術(shù)可以及時(shí)獲取路面圖像中路面病害的類型、數(shù)量、面積等信息，有助于道路養(yǎng)護(hù)部門精準(zhǔn)高效地設(shè)計(jì)出相關(guān)道路養(yǎng)護(hù)方案.

實(shí)例分割作為一種像素級識別分割目標(biāo)輪廓的目標(biāo)檢測算法，最早在2014年被提出，之后陸續(xù)出現(xiàn)許多基于深度學(xué)習(xí)的實(shí)例分割算法.以DeepMask[1]、Mask-RCNN(mask regions convolutional neural networks)[2]、SharpMask[3]等為代表的雙階段實(shí)例分割方法分為自下而上的基于語義分割的方法和自上而下的基于檢測的方法.自上而下的實(shí)例分割方法先利用目標(biāo)檢測方法確定實(shí)例區(qū)域，生成實(shí)例檢測框，然后在檢測框內(nèi)進(jìn)行語義分割，每個(gè)分割結(jié)果都作為一個(gè)不同的實(shí)例輸出，但是該方法存在掩膜特征聯(lián)系丟失、特征提取表示冗余、下采樣導(dǎo)致位置信息丟失的問題.自下而上的實(shí)例分割方法，先進(jìn)行像素級語義分割，再利用聚類、度量學(xué)習(xí)等手段區(qū)分不同實(shí)例，但是存在對密集分割質(zhì)量要求高、非最優(yōu)分割、類別多的復(fù)雜應(yīng)用場景難以處理等問題.以YOLACT(you only look at coeffificients)[4]、PolarMask[5]、SOLO(segmenting objects by locations)[6]、Instance FCN(instance-sensitive fully convolutional networks)[7]為代表的單階段實(shí)例分割方法分為基于錨框算法和無錨框算法2種.基于錨框算法是利用錨框提取候選區(qū)域的特征信息，但是在訓(xùn)練時(shí)目標(biāo)框的標(biāo)記不準(zhǔn)確，導(dǎo)致樣本數(shù)據(jù)不平衡，檢測速度低.而無錨框算法能夠有效地解決這個(gè)問題，該算法通過關(guān)鍵點(diǎn)回歸目標(biāo)類別、位置等，搭建網(wǎng)絡(luò)簡便，增強(qiáng)網(wǎng)絡(luò)泛化能力.

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)性強(qiáng)的優(yōu)勢在路面病害檢測方面得到了廣泛應(yīng)用.Zhang等[8]采用卷積神經(jīng)網(wǎng)絡(luò)并通過圖像局部塊信息判斷單幅圖像是否有裂縫存在.Cha等[9]先進(jìn)行圖像分割，分割后生成的圖像局部塊利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，最后通過裂縫病害特征進(jìn)行分類.王勇[10]利用基于改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)的檢測算法，對路面圖像中的坑塘與裂縫進(jìn)行檢測，該算法將YOLOv3(you only look once v3)中主干網(wǎng)絡(luò)Darknet替換為Inception v3模型，提高對路面圖像中病害的深度特征辨識度，有效精準(zhǔn)檢測多尺度路面坑塘與裂縫等病害.蔡志興[11]提出了一種基于RetinaNet模型的路面病害自動(dòng)識別算法，其利用聚類分析算法K-means生成路面病害檢測先驗(yàn)框，通過ResNet(residual network)與特征金字塔(feature pyramid networks,FPN)進(jìn)行病害多尺度特征圖的提取，之后利用全卷積神經(jīng)網(wǎng)絡(luò)(full convolution network,FCN)對目標(biāo)框進(jìn)行分類及位置回歸.張寧[12]針對提高裂縫及坑槽2類病害的檢測精度，提出一種基于Faster RCNN的公路路面病害檢測算法，該算法將非極大值抑制(non-maximum suppression,NMS)替換為Soft-NMS算法，減小檢測框冗余度，降低病害漏檢率.路面病害圖像存在拍攝環(huán)境復(fù)雜、分割目標(biāo)尺寸存在差異、特征提取困難等問題，許多分割模型不斷進(jìn)行優(yōu)化，以適應(yīng)對路面病害進(jìn)行分割，期望得到理想的分割效果.

道路養(yǎng)護(hù)的精準(zhǔn)程度取決于養(yǎng)護(hù)單位對路面病害分割的精確度與速度.針對道路精準(zhǔn)養(yǎng)護(hù)的需求，路面病害分割利用具有2個(gè)并行子網(wǎng)絡(luò)的YOLACT模型來實(shí)現(xiàn)，YOLACT作為一種綜合性能優(yōu)越的實(shí)例分割算法，它在進(jìn)行目標(biāo)檢測任務(wù)的同時(shí)解決了語義分割問題，該模型作為單階段實(shí)例分割模型，能夠以降低微小分割精確度的代價(jià)換取分割速度較大地提升，很容易達(dá)到路面病害分割精確度高、具有實(shí)時(shí)性的效果.出于對分割路面病害圖像的實(shí)時(shí)性與精準(zhǔn)性的需要，路面病害圖像分割選擇在YOLACT模型框架下進(jìn)行.為進(jìn)一步提高網(wǎng)絡(luò)對路面病害的分割效率，本文通過構(gòu)建深度過參數(shù)化卷積層結(jié)構(gòu)的主干網(wǎng)絡(luò)，加快網(wǎng)絡(luò)的收斂能力，利用注意力機(jī)制卷積層對圖像重要特征提速的優(yōu)點(diǎn)，增強(qiáng)網(wǎng)絡(luò)對路面病害信息的聚焦能力，提出了基于深度過參數(shù)化卷積的路面病害實(shí)例分割算法，具體來說，貢獻(xiàn)如下：

1) 針對道路精準(zhǔn)養(yǎng)護(hù)對路面病害分割實(shí)時(shí)性的需要，進(jìn)行模型特征壓縮結(jié)構(gòu)改進(jìn)，通過Focus模塊[13]對圖像進(jìn)行切片操作，減少圖像信息的丟失，提升模型對路面病害分割的準(zhǔn)確性，并替換7×7卷積核為2層3×3卷積核，減小計(jì)算量，加快模型分割路面病害速度.

2) 將主干網(wǎng)絡(luò)ResNet50中3×3傳統(tǒng)二維卷積替換為深度過參數(shù)化卷積[14](depthwise over-parameterized convolutional layer,DO-Conv)，在不增加網(wǎng)絡(luò)計(jì)算量的基礎(chǔ)上，提高網(wǎng)絡(luò)收斂能力和訓(xùn)練速度，進(jìn)而提升網(wǎng)絡(luò)對路面病害圖像的分割速度和精確度.

3) 針對路面病害圖像分割環(huán)境復(fù)雜、待分割目標(biāo)小、特征易丟失等特點(diǎn)，通過在殘差網(wǎng)絡(luò)ResNet50中添加卷積塊狀注意力模塊[15](convolutional block attention module，CBAM)，提升網(wǎng)絡(luò)對路面病害圖像信息的通道和空間聚焦能力，從而提高網(wǎng)絡(luò)分割路面病害圖像的精確度.

4) 通過拍攝實(shí)際路面視頻，自制路面病害數(shù)據(jù)集，進(jìn)行改進(jìn)YOLACT網(wǎng)絡(luò)與其他網(wǎng)絡(luò)的路面病害分割性能測試比較，并利用自制病害數(shù)據(jù)集進(jìn)行改進(jìn)YOLACT網(wǎng)絡(luò)的消融實(shí)驗(yàn)評估，驗(yàn)證改進(jìn)YOLACT網(wǎng)絡(luò)在實(shí)際路面分割病害方面的準(zhǔn)確性與實(shí)時(shí)性.

1 基于深度過參數(shù)化卷積的YOLACT模型改進(jìn)

改進(jìn)YOLACT模型是由改進(jìn)后的主干網(wǎng)絡(luò)、預(yù)測頭網(wǎng)絡(luò)和原型網(wǎng)絡(luò)構(gòu)成，如圖1所示.通過改用Focus模塊進(jìn)行輸入圖像切片操作完成特征壓縮，并將采樣所用的7×7卷積核降為替換2層3×3卷積核，以構(gòu)建深度過參數(shù)化卷積層結(jié)構(gòu)后的殘差網(wǎng)絡(luò)ResNet50加快網(wǎng)絡(luò)收斂能力，引入卷積塊狀注意力機(jī)制增強(qiáng)網(wǎng)絡(luò)特征信息聚集能力，結(jié)合FPN組成模型主干網(wǎng)絡(luò)，完成路面病害圖像多尺度特征提取.預(yù)測頭網(wǎng)絡(luò)主要通過提取的路面病害圖像特征生成檢測框，經(jīng)篩選后輸出每個(gè)錨框生成的掩膜系數(shù).原型網(wǎng)絡(luò)則是完成模型路面病害圖像分割任務(wù)生成原型腌膜，原型腌膜和腌膜系數(shù)線性組合，并對組合結(jié)果使用激活函數(shù)非線性化來獲得最終的路面圖像中每1個(gè)路面病害的腌膜，該過程可以用式(1)單個(gè)矩陣相乘的方法來高效實(shí)現(xiàn)：

M=σ(PCT)，

(1)

P是h×w×k大小的原型腌膜，h是原型腌膜的高，w是原型腌膜的寬.C是n×k大小的腌膜系數(shù)，n是通過腌膜和閾值過濾后每個(gè)路面病害對應(yīng)的k個(gè)掩模系數(shù).σ是原型腌膜與腌膜系數(shù)進(jìn)行的線性組合.M是經(jīng)原型腌膜與腌膜系數(shù)線性組合后，生成的路面圖像中每1個(gè)路面病害的腌膜.

圖1 改進(jìn)模型結(jié)構(gòu)Fig.1 Improved model structure diagram

圖2 改進(jìn)模型特征壓縮結(jié)構(gòu)Fig.2 Improved model feature compression structure

1.1 改進(jìn)模型特征壓縮結(jié)構(gòu)

最大池化層作為卷積神經(jīng)網(wǎng)絡(luò)中一種通過取鄰域中最大值特征點(diǎn)來代替鄰域多個(gè)特征點(diǎn)的層結(jié)構(gòu)，用來實(shí)現(xiàn)壓縮特征維度、減小模型計(jì)算量、避免后續(xù)層參數(shù)過多造成過擬合.但是最大池化層存在丟失大量圖像信息的弊端，對于數(shù)據(jù)量大且復(fù)雜的數(shù)據(jù)集，會(huì)出現(xiàn)欠擬合問題.

原YOLACT模型中特征壓縮操作是通過尺寸為7×7卷積核對輸入圖像進(jìn)行步長為2的降采樣，利用最大池化層進(jìn)行通道數(shù)不變的特征維度壓縮，該壓縮方式使得輸入路面病害圖像信息大量丟失，降低了模型分割路面病害準(zhǔn)確性.因此對YOLACT模型特征壓縮結(jié)構(gòu)進(jìn)行改進(jìn)，如圖2所示.首先通過Focus模塊對圖像進(jìn)行切片操作將3通道512×512特征圖壓縮成12通道256×256的特征圖.在完成特征壓縮的同時(shí)，還保證圖像信息集中到通道空間沒有丟失，具體操作如圖3所示.對圖片中每隔1個(gè)像素取1個(gè)值，獲取4張相似的互補(bǔ)圖像并進(jìn)行拼接，這樣將3個(gè)輸入通道擴(kuò)充4倍變成12個(gè)通道，最后拼接得到的新圖像再經(jīng)過卷積操作，生成信息沒有丟失的2倍下采樣特征圖.然后利用步長為1的3×3卷積核與步長為2的3×3卷積核替換7×7卷積核，生成64通道維度為128×128特征圖，從而減小網(wǎng)絡(luò)計(jì)算量，提高模型對路面病害的分割速度.

1.2 構(gòu)建深度過參數(shù)化卷積層結(jié)構(gòu)

在圖像實(shí)例分割任務(wù)中，卷積層是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)的核心構(gòu)建模塊.網(wǎng)絡(luò)深度增加是通過增加CNN中線性層和非線性層的數(shù)量，提高網(wǎng)絡(luò)的性能.由于只增加CNN中的線性層會(huì)造成網(wǎng)絡(luò)過參數(shù)化，因此優(yōu)化網(wǎng)絡(luò)很少有人考慮只增加線性層.然而，過參數(shù)化有一個(gè)顯著的優(yōu)點(diǎn)值得被重視：過參數(shù)化使用的多個(gè)連續(xù)的線性層可以在訓(xùn)練階段后折疊為一個(gè)參數(shù)更少的單層線性層.

圖3 Focus切片操作Fig.3 Focus slice operation

圖4 DO-Conv卷積Fig.4 DO-Convolution

圖5 深度過參數(shù)化卷積結(jié)構(gòu)Fig.5 Depthwise over-parameterized convolution structure

針對路面病害圖像分割精確度高、具有實(shí)時(shí)性的問題，改進(jìn)YOLACT模型是通過在ResNet50殘差網(wǎng)絡(luò)普通卷積層中加入額外深度卷積操作來增強(qiáng)卷積層，構(gòu)成一個(gè)深度過參數(shù)化卷積層，對每個(gè)輸入通道進(jìn)行單獨(dú)卷積運(yùn)算.將ResNet50的卷積模塊中3×3傳統(tǒng)二維卷積替換為DO-Conv卷積，如圖4所示.在不增加網(wǎng)絡(luò)計(jì)算量的基礎(chǔ)上，加速網(wǎng)絡(luò)訓(xùn)練過程，提高網(wǎng)絡(luò)收斂能力，效果明顯高于普通卷積層，模型對路面病害圖像分割速度和精確度得到了提升.深度過參數(shù)化卷積結(jié)構(gòu)如圖5所示，對于3通道的輸入特征I，先使用權(quán)重D∈R(M×N)×Dmul×Cin進(jìn)行深度卷積，輸出12通道的中間變量I′，并進(jìn)行權(quán)重為W∈RCout×Dmul×Cin、卷積核尺寸為1×1的普通卷積運(yùn)算，生成最終的卷積結(jié)果O，上述運(yùn)算可用式(2)表示為

O=(D?I)×W，

(2)

Cin是輸入卷積層特征圖，為3通道，Cout是輸出卷積層特征圖，為2通道，M×N是卷積核作用窗口，尺寸大小為2×2，?表示深度卷積操作，Dmul是單通道卷積核，個(gè)數(shù)為4，即單通道輸出特征數(shù)為4，且Dmul≥M×N.

1.3 引入卷積塊狀注意力機(jī)制

路面病害圖像分割是在一個(gè)復(fù)雜的環(huán)境下進(jìn)行的，路面車輛及路旁建筑物等都會(huì)對路面病害圖像分割的結(jié)果造成干擾，利用引入注意力機(jī)制的方式對YOLACT模型進(jìn)行改進(jìn)，注重模型對路面病害圖像信息的通道和空間聚焦能力，提升路面病害圖像分割模型的網(wǎng)絡(luò)性能.引入卷積塊狀注意力機(jī)制的特征提取網(wǎng)絡(luò)，如圖6所示，通過對ResNet50的特征融合階段中C3、C4、C5 殘差模塊添加卷積塊狀注意力模塊進(jìn)行卷積層構(gòu)建，從而提升模型對實(shí)際路面病害分割的精準(zhǔn)度.

圖6 引入卷積塊狀注意力機(jī)制的特征提取網(wǎng)絡(luò)Fig.6 Feature extraction network introduces convolutional block attention mechanism

在C3、C4、C5每個(gè)殘差模塊第2個(gè)1×1卷積層后串聯(lián)插入1個(gè)通道注意力和空間注意力模塊，輸入特征圖首先經(jīng)過全局最大池化層和平均池化層分別得到1個(gè)路面病害特征通道描述，隨后將這2個(gè)通道描述送入1個(gè)2層的共享全連接層，壓縮輸入特征圖的空間維數(shù)，得到2個(gè)特征向量.通過逐元素累加的方式合并成1個(gè)特征向量，該特征向量經(jīng)激活函數(shù)生成通道注意力特征圖，與輸入特征圖逐元素相乘生成輸入空間注意力模塊的特征圖.對輸入空間注意力模塊的特征圖進(jìn)行基于通道的全局最大池化層和全局平均池化層，然后將得到的2個(gè)1通道特征圖合并為1個(gè)2通道的特征圖，該特征圖卷積降維為1通道，經(jīng)激活函數(shù)獲取空間注意力特征圖，最后與空間注意力輸入特征圖逐元素相乘，得到最終生成的路面病害特征圖，如圖7所示.

2 實(shí)驗(yàn)與分析

2.1 圖像數(shù)據(jù)集

路面病害分割實(shí)驗(yàn)通過2組數(shù)據(jù)集進(jìn)行路面病害分割精準(zhǔn)性與實(shí)時(shí)性的評估，驗(yàn)證改進(jìn)YOLACT模型在道路精準(zhǔn)養(yǎng)護(hù)方面的實(shí)用性.首先采用Kaggle官網(wǎng)中環(huán)境復(fù)雜的公開數(shù)據(jù)集potholes_and_road_damage_with_annotations進(jìn)行驗(yàn)證，其主要包含損壞、裂紋、坑洼以及含水的大、小坑洼5種類型路面病害.其次通過攝像頭實(shí)際拍攝道路路面現(xiàn)場視頻，進(jìn)行視頻每幀圖像的提取并保存為同一格式，在保存圖像中挑選病害清晰圖像作為數(shù)據(jù)樣本集，評估改進(jìn)YOLACT網(wǎng)絡(luò)的精準(zhǔn)性與實(shí)時(shí)性.調(diào)整2組數(shù)據(jù)集圖像尺寸為模型輸入圖像尺寸512×512像素，減少模型的參數(shù)量.調(diào)整尺寸后的圖像使用Labelme標(biāo)注工具對圖像中路面病害的輪廓進(jìn)行多邊形標(biāo)注，并按順序保存每張圖像對應(yīng)的標(biāo)注Json文件，將路面圖像與對應(yīng)的標(biāo)注Json文件轉(zhuǎn)化成COCO(common objects in context)數(shù)據(jù)集格式，制作成路面病害數(shù)據(jù)集.

路面病害分割實(shí)驗(yàn)自制數(shù)據(jù)集選用路面坑洼、裂縫以及少量的正常路面共800張圖像，并以8∶1∶1進(jìn)行隨機(jī)劃分.即640幅圖像作為路面病害訓(xùn)練集，80幅圖像作為路面病害驗(yàn)證集，剩余80幅圖像作為路面病害測試集.隨機(jī)劃分后的自制數(shù)據(jù)集路面病害分布如表1所示，含有路面病害的圖像主要分布在病害訓(xùn)練集與驗(yàn)證集.其中病害訓(xùn)練集中含路面坑洼病害414個(gè)、路面裂縫病害302個(gè)，病害驗(yàn)證集中含路面坑洼病害42個(gè)、路面裂縫病害50個(gè)，病害測試集中含剩余路面坑洼病害38個(gè)、路面裂縫病害29個(gè).

圖7 ResNet50殘差模塊引入CBAM注意力機(jī)制Fig.7 ResNet50 residual module introduces CBAM attention mechanism

表1 自制數(shù)據(jù)集路面病害分布Tab.1 Pavement disease distribution of self-made data sets

2.2 實(shí)驗(yàn)硬件和軟件配置

路面病害分割實(shí)驗(yàn)是在Windows 10系統(tǒng)下進(jìn)行的，處理器采用Intel(R)Core(TM)i5-10600KF，顯卡為NVIDIA GeForce RTX 3060，硬盤1 TB，內(nèi)存16 GB；在Python3.8環(huán)境下選用Pytorch1.8.0框架進(jìn)行模型訓(xùn)練與測試.以ResNet預(yù)訓(xùn)練網(wǎng)絡(luò)作為輸入的初始權(quán)重，采用隨機(jī)梯度下降法對路面病害圖像分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練.學(xué)習(xí)率衰減區(qū)間設(shè)置為(30 000，60 000，90 000)，訓(xùn)練迭代次數(shù)設(shè)置為30 000，訓(xùn)練批次設(shè)置為4，閾值設(shè)置為0.3.

2.3 評價(jià)指標(biāo)

路面病害分割實(shí)驗(yàn)效果以分割速度(frames per second,FPS)和平均精度(average precision,AP)作為評價(jià)指標(biāo).在實(shí)驗(yàn)中分割速度表示模型每秒分割圖像的幀數(shù)，每秒幀數(shù)越多表示模型分割圖像的速度越快，以此對模型分割速度進(jìn)行評估.在Microsoft COCO公開評估指標(biāo)下的AP即是平均精度均值(mean average precision,mAP)，是AP值在所有類別下的均值.AP的計(jì)算需要用到模型的精確度(precision,P)、召回率(recall,R)以及交并比(IoU)的計(jì)算.精確度是模型預(yù)測為正的樣本中真實(shí)正樣本所占比例；召回率表示所有真實(shí)樣本中正樣本被預(yù)測正確的占比，計(jì)算方法如下：

(3)

(4)

式中，NTP表示預(yù)測正確且判斷為正的樣本；NFP表示預(yù)測錯(cuò)誤且判斷為正的樣本；NFN表示預(yù)測錯(cuò)誤且判斷為負(fù)的樣本.

IoU是預(yù)測框(prediction bbox,Pb)和真實(shí)框(ground truth,Gt)的交叉面積與合并面積之比.在實(shí)例分割任務(wù)中，當(dāng)模型生成的預(yù)測框與標(biāo)注的真實(shí)框的IoU值大于設(shè)定閾值時(shí)，默認(rèn)模型輸出預(yù)測框是正確的，式(5)如下：

(5)

在Microsoft COCO公開評估指標(biāo)中，AP利用平滑處理后的PR曲線進(jìn)行計(jì)算，PR曲線由橫坐標(biāo)為召回率和縱坐標(biāo)為精確率構(gòu)成.一般取處理后的PR曲線橫軸0到1之間的100等分點(diǎn)的精確率值，包括斷點(diǎn)共101個(gè)點(diǎn)，計(jì)算其平均值作為最終AP的值，計(jì)算方法如下：

(6)

(7)

路面病害分割實(shí)驗(yàn)通過AP0.5、AP0.75、APall評估算法的路面病害分割精確度.AP0.5表示交并比閾值為0.5時(shí)的平均精度；AP0.75表示交并比閾值為0.75時(shí)的平均精度；APall表示交并比閾值在0.5至0.95之間每隔0.05計(jì)算一次AP值，對所有AP值求和并取其平均值，計(jì)算如下：

(8)

表2 不同模型在公開數(shù)據(jù)集對比實(shí)驗(yàn) Tab.2 Comparative experiments of different models in public data sets

表3 不同模型在自制數(shù)據(jù)集對比實(shí)驗(yàn)Tab.3 Comparative experiment of different models in self-made data sets

2.4 實(shí)驗(yàn)結(jié)果與分析

2.4.1 分割性能實(shí)驗(yàn) 路面病害分割性能實(shí)驗(yàn)選用2種數(shù)據(jù)集：一是包含多種類、特征差異明顯、背景復(fù)雜、分割難度高的potholes_and_road_damage_with_annotations公開數(shù)據(jù)集；二是現(xiàn)場拍攝的背景簡單、含坑洼與裂縫2種病害的自制數(shù)據(jù)集.為檢驗(yàn)改進(jìn)后模型的性能，通過改進(jìn)YOLACT模型與單階段實(shí)例分割模型FCIS[16]、PolarMask、SOLOv2[17]進(jìn)行分割速度性能對比，與具有高準(zhǔn)確性的雙階段實(shí)例分割模型Mask RCNN進(jìn)行分割精準(zhǔn)性的對比，從而測試改進(jìn)后模型的實(shí)時(shí)性與精準(zhǔn)性.

不同模型在公開數(shù)據(jù)集對比實(shí)驗(yàn)如表2所示.由表2可知，改進(jìn)YOLACT模型在公開數(shù)據(jù)集上分割平均精度達(dá)21.59%，分割速度達(dá)到31.33幀/s.改進(jìn)YOLACT模型分割平均精度優(yōu)于FCIS、PolarMask、SOLOv2 單階段實(shí)例分割模型，分別提升了3.18%、2.23%、1.65%，僅比高準(zhǔn)確性的Mask RCNN雙階段實(shí)例分割模型平均精度低0.24%，分割速度方面相較于FCIS、PolarMask、SOLOv2、Mask RCNN模型分別提高了2.96、0.68、3.19、10.64幀/s，表明改進(jìn)YOLACT模型相比于其他模型在道路病害圖像分割中具有優(yōu)勢.

不同模型在實(shí)際現(xiàn)場采集的自制數(shù)據(jù)集分割性能對比實(shí)驗(yàn)如表3所示.由于自制數(shù)據(jù)集相較于公開數(shù)據(jù)集背景簡單且種類少，改進(jìn)YOLACT模型在自制數(shù)據(jù)集上分割平均精度均有很大提高.改進(jìn)后模型分割平均精度達(dá)31.43%，優(yōu)于FCIS、PolarMask、SOLOv2模型，平均精度分別提升了3.91%、1.78%、2.02%，相較于具有高準(zhǔn)確性的Mask RCNN模型平均精度減少了3.21%.改進(jìn)YOLACT模型分割速度達(dá)到30.52幀/s，相較于FCIS、PolarMask、SOLOv2、Mask RCNN模型分別提高了2.81、1.06、0.59、10.41幀/s，表明改進(jìn)YOLACT模型能夠滿足實(shí)際現(xiàn)場路面病害實(shí)時(shí)精確地分割.

2.4.2 消融實(shí)驗(yàn) 通過對自制路面病害數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)檢驗(yàn)每個(gè)模塊對模型分割的提升效果，依次進(jìn)行改進(jìn)特征維度結(jié)構(gòu)，引入CBAM注意力機(jī)制模塊，替換DO-Conv卷積模塊的實(shí)驗(yàn)，如表4所示.由表4可知：① 采用ResNet50作為主干網(wǎng)絡(luò)，分割路面病害的AP0.5為42.73%，AP0.75為11.23%，APall為17.75%，分割速度為27.97幀/s；② 改進(jìn)特征壓縮結(jié)構(gòu)的ResNet50網(wǎng)絡(luò)(ResNet50+Focus)，模型的平均精度有較大提升，其AP0.5從42.73%提升至48.66%，AP0.75從11.23%略微降至9.98%，APall從17.75%提升至20.10%，而分割速度由27.97幀/s降至28.65幀/s，改進(jìn)后的特征壓縮結(jié)構(gòu)減小了圖像信息丟失，提高了模型的分割精度;③ 在改進(jìn)特征壓縮結(jié)構(gòu)的ResNet50網(wǎng)絡(luò)中添加注意力機(jī)制(ResNet50+Focus+CBAM)，模型的平均精度有較大提升，其AP0.5從48.66%提升至51.22%，AP0.75從9.98%提升至11.64%，APall從20.10%提升至21.68%，而分割速度由28.65幀/s降至24.78幀/s，引入注意力機(jī)制使模型以小資源開銷換取性能顯著提升;④ 改進(jìn)特征壓縮結(jié)構(gòu)的ResNet50網(wǎng)絡(luò)中添加注意力機(jī)制并將部分卷積層替換成深度過參數(shù)化卷積層(ResNet50+Focus+CBAM+DO-Conv)，路面病害圖像分割平均精度AP0.5從51.22%提升至53.53%，AP0.75從11.64%提升至13.45%，APall從21.68%提升至31.43%，分割速度從24.78幀/s提升至30.52幀/s，表明模型性能較優(yōu)化前得到明顯提升，達(dá)到預(yù)期高精確度、實(shí)時(shí)性路面病害圖像分割需求.

表4 分割模型消融實(shí)驗(yàn)Tab.4 Segmentation model ablation experiment

采用原YOLACT模型盡管能夠分割路面病害圖像，但隨著卷積網(wǎng)絡(luò)層數(shù)的疊加，路面病害圖像信息會(huì)逐漸模糊或丟失，如圖8所示.圖8(a)(b)中模型分割結(jié)果分別出現(xiàn)路面坑洼漏檢、路面裂縫漏檢；圖8(c)(d)中模型分割結(jié)果分別出現(xiàn)路面坑洼邊界分割不準(zhǔn)確、路面裂縫邊界分割不準(zhǔn)確.而構(gòu)建深度過參數(shù)化卷積層和引入注意力模塊能夠顯著提高模型的路面病害圖像分割精確度，并保留較為準(zhǔn)確的邊界信息.改進(jìn)YOLACT模型分割路面病害圖像，不僅能夠得到路面病害圖像的精準(zhǔn)定位結(jié)果，還能夠保留其準(zhǔn)確的邊界信息，從而顯著提升了模型對裂縫、坑洼等路面病害的分割精度，如圖8(e)～(h)所示.

圖8 改進(jìn)前后模型分割效果 Fig.8 Model segmentation effect before and after improvement

3 結(jié)語

針對道路養(yǎng)護(hù)單位進(jìn)行道路精準(zhǔn)養(yǎng)護(hù)過程中路面病害分割高準(zhǔn)確性、實(shí)時(shí)性的需求，以實(shí)際現(xiàn)場的路面病害為研究對象，采用改進(jìn)后的YOLACT模型進(jìn)行路面病害圖像精確、快速地分割，通過改進(jìn)模型特征壓縮結(jié)構(gòu)，在殘差網(wǎng)絡(luò)ResNet50中構(gòu)建深度過參數(shù)化卷積層結(jié)構(gòu)，引入卷積塊狀注意力機(jī)制增強(qiáng)網(wǎng)絡(luò)對特征聚焦能力，并與特征金字塔網(wǎng)絡(luò)相融合構(gòu)成改進(jìn)后模型的主干網(wǎng)絡(luò)，完成圖像特征提取與融合，經(jīng)預(yù)測頭網(wǎng)絡(luò)和原型網(wǎng)絡(luò)實(shí)現(xiàn)路面圖像中路面病害分割.

路面病害分割實(shí)驗(yàn)利用公開數(shù)據(jù)集與自制數(shù)據(jù)集進(jìn)行不同模型與改進(jìn)YOLACT模型的分割性能測試，并在自制數(shù)據(jù)集中驗(yàn)證改進(jìn)后模型與原YOLACT模型在實(shí)際道路的分割效果，改進(jìn)后的模型在驗(yàn)證集的平均精度AP0.5、AP0.75、APall分別為53.53%、13.45%和31.43%，其圖像分割平均精度與分割速度均有顯著提升，說明改進(jìn)后模型可以實(shí)現(xiàn)實(shí)時(shí)精確的路面病害圖像分割，2組數(shù)據(jù)集評估改進(jìn)YOLACT模型能夠很好完成路面病害的高精確性、實(shí)時(shí)性的分割任務(wù).改進(jìn)YOLACT模型雖然能夠滿足道路精準(zhǔn)養(yǎng)護(hù)實(shí)時(shí)、精確的需求，但是還需要進(jìn)一步提升模型對復(fù)雜道路環(huán)境多種多樣的路面病害分割性能.