章世祥，張漢成，李西芝，胡 靖

(1. 華設(shè)設(shè)計(jì)集團(tuán)，江蘇 南京 210014；2. 東南大學(xué) 土木工程學(xué)院，江蘇 南京 211189；3. 東南大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 211189；4. 東南大學(xué) 智能運(yùn)輸系統(tǒng)研究中心，江蘇 南京 211189)

0 引言

裂縫是路面結(jié)構(gòu)的主要病害類型，尤其是半剛性基層結(jié)構(gòu)引起的反射裂縫對(duì)道路設(shè)施的正常運(yùn)營造成極大隱患，裂縫若得不到及時(shí)維養(yǎng)將發(fā)展為坑槽病害，對(duì)行車安全性極其不利。有效的裂縫檢測技術(shù)對(duì)維持路面服役水平、保障車輛行駛安全至關(guān)重要，傳統(tǒng)的路面病害檢測主要依靠人工巡檢方式，其存在效率低、主觀性強(qiáng)且成本較高等缺陷，隨著圖像處理技術(shù)的不斷發(fā)展，基于病害圖像的識(shí)別與分析為路面裂縫檢測提供了高效方法，但其識(shí)別精度依賴于病害圖像質(zhì)量。因此，研究提出了一種基于機(jī)器視覺的路面裂縫識(shí)別技術(shù)，為路面結(jié)構(gòu)的病害評(píng)估提供基礎(chǔ)。

傳統(tǒng)的圖像識(shí)別技術(shù)主要通過圖像灰度值等特征定義病害區(qū)域，如大津法OTSU、邊緣檢測與區(qū)域生長算法等[1-3]，對(duì)于具有簡單背景且灰度差異較大的病害圖像具有較好的識(shí)別效果，但復(fù)雜背景下識(shí)別錯(cuò)誤率較高。對(duì)于路面裂縫病害的識(shí)別，分割算法相對(duì)而言具有較好的正確率，但其處理速度較慢[4]。利用圖像紋理并考慮亮度和連通性來識(shí)別裂縫，或采用動(dòng)態(tài)閾值方法均只能獲得較為粗糙的裂縫形態(tài)[5]。此外，基于Canny邊緣檢測的裂縫識(shí)別也較易出現(xiàn)誤識(shí)別情況，可見傳統(tǒng)圖像識(shí)別技術(shù)普遍問題在于準(zhǔn)確度低，誤報(bào)率高，無法對(duì)病害進(jìn)行像素級(jí)的識(shí)別，需要手動(dòng)提取特征，且預(yù)處理的方法直接影響到識(shí)別效果等[6-7]。對(duì)于深度學(xué)習(xí)框架而言，卷積神經(jīng)網(wǎng)絡(luò)(CNN)被認(rèn)為對(duì)復(fù)雜背景下病害的識(shí)別具有極大的優(yōu)勢。AlexNet模型證明了CNN 網(wǎng)絡(luò)能夠提升圖像分類的效果，隨后GoogleNet、 VGG與ResNet等均表明了CNN網(wǎng)絡(luò)在圖像識(shí)別中的有效性[8-9]。近年來，基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)逐漸用于工程結(jié)構(gòu)的病害檢測，Zhang等提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的道路裂縫檢測系統(tǒng)，使用了整流線性單元(ReLU)作為激活函數(shù)，提高模型在訓(xùn)練時(shí)收斂的速度[10]。Xu等在全卷積神經(jīng)網(wǎng)絡(luò)(FCN)的基礎(chǔ)上建立了FCNN模型，其語義分割效果較好但訓(xùn)練時(shí)間相對(duì)較長[11]。Jiang等采用無人機(jī)實(shí)時(shí)獲取裂縫圖像并進(jìn)行識(shí)別，同時(shí)可以獲取裂縫的寬度值[12]。Maeda等建立了一個(gè)大型路面病害數(shù)據(jù)庫，并基于MobileNet等輕量級(jí)模型對(duì)裂縫進(jìn)行識(shí)別，實(shí)現(xiàn)了對(duì)病害的快速推理，但是犧牲了部分的準(zhǔn)確度[13]。Ni等將GoogLeNet和ResNet20組合用于識(shí)別裂縫，取得了良好的效果。但是對(duì)于尺寸較小的裂縫識(shí)別效果不佳，并且識(shí)別速度較慢[14]。Cha等使用滑動(dòng)窗口基于CNN辨識(shí)裂縫，但無法確定最佳滑動(dòng)窗口大小，且處理速度較慢[15]，而采用Fast R-CNN模型識(shí)別裂縫有效提高了速度，但是無法輸出裂縫的掩碼，同時(shí)也無法統(tǒng)計(jì)出裂縫的大小[16]。綜上所述，基于深度學(xué)習(xí)模型對(duì)于病害的檢測問題主要還是集中在圖像分類，或者按圖像塊進(jìn)行分類，最終為圖像產(chǎn)生塊檢測結(jié)果，而不是針對(duì)病害像素產(chǎn)生檢測結(jié)果，更進(jìn)一步的研究也只停留在語義分割的層次上。部分研究實(shí)現(xiàn)了對(duì)于像素級(jí)的分類，然而并不能實(shí)現(xiàn)實(shí)例分割，當(dāng)在一個(gè)圖像中出現(xiàn)多個(gè)同種病害時(shí)，無法將其區(qū)分識(shí)別[17]。此外，部分基于深度學(xué)習(xí)的模型推理速度過慢，難以在工程中實(shí)現(xiàn)高效應(yīng)用。

本研究提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的自動(dòng)化道路病害的檢測模型，基于Mask R-CNN框架[18]，用以實(shí)現(xiàn)對(duì)路面的裂縫進(jìn)行實(shí)例分割的目的。相對(duì)于以往的自動(dòng)化病害檢測模型相比，該模型實(shí)現(xiàn)對(duì)裂縫的實(shí)例分割，可對(duì)裂縫病害開展有效的識(shí)別、檢測、定位與多裂縫目標(biāo)分割。同時(shí)，擴(kuò)展的主干網(wǎng)絡(luò)有效提高了模型的識(shí)別性能與精度，具備像素級(jí)別的識(shí)別效應(yīng)，減少模型對(duì)于路面切割縫的誤識(shí)別，增強(qiáng)模型的魯棒性。

1 多語義機(jī)器視覺識(shí)別模型

1.1 基于Mask R-CNN的識(shí)別模型框架

卷積神經(jīng)網(wǎng)絡(luò)(CNN)常用于實(shí)現(xiàn)目標(biāo)物檢測、語義分割與定位[19]，由于其具備較好的識(shí)別精度，因此在隧道等工程結(jié)構(gòu)的病害研究中得到了一定應(yīng)用，而在CNN基礎(chǔ)上發(fā)展得到的R-CNN與Faster R-CNN顯著地提升了檢測效率[20]。研究引入Mask R-CNN開展路面裂縫病害的識(shí)別，并且實(shí)現(xiàn)病害體的實(shí)例分割。Mask R-CNN在Faster R-CNN的基礎(chǔ)上，增加了第3個(gè)支路以輸出每個(gè)目標(biāo)物的Mask。同時(shí)，為了建立深層卷積神經(jīng)網(wǎng)絡(luò)以解決訓(xùn)練時(shí)梯度消失的問題，采用ResNet-50和ResNet-101兩個(gè)模型作為主干網(wǎng)絡(luò)提取圖片的特征[21]，其網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 ResNet-50與ResNet-101模型結(jié)構(gòu)Tab.1 Structure of ResNet-50 and ResNet-101 models

裂縫病害具有較大的長寬比，其像素面積相對(duì)背景而言較小且不同裂縫尺寸存在差異。因此，需要在卷積神經(jīng)網(wǎng)絡(luò)中盡可能地利用深層網(wǎng)絡(luò)與淺層網(wǎng)絡(luò)數(shù)據(jù)信息，分別提取用于裂縫病害檢測與分類的語義、幾何特征。研究選用Feature Pyramid Networks(FPN)提取各層次維度的裂縫特征，為了提高模型的性能，構(gòu)建了多尺度的特征圖，如圖1所示。采用多尺度特征融合的方式，將主干網(wǎng)絡(luò)每個(gè)stage的特征圖輸出，深層特征通過上采樣和低層特征融合，且每層特征均為獨(dú)立預(yù)測。

圖1 特征金字塔網(wǎng)絡(luò)模型Fig.1 Feature pyramid network (FPN)

本研究所建立的識(shí)別模型框架如圖2所示。模型結(jié)構(gòu)分為兩部分，第1部分的主干網(wǎng)絡(luò)由ResNet-50、ResNet-101的FPN層組合而成，主干網(wǎng)絡(luò)的主要作用是提取圖片的特征。第2部分的網(wǎng)絡(luò)處理輸入的特征圖并生成候選區(qū)域，即有可能包含一個(gè)目標(biāo)的區(qū)域，再分類候選區(qū)域并生成邊界框和掩碼，從而實(shí)現(xiàn)采用相同的識(shí)別模型對(duì)不同路面裂縫的像素級(jí)識(shí)別與實(shí)例分割。

圖2 提出的識(shí)別模型結(jié)構(gòu)Fig.2 Proposed structure of identification model

已有研究成果表明，增加網(wǎng)絡(luò)的深度或?qū)挾炔粫?huì)降低網(wǎng)絡(luò)性能，因?yàn)榭梢栽诋?dāng)前網(wǎng)絡(luò)上增加卷積層而不改變特征圖的尺寸，得到的新模型應(yīng)具有更強(qiáng)的特征提取能力[21]。這表明較深的模型所產(chǎn)生的誤差不應(yīng)該比較淺的模型高[22]。為了進(jìn)一步提高模型的性能，將ResNet-50、ResNet-101兩個(gè)主干網(wǎng)絡(luò)的FPN層按層次分別疊加在一起，通過將輸出的特征圖直接相加以此來增加FPN層每一層的語義信息和幾何信息。如表2所示，ResNet-50和ResNet-101輸出的特征圖大小的尺寸是一致的，因此不需要進(jìn)行額外的升采樣或降采樣等處理。

表2 性能評(píng)價(jià)指標(biāo)Tab.2 Performance indicators

1.2 模型損失函數(shù)優(yōu)化

裂縫病害的長寬比值較大，其在圖像中的像素?cái)?shù)遠(yuǎn)小于背景像素。因此，若采用Mask R-CNN框架的經(jīng)典損傷函數(shù)將導(dǎo)致裂縫像素誤識(shí)別為背景像素。本研究構(gòu)建新的損傷函數(shù)以提高裂縫的識(shí)別正確率，病害圖像通過識(shí)別模型后計(jì)算出預(yù)測值，該預(yù)測值與真實(shí)值間的差距可采用函數(shù)進(jìn)行量化：

Loss=LossCls+LossBox+LossMask，

(1)

式中，LossCls為病害類型分類誤差；LossBox為病害位置誤差；LossMask為掩模真實(shí)值誤差。

其中LossMask可由以下公式進(jìn)行計(jì)算：

LossMask=-∑[λ·W·yi·lnσ(xi)+(1-yi)·

lnσ(1-xi)]，

(2)

式中，λ為權(quán)重系數(shù)，其值越大表明對(duì)分類錯(cuò)誤的裂縫像素懲罰值越大；W為背景像素?cái)?shù)與裂縫像素?cái)?shù)的比值；yi為第i個(gè)像素的真實(shí)值；xi為第i個(gè)像素的預(yù)測值；σ為Sigmoid函數(shù)。

研究所建立的模型采用隨機(jī)梯度下降算法(SGD)進(jìn)行訓(xùn)練[23]，每次從訓(xùn)練集中隨機(jī)選取一個(gè)樣本進(jìn)行學(xué)習(xí)以加快訓(xùn)練效率，同時(shí)采用沖量算法Momentum加速損失函數(shù)的收斂性[24]。對(duì)于隨機(jī)采的m組數(shù)據(jù)，可計(jì)算其平均損失梯度為：

(3)

式中，f(x;w)為學(xué)習(xí)器；wi-1為第i-1次訓(xùn)練時(shí)的參數(shù)，模型訓(xùn)練更新速度與計(jì)算參數(shù)更新值分別為：

vi=βvi-1-αΔw，

(4)

wi=wi-1-vi，

(5)

式中，β為動(dòng)量參數(shù)；vi-1為第i-1次訓(xùn)練時(shí)的更新速度；α為學(xué)習(xí)率。

1.3 識(shí)別模型訓(xùn)練

為了解決數(shù)據(jù)集的缺乏導(dǎo)致的模型泛化能力不強(qiáng)、模型訓(xùn)練時(shí)間過長、函數(shù)無法收斂等問題，研究采用了基于遷移學(xué)習(xí)的模型訓(xùn)練方案[25]，采用在ImageNet數(shù)據(jù)庫中預(yù)先訓(xùn)練的ResNet-50，ResNet-101模型，將基礎(chǔ)網(wǎng)格模型與特征圖金字塔網(wǎng)絡(luò)FPN層凍結(jié)，只訓(xùn)練剩余的部分以確保模型具備較好的訓(xùn)練速度與準(zhǔn)確率。此外，為避免與裂縫類似的干擾影響，將明顯的干裂圖像作為困難樣本(Hard Example)加入到訓(xùn)練集中對(duì)模型進(jìn)行訓(xùn)練，這樣可以提高模型對(duì)于裂縫識(shí)別的準(zhǔn)確度，減少對(duì)于切割縫等干擾物的誤識(shí)別。

本研究對(duì)裂縫病害的識(shí)別可劃分為如圖3所示的4項(xiàng)內(nèi)容，圖3(a)為病害分類，即判斷圖像中是否存在裂縫病害，屬于二分類問題；圖3(b)為位置檢測，判斷裂縫在圖像中的位置并用Box選中；圖3(c)為語義分割，將圖像中裂縫病害進(jìn)行像素級(jí)分割；圖3(d)為實(shí)例分割，將同一張圖片中的多個(gè)裂縫進(jìn)行像素級(jí)的分割。

圖3 裂縫識(shí)別步驟Fig.3 Steps of crack identification

訓(xùn)練集輸入的圖像數(shù)據(jù)分辨率為768×1 024，batchsize設(shè)置為2，學(xué)習(xí)率為0.001。為了使損失函數(shù)更好收斂，使用學(xué)習(xí)率指數(shù)衰減讓學(xué)習(xí)率隨著學(xué)習(xí)進(jìn)度降低以達(dá)到更好的訓(xùn)練目的。識(shí)別模型的構(gòu)建使用pytorch 1.3.1版本在ubuntu18.04上部署了建模環(huán)境，并使用i9-9900k和RTX2080ti來進(jìn)行模型的訓(xùn)練和測試。

2 路面裂縫病害訓(xùn)練數(shù)據(jù)標(biāo)注與參數(shù)學(xué)習(xí)

為了訓(xùn)練與測試識(shí)別模型，收集了不同分辨率的路面裂縫圖像1 290張，其中橫向與縱向裂縫1 128 張、網(wǎng)狀裂縫162張。隨機(jī)選取1 144張圖像作為訓(xùn)練集，選取146張圖像作為測試集，訓(xùn)練集中水泥路面與瀝青路面裂縫病害圖像分別為778張與366張。為便于計(jì)算，壓縮不同路面裂縫圖像至統(tǒng)一分辨率768×1 024。為了獲取圖片像素級(jí)的標(biāo)注，先對(duì)原圖進(jìn)行灰度化和二值化預(yù)處理，并且調(diào)整灰度閾值及去除多余的噪點(diǎn)，典型病害標(biāo)記如圖4所示。

圖4 識(shí)別模型訓(xùn)練集標(biāo)注Fig.4 Labeling training set of identification model

圖5 不同損失函數(shù)的對(duì)比Fig.5 Comparison different loss functions

將病害圖像按照9∶1分為訓(xùn)練集與測試集，并采用翻轉(zhuǎn)、對(duì)稱與隨機(jī)調(diào)整亮度、對(duì)比度實(shí)現(xiàn)訓(xùn)練集數(shù)據(jù)增強(qiáng)并擴(kuò)充4倍，以實(shí)現(xiàn)訓(xùn)練模型具備更好的泛化能力與魯棒性[26]。

識(shí)別模型的性能采用PIXACC，PIXAP，PIXREC，IOU開展像素級(jí)別評(píng)估，并使用COCO數(shù)據(jù)集中的評(píng)價(jià)指標(biāo)AP50，AP75對(duì)模型實(shí)例分割的能力進(jìn)行詳細(xì)的性能評(píng)估[27]。此外，識(shí)別模型在輸出裂縫Mask的同時(shí)還會(huì)輸出包含裂縫Box，因此使用AP和REC來評(píng)價(jià)模型的裂縫檢測能力。

如前所述，裂縫像素和背景像素的數(shù)量存在顯著的不平衡，如果使用Mask R-CNN框架的傳統(tǒng)損失函數(shù)計(jì)算方法，在訓(xùn)練中為了降低Loss值，模型會(huì)更傾向于將更多的裂縫像素分類為背景像素。為緩解正負(fù)樣本數(shù)量上的失衡問題，研究在訓(xùn)練LossMask時(shí)使用平衡二值化交叉熵(Balanced binary cross entropy)計(jì)算mask分支上的Loss數(shù)值。

圖5對(duì)比了平衡二值化交叉熵與傳統(tǒng)方法在裂縫識(shí)別中的區(qū)別，可見前者具有較為顯著的識(shí)別優(yōu)勢，不會(huì)影響模型對(duì)于裂縫的目標(biāo)檢測。平衡二值化交叉熵方法的應(yīng)用效果受權(quán)重參數(shù)λ的影響較為顯著，有必要對(duì)最優(yōu)權(quán)重參數(shù)的取值開展對(duì)比分析。

圖6說明了權(quán)重參數(shù)λ變化對(duì)性能評(píng)價(jià)指標(biāo)的影響，由圖6(a)可知，隨著權(quán)重參數(shù)λ的增加，不同性能評(píng)價(jià)指標(biāo)變化趨勢有所區(qū)別：PIXACC，PIXAP與IOU均隨著權(quán)重參數(shù)λ的增加而逐漸減少，其中PIXACC對(duì)權(quán)重參數(shù)λ的變化并不敏感；PIXREC的變化呈現(xiàn)相反趨勢，即隨著權(quán)重參數(shù)λ的增加而逐漸增大。通過試算可知，一定范圍內(nèi)權(quán)重參數(shù)λ越大，識(shí)別模型中對(duì)于裂縫像素的錯(cuò)誤分類懲罰值越大，則識(shí)別模型更偏向于將像素分類為裂縫像素，此時(shí)PIXREC越大且PIXAP越小。識(shí)別模型需要達(dá)到有效識(shí)別裂縫的目的，因此PIXREC與PIXAP需要取得平衡，即在確保較高PIXREC的前提下盡可能提高PIXAP數(shù)值。圖6(b)為不同權(quán)重參數(shù)λ下PIXAP與PIXREC的變化情況，可見當(dāng)權(quán)重參數(shù)λ取得0.3時(shí)符合要求。

圖6 權(quán)重參數(shù)λ取值影響Fig.6 Influence of weight parameter λ value

3 研究成果討論

3.1 識(shí)別效果分析

本研究所建立的識(shí)別模型共迭代30 000次，迭代次數(shù)每滿1 000次將會(huì)評(píng)估識(shí)別模型對(duì)于驗(yàn)證集的驗(yàn)證效果，識(shí)別模型的損失函數(shù)隨迭代次數(shù)的變化如圖7(a)所示，為進(jìn)一步對(duì)比不同主干網(wǎng)絡(luò)的損失函數(shù)變化規(guī)律，將不同的主干網(wǎng)絡(luò)訓(xùn)練結(jié)果進(jìn)行對(duì)比，如圖7(b)所示。

圖7 識(shí)別模型損失函數(shù)變化規(guī)律Fig.7 Change rule of loss function of identification model

訓(xùn)練與驗(yàn)證結(jié)果均表明了所建立識(shí)別模型具備有效的泛化性能，訓(xùn)練過程中未發(fā)生過擬合現(xiàn)象，訓(xùn)練后的模型能夠精確地識(shí)別路面裂縫病害。由圖7(a)可知，損失函數(shù)隨著迭代次數(shù)的增加在逐漸減小，表明其識(shí)別精度逐漸提高。在迭代次數(shù)小于10 000 時(shí)，其減小速率較大，隨后趨于平緩。圖7(b)顯示了不同主干網(wǎng)絡(luò)中損失函數(shù)的變化規(guī)律，可見其變化趨勢相似，在相同迭代次數(shù)下，所建立的識(shí)別模型的損失函數(shù)更小，具備更好的識(shí)別精度。本研究所用測試集共146張圖片，包含162條裂縫，識(shí)別模型成功識(shí)別160條裂縫，成功識(shí)別出93.6%的裂縫像素，同時(shí)正確分類了98.9%的裂縫病害。裂縫數(shù)據(jù)集區(qū)別于其他傳統(tǒng)的實(shí)例分割的數(shù)據(jù)集，標(biāo)注時(shí)難以精確區(qū)分裂縫的界限，因此數(shù)據(jù)集中存在因標(biāo)注產(chǎn)生的誤差像素。

如圖8所示，所建立的模型實(shí)際上可以較好地實(shí)現(xiàn)裂縫識(shí)別，然而裂縫輪廓細(xì)節(jié)相對(duì)難以精確描述，存在著大量的孔隙且人工標(biāo)注會(huì)漏掉部分裂縫的細(xì)節(jié)。所以，PIXAP，IOU，AP50，AP75在裂縫識(shí)別中會(huì)因?yàn)橛?xùn)練集圖像本身難以精準(zhǔn)標(biāo)注的問題受到影響。

圖8 典型病害圖像識(shí)別效果Fig.8 Result of typical diseases image recognition

以測試集數(shù)據(jù)為基礎(chǔ)，表3列出了本研究識(shí)別模型與主干網(wǎng)絡(luò)為ResNet-50、ResNet-101的Mask R-CNN模型以及全卷積神經(jīng)網(wǎng)絡(luò)FCN模型的性能指標(biāo)對(duì)比，可見優(yōu)化后模型框架與損失函數(shù)具備相對(duì)較好的綜合指標(biāo)，滿足復(fù)雜背景下路面裂縫病害的識(shí)別與提取。

表3 識(shí)別模型的性能指標(biāo)Tab.3 Performance indicators of recognition model

3.2 識(shí)別效果對(duì)比

由前述分析可知，識(shí)別模型由于擴(kuò)充了主干網(wǎng)絡(luò)，其在裂縫識(shí)別的性能指標(biāo)得到了優(yōu)化，針對(duì)裂縫檢測與識(shí)別的指標(biāo)AP與REC有所提高。為了與常用的語義分割模型開展對(duì)比，本研究選用以VGG-Net為主干網(wǎng)絡(luò)的FCN模型以相同的病害數(shù)據(jù)開展訓(xùn)練，并在測試集中進(jìn)行驗(yàn)證[28]，同時(shí)也列出了常見的自適應(yīng)閾值與Canny邊緣檢測算法識(shí)別效果，如圖9所示。

由圖9可以看出，識(shí)別模型在裂縫識(shí)別的問題中表現(xiàn)相對(duì)較好，通過合并ResNet-50和ResNet-101增加主干網(wǎng)絡(luò)寬度可以在一定程度上進(jìn)一步提高模型的性能。如圖9(a)與圖9(b)所示，所建立的識(shí)別模型能較好地識(shí)別裂縫形貌，并且對(duì)于同一張圖片中的多條裂縫與細(xì)微裂縫均可實(shí)現(xiàn)有效識(shí)別與實(shí)例分割，針對(duì)非裂縫病害的路面接縫等結(jié)構(gòu)也能達(dá)到有效過濾的目的。此外，對(duì)于復(fù)雜的網(wǎng)狀裂縫也具備一定的識(shí)別能力。作為對(duì)比，全卷積神經(jīng)網(wǎng)絡(luò)FCN的識(shí)別效果如圖9(c)所示，其對(duì)微小裂縫的細(xì)節(jié)描述能力較弱，且由于模型結(jié)構(gòu)設(shè)計(jì)的不同導(dǎo)致其只有語義分割的功能，在識(shí)別網(wǎng)狀裂縫方面效果較差。圖像閾值化是從灰度圖像中分離目標(biāo)區(qū)域和背景區(qū)域的基本方法，然而僅僅通過設(shè)定固定閾值很難達(dá)到理想的分割效果。自適應(yīng)閾值通過計(jì)算像素的局部平均強(qiáng)度確定其應(yīng)該具有的閾值，進(jìn)而保證圖像中各個(gè)像素的閾值會(huì)隨著周圍鄰域塊的變化而變化。自適應(yīng)閾值在識(shí)別瀝青路面的裂縫時(shí)效果不佳，主要是由于瀝青路面顏色、紋理、光影的變化過于劇烈，易將其他低灰度值物體識(shí)別為裂縫，如圖9(d)所示。Canny邊緣檢測是基于估計(jì)高斯平滑圖像每個(gè)像素的梯度作為邊緣強(qiáng)度的指標(biāo)，可見其識(shí)別效果也無法滿足要求，且與自適應(yīng)閾值類似，均不能實(shí)現(xiàn)非裂縫構(gòu)造的辨識(shí)，如圖9(e)所示。

本研究所建立的識(shí)別模型通過組合ResNet-50與ResNet-101的FPN層來獲得更好的特征提取能力。對(duì)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)層次越深，特征圖的尺寸越小，其在輸入圖的映射范圍越大，因此針對(duì)圖像中細(xì)小裂縫所處位置的描述能力會(huì)下降。

圖9 裂縫病害識(shí)別效果對(duì)比Fig.9 Comparison of crack disease identification results

圖10 FPN層的特征圖Fig.10 Feature images of FPN layers

圖10所示為識(shí)別模型中不同F(xiàn)PN層的病害圖像特征狀況，可見低層的病害特征圖主要表現(xiàn)為背景、裂縫的紋理、輪廓等細(xì)節(jié)信息，如圖10(a)所示；隨著分析層次的逐漸增加，特征圖的響應(yīng)逐漸變得抽象，輪廓等細(xì)節(jié)信息逐漸缺失，如圖10(b)～圖10(d)所示。然而，高層特征圖通過與低層特征圖進(jìn)行疊加，依然保留了裂縫的幾何信息，提升了識(shí)別模型檢測尺寸不同裂縫的能力。本研究所建立的識(shí)別算法對(duì)橫向、縱向與網(wǎng)狀裂縫均具有較好的識(shí)別效果，并且達(dá)到每秒處理20張病害圖像數(shù)據(jù)，有效實(shí)現(xiàn)對(duì)病害圖像或視頻數(shù)據(jù)的高效處理。

4 結(jié)論

本研究針對(duì)路面結(jié)構(gòu)常見的裂縫類病害，基于Mask R-CNN框架擴(kuò)展并優(yōu)化了識(shí)別模型，實(shí)現(xiàn)了裂縫病害的圖像分類、位置檢測、語義分割與實(shí)例分割，通過與其他傳統(tǒng)與深度學(xué)習(xí)識(shí)別算法的成果對(duì)比，得到如下結(jié)論：

(1)基于深度學(xué)習(xí)的識(shí)別模型能夠開展病害圖像的語義分割，并對(duì)同一張圖像中的不同裂縫進(jìn)行了實(shí)例分割，提高了識(shí)別模型的可擴(kuò)展性。

(2)通過合并ResNet-50與ResNet-101的FPN層可以顯著提高主干網(wǎng)絡(luò)提取病害圖像特征的性能，本研究模型對(duì)裂縫病害類型的辨識(shí)正確率達(dá)到98.9%，并可精確識(shí)別93.6%的裂縫類像素。

(3)利用平衡二值化交叉熵計(jì)算函數(shù)數(shù)值，并對(duì)裂縫像素的錯(cuò)誤分類設(shè)置更高的懲罰值，可有效緩解裂縫像素和背景像素?cái)?shù)量上失衡導(dǎo)致的召回率下降。

(4)識(shí)別模型訓(xùn)練過程中引入遷移學(xué)習(xí)框架，提高了模型訓(xùn)練的收斂性，極大減少了訓(xùn)練時(shí)間成本，實(shí)現(xiàn)用較少的數(shù)據(jù)集訓(xùn)練得到較為精確的識(shí)別模型。