孫夢園，劉 義，范文慧

（清華大學(xué)自動化系，北京 100191）

0 引言

道路檢測可以幫助獲得路況信息，評估損壞程度，并為道路維護和重建提供重要依據(jù)[1]。近年來，隨著公路建設(shè)的飛速發(fā)展，維護管理工作量大大增加，導(dǎo)致對路面檢測的需求增加?？焖?、準確地訪問道路狀況信息是高速公路維護和修復(fù)（M&R）的關(guān)鍵。隨著高速公路里程的增加，自動道路檢測車輛已成為高速公路機構(gòu)管理其道路網(wǎng)絡(luò)的一種廣泛使用和必要的手段。路面損壞程度是影響道路決策的重要指標。自21世紀以來，道路檢測車輛的發(fā)展已逐步得到改善。檢測車的結(jié)構(gòu)設(shè)計主要包括路面損壞情況拍攝系統(tǒng)、道路平整度和車轍自動檢測系統(tǒng)、正面圖像檢測系統(tǒng)、自動記錄繪圖系統(tǒng)、GPS定位系統(tǒng)、模塊化離線計算和信息管理數(shù)據(jù)中心系統(tǒng)[2]。由于裂縫是路面破壞的一種常見類型，近年來，路面裂縫自動識別系統(tǒng)在路面管理領(lǐng)域發(fā)展迅猛，研究人員進行了旨在有效和高效地檢測和分割路面裂縫的研究。

在裂縫分割領(lǐng)域，傳統(tǒng)算法研究主要集中在多種多樣的裂縫特征的提取上，并提出了基于閾值的[3,4]、基于邊緣檢測的[5]、基于數(shù)學(xué)形態(tài)學(xué)的[6,7]等多種分割算法。Talab等嘗試通過使用Sobel濾波器消除殘留噪聲來檢測路面裂縫，并采用Otsu方法檢測主要裂縫[8]。鄒等開發(fā)了一種陰影去除算法以去除路面陰影并保留裂縫，并使用張量投票來構(gòu)建裂縫的概率圖，以增強裂縫片段的接近度和曲線的連續(xù)性[9]。Salman等提出了一種基于Gabor濾波器的道路裂縫自動檢測方法[10]。

以上算法在一定程度上解決了路面裂縫特征提取的問題，但是當(dāng)?shù)缆妨芽p被噪聲或其他惡劣條件（例如異質(zhì)光）包圍時，傳統(tǒng)方法表現(xiàn)效果不佳[11]，圖像的噪聲成為道路裂縫檢測的難點之一[12,13]。此外，在圖像采集期間，裂縫樣本的不平衡還導(dǎo)致難以確定用于裂縫檢測或分割的特征[14]。近年來，用于語義分割的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在圖像分割中比傳統(tǒng)方法獲得了極大的歡迎、取得了巨大的成功。2014年，全卷積網(wǎng)絡(luò)提出將全連接層替換為卷積，因此可以接受任何大小的圖像輸入，相較于全連接網(wǎng)絡(luò)取得更優(yōu)的圖像分割效果[15]。在此基礎(chǔ)上，針對裂縫的分割或檢測，U-Net成為流行的體系結(jié)構(gòu)之一，該網(wǎng)絡(luò)提出了快捷連接的編碼-解碼結(jié)構(gòu)，前者逐漸減小空間尺寸而后者逐漸恢復(fù)空間尺寸和詳細信息[16]。K?nigJ等人在U-Net上應(yīng)用編碼器和解碼器部分之間的殘留連接和注意門控機制，從而使僅與目標相關(guān)的功能獲得更多權(quán)重[17]。Escalona等人實現(xiàn)了兩個基于U-Net的網(wǎng)絡(luò)變體，用于自動路面裂縫檢測[18]。Fang等人提出了一個ConvNet模型，為每個檢測到的目標提供裂縫方向信息。他們開發(fā)了一種貝葉斯融合算法，降低檢測錯誤率[19]。

除了全卷積網(wǎng)絡(luò)，多層特征的融合算法也引起了人們的關(guān)注。Y liu等人將FCN和深層網(wǎng)絡(luò)（DSN）結(jié)合在一起，聚合了多尺度和多層次特征，并很好地改善了裂縫分割的性能[20]。Kaddah專注于改進優(yōu)化的最小路徑選擇方法，以在灰度路面圖像中實現(xiàn)魯棒而有效的裂縫分割[21]。在本文中，為了消除裂縫周圍噪聲的干擾、提高裂縫分割的效率和準確性，我們在此提出一種新穎的卷積網(wǎng)絡(luò)架構(gòu)。受 U-Net的啟發(fā)，我們引入了編碼-解碼器的概念，將不同的層連接起來以完全集成信息功能。同時，為了進一步抑制噪聲、充分利用不同層次的特征信息，我們參考了金字塔網(wǎng)絡(luò)的理念[22]。我們通過更改卷積核的大小、而非金字塔網(wǎng)絡(luò)池化層，避免了金字塔網(wǎng)絡(luò)的特征不連續(xù)性，這也有助于產(chǎn)生更好的全局的多尺度信息。

這些算法下的路面裂縫自動分割的準確性仍需要提高。當(dāng)前路面裂縫仍然存在幾個主要問題：

（1）包含裂縫的圖片數(shù)量不多，導(dǎo)致樣本不足和不平衡；

（2）受圖像采集設(shè)備和自然環(huán)境的限制，裂縫圖像常被多種噪聲干擾；

（3）各種尺寸或形狀的裂縫也導(dǎo)致分割困難。

考慮到裂縫檢測和分割的難點，我們提出了一種具有跳躍連接結(jié)合殘差塊的編碼器-解碼器網(wǎng)絡(luò)以充分利用不同層的特征。我們還提出了一個新型的多尺度卷積形式，該模塊具有不同尺寸的卷積核，可以有效地檢測不同尺寸或者形狀的裂縫，同時對抑制噪聲有所改進。

1 裂縫分割網(wǎng)絡(luò)結(jié)構(gòu)

路面的困擾主要包括裂縫、車轍、坑洼、變形、起皺等。其中裂縫情況最為復(fù)雜，涉及如橫向裂縫、縱向裂縫、龜裂等多種類型。同時，裂縫特征很難精確劃定。因此，學(xué)術(shù)研究人員和工程從業(yè)人員都非常重視路面裂縫的檢測與分割。為此，本章節(jié)將重點研究基于深度學(xué)習(xí)對裂縫進行檢測分割的方法。

1.1 解碼-編碼深度網(wǎng)絡(luò)

在編碼器-解碼器網(wǎng)絡(luò)中，U-Net最初被醫(yī)學(xué)領(lǐng)域中用于二維圖像分割，贏得了ISBI2015細胞跟蹤挑戰(zhàn)和齲齒檢測比賽[11]。與直接依賴于網(wǎng)絡(luò)最后一層特征的通用神經(jīng)網(wǎng)絡(luò)分類器相比，解碼器階段的U-Net結(jié)構(gòu)可以充分組合淺層的簡單特征，因此該網(wǎng)絡(luò)即使對小數(shù)據(jù)集也能很好地應(yīng)用。U-Net架構(gòu)主要由編碼器部分和解碼器部分組成。編碼器具有四個子模塊，其中每個子模塊包含兩個卷積層與一個最大池化層。解碼器由四個子模塊組成，特征分辨率通過上采樣操作連續(xù)提高。該網(wǎng)絡(luò)使用跳躍連接將上采樣結(jié)果與子模塊的輸出連接并合并。

在此，我們引入了編碼器-解碼器層的概念。我們對路面裂縫圖像進行3次降采樣和升采樣，以構(gòu)建編碼器-解碼器網(wǎng)絡(luò)。提出的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，左側(cè)為編碼器部分，右側(cè)為解碼器部分。輸入圖像時，我們將其調(diào)整為256*256的灰度圖像，以節(jié)省存儲空間。然后，圖像經(jīng)過一個多尺度卷積模塊與一個最大池化層。

圖1 帶多尺度卷積模塊的深度分割網(wǎng)絡(luò)Fig.1 Deep network with multi-scale convolutional blocks

在解碼器部分中，我們通過依次級聯(lián)來鏈接生成的特征圖，并緊接著內(nèi)核大小為3*3的卷積層、Relu激活層與上采樣層，如此輪流。在編碼器和解碼器部分之間，模型使用跳過連接，盡可能避免高級語義特征的丟失，確保上采樣后的特征圖集成了更多的低層特征和不同尺度的特征，從而可以進行多尺度的預(yù)測和更深層的監(jiān)控。

1.2 多尺度卷積模塊

在圖像分割中，不同尺寸的物體總是導(dǎo)致分割困難：一些小規(guī)模的對象容易被遺漏，而大型對象可能會超出感知域并導(dǎo)致不連續(xù)的預(yù)測，分割效果往往不盡如人意。為了提高不同尺寸分割的性能，空洞卷積在標準旋轉(zhuǎn)圖中注入了孔，以擴大感知域?？斩淳矸e包含一個稱為除數(shù)率的超參數(shù)，它是指內(nèi)核中的間隔數(shù)[17]。PSPNet被提出，該網(wǎng)絡(luò)更加關(guān)注包含不顯眼事物的子區(qū)域，因為錯誤部分與不同接受域的上下文和全局信息有關(guān)[18]。網(wǎng)絡(luò)將原始特征圖與經(jīng)過不同大小的池化層，再進行卷積，最終將卷積和上采樣后的結(jié)果連接起來。由于金字塔結(jié)構(gòu)并行考慮多個感知域下的目標特征，因此對于大尺寸或小尺寸的目標具有更好的識別效果。

因此，具有適當(dāng)全局場景級別先驗的深層網(wǎng)絡(luò)可以大大提高場景分析的性能，有必要考慮不同接受場下的上下文信息。我們設(shè)計了一個多尺度卷積塊，以結(jié)合三個不同感知域的特征。在多尺度卷積塊中，設(shè)計的卷積核的大小分別為1*1、3*3和5*5，并且通道的數(shù)量隨特征深度的不同而變化。為了合理地保持全局特征的權(quán)重，我們使用BN層（Batch Normalization）在卷積之后進行級聯(lián)。然后，我們從不同級別獲取全局特征圖信息。在圖2中，我們介紹了多尺度卷積核的具體結(jié)構(gòu)，并給出了靠近輸入圖像的第一個塊的主要參數(shù)。如圖2所示，在第一個多尺度卷積模塊中，卷積內(nèi)核的通道為64，左中右通道的卷積核大小分別為1、3、5。第二、三、四個卷積模塊的結(jié)構(gòu)與圖2相同，通道數(shù)目分別為128、256和512。因此，針對裂縫圖像噪聲干擾和裂縫尺寸各不相同的主要問題，我們構(gòu)建了多尺度卷積塊，構(gòu)建編碼器-解碼器全卷積網(wǎng)絡(luò)。

圖2 多尺度卷積模塊（通道數(shù)目已標出）Fig.2 Multi-scale convolutional block(Numbers of channels are denoted.)

2 裂縫分割結(jié)果與分析

2.1 裂縫分割優(yōu)化目標

考慮到裂縫分割實際上是二分類問題，我們引入二分類交叉熵BCE（Binary Cross Entropy）作為損失函數(shù)的一部分。但是在裂縫圖像中，背景和前景在比例上存在顯著差異，這意味著正樣本和負樣本非常不平衡，因此需要考慮更多細節(jié)以適當(dāng)優(yōu)化損失函數(shù)。

圖像分割模型的性能評估有幾種常見的指標，分別為分類精確性（Acc）、正確性（PA）、召回率（Recall），表達如下：

其中FN，F(xiàn)P，TN，TP分別表示為假陰性、假陽性、真陰性和真陽性。對于圖像分割，涉及正負樣本的不平衡時，精確性、正確性、召回率的不足便顯示出來，不能很好地衡量分類效果。因此研究人員提出了交并比IOU和DICE系數(shù)，分別表示真值（GT）和預(yù)測結(jié)果（Predict）的交集和并集之比以及交集面積之比占總面積值。對于一張圖像，它們的計算如下：

因此，我們的損失函數(shù)由BCE作為衡量，并在數(shù)據(jù)集合上進行訓(xùn)練，驗證模型的分割精度、召回率、DICE等性能。

2.2 實驗與結(jié)果分析

我們將提出的模型應(yīng)用于公開的裂縫數(shù)據(jù)集CFD（CrackForest-dataset）和AigleRN上，將這兩個數(shù)據(jù)集進行交叉混合，80%的圖像用于訓(xùn)練，而20%的圖像用于評估。在訓(xùn)練過程中，學(xué)習(xí)率設(shè)置為1e-4，模型訓(xùn)練了 150個周期（epoch），隨著訓(xùn)練周期的延長損失函數(shù)最終會隨著時間的增加而趨于收斂。

為了驗證模型的優(yōu)越性，我們將模型與 Canny算法、VGG16、U-Net進行了比較，其中Canny算法代表傳統(tǒng)的圖像分割方法，VGG16與U-Net為深度學(xué)習(xí)方法。

從表1中，我們可以看到Canny算法用于圖像分割的性能并不令人滿意，尤其是對于精度和DICE系數(shù)而言，這顯示了傳統(tǒng)方法在裂縫分割方面的缺陷；最高的精度由VGG中獲得，U-Net給出了最優(yōu)的召回率，我們的模型顯示了最好的DICE，而該系數(shù)可以真正衡量圖像分割的性能。

表1 在裂縫數(shù)據(jù)集AigleRN與CFD上Canny算子、VGG16、U-Net與提出模型性能對比Tab.1 Comparison among our proposed model and other algorithms

然而，本文所提出的模型在精度和召回率上不如其他模型優(yōu)秀，我們推測有兩個主要原因：首先，為了提高訓(xùn)練和檢測的效率，我們降低了模型的深度，深度不足可能會導(dǎo)致特征圖信息的丟失。其次，與U-Net相比，我們的模型使用殘差塊抑制了噪聲、通過多尺度卷積核改變了感知域，從而在抗干擾方面顯示出優(yōu)勢，但是漏檢率也增加了，即會存在裂縫被漏檢為噪聲的情況，分割效果如圖3所示。

圖3 裂縫圖像、真值圖與特征圖輸出Fig.3 Original cracks, ground truth and output of feature maps

3 結(jié)論

在裂縫圖像中在公路養(yǎng)護和修復(fù)過程中，裂縫是路面評估和養(yǎng)護決策中最關(guān)鍵的問題之一。針對路面圖像存在多噪聲、裂縫尺寸形狀各異、裂縫樣品不平衡的特點，本文重點研究了路面裂縫的分割、提高裂縫分割的效率和準確性，并對裂縫尺寸特征進行提取。我們的貢獻主要包括：

（1）我們采用具有跳躍連接的編碼-解碼全卷積網(wǎng)絡(luò)，以充分利用來自不同層的特征圖。同時引入了殘差網(wǎng)絡(luò)來抑制噪聲、增加了網(wǎng)絡(luò)深度，減少了梯度消除的情況；

（2）考慮到裂縫的形狀、尺寸各不相同，我們提出了一種由不同大小的卷積核集成組合的多尺度卷積塊，以增加裂縫檢測的感知域；

我們設(shè)計的網(wǎng)絡(luò)在裂縫分割方面表現(xiàn)出色的性能，解決了裂縫圖像樣本數(shù)量少且噪聲較多的問題；同時，我們設(shè)計了一種裂縫尺寸特征提取的方式和可視化的效果。在研究的下一階段，我們計劃調(diào)整、進一步優(yōu)化裂縫分割網(wǎng)絡(luò)。實驗結(jié)果表明，與其他模型相比，我們的模型在DICE系數(shù)方面表現(xiàn)出色，但在精度和裂縫分割召回率方面仍需要改進。解決樣本不足的突破點。我們還將繼續(xù)計算提取的裂縫形狀參數(shù)，以獲得高速公路的評價指標。