余 俊，吳海軍，王武斌，張宗堂

(1.成都工業(yè)職業(yè)技術(shù)學(xué)院 現(xiàn)代軌道交通應(yīng)用技術(shù)研究中心，四川 成都 610000；2.湖南省交通科學(xué)研究院有限公司，湖南 長沙 410015；3.西南交通大學(xué) 陸地交通地質(zhì)災(zāi)害防治技術(shù)國家工程實驗室，四川 成都 610000；4.湖南科技大學(xué) 巖土工程穩(wěn)定控制與健康監(jiān)測湖南省重點實驗室，湖南 湘潭 411201)

1 概述

公路交通作為一種重要的交通方式，對我國的政治、經(jīng)濟、軍事發(fā)展有著重大的作用，也對人民生活水平的提高有著重要的意義。對任何一個國家而言，公路都至關(guān)重要。

近年來，隨著公路的持續(xù)使用和極端天氣的影響，公路路面會出現(xiàn)不同程度的病害，導(dǎo)致大量公路進入維護階段[1-3]。如果對公路路面病害的處理不夠及時，不僅會減少公路的使用壽命，導(dǎo)致更嚴(yán)重的病害，還會造成巨額的后期維護費用，甚至引發(fā)交通事故，危及出行人員的生命安全[4-6]。

因此，安全高效的公路路面病害檢測方法對及時維護公路、保持公路路面路面狀態(tài)良好有著重要意義。傳統(tǒng)的人工檢測公路路面病害方法效率低且誤差大。因此，研究者提出了許多基于圖像處理和機器學(xué)習(xí)的方法進行公路路面病害檢測。

通過激光掃描可以獲取公路路面病害圖，并進行公路路面病害檢測分析。BOYKO[7]等分析了不同時間點疊加掃描的三維離散數(shù)據(jù)，提取出了公路路面病害的特征。GUAN[8]等掃描了公路路面病害圖像，并將圖像進行分割，根據(jù)形態(tài)學(xué)算法得到病害特征。

在早期研究中，研究者多采用傳統(tǒng)的圖像處理算法。如BO[9]等利用形態(tài)學(xué)濾波算法對公路路面病害進行檢測，HU[10]等提出局部二值算法來檢測公路路面病害。但隨著機器學(xué)習(xí)的快速發(fā)展，精度更高、提取特征效果更好的機器學(xué)習(xí)算法被應(yīng)用于公路路面病害檢測。SHI[11]等利用一種基于結(jié)構(gòu)隨機森林的算法對公路路面病害特征進行提取，李楠[12]應(yīng)用LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)對公路路面病害進行檢測，張寧[13]使用Faster R-CNN進行公路路面病害檢測，分類效果良好。

本文介紹了一種智能檢測公路路面病害的方法，能夠準(zhǔn)確并高效地對公路路面病害圖像進行處理和分類，提取特征。該方法包括異常檢測、異常提取和公路路面病害分類3個組成部分。首先，在異常檢測階段構(gòu)建卷積自動編碼器訓(xùn)練異常檢測器，快速在大量圖像中檢測到公路路面病害。然后，在異常提取階段通過閾值分割法提取公路路面病害特征。最后，進行公路路面病害分類。在給圖像添加標(biāo)簽后，利用ResNet結(jié)構(gòu)訓(xùn)練模型并根據(jù)交叉驗證選取分類器。

2 圖像數(shù)據(jù)集

本文用佳能EOS 500D、7D和77D對公路路面病害拍攝了200幅圖像，并分別以3 168×4 752、3 456×5 184和4 000×6 000像素分辨率存儲。在適當(dāng)情況下，需使用三腳架和穩(wěn)定器來保證圖像質(zhì)量。為了消除不同公路路面中環(huán)境變化帶來的影響，需通過各種拍攝角度、照明和攝像機距離來獲取公路路面病害圖，從而最大程度地提高分類器的適應(yīng)性。由于GPU內(nèi)存的限制，無法將完整的高分辨率圖像直接用作輸入。因此，需將圖像裁剪成較小的圖塊，并通過深度學(xué)習(xí)模型逐塊對公路路面病害進行檢測和分類。圖1顯示了針對不同類別公路路面病害的圖塊(裁剪圖像)示例，有關(guān)訓(xùn)練和測試階段數(shù)據(jù)準(zhǔn)備的更多詳細(xì)信息，請參見下一部分。

(a) 正常公路路面

3 人工智能識別流程詳述

圖 2展示了本文采用的智能檢測流程的架構(gòu)，該流程有3個核心組成步驟，即異常檢測、異常提取和公路路面病害分類。首先執(zhí)行異常檢測來生成異常圖。根據(jù)異常圖，可以提取可疑公路路面病害，并過濾未損壞的區(qū)域。然后，將提取的圖塊分類為適當(dāng)?shù)牟『︻悇e。該流程使用Python編程語言編寫，基于TensorFlow編寫深度學(xué)習(xí)模型，并在Nvidia 2080-ti圖形處理單元上執(zhí)行。

圖2 智能檢測流程示意圖

3.1 異常檢測

作為檢查流程的第一步，異常檢測可以快速可靠地從大量圖像數(shù)據(jù)集中檢測公路路面病害。在本項研究中，公路路面病害屬于異常情況，而正常(未損壞)的公路路面和公路路面中發(fā)現(xiàn)的其他物體則被歸為正常。本文通過構(gòu)建卷積自動編碼器(一種基于重構(gòu)的深度學(xué)習(xí)模型)來訓(xùn)練異常檢測器。在現(xiàn)有的研究中，這種異常檢測技術(shù)已用于其他領(lǐng)域，例如，紡織物表面的缺陷檢測，交通控制和監(jiān)視的視頻監(jiān)控，及從熱圖像中異常溫度區(qū)域的檢測。其他基于重構(gòu)的深度學(xué)習(xí)模型也可用于異常檢測。例如，變分自動編碼器(VAEs)、生成對抗網(wǎng)絡(luò)與其擴展已廣泛應(yīng)用于臨床成像和航空安全檢查。但是，在使用這些高級模型進行異常檢測具有一定的局限性。訓(xùn)練深度生成模型時，模式坍塌經(jīng)常發(fā)生。此外，生成器僅能夠生成有限種類的樣本，導(dǎo)致分類器可能無法區(qū)分正常樣本和異常樣本。HENDRYCKS[14]等提出VAEs和其他深度生成模型學(xué)習(xí)的概率分布可能無法對訓(xùn)練數(shù)據(jù)的真實可能性進行建模。因此，根據(jù)CHOW[15]等提出的內(nèi)容，本文決定應(yīng)用卷積自動編碼器對公路路面病害進行異常檢測。主要特征描述如下。

卷積自動編碼器是一個編碼器-解碼器網(wǎng)絡(luò)[16]。編碼器從輸入數(shù)據(jù)中學(xué)習(xí)并提取有用的特征，然后解碼器對編碼后的特征進行反向映射，從而重建輸入數(shù)據(jù)。編碼后得到的特征維度(也稱為瓶頸)通常比輸入維度小得多，以防止卷積自動編碼器直接復(fù)制。利用大量的正常類圖像，對卷積自動編碼器進行訓(xùn)練，以使其盡可能完整地重建正常實例。由于沒有事先學(xué)習(xí)任何異常特征，這種訓(xùn)練會導(dǎo)致公路路面病害的重建效果不佳，重建誤差較高。

在編碼器中，將輸入數(shù)據(jù)輸入連續(xù)的卷積塊，并在每個下采樣步驟中將通道數(shù)量加倍，以增強編碼特征。在出現(xiàn)瓶頸(也稱為代碼/潛在空間，即具有50個神經(jīng)元的全連接層)之前，將特征圖展平并下采樣到具有100個神經(jīng)元的全連接層，使特征之間具有良好的一致性。解碼器是編碼器的反向操作，逐步執(zhí)行上采樣以重建輸入數(shù)據(jù)。在最后一層引入雙曲正切函數(shù)，將每個神經(jīng)元的值壓縮到-1和1之間。

對于每個像素，計算輸入和輸出(即重構(gòu)的輸入)之間的平方差，以評估重構(gòu)質(zhì)量。這種誤差稱為重建誤差e：

(1)

為了人為地創(chuàng)建不同比例的圖塊，增強深度模型學(xué)習(xí)的特征，本文在原始訓(xùn)練數(shù)據(jù)集(即約200張高分辨率圖像)中，應(yīng)用無重疊的滑動窗口將圖像裁剪為不同大小的較小正方形塊(256×256、384×384、512×512和768×768像素)，然后將所有圖塊重新縮放為256×256像素。選擇正常類別的樣本作為異常檢測的訓(xùn)練數(shù)據(jù)集(剩余的公路路面病害圖塊用于分類器的監(jiān)督訓(xùn)練)。該訓(xùn)練數(shù)據(jù)集由約42 000個256×256像素的圖塊組成。訓(xùn)練數(shù)據(jù)還包括公路路面中可能發(fā)現(xiàn)的其他物體。

根據(jù)RONNEBERGER[17]等的方法，利用鏡像技術(shù)將圖塊放大到320×320像素(即卷積自動編碼器的輸入大小)，以確保在后續(xù)測試階段中無縫生成異常圖。將每個像素的值歸一化為-1.0到1.0之間，然后為模型訓(xùn)練準(zhǔn)備圖塊。選擇均方誤差即圖塊重建誤差的平均值作為損失函數(shù)，并選擇ADAM[18]作為優(yōu)化算法以最小化重建損失。由于卷積自編碼器會盡可能完美地重建訓(xùn)練數(shù)據(jù)集(即正常類)，因此無需采用過多的正則化。一旦損失值收斂并變得穩(wěn)定，訓(xùn)練過程就完成了。根據(jù)上述設(shè)置，該訓(xùn)練過程大約花費12 h。由于標(biāo)簽就是圖像本身，該訓(xùn)練屬于無監(jiān)督訓(xùn)練過程。因此，對于這種費力且視覺密集的標(biāo)注任務(wù)，可以節(jié)省大量的時間和人力。

在測試階段，將滑動窗口應(yīng)用于測試圖像，使其達(dá)到所需的尺寸，然后重新縮放為256×256像素的圖塊。將裁剪的圖塊進行放大和標(biāo)準(zhǔn)化來生成異常圖，其中每個像素代表重建誤差。然后進行拼接以生成整個圖像的異常圖；整個測試過程不到一分鐘即可生成高分辨率圖像(3 456×5 184像素)的異常圖。

3.2 異常提取

得到異常圖后，需要根據(jù)異常分?jǐn)?shù)來確定如何分割和提取圖塊中的公路路面病害。一方面，如果將閾值設(shè)置得太高，可能會出現(xiàn)分割不足的情況，其中提取的公路路面病害可能會分散并且不完整。另一方面，如果將閾值設(shè)置得太低，可能會導(dǎo)致過度分割，從而浪費計算資源和時間。

由于在不同測試位置上公路路面病害的屬性大不相同，隨機選擇異常分?jǐn)?shù)作為閾值的方法是無效的。本文根據(jù)異常分?jǐn)?shù)計算得到多個閾值，以促進可疑公路路面病害的異常提取。結(jié)合局部閾值(基于單個圖像，TL)與全局閾值(基于整個圖像數(shù)據(jù)集，TG)來提取病害圖塊，并過濾正常的公路路面圖像。以正常公路路面圖像為例，無論局部閾值取什么異常分?jǐn)?shù)，都只能提取幾個圖塊。因此需引入全局閾值，以避免不必要的信息影響后續(xù)數(shù)據(jù)分析。

根據(jù)CHOW[15]等的研究，全局閾值TG的值對于不同的訓(xùn)練數(shù)據(jù)集可能有所不同，本文根據(jù)訓(xùn)練集的異常分?jǐn)?shù)分布將TG默認(rèn)值設(shè)為0.5。首先對圖像的所有像素的異常分?jǐn)?shù)進行排序，然后選擇與要求的百分位數(shù)相對應(yīng)的異常分?jǐn)?shù)，如下所示：

(2)

其中,APG代表百分位數(shù)PG的異常得分；ni代表圖像i的總像素；N代表圖像總數(shù)。如果APG大于默認(rèn)TG值，則更新TG值。接下來，根據(jù)所有像素的異常分?jǐn)?shù)確定TL，如下所示：

(3)

其中,PL代表用于計算TL的選定百分比；n代表圖像的總像素。然后，為了降低閾值，確保提取的圖塊數(shù)量與實際有病害的圖塊數(shù)量之間達(dá)到最佳平衡，借助降低系數(shù)α(0<α<1)將TL與TG進行比較來確定最終閾值T。根據(jù)異常分?jǐn)?shù)確定閾值T的過程概述如下：

① 將TG的默認(rèn)值設(shè)置為0.5。

② 根據(jù)選定的百分位數(shù)PG計算APG。

③ 如果APG大于默認(rèn)值，則更新TG值。

④ 根據(jù)選定的百分位PL計算TL。

跟吳梅見面回來，心里莫明其妙地?zé)?。恰好吃飯時，偉翔說了句這個菜有點咸了，我便啪地把筷子扔在了餐桌上，我說：“李偉翔，你把我林薇當(dāng)成老媽子了吧？”

⑤ 判斷是否有TL>αTG。如果式子成立，選擇TL作為閾值T，否則，選擇TG作為閾值T。

在確定閾值T的值之后，將圖像劃分為大小相等的正方形塊(例如256×256； 512×512像素)。如果圖塊中一個像素的任何異常分?jǐn)?shù)大于T，則提取對應(yīng)的圖塊以進行后續(xù)公路路面病害分類。

3.3 公路路面病害分類

智能檢測流程的最后一步是公路路面病害分類。構(gòu)造分類器并對其進行訓(xùn)練，可以將圖像分為3類，即無病害、開裂和剝落。

3.3.1標(biāo)簽準(zhǔn)備

與之前的異常檢測類似，在標(biāo)注標(biāo)簽之前，將高分辨率圖像裁剪為不同的尺寸，即256×256、384×384、512×512、768×768像素，再重新縮放為256×256像素(即分類器輸入層的尺寸)，以便針對不同的比例創(chuàng)建公路路面病害的圖塊，并使分類器具有適用性。由于放大的圖塊不能適當(dāng)代表公路路面病害的特征，本文沒有使用小于256像素的圖像。例如，放大的圖像可能過于黑暗導(dǎo)致無法分辨物體，繼而在分類過程中引起混亂。接下來，為每個裁剪的圖塊分配一個標(biāo)簽，整數(shù)值0、1和2代表無病害、開裂和剝落；圖2中給出了每個類別的示例?？偣矘?biāo)注了18 165個圖塊，其中無病害、開裂和剝落的比例為4∶3∶3。僅將無病害圖塊的一部分(即約42 000個圖塊中的7 266個)用作公路路面病害分類的訓(xùn)練數(shù)據(jù)集，以避免不平衡數(shù)據(jù)集對分類性能的嚴(yán)重影響。

3.3.2網(wǎng)絡(luò)架構(gòu)

在訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)時經(jīng)常會遇到衰退問題，導(dǎo)致較大的訓(xùn)練和測試誤差。這是因為存在梯度消失的問題，使得在反向傳播時模型不能進行優(yōu)化。為了解決此問題，ResNet提出了殘差學(xué)習(xí)的概念，當(dāng)某一層的損失值開始增大時，在后面的層與層之間添加恒等映射，避免模型衰退。通過將上一層中的重要信息傳播到下一層，增強了網(wǎng)絡(luò)的表示能力，從而最大程度地減少信息損失并保證訓(xùn)練的準(zhǔn)確性。此外，為了避免使用過多的參數(shù)，ResNet中廣泛采用“瓶頸”結(jié)構(gòu)來呈現(xiàn)深層網(wǎng)絡(luò)。用1×1、3×3和1×1的3層卷積結(jié)構(gòu)替代常用的2個連續(xù)的3×3卷積層。在本文中，考慮到計算資源和所需的訓(xùn)練時間，采用了由50個卷積層組成的ResNet-50。

3.3.3模型訓(xùn)練

應(yīng)用5折交叉驗證來評估和驗證ResNet-50在分類公路路面病害方面的性能。將圖像數(shù)據(jù)集劃分為5個大小相等的子集，并且在每次訓(xùn)練中選取其中一個子集用作驗證數(shù)據(jù)集。即驗證集是一個子數(shù)據(jù)集(即3 633個圖塊)，而訓(xùn)練集是其余的4個子數(shù)據(jù)集(即14 532個圖塊)。然后在k個交叉驗證中，選取性能最好(即驗證集損失值最低)的模型來作為智能檢測的分類器。

在模型訓(xùn)練之前，為了便于數(shù)據(jù)歸一化，分別計算訓(xùn)練集和驗證集的均值和標(biāo)準(zhǔn)差。除了應(yīng)用不同的裁剪規(guī)模外，為了進一步提高分類器的魯棒性和適應(yīng)性，本文還進行了實時數(shù)據(jù)擴充，在將圖像發(fā)送到ResNet模型之前立即實施數(shù)據(jù)擴充。為了增強對不變表示的學(xué)習(xí)，通過幾何運算和譜運算將訓(xùn)練數(shù)據(jù)集的圖像進行隨機變換，使分類器在每個時間點都使用不同的不變圖像數(shù)據(jù)集進行訓(xùn)練。比如，首先對圖像進行水平或垂直的隨機翻轉(zhuǎn)，再隨機旋轉(zhuǎn)90°。然后，通過在適當(dāng)范圍內(nèi)隨機調(diào)整其對比度、亮度和銳度來對圖像的光譜空間進行擾動。最后進行歸一化，即用均值減去變換后的圖像，然后除以標(biāo)準(zhǔn)差。

此外，本文標(biāo)簽采用的是獨熱編碼，將標(biāo)簽的數(shù)值轉(zhuǎn)換為具有3個元素的一維向量。例如，將開裂圖像的標(biāo)簽(數(shù)值1)轉(zhuǎn)換為向量(<0，1，0>)。這表示圖像屬于開裂類別的概率為1.0，而屬于其他2個類別的概率為0.0。這樣的變換可以將分類器的預(yù)測結(jié)果與轉(zhuǎn)換后的標(biāo)簽進行比較，從而利用反向傳播以優(yōu)化模型參數(shù)。

損失函數(shù)采用分類交叉熵(CC)。將每個類別標(biāo)簽的損失之和作為圖像的損失值，如下所示：

(4)

其中,l=0、1和2代表無病害、開裂和剝落的類別；yl表示類別l的獨熱編碼標(biāo)簽；p1表示分類器預(yù)測的屬于l類的概率，因此p0+p1+p2=1.0。本文采用小批量訓(xùn)練，并使用ADAM[18]作為優(yōu)化算法。為了確保結(jié)果平滑收斂，將初始學(xué)習(xí)率設(shè)置為0.001，且每10次迭代學(xué)習(xí)率會以0.9的基本因子呈指數(shù)衰減。此外，為了降低性能在迭代過程中對權(quán)重的嚴(yán)重依賴、改善通過網(wǎng)絡(luò)的梯度流、正則化分類器，在每個卷積層之后立即應(yīng)用批處理進行歸一化[15]。在分類器中還應(yīng)用了Dropout[21](比率為0.5)和L2正則化(比率為0.000 1)來防止過擬合。

3.3.4模型驗證和測試

每次在模型訓(xùn)練之后需進行一次模型驗證。與訓(xùn)練階段不同，這一階段沒有數(shù)據(jù)增強和模型優(yōu)化，將歸一化后的原始圖塊逐個輸入到分類器中來計算分類交叉熵和精確度。根據(jù)驗證集損失值來決定是否終止訓(xùn)練過程，如果驗證損失值在連續(xù)30次迭代訓(xùn)練中都沒有降低，則終止模型訓(xùn)練。選取具有最小驗證集損失值的模型作為最佳模型。每次訓(xùn)練和驗證過程約耗時3 min。

除了考慮異常提取中檢測到的可疑公路路面病害，測試階段與驗證階段類似。為了得到圖像屬于無病害、開裂或剝落的概率，將歸一化的圖塊依次發(fā)送給5折交叉驗證得到的5個分類器。然后，概率值最大的類就是圖塊最有可能屬于的類。分類結(jié)果如圖3所示。

圖3 裂縫圖像識別結(jié)果

3.3.5分類器性能評估

一次交叉驗證的損失值和平均精確度的變化如圖4所示。盡管訓(xùn)練階段的損失值持續(xù)減小，但為了確保不會發(fā)生嚴(yán)重的過擬合，本文選擇最小驗證損失處的權(quán)重參數(shù)。此外，本文總結(jié)了交叉驗證所有折的每個類的驗證精確度。其中，開裂和剝落的分類性能較好，分別在94.2%～96.1%和92.8%～94.5%范圍內(nèi)。然而，無病害類別的準(zhǔn)確性略低，約為90.6%～92.8%。這是由于圖像子集包括不同照相距離、照明和拍攝角度獲得的無病害圖像和不同公路路面中的物體圖像，子集較為復(fù)雜。

圖4 一次交叉驗證的損失值和精確度變化

3.4 應(yīng)用實例分析

公路路面病害識別的最終目的是對路面病害信息進行統(tǒng)計和匯總，為公路路面的養(yǎng)護提供充足的數(shù)據(jù)支持。因此，為了分析本文提出的基于深度學(xué)習(xí)的路面病害智能化檢測系統(tǒng)的有效性，本文對長沙市內(nèi)多條城市道路主干道(云棲路羅家嘴立交橋至長潭高速路段)進行了深度學(xué)習(xí)病害檢測。為了對檢測結(jié)果進行對比，同時對該路段進行了人工視覺病害檢測。所識別的路面病害結(jié)果樣例見圖 5。

(a) 開裂識別結(jié)果

表1與表2所示為路面開裂和剝落的檢測結(jié)果，其中人工檢測對開裂和剝落同時進行，因此根據(jù)開裂和剝落的比例計算分別的耗時；智能檢測耗時包括采集的數(shù)據(jù)進行處理、模型訓(xùn)練和測試的全過程。對比結(jié)果中人工檢測和智能檢測結(jié)果可得：

a.人工檢測和智能檢測結(jié)果基本一致，各項檢測指標(biāo)準(zhǔn)確率誤差不超過10%，滿足我國工程檢測的需求。相比于人工檢測，智能檢測耗時更短，且不會影響正常公路交通。

(b) 剝落識別結(jié)果

b.與人工檢測結(jié)果相比，智能檢測結(jié)果相對粗糙，但準(zhǔn)確率仍高于90%。造成誤差的原因主要包括：① 沿途拍照獲取數(shù)據(jù)集不夠全面；② 部分病害特征提取不完整，尤其是部分病害圖像。

表1 開裂病害統(tǒng)計結(jié)果Table 1 Statistical results of cracking類別準(zhǔn)確率/%耗時/h人工檢測9949智能檢測92.416

表2 剝落病害統(tǒng)計結(jié)果Table 2 Statistical results of spalling類別準(zhǔn)確率/%耗時/h人工檢測9932智能檢測90.714

4 結(jié)論

本文提出了一種基于深度學(xué)習(xí)的公路路面病害智能化檢測系統(tǒng)。首先，拍攝了200張公路路面病害圖并通過裁剪將圖像轉(zhuǎn)化成256×256像素的圖塊，以此為訓(xùn)練集。整個公路路面病害檢測系統(tǒng)包括3個階段：異常檢測、異常提取和公路路面病害分類。在異常檢測階段，構(gòu)建卷積編碼器從大量公路路面圖像中提取出病害圖。然后，在異常提取階段，利用閾值分割法提取公路路面病害特征。最后，在公路路面病害分類階段，利用ResNet結(jié)構(gòu)訓(xùn)練模型來確定公路路面病害所屬的分類。結(jié)果表明，該方法一次模型訓(xùn)練約3 min，且分類準(zhǔn)確率在90%以上。對公路路面的實例研究表明，本文提出的智能化檢測方法可以大量節(jié)約人力，并提高檢測效率。