山東高速工程檢測有限公司 劉憲明 辛公鋒

道路路面病害檢測和提取算法已經(jīng)得到了廣泛的研究，但是傳統(tǒng)的圖片自動識別技術(shù)在面對復(fù)雜的道路場景上尚存在諸多的局限。近年來，隨著深度學(xué)習(xí)在圖像識別領(lǐng)域取得了較多突破，國內(nèi)諸多學(xué)者開始嘗試將這一先進的工具應(yīng)用于道路路面病害識別。典型的道路路面病害識別包括圖像預(yù)處理、病害特征提取、病害分類和結(jié)果輸出等。本文首先針對圖片預(yù)處理技術(shù)與手段，綜述了國內(nèi)在路面陰影處理、車道線移除、光照均衡、復(fù)雜背景、圖像增強等重點問題上的研究進展；然后，針對深度學(xué)習(xí)在道路病害檢測中的具體應(yīng)用，綜述了在數(shù)據(jù)集、模型選用、結(jié)果比較三個方面的研究進展；最后，提出了建設(shè)符合國內(nèi)標(biāo)準(zhǔn)的道路病害數(shù)據(jù)集、二維圖片處理過渡至三維圖片處理、單項或成組病害識別轉(zhuǎn)向全病害類別識別、病害識別轉(zhuǎn)向病害成因識別及病害發(fā)展預(yù)測四個研究進展方向。

道路路面病害檢測既是一項傳統(tǒng)的道路運維管理基礎(chǔ)性工作，又是一項以目標(biāo)檢測為典型任務(wù)的人工參與程度較高的工作。自上世紀(jì)80年代以來，各大公司和科研機構(gòu)就已紛紛嘗試用自動檢測手段替代繁重和危險的人工作業(yè)，并取得了較為豐碩的成果。然而，道路病害類型多樣、形態(tài)復(fù)雜?！豆芳夹g(shù)狀況評定標(biāo)準(zhǔn)（JTG 5210-2018）》中，僅瀝青路面損壞類型就有11大類、21中類的病害需識別和評定。同時，除了各道路檢測單位使用的采集工具不同導(dǎo)致的圖片自身的質(zhì)量和標(biāo)準(zhǔn)的差異較大以外，道路上的光照條件、車道線、旁車、油污、水漬、陰影、路標(biāo)線、減速帶、車轍印、樹葉、雜物、道路路燈等不可控因素使得傳統(tǒng)的圖片自動識別技術(shù)的識別難度較大。近幾年，國際范圍內(nèi)深度學(xué)習(xí)在圖像識別領(lǐng)域取得的突破性進展，使得國內(nèi)的學(xué)者紛紛嘗試將這一先進的工具應(yīng)用到道路路面病害自動識別中來。

1 圖片預(yù)處理技術(shù)與手段

圖像分析中，圖像質(zhì)量的好壞直接影響識別算法的設(shè)計與效果的精度；因此，在圖像識別前，需要進行預(yù)處理。圖像預(yù)處理的主要目的是最大限度地簡化數(shù)據(jù)，從而改進特征提取和識別的可靠性。道路路面病害常見的需要預(yù)處理的是路面陰影處理、車道線移除和光照均衡；同時，復(fù)雜背景和圖像增強也是預(yù)處理的難點問題。

1.1 路面陰影處理

路面陰影不僅破壞了路面裂縫圖像亮度的一致性，而且路面陰影具有形狀極其不規(guī)則、半影區(qū)巨大、陰影區(qū)和非陰影區(qū)難以界定等特點。王驁（2016）采用了OTSU圖像分割算法進行了處理，其實質(zhì)是對圖像進行灰度分割比較，首先將同一張圖像分別進行OTSU圖像分割，然后比較分析；如果差異小，則可以認(rèn)為不存在陰影。李麗（2018）提出了一種自適應(yīng)亮度高程模型的路面陰影消除算法SGRSR，其具體分為三步：首先采用形態(tài)學(xué)膨脹運算和高斯平滑濾波消除路面裂縫和路面紋理對后續(xù)陰影區(qū)域劃分的影響；然后利用最大熵閾值分割算法求解出高斯平滑后路面影像陰影區(qū)域和非陰影區(qū)域的劃分閾值，以此實現(xiàn)劃分閾值的自適應(yīng)確定；最后，基于改進的亮度等高區(qū)域劃分模型和亮度補償方法實現(xiàn)路面陰影的消除。

1.2 車道線移除

在采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）等人工智能方法對路面圖像實現(xiàn)自動分類識別時，路面圖像中通常會出現(xiàn)白色車道線，車道線區(qū)域亮度偏高，邊沿處存在強烈的灰度跳變，車道線寬度往往大于裂縫寬度，經(jīng)CNN卷積、池化操作后，對車道線的特征感知強于裂縫，若含車道線的路面圖像數(shù)量較多，不僅影響對路面圖像的光照校正，還會影響最后的分類結(jié)果。黃濤（2019）提出了利用Mask R-CNN首先檢出車道線區(qū)域，然后將該區(qū)域移除，接著采用改進Criminisi方法修復(fù)圖像，以達(dá)到移除車道線的處理目的。

1.3 光照均衡處理

王驁（2016）在直方圖均衡化方法的基礎(chǔ)上，利用灰度值矯正對橫向上的光照不均也進行了均勻化處理。黃濤（2019）基于變換域的方法，采用Mask勻光法完成圖像的初步光照校正，同時融合伽瑪校正算法調(diào)整勻光后圖像的亮度并增強其對比度，伽瑪系數(shù)取值通過二分法自適應(yīng)查找獲取，不再手工干預(yù)，最后達(dá)到批量圖像的亮度基本保持一致的目的。白勝（2019）則采用了直方圖均衡化和中值濾波進行圖像預(yù)處理，降低光照不均帶來的影響。

1.4 復(fù)雜背景處理

王驁（2016）采取了改進的雙邊濾波算法，利用了局部噪聲方差的方式進行區(qū)域型的濾波，減少圖像濾波導(dǎo)致的目標(biāo)信息丟失。借助圖像分割的手段將非目標(biāo)信息濾除，以此來達(dá)到消除噪聲的目的。溫佳樂（2019）使用了全局對比度歸一化方法來移除圖片最為明顯的變化源，使得圖像像素之間的標(biāo)準(zhǔn)差滿足同一個尺度參數(shù)，接著通過數(shù)據(jù)集進行增強來減少模型的泛化誤差。

1.5 圖像增強

王驁（2016）采取了灰度變換、圖像平滑（領(lǐng)域平均法和中值濾波法）增強了圖像中有用的信息。王麗萍(2018)在混凝土路面裂縫檢測研究中，將24位RGB 彩色圖像經(jīng)預(yù)處理把混凝土裂縫圖片切割成大小為256×256的灰度圖。馮卉(2019)用灰度圖LOG變換和CLAHE算法，基于路面圖像和裂縫的特征，提供一種像素灰度值的映射，以增強部分裂縫與其他路面信息的對比度。

2 深度學(xué)習(xí)在道路病害檢測中的具體應(yīng)用

2.1 數(shù)據(jù)集

海量的標(biāo)注數(shù)據(jù)能夠有效降低過擬合的風(fēng)險，有效提高模型的泛化性能，還能進一步提高模型的魯棒性，因此能否獲取海量的標(biāo)注數(shù)據(jù)就成為了影響模型性能的關(guān)鍵因素。

（1）自建數(shù)據(jù)集

李麗（2018）用大疆無人機Phantom 4pro自帶的CMOS面陣相機采集，采集高度30cm，采集分為了強光和弱光兩種模式，共采集了包括6種常見干擾物（車道線、下水道井蓋、落葉、車轍印、不同背景紋理的路面裂縫圖像、水漬），采集數(shù)量2000張。她采用了幾何變換、空間濾波、線性變換三類圖像處理方法對數(shù)據(jù)集中的圖像數(shù)量進行了擴充。司吉兵（2019）用Gopro Hero 6 Black相機搭載車輛的方式，采用了連拍和錄像兩種方式自行采集數(shù)據(jù)，連拍的圖像尺寸為4000×3000，視頻分幀后的圖像尺寸為1920×1080。為解決樣本量過少，他采取了鏡像處理、旋轉(zhuǎn)處理和添加少量高斯噪聲進行了數(shù)據(jù)增強。

（2）公共數(shù)據(jù)集

楊晨曦（2019）嘗試使用了谷歌地球的遙感影像數(shù)據(jù)，分辨率0.15～0.60m，圖片大小414×410～691×592，圖片1000張，目標(biāo)個數(shù)4300，訓(xùn)練樣本660。柏嘉洛（2019）選用了CFD和TITS數(shù)據(jù)集，采用了圖像變換（含亮度變換、圖像旋轉(zhuǎn)、圖像翻轉(zhuǎn)、圖像截取、圖像平移）、圖像合成（從源圖像中提取裂縫、對裂縫進行變換、將變換后的裂縫與獲取的背景圖像融合、合成圖像進行色彩變換）進行了數(shù)據(jù)增強。

（3）運營數(shù)據(jù)集

陳旭林（2018）除了用平移、翻轉(zhuǎn)和鏡像翻轉(zhuǎn)解決了樣本量不足問題，還嘗試采取丟棄一些負(fù)樣本、更改損失函數(shù)和通過算法生產(chǎn)樣本三個方法來解決正負(fù)樣本不均衡問題。黃濤（2019）所用瀝青路面圖像數(shù)據(jù)集由重慶市公路局提供，主要篩選出有代表性的三類病害圖像與正常路面圖像共四種類型，所有圖像均為單通道，經(jīng)翻轉(zhuǎn)、裁剪及加噪增強后總計10800張，每一類型圖像均按比例隨機分為訓(xùn)練集、驗證集和測試集。肖林（2019）采用了由長安大學(xué)三維路面破損檢測車拍攝得到的綏滿高速呼倫貝爾段的24000張圖片，其中12000張為裂縫圖像，12000張為非裂縫圖像，每一類圖像中隨機挑選8000張作為訓(xùn)練集，2000張作為驗證集，剩余2000張作為測試集。

2.2 模型選用

司吉兵（2019）利用遷移學(xué)習(xí)技術(shù)，選擇了VGG-16、Inception-v3、Res Net-50三種經(jīng)典的CNN網(wǎng)絡(luò)結(jié)構(gòu)模型,三種模型的初始參數(shù)為Image Net數(shù)據(jù)集訓(xùn)練過的參數(shù)。他采取了兩個方案（方案一：以預(yù)訓(xùn)練模型的參數(shù)為初始參數(shù)，使用fine-tune對所有層進行訓(xùn)練；方案二：以預(yù)訓(xùn)練模型的參數(shù)為初始參數(shù)，使用Convent作為特征提取器，凍結(jié)除最后一層全連接層以外的所有層的權(quán)重）進行了對比分析,進一步地在第一種方案的基礎(chǔ)上，他進行了SGD、Adagrad、Adadelta、Adam、Momentum 以及Rmsprop優(yōu)化算法測試。李麗（2019）選用了基于Alexent網(wǎng)絡(luò)的FCN模型。黃濤（2019）選用了Alex Net、VGGNet、GoogleNet和ResNet模型，并嘗試了Adagrad、Adadelta、Adam、GD、Momenetum、RMSProp進行了優(yōu)化器的比較。陳旭林（2019）參考NIN和Inception，優(yōu)化了CNN設(shè)計，進一步選用了FCN并用U-Net對其進行了改造。溫佳樂（2019）選用了VGG并對其網(wǎng)絡(luò)結(jié)構(gòu)進行了優(yōu)化；同時，他還基于Caffe框架搭建了改進的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)。楊晨曦選用了多視角卷積神經(jīng)網(wǎng)絡(luò)(Multi-Per Net)，并將其與ZF-net、PVANet進行了比較。馮卉（2019）則選用了直線型CNN模型（無圖像預(yù)處理）、直線型CNN模型、殘差模型和優(yōu)化CNN模型，并進行了結(jié)果對比。柏嘉洛（2019）選用了編碼器-解碼器結(jié)構(gòu)的全卷積神經(jīng)網(wǎng)絡(luò)DenseCrack。王麗萍（2019）選用了CNN和Faster R-CNN兩種結(jié)構(gòu)進行了對比分析。肖琳嘗試了ResNet50、ResNet34和Inception V3模型。

2.3 結(jié)果比較

神經(jīng)網(wǎng)絡(luò)檢測結(jié)果的優(yōu)劣通常會從準(zhǔn)確率、精確率、召回率、F1值和ROC曲線等多個維度進行比較。但是，由于國內(nèi)各研究者的研究指向的病害類別采用的數(shù)據(jù)集、數(shù)據(jù)增強方式、選用神經(jīng)網(wǎng)絡(luò)模型、選用的模型優(yōu)化方法等均不一樣，因此各研究之間的結(jié)果的比較難以進行。從各研究者各自的對比分析可以看出，圖像預(yù)處理、數(shù)據(jù)集、模型參數(shù)的調(diào)整、模型優(yōu)化方法等均會對結(jié)果產(chǎn)生較大影響。

3 研究趨勢展望

3.1 建設(shè)符合國內(nèi)標(biāo)準(zhǔn)的道路病害數(shù)據(jù)集

深度學(xué)習(xí)是一門數(shù)據(jù)驅(qū)動的技術(shù)，其訓(xùn)練需要大量的標(biāo)注數(shù)據(jù)。深度學(xué)習(xí)不同于淺層學(xué)習(xí)，其對樣本的依賴性很強，訓(xùn)練樣本的設(shè)計是很重要的，訓(xùn)練樣本應(yīng)該具有足夠的代表性盡可能地覆蓋數(shù)據(jù)真實分布，才能讓網(wǎng)絡(luò)模型學(xué)習(xí)到數(shù)據(jù)的本質(zhì)特征，使得模型具有強大的表達(dá)能力?；诰矸e神經(jīng)網(wǎng)絡(luò)或全卷積神經(jīng)網(wǎng)絡(luò)進行復(fù)雜背景下的路面病害檢測需大量的、帶語義類別標(biāo)簽的路面病害圖像作為訓(xùn)練集、驗證集和測試集。但是到目前為止，全球還沒有公開的、帶類別標(biāo)簽的、用于道路病害圖像語義分割的數(shù)據(jù)集合。特別地，我國的道路病害檢測要求與發(fā)達(dá)國家還有著顯著的差異，這就要求道路病害檢測企業(yè)、道路病害檢測設(shè)備提供商、國內(nèi)高校和科研機構(gòu)通力合作，盡早建立符合《公路技術(shù)狀況評定標(biāo)準(zhǔn)（JTG 5210-2018）》檢測要求的道路病害數(shù)據(jù)集，以為進一步的模型訓(xùn)練和優(yōu)化奠定堅實的基礎(chǔ)。

3.2 二維圖片處理過渡至三維圖片處理

由于二維圖片缺乏關(guān)于高度的信息（當(dāng)然可以通過一定算法計算獲得，但是既增加了難度，又難以保證精度），諸如沉陷、波浪擁抱、坑槽等的病害檢測難以利用該方法檢測。近年來，路面三維高精度檢測系統(tǒng)的問世與日漸成熟，這就為路面病害的智能檢測開啟了新的研究方向。未來的研究要緊跟采集技術(shù)的發(fā)展趨勢，在二維圖片檢測的基礎(chǔ)上，持續(xù)進行技術(shù)迭代，以適應(yīng)未來三維檢測的需求。

3.3 單項或成組病害識別轉(zhuǎn)向全病害類別識別

目前，國內(nèi)關(guān)于此領(lǐng)域的研究大部分集中在裂縫、裂紋的識別等，瀝青路面占大部分，水泥路面占少部分。然而，要使得現(xiàn)有的深度學(xué)習(xí)技術(shù)能夠從實驗室走向工程應(yīng)用，就需要能夠盡可能多地覆蓋更多的病害類別。增加病害類別的數(shù)量，將會帶來系統(tǒng)設(shè)計和模型算法要求幾何級數(shù)的難度增長，這將是未來該領(lǐng)域的長期攻堅方向。

3.4 病害識別轉(zhuǎn)向病害成因識別及病害發(fā)展預(yù)測

現(xiàn)有的利用深度學(xué)習(xí)技術(shù)對道路病害的識別僅限于對道路病害表現(xiàn)的識別。但是從道路運營管理的全流程角度來看，對病害成因的識別和對病害長期發(fā)展的預(yù)測可能更具備應(yīng)用前景和價值。國內(nèi)已有部分研究涉及到路面結(jié)構(gòu)病害檢測，但尚未形成相較成熟的應(yīng)用前景。在未來的科研工作中，需要更多地結(jié)合道路病害運營管理訴求，結(jié)合各類檢測傳感系統(tǒng)的發(fā)展，堅強深度學(xué)習(xí)技術(shù)在此領(lǐng)域的應(yīng)用研究。