張世瑤， 賀玉彬， 周新志*

(1.四川大學(xué)電子信息學(xué)院， 成都 610065； 2.國能大渡河大數(shù)據(jù)服務(wù)有限公司， 成都 610041)

隨著中國基礎(chǔ)建設(shè)的大力踐行，道路建設(shè)發(fā)展迅速，目前中國公路通車總里程已經(jīng)位居世界前列[1]。在快速進(jìn)行道路建設(shè)的同時(shí)，道路得高效保養(yǎng)、維護(hù)以及安全性檢測成為了一項(xiàng)亟待解決得問題。其中裂縫作為道路的常見病害，對道路安全構(gòu)成了潛在的威脅，同時(shí)在裂縫早期做好及時(shí)的健康評測能大幅減少道路維護(hù)成本，延長道路使用壽命，保障行車安全，具有重要的現(xiàn)實(shí)意義。傳統(tǒng)的裂縫檢測主要依靠人工使用度量工具進(jìn)行測量，耗費(fèi)大量人力物力，同時(shí)存在勞動(dòng)強(qiáng)度大、效率低下、測量結(jié)果存在人的主觀誤差等問題，因此對裂縫進(jìn)行準(zhǔn)確、高效、自動(dòng)地檢測成為了當(dāng)下研究的熱點(diǎn)。

目前中外學(xué)者對道路表面裂縫檢測做了許多的研究，如基于傳統(tǒng)的圖像處理方法進(jìn)行道路表面裂縫檢測，此類研究主要方向有基于形態(tài)學(xué)的識(shí)別與灰度差異的閾值分割[2-6]，但這些研究中存在對于復(fù)雜背景下或裂縫與背景灰度差異小的場景下只能給出裂縫的大體位置, 準(zhǔn)確度不高, 易受背景雜波影響, 誤檢和漏檢率較高。隨著計(jì)算機(jī)技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)技術(shù)被提出，一些基于機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)對裂縫的自動(dòng)提取的研究被提出，如使用K均值進(jìn)行裂縫提取[7-9]，使用布谷鳥搜索算法優(yōu)化K均值的裂縫提取算法[10]，使用聚類算法的橋梁裂縫提取[11]，此類算法相較于傳統(tǒng)的圖像處理的方法，精度有所提升，但其本質(zhì)仍然是對圖像的灰度特征的提取，使用的圖像特征有限，容易受到雜物、油污、陰影及光照等因素影響，且檢測速度慢，對設(shè)備硬件性能要求高。近些年隨著深度學(xué)習(xí)技術(shù)在圖像識(shí)別領(lǐng)域的廣泛的應(yīng)用，像素級(jí)的目標(biāo)檢測的方法上取得了比較大的進(jìn)展。一系列優(yōu)秀的網(wǎng)絡(luò)模型被提出，例如FCN(fully convolutional network)、U-Net、NestNet、U-Net++等卷積神經(jīng)網(wǎng)絡(luò)[12-16]，它們在醫(yī)療圖像分割上都表現(xiàn)處理良好的分割效果，同時(shí)被應(yīng)用到多個(gè)領(lǐng)域。在裂縫檢測領(lǐng)域，如基于U-Net的橋梁裂縫檢測[17]，基于FCN的大壩裂縫檢測[18]，基于DenseNet的隧道裂縫檢測[19]等，這些研究表明基于深度學(xué)習(xí)的裂縫檢測方法可以在復(fù)雜背景下仍然能取得很好的分割效果，較好地保留了裂縫的紋路信息，并具有更好的魯棒性。因此深度學(xué)習(xí)在裂縫檢測領(lǐng)域具有極大的應(yīng)用前景，值得繼續(xù)深入研究。

在道路表面裂縫檢測的研究中，如基于Faster R-CNN 的道路裂縫識(shí)別[20]，BP(back propagation)改進(jìn)算法的路面裂縫檢測[21]，此類方法側(cè)重于對于裂縫位置的標(biāo)記或者分類，未實(shí)現(xiàn)對裂縫的分割提取以及定量衡量裂縫；此外基于張量投票法的裂縫分割[22]，此類研究實(shí)現(xiàn)了裂縫像素級(jí)的分割，可以實(shí)現(xiàn)對于裂縫像素尺寸的計(jì)算，但未轉(zhuǎn)化為實(shí)際的物理尺寸，缺乏現(xiàn)實(shí)意義。

針對現(xiàn)有的道路表面裂縫檢測研究存在的問題，現(xiàn)提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的像素級(jí)道路表面裂縫檢測方法。

1 圖像數(shù)據(jù)獲取

對于圖像數(shù)據(jù)的獲取，為了計(jì)算得到裂縫的實(shí)際物理尺寸，在采集拍攝裂縫圖像的樣本的同時(shí)，需要得到像素尺寸與實(shí)際物理尺寸的比例尺。采用放置綠色標(biāo)志物在裂縫旁的方式，每一張樣本圖像，都會(huì)包含裂縫與標(biāo)志物塊。綠色的正方形物塊方便于分割出標(biāo)志物的二值化圖像，通過標(biāo)志物實(shí)際面積與像素面積比就可以較為簡單的計(jì)算出比例尺。

共計(jì)拍攝得到36張?jiān)剂芽p圖像，圖像大小為1 280×1 711，并對其進(jìn)行像素級(jí)的標(biāo)注，對每一張?jiān)剂芽p圖像分成24張320×320大小的子塊，按照2∶1劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，樣本統(tǒng)計(jì)情況如表1所示。部分樣本示例如圖1所示。

表1 樣本數(shù)量統(tǒng)計(jì)

圖1 數(shù)據(jù)集樣例Fig.1 sample of dataset

2 系統(tǒng)結(jié)構(gòu)

本文所提系統(tǒng)的結(jié)構(gòu)可劃分為裂縫分割模塊與比例尺計(jì)算模塊，系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2 系統(tǒng)結(jié)構(gòu)Fig.2 System structure

在裂縫分割模塊中，輸入圖像尺寸會(huì)影響卷積神經(jīng)網(wǎng)絡(luò)中隱藏層的參數(shù)數(shù)量，圖像尺寸越大對顯存和內(nèi)存需求也越大，為了降低系統(tǒng)對計(jì)算機(jī)設(shè)備硬件資源的消耗，以及對設(shè)備硬件性能的要求，將原始的大尺寸(1 280×1 711)裂縫圖像和本文標(biāo)注圖像劃分為小尺寸(320×320)的子塊圖像作為數(shù)據(jù)集。采用卷積神經(jīng)網(wǎng)絡(luò)模型對裂縫進(jìn)行分割提取，各個(gè)子塊圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)模型得到子塊區(qū)域像素分割結(jié)果的概率值，對于子塊中存在的重疊區(qū)域，本文采用分割結(jié)果的概率平均的策略對子塊進(jìn)行拼接合成，最終得到大尺寸圖像的裂縫分割結(jié)果。

在比例尺計(jì)算模塊中，對于綠色標(biāo)志物采用(HSVCC Hue, Saturation, Value)顏色模型進(jìn)行顏色特征的分割，HSV顏色型對顏色特征十分敏感，能快速且準(zhǔn)確地分割出綠色標(biāo)志物。通過計(jì)算標(biāo)志物的像素?cái)?shù)與標(biāo)志物實(shí)際物理面積的比值即可得到像素比例尺。

2.1 裂縫圖像分割方法

基于深度學(xué)習(xí)的主要像素級(jí)圖像分割模型有FCN、U-Net、NestNet、U-Net++等，此類卷積神經(jīng)網(wǎng)絡(luò)模型均由編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)組成，在編碼網(wǎng)絡(luò)中，卷積層用來提取輸入圖像的特征，池化層用來減小特征圖像大小，降低運(yùn)算量并且提高網(wǎng)絡(luò)的魯棒性。在解碼網(wǎng)絡(luò)中，使用反卷積層將特征映射并且恢復(fù)到原始圖像的大小，并輸出預(yù)測結(jié)果。編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)的高度對稱性，既利用了稀疏的特征映射，又利用了密集的特征映射。

在本文所提系統(tǒng)中卷積神經(jīng)網(wǎng)絡(luò)的分割精度很大程度決定了最終的測量精度，因此對于神經(jīng)網(wǎng)絡(luò)模型的選擇與優(yōu)化對于整個(gè)系統(tǒng)尤為重要。選用公共數(shù)據(jù)集CRACK500對FCN、U-Net、NestNet和U-Net++卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與測試，并且通過Precision、Recall、IoU、F1-score對網(wǎng)絡(luò)模型進(jìn)行評估，將訓(xùn)練好的模型使用本文標(biāo)注的數(shù)據(jù)集再次進(jìn)行訓(xùn)練與測試，根據(jù)測試結(jié)果選擇較優(yōu)的模型，作為系統(tǒng)中的裂縫分割模型。

精確率(Precision)就是被準(zhǔn)確分類為正類的樣本數(shù)與所有被分類為正類的樣本數(shù)之比，即

(1)

式(1)中：TP(true positive)表示將正樣本預(yù)測為正樣本；FP(false positive)表示將負(fù)樣本預(yù)測為正樣本；FN(false negative)表示將正樣本預(yù)測為負(fù)樣本。

F1分?jǐn)?shù)(F1-score)同時(shí)考慮了精確率和召回率(Recall)，是精確率和召回率的調(diào)和平均數(shù)，表示精確率與召回率同樣重要。

(2)

(3)

交并比(intersection-over-union, IoU)是指實(shí)際類別樣本和預(yù)測類別樣本的交集和并集之比，即分類準(zhǔn)確的正類樣本數(shù)和分類準(zhǔn)確的正類樣本數(shù)與被錯(cuò)分類為負(fù)類的正類樣本數(shù)以及被錯(cuò)分類為正類的負(fù)類之和的比值。

(4)

使用VGG16作為這些網(wǎng)絡(luò)的backbone，F(xiàn)ocal Loss為loss函數(shù)得到結(jié)果如表2所示。

表2 公共數(shù)據(jù)集CRACK500測試結(jié)果

在此基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)，使用本文所標(biāo)注的數(shù)據(jù)集對模型繼續(xù)進(jìn)行訓(xùn)練。使用測試集對訓(xùn)練得到的網(wǎng)絡(luò)模型進(jìn)行測試得到測試結(jié)果如表3所示。

表3 本文數(shù)據(jù)集測試結(jié)果

根據(jù)實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，U-Net++在CRACK500公共數(shù)據(jù)集以及本文標(biāo)注的數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果都相較于其他模型擁有更好的數(shù)據(jù)指標(biāo)，表明U-Net++模型能克服數(shù)據(jù)集變化所引入的干擾，如光照、遮擋以及路面材料不同等干擾，反映了U-Nnet++相較于其他模型具有更好的魯棒性，故選用U-Net++作為圖像分割網(wǎng)絡(luò)，來提取裂縫圖像。裂縫分割效果如圖3所示。

圖3 裂縫圖像分割結(jié)果Fig.3 Crack image segmentation results

2.2 標(biāo)志物圖像分割方法

通過標(biāo)志物的顏色特征來對標(biāo)志物進(jìn)行提取，目前的顏色模型可分為面向硬件的與面向?qū)ο蟮念伾Ｐ?。其中面向硬件的顏色模型適合計(jì)算機(jī)對圖像數(shù)據(jù)的存儲(chǔ)和顯示系統(tǒng)的顯示，直觀且容易理解。面向?qū)ο蟮念伾Ｐ停鏗SV是根據(jù)顏色的直觀特性來創(chuàng)建的一種顏色模型，會(huì)從顏色的類別、顏色的深淺、明暗方面來獲取信息，所以在HSV顏色空間中，其對顏色的表述更加符合人類對一種顏色的認(rèn)知與判定。因此本文采用HSV顏色模型對標(biāo)志物進(jìn)行分割。標(biāo)志物分割效果如圖4所示。

圖4 標(biāo)志物分割結(jié)果Fig.4 Marker segmentation result

2.3 分割結(jié)果優(yōu)化

分別得到裂縫與標(biāo)志物的分割結(jié)果后，由于所采用的分割方法為像素級(jí)的分割，也就是對每個(gè)像素進(jìn)行判定分割，分割錯(cuò)誤的像素會(huì)形成孔洞或者背景雜波。如圖5(a)和圖6(a)所示，分割結(jié)果背景中存在一些散落的背景雜波，分割對象內(nèi)部也存在一些孔洞。然而實(shí)際的裂縫和標(biāo)志物在空間上具有連續(xù)的特征，這些背景雜波和孔洞是由于光照、遮擋等干擾因素所導(dǎo)致的錯(cuò)誤分割，因此需要對分割后的圖像進(jìn)行優(yōu)化處理，去除背景雜波和孔洞。

根據(jù)分割結(jié)果可以看出背景雜波與孔洞在空間上具有連續(xù)性差并且其像素面積較小等特征。依據(jù)這些特征采用基于計(jì)算機(jī)圖像處理技術(shù)的形態(tài)學(xué)處理方法中的開操作和閉操作[23]來進(jìn)行優(yōu)化處理。采用5×5大小的窗，對分割后的圖像先進(jìn)行開操作處理，消除細(xì)小、孤立的背景雜波，再進(jìn)行閉操作處理填補(bǔ)分割對象內(nèi)部孔洞。如圖5(b)和圖6(b)所示，采用形態(tài)學(xué)的處理方法后取得了較好的優(yōu)化效果。

圖5 裂縫圖像分割結(jié)果優(yōu)化Fig.5 Optimization of crack image segmentation results

圖6 標(biāo)志物分割結(jié)果優(yōu)化Fig.6 Optimization of marker segmentation results

3 裂縫量化計(jì)算

3.1 量化方法

分別得到裂縫與標(biāo)志物的二值圖像后，需要對裂縫進(jìn)行定量的評估，采用計(jì)算裂縫的面積、長度和平均寬度的方式來定量評估裂縫。對于像素比例尺的計(jì)算，采用的標(biāo)志物大小為296 mm×227 mm的綠色矩形卡紙，通過計(jì)算實(shí)際標(biāo)志物面積與標(biāo)志物二值圖像中的像素面積S的比值得到像素比例尺。計(jì)算公式為

(5)

分別統(tǒng)計(jì)裂縫像素?cái)?shù)量與骨架像素?cái)?shù)量，得到裂縫像素面積與裂縫像素長度，再與比例尺相乘就可以得到實(shí)際面積與長度，平均寬度為面積與裂縫長度的比值。

采用K3M[24]算法提取裂縫骨架，提取效果如圖7所示 。

圖7 骨架提取Fig.7 Skeleton extraction

3.2 結(jié)果

為了驗(yàn)證本文測量方法的性能，在不考慮因人為標(biāo)記數(shù)據(jù)集存在的誤差情況下，以人工標(biāo)記的裂縫圖像尺寸為真實(shí)的物理尺寸。

本文所提系統(tǒng)在測試集的測試結(jié)果如表4所示，測試結(jié)果表明本文的裂縫檢測系統(tǒng)具有較高的精度，其中測試樣本面積測量平均精度達(dá)到0.93，長度測量平均精度0.92，平均寬度測量精度0.89。詳細(xì)樣本誤差占比情況如圖8所示。

表4 各項(xiàng)指標(biāo)結(jié)果

圖8 誤差占比柱狀圖Fig.8 Error percentage histogram

4 結(jié)論

針對現(xiàn)有道路檢測中存在的精度低，未能定量衡量裂縫等問題，文中構(gòu)建的基于深度學(xué)習(xí)的道路表面裂縫檢測系統(tǒng)，分別通過U-Net++卷積神經(jīng)網(wǎng)絡(luò)模型與HSV顏色模型分割得到像素級(jí)的裂縫分割圖像與像素比例尺，使用裂縫面積、長度、平均寬度等指標(biāo)對裂縫量化測量，并轉(zhuǎn)化為實(shí)際的物理尺寸。經(jīng)實(shí)驗(yàn)驗(yàn)證本文所提方法對裂縫面積測量準(zhǔn)確率達(dá)到93%，長度測量準(zhǔn)確率達(dá)到92%，平均寬度測量準(zhǔn)確率達(dá)到89%，擁有較高的測量精度，并且大幅提高了裂縫檢測效率。