彭 博 蔣陽(yáng)升 陳 成 Kelvin C.P.Wang

(1 重慶交通大學(xué)交通運(yùn)輸學(xué)院，重慶400074)

(2 西南交通大學(xué)交通運(yùn)輸與物流學(xué)院，成都610031)

(3 西南交通大學(xué)綜合運(yùn)輸四川省重點(diǎn)實(shí)驗(yàn)室，成都610031)

(4 School of Civil and Environmental Engineering，Oklahoma State University，OK 74078，USA)

裂縫嚴(yán)重影響路面質(zhì)量、服務(wù)性能和壽命，需要對(duì)其進(jìn)行及時(shí)有效的檢測(cè)，以評(píng)價(jià)和預(yù)測(cè)路面性能、輔助養(yǎng)護(hù)管理決策、改善路面結(jié)構(gòu)和材料設(shè)計(jì).隨著高速公路的發(fā)展，傳統(tǒng)的路面裂縫二維檢測(cè)技術(shù)已經(jīng)無(wú)法滿足路面管理與維護(hù)的需求，三維檢測(cè)技術(shù)正逐漸成為路面檢測(cè)的發(fā)展方向.近年來(lái)，Wang 等［1］研發(fā)了基于3D 激光掃描成像技術(shù)的路面綜合檢測(cè)車DHDV (digital highway data vehicle)，該車能在高達(dá)100 km/h 的行駛速度下獲取精度為1 mm/像素的路面三維圖像，彌補(bǔ)了傳統(tǒng)二維圖像質(zhì)量易受車道標(biāo)線、陰影及油污等影響的缺陷，顯著地提高了路面圖像質(zhì)量.

在路面裂縫識(shí)別方面，研究人員也開(kāi)展了大量研究，提出了很多種方法，如閾值分割算法［2-3］、邊緣識(shí)別算法［4-5］、種子識(shí)別算法［6-7］、基于變換處理的方法［3，8-9］、機(jī)器學(xué)習(xí)算法［10］，以及基于紋理分析［11］、模糊邏輯［12］和全局優(yōu)化［3，13］的裂縫識(shí)別算法.然而，大部分算法都是針對(duì)二維圖像設(shè)計(jì)的，易受到陰影和油污等因素的干擾.因此，快速、準(zhǔn)確地識(shí)別完整的裂縫圖像依然是一大挑戰(zhàn).

為快速、準(zhǔn)確、完整地識(shí)別裂縫，本文基于DHDV 采集的精度為1 mm/像素、尺寸為2 048 ×2 048 像素的路面三維圖像，提出了具有并行結(jié)構(gòu)的裂縫自動(dòng)識(shí)別算法，其中三維圖像的像素值代表路面深度，取值范圍為0 ～255.然后，應(yīng)用Visual Studio 2008 和OpenCV 編程實(shí)現(xiàn)該算法.最后，對(duì)算法性能進(jìn)行測(cè)試分析.

1 算法簡(jiǎn)介

本文算法按照并行結(jié)構(gòu)進(jìn)行設(shè)計(jì)，其總體流程如圖1所示.該算法包含3 個(gè)關(guān)鍵部分:裂縫種子識(shí)別、裂縫連接及裂縫種子融合與去噪處理.

圖1 算法總體流程

算法首先需要通過(guò)降維處理獲得降維圖像，其過(guò)程如下:將路面三維圖像劃分為n ×n 像素的子塊，降維圖像的每個(gè)像素則代表一個(gè)n ×n 像素的子塊，其灰度值為相應(yīng)n×n 個(gè)像素的均值.綜合考慮處理速度和精度的需求，以及既有算法［6-7］以約8 mm ×8 mm 的范圍作為裂縫單元的做法，本文取n=8.以降維圖像G1為例，將路面三維圖像以像素(0，0)為起點(diǎn)劃分為8 ×8 像素的子塊，G1的每個(gè)像素對(duì)應(yīng)于路面三維圖像的一個(gè)8 ×8 像素子塊，且其像素值為這8 ×8 個(gè)像素的像素值的均值.類似地，G2為按起點(diǎn)像素(4，4)進(jìn)行8 ×8 像素子塊劃分形成的降維圖像.

以(0，0)和(4，4)兩個(gè)起點(diǎn)生成降維圖像的目的是使G1和G2有部分重疊和錯(cuò)位，這樣基于G1和G2進(jìn)行裂縫檢測(cè)與融合時(shí)不容易出現(xiàn)漏檢，從而保證裂縫識(shí)別結(jié)果完整有效.

對(duì)于降維圖像中的任意像素，裂縫種子識(shí)別在其半徑為r 個(gè)像素的鄰域內(nèi)進(jìn)行.r 取值越小，算法對(duì)圖像特征變化越敏感，噪聲也越多;反之，檢測(cè)靈敏度越低，結(jié)果越穩(wěn)定，故r 不能太小也不能太大.為了保證檢測(cè)結(jié)果穩(wěn)定有效，算法分別基于G1和G2，應(yīng)用5 個(gè)r 值(r=3，4，5，6，7)進(jìn)行裂縫種子識(shí)別和裂縫連接，形成了10 個(gè)并列的子流程，從而產(chǎn)生10 幅獨(dú)立的裂縫初步識(shí)別圖像.最后，將所有的裂縫種子融合并進(jìn)行去噪處理，獲得裂縫圖像.

本文算法通過(guò)降維處理縮小圖像尺寸，從而減少后續(xù)裂縫識(shí)別的計(jì)算量;通過(guò)并行流程提取和融合10 幅裂縫初步識(shí)別圖像，以準(zhǔn)確、快速而完整地識(shí)別路面裂縫.

2 裂縫種子識(shí)別

路面裂縫深度較低且具有較強(qiáng)的方向性，因此，可依次檢驗(yàn)降維圖像中的各個(gè)像素，將符合前述2 項(xiàng)特征的像素稱為裂縫種子，否則稱為非裂縫像素.

首先，進(jìn)行深度驗(yàn)證［7］.在半徑為r 個(gè)像素的鄰域內(nèi)，中心像素(i，j)的深度值I (i，j)應(yīng)滿足如下條件:

式中，i，j 分別為中心像素的行坐標(biāo)、列坐標(biāo);K 為參數(shù)，取值范圍為0 ～1;Iave為模板內(nèi)所有像素深度值的均值;x 和y 分別為像素的縱坐標(biāo)和橫坐標(biāo).

然后，驗(yàn)證裂縫方向性［7］.基于如圖2所示的對(duì)稱性檢測(cè)模板(圖中每個(gè)方格代表降維圖像的一個(gè)像素)，在半徑為r 個(gè)像素的范圍內(nèi)計(jì)算每個(gè)像素4 個(gè)方向(0°，45°，90°和135°)的深度變化情況，若存在顯著的變化，則具有較強(qiáng)方向性.具體過(guò)程如下:

式中，w=1，2，3，4，分別表示0°，45°，90°和135°四個(gè)方向;I(u)為對(duì)稱性檢測(cè)模版中，中心像素兩側(cè)第u 個(gè)像素的深度值，u∈［－ r，－1］或u∈［1，r］.

②計(jì)算各方向深度變化dw，即

式中，gw表示方向w 的2r +1 個(gè)像素中的最低深度值.

③獲得最大和最小深度變化值dmax和dmin，即

④判斷像素深度變化是否顯著.

式中，t，s 為閾值參數(shù).

圖2 對(duì)稱性檢測(cè)模板

綜上所述，對(duì)降維圖像中每個(gè)像素進(jìn)行深度值和方向性檢測(cè)，如果同時(shí)滿足條件(1)、(7)、(8)，則該像素為裂縫種子，否則為非裂縫像素.

3 裂縫連接

裂縫種子圖像經(jīng)常存在中斷的情況，為增強(qiáng)裂縫的整體性和連續(xù)性，需進(jìn)行連接處理.由于裂縫像素具有相似的深度和方向信息，本文分2 步連接裂縫:首先根據(jù)深度相似性進(jìn)行裂縫優(yōu)化連接;然后基于方向相似性連接裂縫種子.

3.1 基于深度值的優(yōu)化連接

如圖3所示，對(duì)于任意裂縫種子A，定義集合B={Bi，i=1，2，…，8}，集合C={Cj，j=1，2，…，16}.若?Bi和?Cj均為非裂縫像素，則A 作為孤立噪聲予以消除;若?Bi為非裂縫像素，但?Cj為裂縫種子，則定義集合且Cj是裂縫種子}，然后搜尋裂縫連接路徑A-Bi-Cj(Cj∈CS).

圖3 基于深度相似性的裂縫連接模板

由于CS可能含有多個(gè)裂縫種子，而僅從A 到某個(gè)種子就可能存在多條路徑，因此，需要尋找一條最佳路徑，保證其經(jīng)過(guò)的像素深度與裂縫種子深度相似.于是設(shè)計(jì)如下優(yōu)化模型尋找最佳路徑:

式中，Pij為路徑A-Bi-Cj，需符合圖3所示的連接規(guī)律;I(·)表示相應(yīng)像素的深度值，取值為0 ～255的整數(shù)，裂縫種子的深度值為0，其余像素深度值則可能為1 ～255.

3.2 基于方向相似性的裂縫連接

對(duì)于任意種子，如圖4中的中心像素，集合B={Bi，i=1，2，…，8}為其相鄰8 像素，若?Bi均為非裂縫像素，基于方向相似性的連接過(guò)程應(yīng)遵循如下規(guī)則:若中心像素和Di(i=1，2，…，8)均為裂縫種子且具有相同的方向(像素方向與dmax所在方向垂直)，則通過(guò)Bi將它們連接起來(lái).

圖4 基于方向相似性的裂縫連接模板

4 裂縫信息融合與去噪

根據(jù)圖1，本文算法可獲得2 組裂縫初步識(shí)別圖像S1～S10，其中S1～S5來(lái)自于G1，S6～S10來(lái)自于G2.首先將它們分別進(jìn)行裂縫融合，S(0，0)為融合S1～S5獲得的裂縫圖像，其裂縫像素為S1～S5的裂縫像素的并集，S(4，4)為融合S6～S10獲得的裂縫圖像，其裂縫像素為S6～S10的裂縫像素的并集.

然后，融合S(0，0)和S(4，4).由于采用起點(diǎn)(0，0)和(4，4)對(duì)源圖像進(jìn)行8 ×8 像素子塊劃分，因此S(0，0)和S(4，4)會(huì)產(chǎn)生部分重疊和錯(cuò)位，S(0，0)的像素(0，0)對(duì)應(yīng)于路面三維圖像x 軸和y 軸均為0 ～8 的8 ×8 像素子塊，而S(4，4)的像素(0，0)則對(duì)應(yīng)于x 軸和y 軸均為4 ～12 的8 ×8 像素子塊，二者有4 ×4 像素的重疊部分，如圖5所示.于是，將S(0，0)和S(4，4)的元素(代表8×8 像素子塊)均從左上角起細(xì)分為4 ×4 像素子塊，然后對(duì)所有裂縫部分取并集，最終獲得裂縫初步識(shí)別圖像S，其元素對(duì)應(yīng)于源圖像4 ×4 像素子塊.

圖5 裂縫融合

裂縫圖像S 疊加了S1～S10中所有的裂縫，能有效避免裂縫漏檢情況，提高了裂縫完整性和連續(xù)性，但S1～S10中所有的噪聲均包含在S 中.為此，設(shè)計(jì)了基于變尺寸模板(8 個(gè)正方形模板，邊長(zhǎng)L=5，7，9，…，19)的去噪算子對(duì)圖像進(jìn)行滑動(dòng)窗口去噪，全面消除散落的像素和不規(guī)則的孤立區(qū)域，保留較大尺寸的裂縫目標(biāo).去噪方法如下:令L ×L模板含有的裂縫像素?cái)?shù)目為m，若模板邊界像素均為非裂縫像素且m 小于等于閾值ML，則模板范圍內(nèi)的裂縫像素屬于孤立噪聲，全部予以刪除.進(jìn)而，從左到右、從上至下將圖像中的每個(gè)裂縫像素作為模板的中心像素進(jìn)行去噪處理.

5 算法實(shí)現(xiàn)

本文算法包含3 個(gè)參數(shù):K，t，s.根據(jù)大量測(cè)試結(jié)果和經(jīng)驗(yàn)，本文推薦取K=0.96，t=4，s=3.

圖6(a)為算法輸入的三維圖像;將裂縫圖像S1～S10融合為一幅裂縫圖像S，如圖6(b)所示;最后，采用8 個(gè)模板(L=5，7，9，…，19)對(duì)S 進(jìn)行滑動(dòng)窗口去噪處理，獲得裂縫圖像，如圖6(c)所示.圖7和圖8為降維圖像G1和G2及其裂縫檢測(cè)結(jié)果.

圖6 裂縫檢測(cè)

由圖6可看出，本文算法融合10 幅裂縫圖像后雖然增加了噪聲，但提高了裂縫完整性，經(jīng)過(guò)有效的去噪處理后，最終獲得的裂縫圖像準(zhǔn)確完整，優(yōu)于圖7和圖8的檢測(cè)結(jié)果，體現(xiàn)了并行算法的優(yōu)越性.

圖7 降維圖像G1 及其裂縫初步識(shí)別結(jié)果S1 ～S5

圖8 降維圖像G2 及其裂縫初步識(shí)別結(jié)果S6 ～S10

6 算法性能測(cè)試

為了評(píng)價(jià)算法性能，分別應(yīng)用Otsu 閾值分割［2］、Canny 邊緣檢測(cè)［4］和本文算法對(duì)166 張圖像(2 048 ×2 048 像素)進(jìn)行裂縫識(shí)別，并手動(dòng)標(biāo)注出真實(shí)的裂縫圖像.然后，對(duì)比檢測(cè)結(jié)果和真實(shí)裂縫圖像，計(jì)算裂縫識(shí)別的準(zhǔn)確率P、召回率R 和F值［14］.F 值是準(zhǔn)確率和召回率的調(diào)和平均值，即

圖9給出了算法準(zhǔn)確率、召回率和F 值的累計(jì)頻率分布曲線.

圖9 算法性能對(duì)比

從圖9(a)可看出，本文算法準(zhǔn)確率最高(均值92.56%)，Canny 邊緣檢測(cè)和Otsu 閾值分割的準(zhǔn)確率非常低(均值分別為5.76%和2.70%).

圖9(b)表明，本文算法的召回率最高(均值90.59%)，Otsu 閾值分割的召回率較低(均值78.10%)，Canny 邊緣檢測(cè)的召回率很低(均值21.09%).

從圖9(c)可看出，本文算法F 值的均值為90.99%，而Canny 邊緣檢測(cè)和Otsu 閾值分割的F均值則分別為8.15%和5.11%.可見(jiàn)，本文算法具有很高的準(zhǔn)確率和召回率，優(yōu)于Canny 邊緣檢測(cè)和Otsu 閾值分割.

由圖9還可看出，在166 張圖像中，本文算法對(duì)其中17 張圖像(約占10%)的裂縫檢測(cè)準(zhǔn)確率、召回率和F 值小于0.8;對(duì)于另外149 張圖像(約占90%)，本文算法的裂縫檢測(cè)準(zhǔn)確率、召回率和F 值均大于等于0.8.由此表明，本文算法的裂縫檢測(cè)結(jié)果比較穩(wěn)健可靠，大多數(shù)情況下都可以保證準(zhǔn)確率、召回率和F 值維持在0.8 及以上.對(duì)于Canny 邊緣檢測(cè)算法，準(zhǔn)確率、召回率和F 值均在0.3 或以下;Otsu 閾值分割算法除召回率較高外，準(zhǔn)確率和F 值也均低于0.4.因此，本文算法的穩(wěn)定性較高，優(yōu)于Canny 邊緣檢測(cè)和Otsu 閾值分割算法.

圖10為3 種算法進(jìn)行裂縫檢測(cè)的實(shí)例.可看出，Otsu 閾值分割將深度值較低的線性特征和區(qū)域均判為裂縫，因此召回率較高而準(zhǔn)確率較低.Canny 邊緣檢測(cè)能檢測(cè)深度階躍變化的邊界特征，但無(wú)法檢測(cè)到深度變化較緩的裂縫像素，因此召回率較低;同時(shí)，易受噪聲干擾，導(dǎo)致準(zhǔn)確率下降.本文算法基于深度驗(yàn)證和對(duì)稱性檢測(cè)識(shí)別裂縫種子，基于深度和方向相似性連接裂縫，然后融合10 幅裂縫圖像，有效避免了裂縫漏檢情況，因而召回率較高;另外，由于進(jìn)行了有效的滑動(dòng)去噪處理，因此裂縫識(shí)別準(zhǔn)確率也較高，使得最終F 值達(dá)到了90.99%.

在運(yùn)算速度上，以聯(lián)想筆記本電腦(2.2 GHz Intel Core2 Duo CPU，2 GB 內(nèi)存)為測(cè)試平臺(tái)，針對(duì)2 048 ×2 048 像素的路面圖像，對(duì)一個(gè)子流程進(jìn)行處理平均約需3 s，而應(yīng)用OpenMP 將10 個(gè)子流程進(jìn)行并行運(yùn)算時(shí)，平均僅需約6 s.可見(jiàn)，本文算法很容易并行處理10 個(gè)子流程，而其所花費(fèi)時(shí)間僅是單獨(dú)處理一個(gè)子流程的2 倍，因而可有效提高運(yùn)算速度.

7 結(jié)語(yǔ)

針對(duì)1 mm/像素的路面三維圖像提出裂縫自動(dòng)并行識(shí)別算法，該算法包括圖像降維、裂縫種子識(shí)別與連接(形成了10 個(gè)并列的子流程)、裂縫圖像融合與去噪.測(cè)試表明，該算法可獲得較高的準(zhǔn)確率、召回率和穩(wěn)定性，優(yōu)于Otsu 閾值分割和Canny 邊緣檢測(cè)2 種經(jīng)典的裂縫識(shí)別算法.

圖10 裂縫識(shí)別結(jié)果對(duì)比

該算法基于路面高精三維數(shù)據(jù)識(shí)別裂縫，彌補(bǔ)了二維圖像質(zhì)量易受車道標(biāo)線、陰影及油污等影響的缺陷;同時(shí)，算法按并行結(jié)構(gòu)進(jìn)行設(shè)計(jì)，既可有效融合各個(gè)子流程的裂縫檢測(cè)結(jié)果，又容易實(shí)現(xiàn)程序并行化運(yùn)算，提高計(jì)算速度，因此，與傳統(tǒng)的串行算法相比，更利于快速有效地識(shí)別裂縫.

由于路面狀況的復(fù)雜多樣性，本文算法不能適用于所有路面圖像的裂縫識(shí)別.準(zhǔn)確、快速且穩(wěn)定地識(shí)別各類裂縫仍然是一項(xiàng)挑戰(zhàn)，需要有效結(jié)合路面二維和三維特征進(jìn)行識(shí)別.

References)

［1］ Wang K C P，Hou Z Q，Gong W G.Automated road sign inventory system based on stereo vision and tracking［J］.Computer-Aided Civil and Infrastructure Engineering，2010，25(6):468-477.

［2］ Otsu N.A threshold selection method from gray-level histograms［J］.IEEE Transactions on Systems，Man，and Cybernetics，1979，9(1):62-66.

［3］ Tsai Y，Kaul V，Mersereau R M.Critical assessment of pavement distress segmentation methods［J］.Journal of Transportation Engineering，2010，136(1):11-19.

［4］ Canny J.A computational approach to edge detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8(6):679-698.

［5］ 張娟，沙愛(ài)民，孫朝云，等.基于相位編組法的路面裂縫自動(dòng)識(shí)別［J］.中國(guó)公路學(xué)報(bào)，2008，21(2):39-42.Zhang Juan，Sha Aimin，Sun Chaoyun，et al.Pavement crack automatic recognition based on phase-grouping method［J］.China Journal of Highway and Transport，2008，21(2):39-42.(in Chinese)

［6］ Huang Y X，Xu B G.Automatic inspection of pavement cracking distress［J］.Journal of Electronic Imaging，2006，15(1):185-188.

［7］ Gavilán M，Balcones D，Marcos O，et al.Adaptive road crack detection system by pavement classification［J］.Sensors，2011，2011:649675.

［8］ 王剛，肖亮，賀安之.脊小波變換域模糊自適應(yīng)圖像增強(qiáng)算法［J］.光學(xué)學(xué)報(bào)，2007，27(7):1183-1190.Wang Gang，Xiao Liang，He Anzhi.Algorithm research of adaptive fuzzy image enhancement in ridgelet transform domain［J］.Acta Optica Sinica，2007，27(7):1183-1190.(in Chinese)

［9］ 孫波成，邱延峻，梁世慶.基于小波的路面裂縫識(shí)別研究［J］.重慶交通大學(xué)學(xué)報(bào)，2010，29(1):69-72.Sun Bocheng，Qiu Yanjun，Liang Shiqing.Cracking recognition of pavement surface based on wavelet technology［J］.Journal of Chongqing Jiaotong University，2010，29(1):69-72.(in Chinese)

［10］ Cheng H D，Wang J L，Hu Y G，et al.Novel approach to pavement cracking detection based on neural network［J］.Transportation Research Record，2001(1764):119-127.

［11］ Hu Y，Zhao C X，Wang H N.Automatic pavement crack detection using texture and shape descriptors［J］.IETE Technical Review，2010，27(5):398-405.

［12］ Cheng H D，Chen J R，Glazier C，et al.Novel approach to pavement cracking detection based on fuzzy set theory［J］.Journal of Computing in Civil Engineering，1999，13(4):270-280.

［13］ Zou Q，Cao Y，Li Q Q，et al.CrackTree:automatic crack detection from pavement images［J］.Pattern Recognition Letters，2012，33(3):227-238.

［14］ Li Q Q，Zou Q，Liu X L.Pavement crack classification via spatial distribution features［J］.EURASIP Journal on Advances in Signal Processing，2011，2011:649675.