瞿 中,周海寬
(1.重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,重慶400065;2.重慶郵電大學(xué) 軟件工程學(xué)院,重慶400065)
由于裂縫存在背景的復(fù)雜性及其自身的差異性,至今沒(méi)有一種通用的算法來(lái)實(shí)現(xiàn)對(duì)裂縫的準(zhǔn)確檢測(cè)。鄒勤等[1]提出了一種利用目標(biāo)最小點(diǎn)生成樹(shù)的算法,M.Salman等[2]提出了一種Gabor Filter濾波的方法,張雷等[3]采用了一種多尺度輪廓結(jié)構(gòu)元素的算法,Henrique Oliveira等[4]提出了一種利用樣本訓(xùn)練無(wú)監(jiān)督的檢測(cè)和分類(lèi)算法,沈照慶等[5]提出了一種模糊核空間的裂縫識(shí)別算法,Liu等[6]提出了一種先把圖像分割成若干小塊的分割算法,但這些算法都存在缺陷。
根據(jù)裂縫目標(biāo)及背景的特點(diǎn),提出了一種結(jié)合紋理特征融合與顯著性檢測(cè)的路面裂縫提取算法。該算法用形態(tài)學(xué)黑帽變換矯正部分光照,提取出裂縫的LBP (local binary pattern)即局部二元模式、Laws、對(duì)比度3 種紋理特征,然后進(jìn)行融合,最后采用顯著算法將裂縫顯著化后分割得到裂縫,實(shí)驗(yàn)結(jié)果表明,該算法效果優(yōu)于其它算法。
紋理[7]作為圖像最重要的內(nèi)容之一,已經(jīng)被廣泛的研究和使用。分析裂縫圖像的紋理分布規(guī)律,紋理融合與顯著性結(jié)合裂縫檢測(cè)算法采用微觀紋理描述算子LBP算子[8]及宏觀紋理描述算法Laws[9]紋理能量測(cè)度法和描述紋理對(duì)比度的對(duì)比度描述因子,分別對(duì)裂縫進(jìn)行描述得到3種紋理特征向量,最后按照權(quán)值加權(quán)思想把3個(gè)紋理融合,得到裂縫紋理特征圖。
LBP算子是Ojala提出的一種統(tǒng)計(jì)紋理分析方法,設(shè)一幅灰度圖像中的任意像素點(diǎn)為p,其灰度值為gc,以p 為中心點(diǎn)的3×3窗口中,以該中心點(diǎn)的左上角的第一個(gè)點(diǎn)為起始位,按順時(shí)針命名其鄰域像素點(diǎn)的灰度值為g0,g1,...g7。根據(jù)式 (1)可以求得像素點(diǎn)p 的LBP值
遍歷圖像所有像素點(diǎn)求得整幅灰度圖像f(x,y)的所有LBP值,用LBP值表示圖像得到LBP(x,y),該算法采用的裂縫原圖如圖1所示,圖2為L(zhǎng)BP實(shí)驗(yàn)結(jié)果。
圖1 混泥土路面裂縫原圖
圖2 混泥土路面裂縫LBP效果
Laws紋理能量度量法是通過(guò)計(jì)算圖像中紋理的平均灰度級(jí)、邊緣、斑點(diǎn)、波紋和波形來(lái)確定紋理的屬性,這些屬性可以由3個(gè)簡(jiǎn)單的向量來(lái)描述:L3=(1,2,1)表示平均;E3=(-1,0,1)表示一階微分即邊緣信息;S3=(-1,2,-1)表示二階微分即斑點(diǎn)信息。把這3個(gè)向量相互或是與自身卷積后得到5個(gè)向量如式 (2)所示
利用上面5個(gè)向量相互卷積或是自身卷積可以得出4個(gè)性能最強(qiáng)的5×5 的能量為零的模板,能量為零即∑i∑jaij=0。其中aij是模板中(i,j=1,2,3,4,5),4個(gè)模板分別為L(zhǎng)5E5,L5S5,E5S5,R5R5,具體參數(shù)如圖3所示。
這4個(gè)模板可以濾出圖像的水平邊緣、垂直邊緣、V形狀和高頻點(diǎn),能夠很好的反映紋理區(qū)域與像素點(diǎn)的關(guān)系。
圖3 4個(gè)零和模板
紋理融合與顯著性結(jié)合算法使用了Laws紋理的垂直,水平和V 形的3個(gè)模板分別對(duì)紋理圖像進(jìn)行卷積得到3個(gè)紋理特征向量,然后按照經(jīng)驗(yàn)系數(shù),垂直邊緣向量0.4,水平邊緣向量0.4,V 形向量0.2進(jìn)行加權(quán)融合得到Laws紋理特征圖。融合后的圖像不僅保持了原有圖像大部分細(xì)節(jié)而且還對(duì)裂縫進(jìn)行了強(qiáng)化,實(shí)驗(yàn)結(jié)果如圖4所示。
圖4 Laws三種紋理融合的裂縫效果
對(duì)比度[10]是描述像素點(diǎn)之間大小差異的,假設(shè)當(dāng)前像素點(diǎn)為p,設(shè)其鄰域窗口為(2 M+1)×(2 M+1),令s窗口里灰度級(jí)的隨機(jī)變量,n(sk)表示灰度值sk的出現(xiàn)的次數(shù),p(sk)表示n(sk)概率值
其中,V 即為對(duì)比度紋理特征,y 為當(dāng)前灰度級(jí)。
為了得到更完整的效果,將圖1中圖像的3種紋理的融合后的圖像與形態(tài)學(xué)變化后圖像向量再次融合得到最終融合效果。對(duì)于3種紋理各自系數(shù)的選取,太大或太小都影響裂縫和背景的對(duì)比效果,太大時(shí)融合效果如圖5 (b)所示,背景存在較多與裂縫目標(biāo)像素值接近的干擾噪聲;系數(shù)選取太小時(shí),紋理融合效果如圖5 (c)所示,裂縫目標(biāo)的部分細(xì)節(jié)信息被省略了。算法在測(cè)試了1000張圖像后得到LBP、Laws、對(duì)比度3 種特征向量經(jīng)驗(yàn)權(quán)值分別為0.4、0.3、0.2時(shí)融合后的顯著性提取效果最佳,融合效果如圖5 (c)所示。
圖5 LBP、Laws、對(duì)比度系數(shù)不同時(shí)的融合效果
顯著圖反映了圖像中不同區(qū)域的顯著程度,利用顯著性可以快速提取圖像中的顯著目標(biāo)而把大部分背景省略掉,在經(jīng)過(guò)LBP,Laws,對(duì)比度紋理特征的提取與形態(tài)學(xué)特征融合之后,裂縫目標(biāo)在整幅圖中與背景的視覺(jué)對(duì)比變得相當(dāng)明顯,紋理融合與顯著性結(jié)合算法采用Achanta等[11]提出的一種高效簡(jiǎn)單的FT (frequency-tuned)顯著區(qū)域提取算法對(duì)裂縫目標(biāo)進(jìn)行提取。FT 通過(guò)使用頻率調(diào)頻的原理來(lái)獲得ωlc和ωhc,ωlc為獲得顯著性需要的最低頻率,ωhc則為最高頻率。FT方法是通過(guò)一組DoG (difference of Gaussian)濾波器的聯(lián)合來(lái)獲得ωlc到ωhc的信息。其定義如式 (5)所示
該濾波器的帶寬由σ1和σ2的比率來(lái)決定。為了有效檢測(cè)物體的邊緣,σ1和σ2最佳比值為ρ=1∶1.6[12],這樣ρ限定了DoG 濾波器通過(guò)的帶寬的高低,但是單個(gè)DoG 不能有效地得到足夠大的[ωlc,ωhc],F(xiàn)T 就將多個(gè)DoG 聯(lián)合成一個(gè)更大的DoG 濾波器,如式 (6)定義
當(dāng)N >0時(shí),F(xiàn)N就可以用兩個(gè)高斯函數(shù)的差來(lái)表示。這時(shí)DoG 的寬度由K =ρN來(lái)決定。在實(shí)際提取顯著區(qū)域時(shí),F(xiàn)T 方法使用5×5大小的窗口進(jìn)行高斯平滑去除特高頻。為了獲得更大的[ωlc,ωhc],F(xiàn)T 使K 盡可能的大,F(xiàn)T讓N =∞,此時(shí)G(x,y,σρN)就是對(duì)整個(gè)圖像的平均。像素p 的顯著性可以通過(guò)式 (7)來(lái)獲得
FT 計(jì)算平均特征Iu是使用的CIELAB 顏色特征。Iwhc(p)為在經(jīng)過(guò)高斯平滑后的圖像中像素p 的CIELAB顏色特征。
將圖5融合效果圖用顯著性提取算法處理過(guò)后效果如圖6所示,當(dāng)融合系數(shù)比較大時(shí),從圖6 (a)中可以看出裂縫目標(biāo)雖然顯著性較好且細(xì)節(jié)信息比較完整,但背景干擾噪聲較大,不利于目標(biāo)的提?。划?dāng)融合系數(shù)比較小時(shí),從圖6 (b)中可以看出背景噪聲干擾雖然比較小,但是裂縫顯著性較差,細(xì)節(jié)信息同時(shí)也被去除去,也不利于目標(biāo)的完整提??;從圖6 (c)中可以看出此時(shí)的裂縫顯著性提取效果最好,既保證了裂縫目標(biāo)的細(xì)節(jié)信息又去除了大部分背景的干擾信息。
圖6 3種紋理融合后的FT 顯著性提取效果
紋理融合與顯著性結(jié)合算法檢測(cè)裂縫的詳細(xì)流程如圖7所示。
圖7 紋理融合與顯著性提取結(jié)合裂縫檢測(cè)流程
為了驗(yàn)證提出算法的有效性和準(zhǔn)確性,實(shí)驗(yàn)選取了3種對(duì)圖像分割具有較好效果的算法與提出的算法進(jìn)行分割比較,圖8 (a)為裂縫原圖,圖8 (b)為二維大津法分割效果,可見(jiàn)大津法對(duì)這類(lèi)裂縫分割完全沒(méi)有效果;圖8 (c)采用最佳直方圖熵與遺傳算法相結(jié)合的分割算法,可以看出,裂縫的提取完整度較好,但是對(duì)于背景的光照比較敏感,產(chǎn)生較大的噪聲;圖8 (d)采用最佳直方圖熵與窮舉法結(jié)合的分割算法,可以看出,光照的噪聲被有效的去除了,背景對(duì)目標(biāo)的干擾較小,但裂縫目標(biāo)出現(xiàn)了較多的斷裂,裂縫目標(biāo)不完整;圖8 (e)是本文提出算法效果,可以明顯看出,背景干擾被完全的去除掉,而且提取的裂縫目標(biāo)也較為完整和清晰。
圖8 分割對(duì)比效果
為了驗(yàn)證了算法的精確性,對(duì)紋理融合與顯著性結(jié)合算法所提的裂縫進(jìn)行精確率和召回率的量化評(píng)估。實(shí)驗(yàn)照片路面裂縫均是自然光照條件下,大小為950*400。
精確率P 和召回率R 定義[13]如式 (8)所示
式中:Np——檢測(cè)到的像素中屬于真正裂縫的像素點(diǎn)的個(gè)數(shù),Nr人工分割真實(shí)裂縫的像素點(diǎn)個(gè)數(shù)的總和,Ntotal——用紋理融合與顯著性結(jié)合算法所提取的裂縫像素點(diǎn)數(shù)總和。從240幅樣本圖中抽取6 幅進(jìn)行精確率和召回率的測(cè)試,裂縫原圖如圖9所示、紋理融合與顯著性結(jié)合算法提取的裂縫如圖10所示,及人工分割的裂縫如圖11 所示,每條裂縫的精確率P 和召回率R 見(jiàn)表1。
圖9 裂縫原圖
圖10 紋理融合與顯著性結(jié)合分割效果
圖11 人工分割效果
表1 精確率P與召回率R
根據(jù)裂縫實(shí)際存在環(huán)境,提出了一種運(yùn)用紋理特征與顯著性相結(jié)合的裂縫檢測(cè)算法,首先采用形態(tài)學(xué)方法矯正光照,之后提取裂縫的LBP 紋理,Laws紋理,分別從微觀和宏觀的角度對(duì)裂縫進(jìn)行描述,再加上對(duì)比度特征,在形態(tài)學(xué)矯正的基礎(chǔ)上根據(jù)經(jīng)驗(yàn)權(quán)值把提取的3種紋理特征進(jìn)行融合,采用顯著性提取方法對(duì)紋理融合后的裂縫目標(biāo)進(jìn)行提取,最后閾值分割后采用中值濾波及連通域?yàn)V波有效的去除噪聲得到最終裂縫。實(shí)驗(yàn)結(jié)果表明該算法能夠有效提取出復(fù)雜背景下的裂縫,精確率和召回率都達(dá)到了92%以上。
[1]ZOU Qin,LI Qingquan.Target-point MST for pavement crack detection [J].Geomatics and Information Science of Wuhan University,2011,36 (1):71-75 (in Chinese).[鄒勤,李清泉.利用目標(biāo)點(diǎn)最小生成樹(shù)的裂縫檢測(cè) [J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2011,36 (1):71-75.]
[2]Salman M,Mathavan S.Pavement crack detection using the Gabor filter [C]//IEEE Annual Conference on Intelligent Transportation Systems,2013:2039-2044.
[3]ZHANG Lei,XIAO Mei.Pavement crack detection based on visual model[J].Journal of Chang’an University (Natural Science Edition),2009,29 (5):21-24 (in Chinese).[張雷,肖梅.基于視覺(jué)模型的路面檢測(cè)算法 [J].長(zhǎng)安大學(xué)學(xué)報(bào):自然科學(xué)版,2009,29 (5):21-24.]
[4]Henrique Oliveira.Automatic road crack detection and characterization [J].IEEE Transactions on Intelligent Transportation Systems,2013,14 (1):155-168.
[5]SHEN Zhaoqing,ZHONG Liang,XIAO Shasha.Intelligent recognition and evaluation of highway pavament cracks in fuzzy kernel space [J].Highway,2014 (2):180-184 (in Chinese).[沈照慶,鐘良,肖沙沙.模糊核空間下高速公路路面裂縫智能識(shí)別與評(píng)價(jià) [J].公路,2014 (2):180-184.]
[6]Liu F,Xu G,Yang Y,et al.Novel approach to pavement cracking automatic detection based on segment extending[C]//IEEE Proceedings of International Symposium on Knowledge Acquisition and Modeling,2008:610-614.
[7]BU Yadong.Image texture feature extraction [D].Jinan:Shandong Normal University,2012 (in Chinese). [步亞?wèn)|.圖像紋理特征提取 [D].濟(jì)南:山東師范大學(xué),2012.]
[8]ZHOU Shuren,YIN Jianping.LBP texture feature based on Haar characteristics[J].Journal of Software,2013,24 (8):1909-1926 (in Chinese). [周書(shū)仁.殷建平.基于Harr特征的LBP 紋理特征[J]. 軟件學(xué)報(bào),2013,24 (8):1909-1926.]
[9]WANG Huafeng,WANG Yuting,CHAI Hua.State-of-art on texture-based well logging image classification [J].Journal of Computer Research and Development,2013,50 (6):1335-1348 (in Chinese). [王華鋒,王玉婷,柴華.基于紋理特征的測(cè)井圖像分類(lèi)算法的研究 [J].計(jì)算機(jī)研究與發(fā)展,2013,50 (6):1335-1348.]
[10]ZHANG Xiuhua,CHENG Yanjun,HONG Hanyu.Pavement crack detection based on weight texture[J].Computer&Digital Engineering,2011,39 (10):153-156 (in Chinese).[章秀華,陳艷君,洪漢玉.基于加權(quán)融合紋理的路面裂縫檢測(cè)[J].計(jì)算機(jī)與數(shù)字工程,2011,39 (10):153-156.]
[11]Radhakrishna Achanta,Sheila Hemami.Frequency-tuned salient region detection [C]//IEEE Conference on Computer Vision and Pattern Recognition,2009:1597-1604.
[12]Marr D.Vision:A computational investigation into the human representation and processing of visual information [M].San Francisco,1982.
[13]Yamaguchi T, Hashimoto S.Improved percolation-based method for crack detection in concrete surface images[C]//International Conference on Pattern Recognition,2008:1-4.