陶曉力,武 建,楊 坤
(1.南京航空航天大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,江蘇 南京 211106;2.中設(shè)設(shè)計集團(tuán)股份有限公司,江蘇 南京 210000;3.連云港市公路管理處,江蘇 連云港 222002)
當(dāng)前,我國的道路橋梁建設(shè)十分迅速,隨著巨大的交通網(wǎng)絡(luò)的建成,隨之而來的公路橋梁養(yǎng)護(hù)和管理問題也變得越來越重要。在實際的工程中,橋梁檢測也逐漸從人工向半自動化發(fā)展,從最開始單純的人工到橋檢車,到各種檢查設(shè)備以及更進(jìn)一步的智能檢測。為了滿足方便快捷的檢測需求,不斷提出新的方法思路并在實際應(yīng)用和實踐中加以完善。路橋檢測還沒有真正實現(xiàn)全自動化,目前通用的方法還是通過人工觀察道路橋梁表面進(jìn)行病害檢查,其效率低,速度慢,存在很大的問題,很難適應(yīng)公路養(yǎng)護(hù)現(xiàn)代化的發(fā)展需求[1-2]。因此,道橋檢測技術(shù)要求從人工檢測向智能自動化檢測方向發(fā)展。
道路橋梁表觀圖像的獲取技術(shù)是進(jìn)行道橋病害檢測的第一步,是后續(xù)所有工作的基礎(chǔ)。大量有效的道橋病害樣本,有利于分類器的訓(xùn)練過程。道路的表面視野開闊,想要進(jìn)行表面圖像的獲取較為容易。但是橋梁的結(jié)構(gòu)比較復(fù)雜,需要對位于橋梁底部的梁體進(jìn)行檢測,同時,各種橋墩橋柱對橋梁進(jìn)行了阻斷,如何對這些結(jié)構(gòu)進(jìn)行表面拍攝也存在很大的技術(shù)問題。另一方面,不同的橋梁結(jié)構(gòu)不同,拉索、支座、錨碇等都需要考慮在內(nèi),為獲取完整的橋梁表觀圖像,研究人員需要開發(fā)多種橋梁表觀圖像的獲取技術(shù)。
車載檢測系統(tǒng)、爬行機器人[3]、無人機[4]等是目前常用的圖像獲取技術(shù)。陳瑤設(shè)計了一款足式壁面攀爬機器人[5],能夠在粗糙的垂直墻面上進(jìn)行攀爬;鄒大鵬等[6]在橋梁地面安裝了可以伸縮旋轉(zhuǎn)的機械臂,同時在機械臂上安裝視頻采集傳感器,通過調(diào)整機械臂的探測角度和距離即可將橋梁底部進(jìn)行檢測。
在裂縫圖像的智能識別方面,Nguyen等[7]提出了一種基于加權(quán)融合紋理的裂縫檢測算法;Xu等[8]通過機器學(xué)習(xí)的方法進(jìn)行裂縫檢測,引入BP神經(jīng)網(wǎng)絡(luò),通過其對提取的特征點進(jìn)行訓(xùn)練,從而實現(xiàn)裂縫的分類;文獻(xiàn)[9-10]綜合運用小波變換、灰度矯正、圖像分割等算法進(jìn)行裂縫檢測,該方法提出了完整的裂縫檢測流程,具有較好的參考價值。
文中采用無人機的方式進(jìn)行圖像采集。由于橋梁裂縫的精度能夠達(dá)到0.1 mm,同時要確保無人機飛行過程中的安全性,經(jīng)過現(xiàn)場試驗,通過大疆無人機裝配Guidance防撞系統(tǒng)并使用高倍變焦攝像頭的方法能有效地獲取裂縫圖像。
在裂縫的智能識別過程中,首先面對的是圖像的濾波去噪問題,常用的如中值濾波、均值濾波等都會導(dǎo)致邊緣模糊。其次是圖像的分割問題,將裂縫邊緣從圖像背景中分離出來,閾值分割的方法由于難以確定閾值而變得困難重重,基于邊緣檢測的方法由于圖片背景復(fù)雜會引入過多的干擾。再次就是在分割圖片時必然會破壞裂縫的連續(xù)性,對此,設(shè)計了一種基于裂縫最近鄰端點的連接方法[11]。
裂縫智能檢測的流程如圖1所示。
圖1 裂縫智能檢測流程
首先對圖像進(jìn)行灰度化處理。采用式(1)將 RGB圖像轉(zhuǎn)換為灰度圖像:
g=0.299R+0.587G+0.114B
(1)
其中,g為灰度圖像的像素值;R、G、B分別為真彩色圖像中像素的紅、綠、藍(lán)分量值。
灰度化后需要對圖像進(jìn)行濾波去噪。圖像濾波需要注意兩方面,一是盡可能地去除噪聲,二是盡可能地保護(hù)裂縫的邊緣,防止在去噪的同時使得裂縫邊緣過于模糊。文中以實際橋梁裂縫圖像為試驗對象,分析了幾種常用的濾波算法。由于裂縫都是局部顏色最深的,發(fā)現(xiàn)最小值濾波能夠有效地減少噪音,同時能夠突出裂縫的存在。
橋梁裂縫的主要特征就是其線性邊緣。第一步需要據(jù)此對圖像進(jìn)行比較準(zhǔn)確的邊緣檢測,然后在此基礎(chǔ)上進(jìn)行有效的圖像分割,將裂縫從背景圖像中分割出來。經(jīng)過試驗,確定采用沈俊邊緣檢測算子進(jìn)行邊緣檢測[12-14]。
沈俊邊緣檢測的主要思想是對數(shù)字圖像分別按行和列進(jìn)行兩次正反向的遞歸濾波計算,式(2)表示按行進(jìn)行正向濾波,式(3)表示對式(2)的輸出進(jìn)行按行反向濾波。同理,再對式(3)的輸出按列依次進(jìn)行正反向的濾波。之后計算濾波后的圖像與原圖像的差,并對其進(jìn)行二值化處理,最終得到邊緣圖像。
f1(x,y)=a0×[f(x,y)-f1(x,y-1)]+f1(x,y-1),y=1,2,…,n
(2)
f2(x,y)=a0×[f1(x,y)-f2(x,y+1)]+f2(x,y+1),y=n-1,n-2,…,1,0
(3)
其中,f(x,y)表示圖像像素的灰度值大??;a0為(0,1)之間的一個數(shù),當(dāng)a0越接近于1,邊緣的定位精度越高。隨著a0的減小,抗干擾能力增強,但邊緣細(xì)節(jié)丟失增多,邊緣檢測的精度將受到影響。實驗中,將a0的取值設(shè)為0.15,既能清晰地保留裂縫邊緣,也不會殘留過多的噪聲。
單純的邊緣檢測方法在檢測裂縫時會破壞裂縫的連續(xù)性,無法完整地將裂縫的實際情況表現(xiàn)出來。因此需要設(shè)計一種裂縫連接的方法,用以得到完整連續(xù)的裂縫,方便后續(xù)處理,也有利于對橋梁損壞程度進(jìn)行更為準(zhǔn)確的評價。
首先識別裂縫線段的起點和終點,找出每條裂縫線段的端點,得到端點集合S={S1,S2,…,Sn},其中Si是每條線段的端點。具體方法為獲得包含分段裂縫區(qū)域的最小凸多邊形,裂縫與最小凸多邊形相交的像素點即為裂縫線段端點,即尋找線段的凸包。
其次是遍歷所有端點,對于不同的線段Si和Sj,找到其中歐氏距離最小的兩點,得到距離d=min(Si,Sj),如果d小于閾值距離,則將裂縫端點連接。
裂縫連接如圖2所示。
圖2 裂縫連接
2.4.1 鏈碼跟蹤
鏈碼跟蹤技術(shù)常用于跟蹤目標(biāo)區(qū)域的邊界,適合進(jìn)行邊界描述以及特征提取,對于目標(biāo)的角點、面積、周長等特征有良好的計算效果[15]。采用鏈碼跟蹤的方法記錄裂縫邊緣輪廓的走向,在此基礎(chǔ)上獲取其裂縫的長度和寬度等信息。
對于一幅灰度圖像,將其看成是二維矩陣,則圖像上的一個像素即為矩陣中的一個坐標(biāo)。每個像素與周圍的像素的連通性可以分為8鄰域,即能夠向8個方向擴展,每一個方向用一個鏈碼表示,如用0~7對應(yīng)8個方向,如圖3所示。鏈碼就是以一個特定點為起點,將一個個方向碼連續(xù)記錄下來構(gòu)成的。
圖3 數(shù)字圖像坐標(biāo)系與8鄰域
設(shè)鏈碼為{a1,a2,…,an},定義(x0,y0)是起點坐標(biāo),ai在X軸上的分量為aix,在Y軸上的分量為aiy,則aix和aiy是ai相對于ai-1的偏移量,即當(dāng)ai=0時,aix=1,aiy=0;ai=7時,aix=1,aiy=-1。
(1)鏈的長度。
(4)
其中,L為長度;ne為方向鏈中偶數(shù)碼的數(shù)目;no為奇數(shù)碼的數(shù)目。
(2)目標(biāo)的面積。
(5)
(6)
其中,S為面積;n為鏈碼長度。
2.4.2 線性特征
裂縫一般來說是一種線性特征,并具有一定的方向。對剩下的目標(biāo)抽取以下線性特征:
(1)面積、周長及其比值:設(shè)S為裂縫的面積,L為裂縫周長,則
A=S/L2
(7)
顯然,具有細(xì)長線性特征的目標(biāo)A值較小。
(2)矩形度特征。
(a)反映一個目標(biāo)矩形度的特征是矩形擬合度。
R=A0/AR
(8)
其中,A0為目標(biāo)的面積;AR為其最小外接矩形的面積;R(0 (b)最小外接矩形的長寬比特征。同式(7),這里計算的是目標(biāo)對象的最小外接矩形的長寬比。 2.4.3 裂縫識別 通過鏈碼跟蹤的方式很容易得到裂縫的封閉外邊界,以此得到裂縫的面積S和周長L。實驗中,將滿足條件S≤L2/20的邊緣保留。 尋找剩下每個連通區(qū)域的最小外接矩形,得到外接矩的面積S,長L和寬W,因為裂縫必然在圖像中占據(jù)一定的面積和長度,將滿足S≥width*height/1 000,L≥height/10,L≥3*W的線段保留。其中width和height分別是圖像的寬和高。 經(jīng)過以上步驟之后,已經(jīng)得到了清晰的裂縫標(biāo)記,但由于采集照片的大橋已經(jīng)經(jīng)過了人工檢測,并用記號筆進(jìn)行了標(biāo)記,因此采集到的裂縫圖像也會包含記號筆標(biāo)記,并且上述識別流程也會保留記號筆標(biāo)記。記號筆標(biāo)記雖然滿足了裂縫的一切特征,但明顯比實際裂縫寬了很多。根據(jù)這一特征,可以輕易將記號筆標(biāo)記去掉,如圖4所示。 圖4 記號筆記的去除 實地考察了位于江蘇省揚州高郵市的某座大橋,并通過無人機采集了其上的裂縫病害圖像,以這組照片(見圖5)進(jìn)行實驗。 實驗是在Windows10平臺上進(jìn)行,采用C++語言進(jìn)行程序的編寫。首先將拍攝的圖像進(jìn)行預(yù)處理,其次采用沈俊算子進(jìn)行邊緣檢測,在此基礎(chǔ)上進(jìn)行裂縫的鏈接,最后通過多步的條件篩選進(jìn)行線性目標(biāo)的識別,將裂縫篩選出來。 圖5 臨澤公路橋 實驗共檢測了46張含有裂縫的病害圖片,識別出裂縫42張。部分實驗結(jié)果如圖6所示。采集的實驗圖像的裂縫實際寬度在0.1~0.5 mm之間。圖6選取了圖像處理過程中的部分中間處理過程,由最后的結(jié)果(e)對照原圖(a)可知,實驗對于采集的病害圖像具有較好的識別能力。 圖6 裂縫圖像智能識別 對于橋梁裂縫的圖像采集,設(shè)計了一種基于無人機搭配高清變焦攝像頭的方法,并設(shè)計了一種基于邊緣檢測的裂縫智能識別的算法,對于檢測過程中裂縫的斷裂設(shè)計了一種連接方式。結(jié)果表明,該方法具有良好的識別能力,但對于不同橋梁其識別效果也存在不足,仍需要進(jìn)一步的探索。 [1] 曹固恩.橋梁檢測技術(shù)綜述[J].山西建筑,2008,34(28):314-315. [2] 郭澤剛.關(guān)于橋梁裂縫成因的探討[J].山西建筑,2009,35(32):311-312. [3] 戴啟凡.橋梁檢測爬壁機器人及其自適應(yīng)控制技術(shù)研究[D].南京:南京理工大學(xué),2013. [4] 尹 棟.基于無人機系統(tǒng)的橋梁質(zhì)量快速檢測裝置:中國,201510215371.6[P].2015-07-08. [5] 陳 瑤.基于圖像分析的橋梁裂縫檢測方法硏究[D].合肥:中國科學(xué)技術(shù)大學(xué),2016. [6] 鄒大鵬,吳百海,賴亞勇,等.智能視頻橋梁檢測車工作臂超聲探障系統(tǒng)研究[J].機床與液壓,2010,38(13):74-76. [7] NGUYEN T S,BEGOT S,DUCULTY F,et al.Free-form anisotropy:a new method for crack detection on pavement surface images[C]//Proceedings of international conference on image processing.Brussels:IEEE,2011:1069-1072. [8] XU G A,MA J L,LIU F F,et al.Automatic:recognition of pavement surface crank based on BP neural networks[C]//International conference on computer and electrical engineering.Atlanta:[s.n.],2008. [9] 魏 武,王俊杰,蔡釗雄.基于小波和Radon變換的橋梁裂縫檢測[J].計算機工程與設(shè)計,2013,34(9):3151-3157. [10] ITO A,AOKI Y,HASHIMOTO S.Accurate extraction and measurement of fine cracks from concrete block surface image[C]//28th annual conference of the industrial electronics society.Sevilla:IEEE,2002:2202-2207. [11] 任 亮,徐志剛,趙祥模,等.基于Prim最小生成樹的路面裂縫連接算法[J].計算機工程,2015,41(1):31-36. [12] 魏偉波,芮筱亭.圖像邊緣檢測方法研究[J].計算機工程與應(yīng)用,2006,42(30):88-91. [13] SHEN J,CASTAN S.An optimal linear operator for step edge detection[J].CVGIP:Graphical Model and Image Processing,1992,54(2):112-133. [14] 張 闖,王婷婷,孫冬嬌,等.基于歐氏距離圖的圖像邊緣檢測[J].中國圖象圖形學(xué)報,2013,18(2):176-183. [15] 李雨田,晉小莉.基于圖像邊界跟蹤的頂點矩陣算法[J].計算機工程,2010,36(1):231-232.2.5 去除記號筆標(biāo)記
3 實驗結(jié)果與分析
4 結(jié)束語