王耀南 尹遜帥 賀振東 穆雪峰
摘要:為了解決高速鐵路軌道表面缺陷機器視覺檢測系統(tǒng)中采集圖像的冗余問題,本文提出一種鋼軌表面圖像冗余信息的模糊匹配算法。該種算法首先采用豎直投影法提取鋼軌表面區(qū)域;之后對鋼軌表面區(qū)域進(jìn)行預(yù)處理并二值化,得到缺陷的位置信息;然后通過感知哈希算法,得到鋼軌表面缺陷的形態(tài)信息;最后計算缺陷的位置誤差和形態(tài)相似度,基于模糊匹配算法,得到匹配結(jié)果。通過實驗驗證,該算法能有效識別系統(tǒng)圖像中的冗余部分,準(zhǔn)確率達(dá)到97.5%。
關(guān)鍵詞:機器視覺;鋼軌;表面缺陷;模糊匹配
中圖分類號:U213.4 文獻(xiàn)標(biāo)識碼:A
隨著鐵路列車的不斷提速,重載列車和城市地鐵輕軌運營的增加,對鐵路安全性、可靠性的要求日漸提高。由于受到天氣狀況惡劣、負(fù)載過大、行車速度快等因素影響,鋼軌表面容易產(chǎn)生各種類型的缺陷,常見的有疤痕、裂紋、波紋擦傷、褶皺、剝落等。如果不及時對鋼軌進(jìn)行維護(hù)和更換,會發(fā)展成內(nèi)部缺陷,造成嚴(yán)重的列車事故。因此,鋼軌表面缺陷檢測對維護(hù)鐵路系統(tǒng)的安全運行非常重要。
目前鋼軌表面缺陷檢測主要依靠有經(jīng)驗的鐵道工人目測巡檢。這種檢測方法不僅效率低、危險性大,還受人為和天氣因素影響。隨著技術(shù)的進(jìn)步,超聲、磁感應(yīng)、電渦流感應(yīng)、機器視覺等無損檢測技術(shù)不斷出現(xiàn),尤其是機器視覺檢測技術(shù),已有一些研究人員進(jìn)行了相應(yīng)的研究并取得了一定成果。湖南大學(xué)采用線掃描相機采集鋼軌圖像,應(yīng)用數(shù)字圖像技術(shù)對鋼軌表面缺陷進(jìn)行檢測,檢測效率高,實時性好。中國鐵道科學(xué)研究院研究了一種魯棒實時鋼軌表面擦傷檢測算法,檢測性能較高、速度快。
但是,上述算法僅對缺陷的識別做出了相應(yīng)研究,對檢測系統(tǒng)在采集過程中可能出現(xiàn)的冗余問題沒有關(guān)注。由于在鐵路維護(hù)過程中,一段鋼軌可能要多次檢測,因此會造成鋼軌圖像的重復(fù)采集。在鋼軌分段維護(hù)中,路段與路段連接處也可能存在冗余信息。
鋼軌表面缺陷的檢測系統(tǒng)均采用線掃描相機采集鋼軌圖像,線掃描相機分辨率高,圖像數(shù)據(jù)量大。以本文采集系統(tǒng)為例,若每次檢測1000km鐵路線路將采集至少25萬張圖像。所以,在使用大容量存儲設(shè)備的同時,為了減少鋼軌缺陷檢測和分析的運算量,增加單次檢測的里程,需要減少冗余圖像。
在檢測系統(tǒng)中圖像采集的開始里程由人工輸入,而后續(xù)里程則通過圖像的采集量由系統(tǒng)自動計算,因此圖像的冗余會影響采集系統(tǒng)中里程信息的準(zhǔn)確性。為了提高鋼軌缺陷定位的精度,冗余信息的去除也是非常有必要的。
鋼軌缺陷的檢測結(jié)果是鐵路部門制定鐵路維護(hù)計劃的主要參考數(shù)據(jù)以及鐵路損傷相關(guān)研究的資料,冗余信息的出現(xiàn)可能會造成缺陷識別結(jié)果的重復(fù),影響檢測結(jié)果的準(zhǔn)確性,給后續(xù)的工作和研究帶來不必要的問題。
因此需要研究一種識別冗余信息的匹配算法,以達(dá)到去除冗余信息的目的。由于無缺陷的鋼軌圖像高度相似,因此鋼軌特征信息非常少,基于灰度和梯度信息都很難識別冗余信息。針對鋼軌圖像的高度相似性,本文通過鋼軌缺陷的位置和形態(tài)的特異性,提出了一種鋼軌表面圖像冗余信息的模糊匹配算法,實現(xiàn)了冗余圖像的識別功能。
1 成像設(shè)備
成像系統(tǒng)由線掃描相機和鏡頭、光源、控制設(shè)備3部分組成。相機選用DSLSA Spyder3GigE Vision線掃描相機,分辨率為1024像素,線掃描頻率最高為68kHz,通過千兆以太網(wǎng)接口將圖像數(shù)據(jù)傳輸?shù)焦た貦C。鏡頭接口為C口,焦距為25mm,光圈可調(diào)。采用超高亮度LED條形光源,對稱安裝于相機兩側(cè)對鋼軌進(jìn)行照明,以減少外界光線影響,提高成像質(zhì)量。在軌檢車車輪上安裝旋轉(zhuǎn)編碼器,利用編碼器信號控制相機的采集頻率。軌道檢測實驗車如圖1(a)所示,成像系統(tǒng)如圖1(b)所示。
2 模糊匹配算法
匹配算法是將成像系統(tǒng)采集的鋼軌圖像運用圖像處理技術(shù),得到兩幅圖像中缺陷的位置誤差和相似度,通過模糊控制算法,得到匹配結(jié)果。由于普通鋼軌表面圖像的無差別性,只能根據(jù)鋼軌表面的缺陷識別圖像的冗余。體現(xiàn)鋼軌缺陷特異性的因素主要有兩個:位置和形態(tài)。
因為采集過程中圖像受光線、震動、噪音等影響,在不同采集情況下采集的缺陷經(jīng)過圖像處理后提取的位置信息不盡相同,因此,僅采用缺陷的位置信息難以判斷兩缺陷是否相同。缺陷的形態(tài)學(xué)信息也存在這種問題。故本文采用模糊匹配算法,計算缺陷位置誤差及形態(tài)相似度并作為模糊匹配算法的兩個輸入,既可以充分利用缺陷的位置和形態(tài)這兩個特異性特征,又能彌補單個特征單獨使用準(zhǔn)確性不足的問題。
匹配算法流程圖如圖2所示。
匹配算法包括以下步驟:1)鋼軌表面區(qū)域提取;2)圖像預(yù)處理、二值化及形態(tài)學(xué)操作;3)缺陷形態(tài)信息和位置信息獲?。?)位置誤差和相似度計算;5)位置與相似度模糊匹配。
匹配算法步驟中鋼軌效果圖如圖3所示。圖中(a)為成像系統(tǒng)采集到的鋼軌圖像,圖像大小為1024×1024;(b)為采用豎直投影法提取到的鋼軌表面區(qū)域圖像;(c)為圖像預(yù)處理后的鋼軌表面區(qū)域圖像;(d)為二值化后鋼軌表面區(qū)域圖像;(e)為形態(tài)學(xué)操作后的鋼軌表面區(qū)域圖像。
2.1 鋼軌表面區(qū)域提取
成像系統(tǒng)采集到的圖像如圖3(a)所示,鋼軌表面區(qū)域只占據(jù)圖像中央一部分,鋼軌兩側(cè)有很多石子、道釘?shù)雀蓴_物體,這些物體的存在不利于后續(xù)處理。因此為了降低后續(xù)處理的難度,需要提取鋼軌表面區(qū)域如圖3(b)所示。通過觀察,鋼軌表面區(qū)域與兩側(cè)區(qū)域的灰度值有明顯的差別,因此本文提出了豎直投影法(Vertical Projection,VP)提取鋼軌表面區(qū)域,主要步驟如下:
1)逐列累加圖像f(x,y)中各像素的灰度值,并計算均值,得到圖像的各列灰度均值數(shù)組Avg(i),Avg(i)如圖4所示。
2)統(tǒng)計全部圖像的灰度均值A(chǔ)vg_mean。
3)Avg(i)數(shù)組二值化,將Avg(i)數(shù)組依次與灰度均值A(chǔ)vg_mean比較,大于Avg_mean設(shè)為1,小于Avg_mean設(shè)為0,得到數(shù)組Avg_Val(i)。
在Avg_Val(i)數(shù)組中找到第一個連續(xù)10個值都是1的點,該點便是鋼軌表面圖像開始的邊緣點Begin_Point;在Avg_Val(i)數(shù)組Begin_Point之后找到第一個連續(xù)10個值都是0的點,該點便是鋼軌表面圖像結(jié)束的邊緣點End_Point,截取鋼軌圖像Begin_Point列到End_Point列之間的圖像即可得到鋼軌表面區(qū)域圖像f1(x,y)。得到的鋼軌表面區(qū)域圖像如圖3(b)所示。
2.2 圖像預(yù)處理、二值化及形態(tài)學(xué)操作
在鋼軌圖像的獲取過程中,容易受到現(xiàn)場環(huán)境、相機質(zhì)量等因素干擾而產(chǎn)生噪聲,影響匹配結(jié)果,因此,對鋼軌圖像f1(x,y)進(jìn)行3×1中值濾波。為了克服鋼軌表面光線反射不均勻的缺點,采用局部零均值法圖像增強,得到鋼軌圖像f2(x,y),如圖3(c)所示。采用文獻(xiàn)中提出的PEMCV法得到圖像的最佳分割閾值T,對濾波及增強后的鋼軌圖像f2(x,y)進(jìn)行二值化,得到二值圖像f2(x,y),如圖3(d)所示。
由于鋼軌缺陷周圍存在一些亮點噪聲,影響位置信息的準(zhǔn)確性,使用形態(tài)學(xué)操作可以去除這些噪聲點,而操作過度會導(dǎo)致缺陷的某些結(jié)構(gòu)信息被消除影響形態(tài)信息的準(zhǔn)確性。經(jīng)過實驗驗證,本文使用9×9的橢圓結(jié)構(gòu)元素對二值圖像。f3(x,y)進(jìn)行形態(tài)學(xué)操作得到圖像f4(x,y),如圖3(e)所示。
2.3 缺陷形態(tài)信息和位置信息獲取
由于圖像的冗余,在系統(tǒng)中記錄鋼軌圖像采集位置的里程信息將不再準(zhǔn)確,但缺陷相對于鋼軌兩側(cè)邊緣的位置不會改變,不同缺陷的位置具有特異性。因此獲取缺陷的外接矩形就能得到缺陷相對于鋼軌兩側(cè)邊緣的位置信息。
尋找二值圖像f4(x,y)中缺陷的外接矩形,得到鋼軌表面第m個缺陷的位置信息Pm(LX,RX,XW,YH),其中,LX為缺陷外接矩形的左側(cè)行坐標(biāo),RX為缺陷外接矩形的右側(cè)行坐標(biāo),XW為缺陷的寬度即缺陷所跨列數(shù),YH為缺陷的高度即缺陷所跨行數(shù)。
通過感知哈希算法,可以得到缺陷的形態(tài)數(shù)組。感知哈希算法以其高效、快速的優(yōu)點在圖像識別中應(yīng)用非常廣泛。在圖像采集過程中,當(dāng)采集方向不同時,缺陷的圖像會發(fā)生180°的翻轉(zhuǎn),因此計算形態(tài)數(shù)組時需要將缺陷圖像翻轉(zhuǎn)180°計算兩次。
具體步驟如下:
1)截取缺陷外接矩形內(nèi)的圖像f5(x,y),并將圖像歸一化到8×8尺寸。
2)計算圖像f5(x,y)的哈希值作為缺陷的形態(tài)數(shù)組Dm1,形態(tài)數(shù)組是一組64位0或1數(shù)組。
3)將圖像f5(x,y)翻轉(zhuǎn)180。得到圖像f5(x,y)。
4)計算圖像f5(x,y)的哈希值作為缺陷的形態(tài)數(shù)組Dm2。
在鋼軌圖像中,除缺陷外還有鋼軌的縫隙,在缺陷的匹配中鋼軌連接縫隙會對匹配結(jié)果產(chǎn)生影響,因此需要在匹配前將鋼軌縫隙剔除。因為鋼軌縫隙為橫向細(xì)縫,而鋼軌缺陷不存在橫向擦傷,所以形態(tài)數(shù)組數(shù)值全為1的必是鋼軌縫隙。得到缺陷形態(tài)數(shù)組后檢查是否數(shù)值全為1,若存在數(shù)值全為1的數(shù)組,則剔除該缺陷。
2.4 位置誤差和相似度計算
對比兩個缺陷的位置信息可以得到這兩個缺陷的位置誤差。對于位置差別較大的缺陷,在求取位置誤差之前通過計算缺陷的高度差和寬度差便可初步判斷兩缺陷是否為同一缺陷,對于高度差或?qū)挾炔钶^大的一組缺陷,匹配算法可以在此結(jié)束,以減少匹配步驟,提高效率。
取帶有缺陷的兩幅缺陷圖像Def1和Def2,分別計算得到形態(tài)數(shù)組Dt1,Dt2,Do1,Do2,及位置信息R(LX,RX,XW,YH),P0(LX,RX,XW,YH)。通過位置信息的對比初步判斷兩個缺陷是否為同一缺陷;對有可能為同一缺陷的數(shù)據(jù)進(jìn)行下一步計算,得到兩個缺陷的位置誤差和形態(tài)相似度。
若Ep>0.2,則Def1與Def2不是同一缺陷,否則計算Def1與Def2的形態(tài)相似度S。
3)計算Def1與Def2的形態(tài)相似度S。
步驟a:統(tǒng)計形態(tài)數(shù)組Dt1與Do1中不同位的個數(shù)n1。
步驟b:計算Def1與Def2的形態(tài)相似度S1,相似度計算公式如下所示:
步驟c:統(tǒng)計形態(tài)數(shù)組Dt1與Do2中不同位的個數(shù)n2,根據(jù)公式(4)計算Def1與Def2的形態(tài)相似度S2。
步驟d:取S1和S2的最大值為S,若S<0.8則說明Def1與Def2不可能為同一缺陷。
2.5 位置與相似度模糊匹配
模糊匹配算法的輸入量為鋼軌表面缺陷的位置誤差Ep及相似度s,語言模糊子集為{大(L),中(M),?。≒)},位置誤差的論域為[0,0.2],相似度的論域為[0.8,1]。隸屬度函數(shù)如公式(5)和(6)所示。模糊控制器的輸出量為匹配結(jié)果,用U表示,模糊子集為{是(Y),否(N)},由于本算法的匹配結(jié)果為是和否兩個離散量,因此模糊輸出變量不需要反模糊化,N表示實時獲取缺陷與已存儲缺陷不是同一缺陷,Y表示實時獲取缺陷與已存儲缺陷是同一缺陷。
模糊邏輯推理規(guī)則的結(jié)構(gòu)為:If Sand Ep thenU。當(dāng)缺陷的位置誤差較大時,表明這組缺陷根據(jù)位置信息判斷為同一缺陷的概率較小,因此只有當(dāng)相似度也很大時,這組缺陷才可能是同一缺陷。當(dāng)缺陷位置誤差較小時,表明這組缺陷根據(jù)位置信息判斷為同一缺陷的概率較大,因此只要相似度不是很小,這組缺陷就很有可能是同一缺陷。得到模糊規(guī)則如表1所示。
3 實驗結(jié)果與分析
本文選取了40組帶有疤痕缺陷的圖像,其中,相同缺陷和不同缺陷的圖像各占一半。實驗數(shù)據(jù)如表2所示,表2中1~20組數(shù)據(jù)為相同缺陷的圖像得到的數(shù)據(jù),21~40組數(shù)據(jù)為不同缺陷的圖像得到的數(shù)據(jù)。實驗圖像舉例如圖5所示。
由表2中實驗數(shù)據(jù)可知:大部分相同缺陷的位置誤差在0.05以下,相似度在0.95以上,如圖5(a)所示。大部分不同缺陷的位置誤差在0.2以上,相似度在0.8以下,如圖5(b)所示。不同缺陷圖像第39組位置誤差較小,而且相似度較高導(dǎo)致匹配出現(xiàn)錯誤,這是因為感知哈希算法只保留了圖像的低頻信息,去除了高頻的細(xì)節(jié)信息,當(dāng)遇到形狀結(jié)構(gòu)相似的兩個缺陷時,容易得到一個較高的相似度。
實驗結(jié)果如表3所示。
實驗表明:在實驗的圖像中,相同缺陷的圖像全部被檢出,而不同缺陷的圖像有一組被檢測,說明本文算法對于相同缺陷的冗余圖像有很高的檢出率,對不同缺陷的圖像有一定的誤檢率。本文算法準(zhǔn)確率為97.5%,能有效識別出鋼軌圖像中的冗余部分,而且誤檢率和漏檢率較低,分別為5%和0%。
4 結(jié)論
本文提出了一種鋼軌表面圖像冗余信息的模糊匹配算法,能有效識別系統(tǒng)圖像中的冗余部分。該算法通過圖像處理算法獲取圖像的位置信息和形態(tài)信息,對比兩幅圖像中缺陷的位置信息和形態(tài)信息得到鋼軌缺陷的位置誤差和形態(tài)相似度。根據(jù)鋼軌缺陷位置和形態(tài)的特異性,通過計算缺陷的位置誤差和形態(tài)相似度,基于模糊匹配算法,得到匹配結(jié)果。通過實驗,驗證了該算法的有效性。