超木日力格,趙守國,王 靜,劉碩研
(1.北京交通大學計算機與信息技術學院,北京100044;2.中國鐵道科學研究院電子計算技術研究所,北京100044)
隨著鐵路運營速度的提高、客貨運量的不斷增加,對其安全性和可靠性都提出了更高的要求。智能監(jiān)控系統(tǒng)能幫助司機更好地監(jiān)視路面狀況,把司機從繁雜而又重復的工作中解脫出來,有足夠的時間和精力處理故障和突發(fā)事件。本文提出的機車駕駛路面情況監(jiān)控系統(tǒng)包含路障檢測、定位及報警等功能,其中紋理特征提取和匹配計算是機車駕駛路面狀況監(jiān)控系統(tǒng)的核心[1-2]。
系統(tǒng)主要研究的內(nèi)容為動態(tài)背景下機車駕駛路面障礙物的檢測。由于車頭振動導致的攝像機拍攝圖像的抖動和背景的豐富性及動態(tài)性給路軌障礙物的識別造成了難度。系統(tǒng)的框架如圖1。
圖1 系統(tǒng)框架
鐵軌靜態(tài)路障檢測,即通過圖像處理方法探查鐵軌上是否有阻礙列車行進的障礙物。在靜態(tài)圖像處理的基礎上,根據(jù)鐵路路軌的特殊情況,使用檢測區(qū)紋理作為特征進行障礙物目標定位。首先從圖像序列中將比較有代表性的鐵軌上無障礙物的背景圖像作為固定的圖像存儲起來,作為標準背景圖像,并且獲得其鐵軌部分的圖像,取區(qū)域紋理特征作為辨別鐵軌上有無異物的依據(jù)。將當前鐵軌區(qū)域圖像紋理特征與標準背景圖像鐵軌區(qū)域紋理特征進行對比,比較原則為:2幅圖像鐵軌區(qū)域紋理特征之差不超過一定閾值時,即視為鐵軌上無障礙物,否則視為有路障且進行報警提示。
圖2 標準鐵軌背景圖像
鐵軌靜態(tài)路障檢測的第一步,從圖像序列中選取標準鐵軌圖像,為下一步進行特征對比提供對比依據(jù)。標準鐵軌背景圖像必須為干凈的、無障礙物且鐵軌輪廓較為明顯的圖像,一般從拍攝畫面前100幀圖像中選取,如圖2。
在圖像的傳送和轉換過程中,不可避免地存在一些噪聲,對后續(xù)的圖像處理造成影響。為了提高后續(xù)處理的精度及速度,有必要通過圖像預處理的方式去除噪聲并突出感興趣的特征。圖像預處理的主要步驟如圖3。圖像灰度化之后,進行高斯平滑濾波,濾除高頻噪聲;將濾波之后的圖像進行圖像增強,增強用變換函數(shù):
圖3 圖像預處理過程
式中f(x,y)為原圖像灰度值,g(x, y)為變換后圖像灰度值。經(jīng)過變換后圖像在比較暗的部分其對比度減弱,而在比較亮譬如鐵軌的部分,其對比度增強。而后,用canny算子提取邊緣。為了進一步突出鐵軌邊緣信息,減少環(huán)境無用信息,將圖像進行二值化處理[3]。
預處理后的圖像如圖4。
圖4 預處理后的圖像
為了判斷鐵路路軌或彎道處是否真正存在行車障礙,就必須劃分出監(jiān)控圖像中的危險區(qū)域。根據(jù)二值圖像中像素的連接性,提取鐵路框架最主要的鐵軌。尋找鐵軌像素主要目的為建立檢測區(qū)域,減小障礙物的搜索范圍。如圖5,圖片上某一點的像素標記為p,其灰度值為B(p),則其周圍8個鄰域內(nèi)的像素可標記為p0~p7,對應灰度值為B(p0)~B(p7)。鐵軌框架的提取及檢測窗建立步驟如下:
圖5 圖像像素
(1)尋找端點像素:在圖像中尋找灰度值為1、相鄰8個像素中灰度值為1的像素個數(shù)不超過3個并且4-/8-鄰連接數(shù)均為1的像素點,即為端點像素。端點像素檢測出的是每個線段最下端的點[3]。4-/8-鄰連接數(shù)定義如公式(2)、公式(3):
(2)端點像素為圖像中線段的下端點處像素。從端點像素出發(fā),向上進行區(qū)域增長直到將所有端點像素所處線段檢測出來。區(qū)域增長的具體算法為:以端點為生長種子向上、左、右、左上和右上5個方向進行檢索,當相鄰5個像素中有像素值為1的點,即將此點作為新的生長種子繼續(xù)區(qū)域增長,直至檢測到線段另一頭的終點。
(3)在檢測出的線段當中留下長度大于閾值T、梯度符合鐵軌走向的線段檢出。
(4)以鐵軌的邊緣為基礎建立檢測窗。檢測窗的2個側邊沿著鐵軌邊緣,上邊線高度定在圖像高度的1/3處(經(jīng)驗值,拍攝到的圖片下1/3部分鐵軌圖像較清晰)。由于拍攝角度導致遠端鐵軌距離比近端鐵軌距離小,檢測窗為梯形。
(5)檢測出的鐵軌線段及檢測窗如圖6,原圖像上顯示檢測窗區(qū)域如圖7。
(6)由于火車頭攝像機的斜向下拍攝角度,檢測區(qū)域在圖像下半部分,所以彎道的檢測窗效果跟直道是一樣的。
圖6 鐵軌線段(含檢測窗)
圖7 標準圖像檢測窗
圖像的紋理信息是圖像最基本的特征,反映了圖像本身的屬性,在圖像分析、識別領域得到了廣泛的應用[4]。一幅圖像可以看成是不同紋理模型區(qū)域的嵌套[5]。紋理是一種反應圖像灰度級變化的圖像屬性,一般圖片具有豐富的紋理特征,且其紋理特征的計算量較小,可以用作區(qū)分不同圖像的依據(jù)。通過對比標準鐵軌背景圖像及待測圖像的紋理特征,可以發(fā)現(xiàn)障礙物。
2.4.1 灰度共生矩陣
由于紋理是由灰度分布在空間位置上的反復出現(xiàn)而形成的,所以在圖像中相隔某距離的2個像素灰度值之間會存在某種關系?;叶裙采仃嚤硎緢D像中相距某距離的2個灰度像素同時出現(xiàn)的聯(lián)合概率分布[6],其數(shù)學表達式:
式中,(x, y)為圖像坐標,M、N為圖像大小,K為圖像灰度級數(shù)目,θ為像素連線角度。
灰度共生矩陣不能直接提供區(qū)別紋理的特征[5],所以需要進一步提取統(tǒng)計分量作為紋理特征。主要統(tǒng)計分量有:
(1)能量(角二階矩):反映了灰度分布均勻程度和紋理粗細程度。當灰度分布較為均勻或紋理較小時,大部分灰度對出現(xiàn)概率相差不大,角二階矩較小。
(2)混合熵:熵值很好地描述了圖像的信息量大小,當圖像沒有任何紋理即沒有太大信息量時其熵值很小,反之熵值比較大?;旌响赜洖镠。
(3)慣性矩:慣性矩記為I。當慣性矩比較大,表明圖像上紋理的線條明顯。
(4) 相關系數(shù):主要用來描述灰度共生矩陣中的元素在行或列方向上的相似程度,記為C。
式中μx,μy和σx,σy分別為灰度共生矩陣每行元素積分和每列元素積分的均值和標準差。
求能量、熵、慣性矩、相關的均值和標準差作為最終8維紋理特征
[E1, H1, I1, C1, E2, H2, I2, C2]
E1~C1是4個統(tǒng)計量的均值,E2~C2是4個統(tǒng)計量的標準差。
2.4.2 障礙物的檢測
通過計算灰度共生矩陣能量、熵、慣性矩及相關系數(shù)等統(tǒng)計量,得到4維特征向量[E,H,I,C] 來表示圖像紋理特征。此時,鐵軌障礙物檢測就轉化為特征向量之間的相似性計算。使用每幅待測圖像A和標準鐵軌背景圖像B,檢測窗內(nèi)紋理特征的歐氏距離D作為最終的評判標準,當其值不超過某個閾值T時,視為鐵軌上無障礙物。紋理特征歐氏距離的算法為:
公式(9)表示歐氏距離D通過計算8維紋理特征中4個統(tǒng)計量的均值和標準差的距離得到。D越小,表明2幅圖像鐵軌處的紋理特征越相似。與此同時,為了提高障礙物檢測的精度,引入灰度值方差及圖像黑白像素比值作為輔助檢測。當檢測窗口中突然出現(xiàn)障礙物時,灰度直方圖方差會發(fā)生明顯的變化;且大的道路障礙物會導致大片的無紋理區(qū)域的出現(xiàn),自然會導致窗口內(nèi)黑白像素的比值發(fā)生改變。檢測到障礙物后,對機車司機發(fā)出警報,使其及時采取相應的措施。
以障礙物存在時的檢測準確率及無障礙物時的誤檢率來驗證算法的精度。以會對車輛行進造成障礙的物體存在時的圖像為例,分析鐵軌的紋理特征。
圖8 障礙物圖像檢測窗圖
圖9 障礙物圖像二值化
圖10 鐵軌背景圖像灰度直方圖
圖像8和圖像9分別顯示了障礙物圖像檢測窗及障礙物圖像二值化后的結果。圖像10和圖像11分別顯示了標準鐵軌背景圖像和障礙物圖像的灰度直方圖,其方差分別為1 402.05和1 299. 61(四舍五入),且每幅圖像的黑白像素比值為26.099(標準背景圖像)和34.85(有障礙物)。2幅圖像檢測窗內(nèi)的紋理特征值分別為[0.142 4,3.238, 1.399, 0.055 1, 0.003 8, 0.099, 0.392 9,6.817 9e-04] 和[0.090 2, 3.708, 2.180 1, 0.048 3,0.003 5, 0.1429 , 0.683, 9.109 7e-04] 。此時,灰度方差突變,黑白像素比值明顯增大,結合紋理特征差0.007大于閾值(閾值通過多次試驗確定為0.001),確定檢測窗內(nèi)存在障礙物。
圖11 障礙物圖像灰度直方圖
當鐵軌上有存在但無需報警的物體時,與上述紋理特征的分析相同。圖像12和圖像13分別顯示原障礙物圖像和灰度直方圖。
圖12 鐵軌障礙物圖像
圖13 障礙物圖像灰度直方圖
方差為1 448.42,較標準鐵軌背景圖像沒有很大的差值;且圖像的黑白像素比值為25.155,可判斷為無大體積的障礙物,導致二值化后的圖像有大面積無紋理區(qū)域。圖像檢測窗內(nèi)的紋理特征值為[0.146 4, 3.228 2, 1.475 5, 0.055 6, 0.004 2,0.105 3, 0.444 4, 7.873e-04] ,與標準背景圖像間紋理特征差值為6.717e-04,小于閾值0.001。綜上所述,確定檢測窗內(nèi)不存在障礙物(即使有障礙物,也不會對行車安全造成影響)。
表1 實驗結果
通過檢測多幅圖像,計算準確率,如表1。實驗結果表明,該方法可以實現(xiàn)鐵軌路面障礙物的檢測,且其精度較高。通過實驗分析得出在障礙物的體積較大情況下,此系統(tǒng)的檢測準確率較高。
鐵路場景下路障檢測算法可以在人不參與的情況下,通過圖像處理的方法監(jiān)控路面狀況,對潛在危險進行實時報警[7]。經(jīng)過實驗驗證,系統(tǒng)達到預期的檢測精度,實現(xiàn)了智能監(jiān)測路面狀況的研究目標。對該系統(tǒng),仍有大量的工作有待開展,如:紋理特征差閾值的自適應選取、路軌障礙物的跟蹤及識別等等。相信隨著智能監(jiān)控研究的深入,鐵路行車安全性和可靠性將會越來越高。
[1] 曾青中. 鐵路機車單司機值乘的問題與對策[J] .中國科技信息,2006(24):76-77 .
[2] 董宏輝,孫志源,葛大偉,等. 基于混合高斯模型的鐵路入侵物體目標識別方法[J] . 中國鐵道科學,2011,32(2):131-135 .
[3] 宋娟. 路軌自動檢測系統(tǒng)及障礙物識別技術的研究[D] .浙江:浙江大學,2008 .
[4] 張恒博,歐宗瑛. 一種基于顏色基元共生矩陣的圖像檢索方法[J] . 計算機工程,2007,33(14):171-173 .
[5] 張云彬,張永生. 基于圖像紋理特征的目標快速檢索[J] . 高技術通訊,2004,14(8): 11-14 .
[6] 郭忠偉,鄭華利,馬仁安,等. 一種基于紋理特征的戰(zhàn)場目標圖像挖掘方法[J] . 艦船電子工程,2010,30(4): 65-14 .
[7] 董宏輝,葛大偉,秦勇,等. 基于智能視頻分析的鐵路入侵檢測技術研究[J] . 中國鐵道科學,2010,31(2):121-124.