郭 碧,丁春平
(1.中鐵第四勘察設(shè)計(jì)院集團(tuán)有限公司,武漢 430063; 2.浙江眾合科技股份有限公司,杭州 310051)
伴隨著軌道交通全自動(dòng)運(yùn)行系統(tǒng)技術(shù)的發(fā)展,對(duì)于無(wú)人值守列車(chē)前方障礙物探測(cè)的需求進(jìn)一步加強(qiáng),對(duì)列車(chē)行車(chē)前方限界內(nèi)的障礙物檢測(cè)已成為亟待解決的課題[1-5]。當(dāng)前,針對(duì)軌道交通限界環(huán)境下的障礙物檢測(cè)方法按感知方法可分成非接觸式和接觸式[6-7]。已投入運(yùn)營(yíng)的全自動(dòng)運(yùn)行線路北京燕房線即采用車(chē)底安裝的檢測(cè)橫梁通過(guò)與異物碰撞來(lái)實(shí)現(xiàn)對(duì)侵限異物的檢測(cè)與清除;非接觸式方法則包括激光、紅外、視覺(jué)識(shí)別等,其中視覺(jué)傳感器因其安裝簡(jiǎn)便、信息豐富、結(jié)果直觀被廣泛采用[8-9]。
按照視頻設(shè)備和被監(jiān)視場(chǎng)景的關(guān)系,利用車(chē)載視覺(jué)傳感器進(jìn)行的異物檢測(cè)為動(dòng)態(tài)背景下的前景目標(biāo)檢測(cè)提取過(guò)程。目前,基于視覺(jué)傳感器技術(shù)的動(dòng)態(tài)背景環(huán)境下前景對(duì)象的提取方法包括:一是根據(jù)空間坐標(biāo)和成像坐標(biāo)在運(yùn)動(dòng)中的對(duì)應(yīng)關(guān)系,通過(guò)運(yùn)動(dòng)補(bǔ)償消減背景變化,再作背景減除提取前景目標(biāo)。文獻(xiàn)[10]即以一維灰度投影結(jié)合高斯濾波來(lái)實(shí)現(xiàn)圖像快速去抖動(dòng),以統(tǒng)計(jì)分布方法完成背景更新,通過(guò)快速背景差分取得前景目標(biāo)。文獻(xiàn)[11]基于高階奇異值分解和全變分思想,通過(guò)求解平穩(wěn)背景、前景對(duì)象、動(dòng)態(tài)背景之間的最小化約束方程,來(lái)實(shí)現(xiàn)對(duì)于運(yùn)動(dòng)目標(biāo)的檢測(cè)。文獻(xiàn)[12]通過(guò)機(jī)器視覺(jué)理論和仿射原理構(gòu)造空間模型,來(lái)實(shí)現(xiàn)對(duì)于障礙物入侵的判斷和測(cè)量。文獻(xiàn)[13]提出一種基于魯棒M估計(jì)全局像素點(diǎn)權(quán)值,通過(guò)Mean Shift聚類(lèi)算法,實(shí)現(xiàn)不同運(yùn)動(dòng)點(diǎn)的分割動(dòng)態(tài)背景下的目標(biāo)檢測(cè)算法。二是將提取對(duì)象進(jìn)行特征描述后,以重匹配方法實(shí)現(xiàn)目標(biāo)檢測(cè)與跟蹤。如文獻(xiàn)[14]通過(guò)對(duì)檢測(cè)對(duì)象進(jìn)行高斯金字塔分解建模后,來(lái)匹配動(dòng)態(tài)背景中對(duì)象的位置。文獻(xiàn)[15]采用Random ferns和樸素貝葉斯方法,對(duì)目標(biāo)對(duì)象進(jìn)行特征描述匹配,通過(guò)背景補(bǔ)償引導(dǎo)檢測(cè)動(dòng)態(tài)場(chǎng)景下的目標(biāo)。文獻(xiàn)[16]以軌道線邊緣完整性及其特征來(lái)實(shí)現(xiàn)對(duì)于異物區(qū)域的檢測(cè),通過(guò)提取異物特征以支持向量機(jī)對(duì)異物進(jìn)行分類(lèi)和辨識(shí)。三是以改進(jìn)光流法等實(shí)現(xiàn)動(dòng)態(tài)背景下目標(biāo)的檢測(cè)方法[17],考慮計(jì)算量及實(shí)時(shí)性,在此場(chǎng)景適用難度較大。鐵路限界內(nèi)的障礙物檢測(cè)前景目標(biāo)多樣,背景變化快,且?jiàn)A雜由軌旁道砟、車(chē)輛振動(dòng)、數(shù)據(jù)處理過(guò)程中的大量噪聲,加大了異物檢測(cè)提取的復(fù)雜度。
鑒于此,首先根據(jù)鐵路軌道交通線路環(huán)境變化緩和接近,針對(duì)動(dòng)態(tài)背景環(huán)境,通過(guò)隔幀幀差方法來(lái)獲得多次差分結(jié)果,依托鐵路限界內(nèi)路軌特征,采用數(shù)學(xué)形態(tài)學(xué)實(shí)現(xiàn)背景紋理重構(gòu)來(lái)減除干擾及噪聲影響。隨后通過(guò)數(shù)值統(tǒng)計(jì)以側(cè)向差分灰度的累積投影值,來(lái)動(dòng)態(tài)確定不同環(huán)境下的異物前景范圍,并通過(guò)最大類(lèi)間方差法提取分割出前景目標(biāo)。多幀隔幀差分相對(duì)于光流法具備實(shí)時(shí)性高的特點(diǎn),相對(duì)于背景差分法能較好應(yīng)對(duì)動(dòng)態(tài)的背景條件,同時(shí)可提高對(duì)前景目標(biāo)提取的實(shí)時(shí)性和魯棒性。
本文所采用的軌道交通限界異物檢測(cè)提取方法的算法框圖如圖1所示。
圖1 異物檢測(cè)提取算法框圖
算法在初始化處理階段即提取軌道線性特征并以此為基礎(chǔ)確定前方軌道限界區(qū)域,隨后,依據(jù)列車(chē)前方限界區(qū)域范圍提取對(duì)應(yīng)圖像數(shù)據(jù)作隔幀幀差處理,通過(guò)數(shù)學(xué)形態(tài)學(xué)來(lái)對(duì)鋼軌背景實(shí)現(xiàn)重構(gòu),來(lái)消除復(fù)雜背景中的道床枕木紋理特征。針對(duì)重建和濾除的差分結(jié)果,針對(duì)縱向和橫向作灰度累積投影變化策略來(lái)獲取差分突變位置作為前景目標(biāo)區(qū)域。針對(duì)定位的圖像區(qū)域像素,以最大類(lèi)間方差法來(lái)分割提取出前景目標(biāo),以方便作為模式識(shí)別的特征描述輸入?yún)?shù)。
車(chē)載視覺(jué)傳感器采集的視頻序列幀中含有較多背景環(huán)境數(shù)據(jù),同時(shí)因背景光照、行車(chē)振動(dòng)、信號(hào)放大處理等摻雜干擾。本文以灰度直方圖均衡和中值濾波法來(lái)實(shí)現(xiàn)圖像數(shù)據(jù)平滑減輕噪聲干擾[18]。
鐵路鋼軌因其材質(zhì)和磨損,在背景圖像中呈現(xiàn)連續(xù)的線性特征,采用圖像邊緣提取算子可得到軌道線,考慮攝像機(jī)安裝位置與軌道相對(duì)固定,鐵路軌道曲率較小、軌面平坦,且軌道在圖像空間中呈現(xiàn)近景區(qū)域固定,遠(yuǎn)景區(qū)域動(dòng)態(tài)變化的特征,對(duì)圖像空間作近遠(yuǎn)景劃分,通過(guò)分段曲線模型實(shí)現(xiàn)對(duì)于軌道線的檢測(cè)和跟蹤[19]。軌道限界范圍根據(jù)軌道線模型按圖像空間像素比例近似計(jì)算即可得到。根據(jù)鐵路限界要求,取最大邊距2 440 mm作為建筑限界外側(cè)距線路中心線距離,由鐵路標(biāo)準(zhǔn)軌距1 435 mm,可等比例得到對(duì)應(yīng)的鐵路限界范圍,同時(shí)伴隨遠(yuǎn)景區(qū)域軌道線跟蹤來(lái)動(dòng)態(tài)更新限界范圍。根據(jù)空間坐標(biāo)系中兩平行線在投影空間匯聚于一點(diǎn),線路區(qū)域位于此消隱點(diǎn)(Pvanish(u,v))下方的原理[20-21],本文以消隱點(diǎn)下二分之一位置vb處為分界點(diǎn),標(biāo)定出近景區(qū)和遠(yuǎn)景區(qū)范圍。其中根據(jù)圖像數(shù)據(jù)編碼方式,文中圖像坐標(biāo)系左上頂點(diǎn)為原點(diǎn),以像素為單位,如圖2示。
圖2 軌道模型示意
將車(chē)載視頻傳感器采集的單幀圖像用一個(gè)二維函數(shù)I(u,v)表示,那么連續(xù)的序列幀可表示為I1,I2,I3,…,Ik…In。將序列中2組隔幀數(shù)為m的相鄰幀數(shù)據(jù)表示為:Ik-1(u,v),Ik(u,v)和In-1(u,v),In(u,v),那么依據(jù)本文的思路,隔幀差分過(guò)程如下所述。
步驟1:數(shù)據(jù)參數(shù)及限界區(qū)初始化;取視頻序列幀數(shù)據(jù)Ik-1(u,v),Ik(u,v)及In-1(u,v)和當(dāng)前幀In(u,v);
步驟2:差分Ik(u,v)與Ik-1(u,v)得Dk,k-1(u,v);記錄并存儲(chǔ)為Dk,k-1(u,v);將Ik(u,v)數(shù)據(jù)賦給變量Ik-1(u,v);
步驟3:取In(u,v)與In-1(u,v)差分,記錄并存儲(chǔ)為Dn,n-1(u,v),賦當(dāng)前幀數(shù)據(jù)給變量In-1(u,v);
步驟4:將兩次差分結(jié)果Dn,n-1(u,v),Dk,k-1(u,v)以及當(dāng)前Ik-1(u,v),In-1(u,v)送入下一模塊,背景補(bǔ)償并作側(cè)向投影統(tǒng)計(jì)求差,以突變特征初定目標(biāo)對(duì)象范圍;回到步驟2,重復(fù)此過(guò)程。
隔幀差分算法在視頻采集中同步進(jìn)行,可應(yīng)對(duì)異物出現(xiàn)在背景中無(wú)相對(duì)運(yùn)動(dòng)的場(chǎng)景,同時(shí)對(duì)丟幀具有適應(yīng)性。本文取司機(jī)室內(nèi)視覺(jué)傳感器采集的實(shí)驗(yàn)場(chǎng)景為例,限界內(nèi)前景目標(biāo)為無(wú)源應(yīng)答器。實(shí)驗(yàn)結(jié)果如圖3所示。
圖3 兩組序列幀差分結(jié)果
對(duì)比幀組信息一致,結(jié)果中灰度數(shù)據(jù)信息少;當(dāng)前幀差結(jié)果包含有因傳感器振動(dòng)而出現(xiàn)的軌道輪廓;且差分結(jié)果中均存在干擾定位的枕木紋理等道床信息,需進(jìn)一步進(jìn)行補(bǔ)償處理。
數(shù)學(xué)形態(tài)學(xué)開(kāi)運(yùn)算以結(jié)構(gòu)元素構(gòu)造的方法實(shí)現(xiàn)對(duì)于灰度圖像確定紋理的重構(gòu)建。構(gòu)造形態(tài)學(xué)結(jié)構(gòu)元素b,以i(u,v)表示圖像I(u,v)的灰度值。形態(tài)學(xué)開(kāi)運(yùn)算過(guò)程為通過(guò)結(jié)構(gòu)元素完成的先腐蝕后膨脹處理。其中灰度膨脹運(yùn)算可表示為
(I⊕b)(u,v)=max{i(u-u′,v-v′)+
b(u′,v′)|(u′,v′)∈Db}
(1)
其過(guò)程表示結(jié)構(gòu)元素b在I(u,v)定義域內(nèi)灰度加運(yùn)算遍歷過(guò)程中的最大值。為不更改原有像素點(diǎn)灰度值,本文取結(jié)構(gòu)元素b的定義域Db內(nèi)的所有坐標(biāo)值為0,式(1)描述的算法過(guò)程為在Db對(duì)應(yīng)領(lǐng)域范圍內(nèi)確定最大值的過(guò)程。同樣地,灰度腐蝕運(yùn)算可表示為
(IΘb)(u,v)=min{i(u+u′,v+v′)-
b(u′,v′)|(u′,v′)∈Db}
(2)
腐蝕運(yùn)算則表示通過(guò)b與在I(u,v)定義域內(nèi)取灰度最小值的過(guò)程。由上,灰度圖像開(kāi)運(yùn)算可表示為
I°b=(IΘb)⊕b
(3)
開(kāi)運(yùn)算通過(guò)結(jié)構(gòu)元素腐蝕過(guò)程消除微細(xì)噪聲信息,再以膨脹重構(gòu)出對(duì)象紋理結(jié)構(gòu)。重構(gòu)的精度受構(gòu)造的結(jié)構(gòu)元素的相似性影響。已知的紋理結(jié)構(gòu)特征包括:橫向水平線性枕木邊緣結(jié)構(gòu)、顯著軌道邊緣輪廓,以及其他相關(guān)設(shè)備結(jié)構(gòu)。通過(guò)開(kāi)運(yùn)算可重構(gòu)顯著紋理,來(lái)補(bǔ)償列車(chē)前方限界內(nèi)枕木環(huán)境及抖動(dòng)帶來(lái)的干擾。文中針對(duì)性構(gòu)造結(jié)構(gòu)元素b1,b2,b3,序列幀分辨率為521×480 pixel,其中:
b1:構(gòu)造枕木邊緣,取30 pixel水平直線型結(jié)構(gòu)元素;
b2:構(gòu)造軌道結(jié)構(gòu)輪廓,近景區(qū)軌道邊緣傾角由軌道線追蹤算法中的Hough變換提取得到,其中左右側(cè)斜率分別為kl,kr,設(shè)65 pixel線性結(jié)構(gòu)元素。遠(yuǎn)景區(qū)部分以縱向投影統(tǒng)計(jì)削減。
b3:本場(chǎng)景中車(chē)輛駕駛室外雨刷作特殊結(jié)構(gòu)描述為60長(zhǎng)25 pixel線性結(jié)構(gòu)。
通過(guò)b1,b2,b3分別對(duì)當(dāng)前幀In差分所得作開(kāi)運(yùn)算后,累加得到背景紋理結(jié)構(gòu)的重構(gòu)圖如圖4(a)所示。通過(guò)減除重構(gòu)紋理實(shí)現(xiàn)補(bǔ)償?shù)慕Y(jié)果如圖4(b)所示,行車(chē)前方限界內(nèi)道床、設(shè)備等因抖動(dòng)產(chǎn)生的干擾得到削弱。
圖4 差分背景補(bǔ)償結(jié)果
車(chē)載視覺(jué)傳感器采集的視頻序列幀中包含的路軌道床信息會(huì)因光照和行車(chē)抖動(dòng)而富含大量噪聲干擾,且不同場(chǎng)景下的信息具有較大的差異性,為應(yīng)對(duì)不斷變化的環(huán)境條件,本文考慮采用統(tǒng)計(jì)思想,針對(duì)相鄰幀背景變化較小的特點(diǎn),以限界區(qū)背景數(shù)據(jù)值的單方向投影來(lái)反映灰度信息在坐標(biāo)中的分布,鄰幀的背景信息分布呈現(xiàn)較強(qiáng)的近似性。當(dāng)有非路軌環(huán)境目標(biāo)出現(xiàn)在限界范圍內(nèi)時(shí),單向投影統(tǒng)計(jì)值會(huì)呈現(xiàn)出部分范圍持續(xù)性的數(shù)據(jù)變化。文中通過(guò)單側(cè)統(tǒng)計(jì)差分結(jié)果的灰度和值對(duì)比得到異物疑似區(qū)域。
算法思路主要包括以下過(guò)程。
步驟1:參數(shù)初始化,求Dk,k-1(u,v),Dn,n-1(u,v)遠(yuǎn)景橫向投影累積值,記錄兩組結(jié)果相減的偏差向量ec[v];
步驟2:以本幀橫向偏差向量ec[v]與前v-1項(xiàng)偏差均值Thr之差作為疑似區(qū)判定邊界。當(dāng)ec>Thr,且持續(xù)有L個(gè)像素時(shí),判別為疑似區(qū)域并記錄為[Gs,Gx],若ec≤Thr,則返回繼續(xù)循環(huán);
圖5 基于側(cè)向灰度累積值的目標(biāo)定位算法示意
步驟3:在v軸[Gs,Gx]區(qū)域,作縱向差分灰度投影累積,并同步驟3方法完成u軸疑似區(qū)域[Kz,Ky]確定。實(shí)驗(yàn)結(jié)果如圖5所示。因圖中限界內(nèi)圖像數(shù)據(jù)差分后信號(hào)較為微弱,為方便說(shuō)明此處以負(fù)片效果作為顯示,說(shuō)明側(cè)向投影累積與前景目標(biāo)的對(duì)應(yīng)位置。
由目標(biāo)出現(xiàn)而產(chǎn)生的與原枕木道床環(huán)境不同的灰度分布差異,可完成對(duì)于軌行區(qū)限界范圍內(nèi)的前景目標(biāo)定位,同時(shí)為方便目標(biāo)分割及描述特征向量值的提取,在疑似區(qū)域外多擴(kuò)3像素以加強(qiáng)背景參照信息。
為區(qū)分目標(biāo)和背景分界,利于后期對(duì)于異物對(duì)象特征向量值的描述和提取,針對(duì)疑似范圍內(nèi)的圖像作分割運(yùn)算以確定前景對(duì)象??紤]基于最大類(lèi)間方差的動(dòng)態(tài)閾值分割方法相對(duì)于聚類(lèi)分析、區(qū)域生長(zhǎng)、主動(dòng)輪廓等方法在速度、魯棒性、算法復(fù)雜度上的優(yōu)勢(shì),用最大類(lèi)間方差法實(shí)現(xiàn)目標(biāo)分割。最大類(lèi)間方差通過(guò)統(tǒng)計(jì)不同灰度級(jí)別的分布的概率,以使方差最大來(lái)確定最佳閾值,采用的數(shù)學(xué)描述可表示為
Ts=Argmax[w1(t)(J1-J0)2+w2(t)(J2-J0)2]
(4)
式中,Ts表示灰度閾值;w1(t)和w2(t)分別表示前景目標(biāo)和背景信息在圖像像素點(diǎn)中的比重;J0(t)為平均灰度值,J1(t)和J2(t)分別表示前景目標(biāo)和背景的灰度均值;取限界內(nèi)疑似范圍外方灰度值作背景劃分參量,本文舉例的實(shí)驗(yàn)提取結(jié)果如圖6所示。
圖6 前景目標(biāo)提取及分割結(jié)果
本文基于幀間差分累積的鐵路限界異物檢測(cè)提取算法的主要過(guò)程包括初始化、隔幀幀差、背景補(bǔ)償、側(cè)向灰度累積定位與分割幾個(gè)主要部分,算法流程如圖7所示。算法自讀取圖像序列幀時(shí),即開(kāi)始循環(huán)做差分檢測(cè),以避免漏檢車(chē)輛緩動(dòng)場(chǎng)景下的異物目標(biāo),完成定位提取目標(biāo)后,將目標(biāo)及相應(yīng)幀送入后續(xù)模式識(shí)別等模塊,作為危險(xiǎn)辨識(shí)及預(yù)警輸入。
圖7 鐵路限界異物定位提取算法流程
本文通過(guò)室外場(chǎng)景實(shí)驗(yàn)、TrainSimulator環(huán)境仿真、現(xiàn)場(chǎng)行車(chē)采集,共構(gòu)造了47個(gè)不同的場(chǎng)景,用于算法場(chǎng)景測(cè)試,并將測(cè)試序列幀統(tǒng)一為512×480像素尺寸,每場(chǎng)景共包括45幀圖像。算法處理過(guò)程通過(guò)Matlab2013實(shí)現(xiàn)編寫(xiě)和測(cè)試。
本次以現(xiàn)場(chǎng)行車(chē)采集的視頻序列幀場(chǎng)景為例,采用傳統(tǒng)幀間差分法作為對(duì)比說(shuō)明。差分處理結(jié)果如圖8所示。
圖8 與幀間差分法結(jié)果對(duì)比
幀間差分法得到的差分結(jié)果如圖8(b)所示,圖中可見(jiàn)大量的背景干擾信息,較難區(qū)分出限界內(nèi)前景目標(biāo),且差分結(jié)果中出現(xiàn)了目標(biāo)的重影現(xiàn)象。本文算法結(jié)果如圖8(c)所示,通過(guò)對(duì)背景進(jìn)行形態(tài)學(xué)重構(gòu)補(bǔ)償,有效地消減了干擾信息。因幀間差分法無(wú)目標(biāo)定位提取算法過(guò)程,本文后續(xù)通過(guò)對(duì)測(cè)試場(chǎng)景進(jìn)行實(shí)驗(yàn),來(lái)驗(yàn)證算法性能。
本文算法處理場(chǎng)景數(shù)據(jù)得到的疑似物目標(biāo)定位提取結(jié)果(部分)如圖9所示。其中,圖9(a)表示光線充足下列車(chē)行車(chē)前軌行區(qū)域有未撤離人員環(huán)境場(chǎng)景;圖9(b)表示較低光線條件下限界內(nèi)有山體落石出現(xiàn)場(chǎng)景;圖9(c)表示正常光線條件下,在道床上有懸空或跌落對(duì)象的場(chǎng)景。本文算法對(duì)異物目標(biāo)的檢測(cè)提取結(jié)果如圖9(d)、圖9(e)和圖9(f)所示,可見(jiàn)前景異物目標(biāo)于限界區(qū)域成像部分均實(shí)現(xiàn)提取和分割。
圖9 實(shí)驗(yàn)場(chǎng)景定位及提取部分結(jié)果
針對(duì)構(gòu)造實(shí)驗(yàn)場(chǎng)景檢測(cè)統(tǒng)計(jì)實(shí)驗(yàn)情況如表1所示。于行車(chē)前方限界內(nèi)有異物的場(chǎng)景中,異物目標(biāo)檢測(cè)率為96.87%,而于行車(chē)前方限界內(nèi)無(wú)異物的場(chǎng)景出現(xiàn)了較高的誤檢率,誤檢率為26.67%。經(jīng)實(shí)驗(yàn),算法具有較好的檢測(cè)效率,同時(shí)定位提取過(guò)程的平均耗時(shí)為0.137s。
表1 本文算法檢測(cè)數(shù)據(jù)統(tǒng)計(jì)
分析實(shí)驗(yàn)過(guò)程及場(chǎng)景發(fā)現(xiàn),造成誤檢的主要對(duì)象為路軌道床中間的安裝設(shè)備以及光照下的陰影和光斑等對(duì)象,此類(lèi)不影響安全行車(chē)的非障礙物目標(biāo)可在后續(xù)建立特征庫(kù)通過(guò)學(xué)習(xí)算法在目標(biāo)識(shí)別過(guò)程中去除。
對(duì)于車(chē)載視覺(jué)傳感器下的軌道交通線路動(dòng)態(tài)背景環(huán)境,通過(guò)改進(jìn)的隔幀差分法能較為有效地實(shí)現(xiàn)對(duì)于前景目標(biāo)的提取。算法通過(guò)隔幀差分以獲得目標(biāo)對(duì)照信息,并以鐵路限界背景紋理先驗(yàn)知識(shí),通過(guò)重構(gòu)形態(tài)學(xué)背景紋理在一定程度上有效補(bǔ)償了限界范圍內(nèi)的相似背景信息,且具有較好的實(shí)時(shí)性;算法通過(guò)側(cè)向差分灰度的累積投影值來(lái)動(dòng)態(tài)確定不同環(huán)境下的異物對(duì)象范圍,可檢測(cè)隨機(jī)性對(duì)象,同時(shí)可較好應(yīng)對(duì)車(chē)載視覺(jué)傳感器因抖動(dòng)和數(shù)據(jù)處理中累積的干擾及噪聲。通過(guò)構(gòu)建不同環(huán)境下的實(shí)驗(yàn),算法可完成對(duì)于動(dòng)態(tài)路軌環(huán)境下的異物目標(biāo)定位提取,檢測(cè)的實(shí)時(shí)性和準(zhǔn)確率較好。后續(xù)可通過(guò)提取本算法檢測(cè)獲得的前景目標(biāo)描述特征,通過(guò)模式識(shí)別算法實(shí)現(xiàn)對(duì)于異物目標(biāo)的分類(lèi)識(shí)別,輔助行車(chē)決策控制。