湯文亮,馬浩航*,鐘 樺,樊曉東,袁 柯
(1.華東交通大學(xué) 信息工程學(xué)院,南昌 330013;2.西安電子科技大學(xué) 電子工程學(xué)院,西安 710071;3.南京火眼猴信息科技有限公司,南京 210000)
城市軌道交通作為國家重要基礎(chǔ)設(shè)施,對推進城市現(xiàn)代化進程、改善交通運輸環(huán)境、引導(dǎo)優(yōu)化城市空間布局、帶動城市經(jīng)濟創(chuàng)新發(fā)展具有巨大推動作用[1,2]。軌道作為城市軌道交通重要組成部分,其出現(xiàn)安全隱患將嚴重威脅軌道交通安全運營及人民群眾的生命財產(chǎn)安全,必須及時檢測并排除[3,4]。
對于軌道檢測而言,我國目前多采用人工巡檢模式,需考慮列車運行時間及工作人員安全,且勞動量巨大,漏檢率高。當前,地鐵軌道檢測研究向非接觸式、智能化、集成化、自動化發(fā)展。其中,候智雄[5]等人提出借助物聯(lián)網(wǎng)及移動互聯(lián)網(wǎng)技術(shù),設(shè)計一種嵌入智能檢測系統(tǒng)的設(shè)備使其搭載在運營客車上,設(shè)備具有小型化、低成本等特點,但隨著列車高速運行,很難實現(xiàn)高精度檢測;候濤[6]等人通過改進 MOG-LRMF算法,提升鐵路環(huán)境下動態(tài)入侵異物檢測的檢測精確度,同時算法具有較好的抗干擾性和快速性,但其對于高精度軌面檢測(如軌面擦傷等)并不適用;李歡[7]等人設(shè)計了軌道扣件檢測系統(tǒng),通過有限元分析,得到軌道扣件車載檢測系統(tǒng)具有良好的穩(wěn)定性和剛度,實驗室階段符合扣件檢測的精度要求,但并沒有進行實地測試;文獻[8~11]主要研究激光測距儀用于軌道檢測,檢測系統(tǒng)發(fā)射激光光束,若軌檢車前方異物會反射激光,接受裝置通過獲取激光判斷異物位置,系統(tǒng)具有高抗干擾、探測能力強等優(yōu)點,但無法用于高精度軌道病害檢測。
雙目立體視覺在工業(yè)測量、機器人、生物醫(yī)學(xué)等方面有著非常廣泛的研究和應(yīng)用[12~14],但對于地鐵軌道檢測而言,檢測范圍較大,如果采用傳統(tǒng)的定焦雙目系統(tǒng)會出現(xiàn)檢測精度不高、圖像不清、出現(xiàn)塊效應(yīng)等問題。本文提出的雙目變焦系統(tǒng)能有效解決上述問題。
1)鋼軌擦傷。鋼軌擦傷多由車輪空轉(zhuǎn)引起,易發(fā)生在內(nèi)燃、電力牽引階段,長度20mm~100mm不等,擦傷處會產(chǎn)生堆高,不及時排除易引發(fā)鋼軌其他隱患如裂紋、核傷等。
2)扣件缺失和歪斜。一般由列車運行振動引起,易導(dǎo)致列車運行平穩(wěn)性降低、輪軌相互作用加劇。
3)軌枕開裂。由施工缺陷、列車運行、環(huán)境溫度等多種因素引發(fā),不加修補會進一步開裂,危害列車平穩(wěn)運行。
4)道床異物。一般包括鋼軌上斷裂的部件、碎石塊等,隨著列車高速引起,可能引發(fā)異物彈起擊穿列車,對列車安全運行危害巨大。
雙目變焦就是把兩個攝像機更大程度化模擬人眼以獲得更清晰的圖像,然后通過計算左右相機的圖像位置點差異,結(jié)合視差原理以求取監(jiān)測目標的幾何信息[15]。雙目變焦原理模型如圖1所示。
圖1 雙目變焦原理
理想狀態(tài)下,把兩個攝像機看作是在同一水平線上,其中OL和OR表示左右攝像機的光心,其連線為基線b,左右像平面到光心的距離為焦距f,PR和PL分別為點P在左右攝像機的投影點,兩點間橫坐標差值為視差d。隨著焦距的改變,左右光心變?yōu)镺`L和O`R,P在像平面的投影點變?yōu)镻`L和P`R,左右像素坐標系OL-xlyl和OR-xryr變成O`L-x`l y`l和O`R-x`ry`r,相機坐標系OL-XLYLZL和OR-XRYRZR變成了OL-X`LY`LZ`L和OR-X`RY`RZ`R,世界坐標系為OW-XWYWZW,以初始焦距下右像平面為例,設(shè)PR在右像平面坐標為(ur,vr),根據(jù)右像平面坐標和世界坐標系的映射關(guān)系有:
其中,s為比例系數(shù),dx,dy為相元在x,y方向的單位長度,R為旋轉(zhuǎn)矩陣,T為平移矩陣,XW,YW,ZW即為空間點P的坐標,M為內(nèi)參矩陣,A為外參矩陣,同理可以根據(jù)點P在左平面的的坐標PL(ul,vl),得出映射關(guān)系。由于理想狀態(tài)下,左右攝像機嚴格水平放置,然后根據(jù)視差原理:
整理后得到空間中點P與在左右像平面的投影PL和PR的關(guān)系有:
根據(jù)式(1)、式(3),結(jié)合實時測量獲得的PL和PR的坐標,即可獲得空間中點P的三維坐標。
雙目變焦系統(tǒng)可以安裝在軌檢車上,系統(tǒng)主要由圖像采集模塊、相機標定模塊、特征提取模塊、立體匹配模塊、三維重建模塊五部分組成。如圖2所示。
圖2 雙目變焦系統(tǒng)組成
圖像采集模塊,即通過雙目變焦系統(tǒng)中的攝像頭、數(shù)字相機即圖像采集卡獲取檢測區(qū)域圖像。采集時需考慮系統(tǒng)應(yīng)用的實時性,及不同位置相機的性能、環(huán)境光照、視點差別等。
相機標定模塊,是確定相機內(nèi)外部參數(shù),找到像平面與三維空間映射關(guān)系的過程[16],對于雙目而言,標定還需確定左右相機的相對位置關(guān)系。相機標定的準確性直接影響后續(xù)三維重建的精度。本系統(tǒng)采用MATLAB Stereo Camera Calibrator工具箱進行標定,這種標定方法基于張氏標定法,具有方便快捷,魯棒性強,精度高的優(yōu)點。
特征提取模塊,特征提取的特征點一般為圖像關(guān)鍵點,在進行特征提取前,由于圖像采集模塊獲取的圖像會存在噪聲和畸變,首先需要對采集的圖像進行預(yù)處理,然后根據(jù)特征提取算法如SIFT算法、SURF算法等進行特征點提取。
立體匹配模塊,由于左右相機的位置不同、角度不同及焦距變化導(dǎo)致兩幅圖像存在差異,需通過匹配左右攝像機的相同點消除差異。在匹配相同點時一般假定兩個攝像機嚴格水平放置,即左圖像上的特征點沿著極線平移能與右圖像的相對特征點重合,左右圖像的視差變化是連續(xù)的。
三維重建模塊,基于前四個模塊的工作,重構(gòu)檢測區(qū)域的三維景象。
雙目變焦軌道檢測系統(tǒng)硬件部分主要包括左右變焦攝像機,工業(yè)筆記本,車體。主要以軌檢車的形式,有利于檢測系統(tǒng)實用性,其結(jié)構(gòu)如圖3所示,主要參數(shù)如表1所示。
圖3 檢測系統(tǒng)硬件組成
表1 系統(tǒng)主要硬件參數(shù)
標定的一般流程如圖所示,首先自制8×8棋盤格標定模板,模板上每個正方形格子邊長為15mm,分別設(shè)定左右相機在25mm、30mm、35mm、40mm、45mm、50mm六種焦距,各拍攝15組不同角度圖片。
圖4 雙目標定步驟
然后將圖片輸入MATLAB Stereo Camera Calibrator工具箱中,工具箱自動進行圖像角點檢測,省去了傳統(tǒng)標定手動設(shè)置角點步驟,提高標定效率,部分角點檢測圖如圖5所示。
圖5 部分焦距的角點檢測圖(圖a f=45mm,圖b f=35mm)
將標定不同焦距下的15組標定結(jié)果取平均值,得到相機的內(nèi)參數(shù),如表2所示。
表2 不同焦距下標定結(jié)果
根據(jù)所得出的標定結(jié)果,算出不同焦距下的相對誤差如圖6所示。
圖6 不同焦距下的相對誤差
如圖可以看出不同焦距下的fl,fr,ul,vl,ur,vr的相對誤差都低于0.05,可以看出借助Stereo Camera Calibrator工具箱進行不同焦距下雙目標定,標定精度高,魯棒性強,且操作簡便,未來應(yīng)用前景廣闊。
將搭載變焦雙目系統(tǒng)的軌檢車進行實地測試,結(jié)果表明搭載變焦雙目系統(tǒng)的軌檢車能夠準確地確定軌道關(guān)鍵部件的位置,并且快速地調(diào)整相機焦距以獲取清晰的細節(jié)圖像。
短焦鏡頭下圖像視野較大便于目標檢測。圖7所示為較短焦距參數(shù)下某段鐵軌的實地采集雙目圖像,其中四個扣件可以出現(xiàn)在同一場景中,但是其分辨率均較低不利于后續(xù)的細節(jié)分析和病害發(fā)現(xiàn)。
在本文變焦雙目系統(tǒng)中,通過自動快速拉長焦距可以進一步獲得扣件的高清晰細節(jié)圖像,如圖8所示,對應(yīng)圖7左圖中方框表示扣件目標。圖像質(zhì)量充分證明了本文變焦雙目系統(tǒng)的有效性。
圖7 較短焦距下獲取的左右雙目圖像
圖8 較長焦距下獲取的清晰細節(jié)圖像
圖9和圖10進一步展示了上述兩種焦距下三維重建點云的對比結(jié)果。圖9所示點云由圖7雙目圖像所生成,在整體三維結(jié)構(gòu)上視覺效果較好,能夠與圖像中的二維場景相互映證,但是在目標扣件處的點云仍然較稀疏,三維結(jié)構(gòu)細節(jié)不足。
圖9 整體三維點云投影
圖10是較長焦距下圖8所示扣件的三維重建點云??梢悦黠@發(fā)現(xiàn),圖8中包含的目標扣件細節(jié)信息更豐富。這對于后續(xù)的病害發(fā)現(xiàn)和分析尤其重要。
圖10 變焦后扣件的三維點云在不同視角下的投影
由于搭載在軌檢車上的變焦雙目僅有俯視拍攝角度,從其他角度觀察會發(fā)現(xiàn)點云空洞,這在一定程度上會影響檢測結(jié)果。這一問題可以根據(jù)實際需求通過增加拍攝角度來解決。
本文提出將雙目變焦系統(tǒng)放置于軌檢車上以進行快速、高精度的軌道檢測,研究結(jié)果表明,標定過程借助Stereo Camera Calibrator工具箱進行不同焦距下雙目標定,能有效增加標定精度、穩(wěn)定性,且操作方便快捷;系統(tǒng)在實地操作的過程中能夠準確地確定軌道關(guān)鍵部件的位置,并快速調(diào)整到最佳焦距來獲取清晰的細節(jié)圖像,圖像滿足后續(xù)的病害發(fā)現(xiàn)和分析要求;實驗過程中,搭載在軌檢車上的變焦雙目僅有俯視拍攝角度,從其他角度觀察會發(fā)現(xiàn)點云空洞,這在一定程度上會影響檢測結(jié)果,但可以根據(jù)實際需求通過增加拍攝角度來解決。