林 川,張 毅,覃金飛,韋江華
(1.廣西科技大學(xué)a.電氣與信息工程學(xué)院;b.廣西汽車零部件與整車技術(shù)重點(diǎn)實(shí)驗(yàn)室(廣西科技大學(xué)),廣西柳州545006;2.柳州城市職業(yè)學(xué)院,廣西柳州545002)
隨著汽車工業(yè)的發(fā)展,先進(jìn)駕駛輔助系統(tǒng)(Advance Driver Assistance Systems,ADAS)已經(jīng)成為智能交通系統(tǒng)的一個(gè)研究熱點(diǎn)。障礙物檢測(cè)作為ADAS的主要任務(wù)之一,能夠及時(shí)識(shí)別汽車駕駛的前方危險(xiǎn),增加汽車行駛安全,減少交通事故發(fā)生[1-2]。目前,基于計(jì)算機(jī)視覺的障礙物檢測(cè)主要分為單目視覺和雙目視覺檢測(cè),采用單目視覺的方法主要是基于特征和運(yùn)動(dòng)并結(jié)合模式識(shí)別的方法進(jìn)行檢測(cè),但該類方法中提取特征和運(yùn)動(dòng)參數(shù)估計(jì)相對(duì)困難,且適應(yīng)性不強(qiáng)[3-4]。而采用雙目視覺技術(shù)具有模仿人眼的特點(diǎn),通過(guò)計(jì)算視差圖獲取距離等大量信息。近年來(lái),通過(guò)計(jì)算U-視差、V-視差的方法在雙目視覺的障礙物檢測(cè)中獲得了廣泛的關(guān)注。文獻(xiàn)[5-7]采用基于雙目視覺的U-V視差障礙物檢測(cè),先在V-視差圖中檢測(cè)出道路相關(guān)線,再結(jié)合U-視差圖對(duì)障礙物進(jìn)行相應(yīng)的檢測(cè),取得了較好的檢測(cè)效果。但在汽車前方障礙物占圖像寬度比例相對(duì)較大的情況下,該類方法出現(xiàn)較大的誤檢測(cè),同時(shí)對(duì)雙目攝像機(jī)的傾斜角較為敏感[8],限制了該類方法的應(yīng)用場(chǎng)合。為了在各種道路場(chǎng)景中更有效和實(shí)時(shí)地檢測(cè)障礙物,本文先計(jì)算U-視差,并采用雙閾值方法移除屬于道路視差部分,然后結(jié)合原視差圖獲得移除道路的視差圖,再分別計(jì)算U-視差和V-視差實(shí)現(xiàn)障礙物檢測(cè)。該方法特別在障礙物占圖像寬度比例相對(duì)較大的情況下,較同類方法大大降低了誤判率,具有良好的檢測(cè)效果。
雙目視覺系統(tǒng)模型如圖1所示,左右攝像機(jī)處于同一高度h。其中,P(XW,YW,ZW)T為世界坐標(biāo)系RW中的任意一點(diǎn),Ol和OR分別為雙目視覺系統(tǒng)左右鏡頭中心,b為雙目攝像機(jī)的基線長(zhǎng)度,Rcl和Rcr分別為左右攝像機(jī)坐標(biāo)系。設(shè)世界坐標(biāo)系中的P(XW,YW,ZW)T點(diǎn)通過(guò)左右攝像機(jī)分別投影到左圖像平面的Pl(ul,vl)點(diǎn)和右圖像平面的Pr(ur,vr)點(diǎn)。攝像機(jī)內(nèi)參數(shù)焦距為f,像素尺寸為(Su,Sv),根據(jù)攝像機(jī)的規(guī)格,有Su=Sv=S。經(jīng)過(guò)雙目視覺系統(tǒng)極線校正后,有vr=vl=v,設(shè)雙目視覺系統(tǒng)攝像機(jī)光軸與水平面的夾角為θ,投影圖像平面的中心點(diǎn)為(uo,vo),并令q=f/s,則有
則視差為
在匹配準(zhǔn)則的約束下,對(duì)雙目圖像所有像素點(diǎn)進(jìn)行立體匹配,可獲取濃密視差圖。由式(4)可知,在視差圖中的灰度值可表征景物與攝像機(jī)的距離,其值越大,表示距離越近,反之越遠(yuǎn)。
圖1 雙目視覺系統(tǒng)模型
本文的障礙物檢測(cè)方法分為計(jì)算U-視差、障礙物提取和障礙物定位三大步驟,具體實(shí)現(xiàn)流程圖如圖2所示。
以D作為最大視差搜索范圍,采用基于區(qū)域的立體匹配方法獲得視差圖為I0(i,j,d),其中i和j分別為I0的行和列坐標(biāo),d為對(duì)應(yīng)的視差值。針對(duì)視差圖I0(i,j,d)生成的U-視差圖U_I0,其行坐標(biāo)表示視差級(jí)數(shù),列坐標(biāo)意義不變,U_I0的像素值U_I0(x,y)為統(tǒng)計(jì)視差圖中第y列具有視差為x的個(gè)數(shù),計(jì)算式為
圖2 實(shí)現(xiàn)流程圖
式中:m為視差圖I的高度,通過(guò)上式計(jì)算得到的U_I0的寬與I0的寬相同,高為D+1。U_I0圖像的實(shí)質(zhì)是將視差圖I0中與攝像機(jī)距離相同的景物的二維平面信息投影成線段。
在高精度立體匹配下,垂直于道路水平面的障礙物,如前方汽車、行人、樹木等,由于其在圖像的各像素點(diǎn)與攝像機(jī)距離相同,則在視差圖中同列的視差值d也相同,因此其U_I0中對(duì)應(yīng)部分具有較高的灰度值,而道路面像素點(diǎn)在同一列中的視差值分散,故投影到U_I0中對(duì)應(yīng)部分的灰度值較低,因此在U_I0中設(shè)定閾值可以將障礙物和道路區(qū)域進(jìn)行分割,之后在I0中提取障礙物區(qū)域。
為獲得良好的分割效果,采用雙閾值T1和T2(T1>T2)在U_I0中分割,具體算法為:掃描U_I0,若U_I0(x,y)>T1的像素點(diǎn)標(biāo)記為障礙物類,若U_I0(x,y)<T2的像素點(diǎn)標(biāo)記為道路類,其余像素點(diǎn)采用近鄰法分類,即在同行分別向左與向右搜索已標(biāo)記為道路或障礙物的像素點(diǎn),以距離最近作為分類標(biāo)準(zhǔn),獲得道路與障礙物分類后的U-視差圖U_I1。在I0中提取障礙物區(qū)域的方法為:掃描U_I1,尋找標(biāo)記為道路的像素U_I1(p,q),將I0中第q列中視差為p的像素值置零,獲得已提取障礙物的視差圖I1。
由U-視差圖(V-視差圖)的計(jì)算原理可知,提取獲得的障礙物在U-視差圖(V-視差圖)中的寬(高)邊界即為相應(yīng)橫向(縱向)線段的長(zhǎng)度。為準(zhǔn)確定位視差圖中的障礙物,對(duì)視差圖I1分別計(jì)算U-視差圖U_I2和V-視差圖V_I。由于存在誤匹配的影響,需設(shè)置灰度閾值提取U_I2和V_I中的有效線段,并設(shè)置距離閾值合并相應(yīng)線段與舍棄干擾線段。最終定位方法是:以列為單位由左至右順序掃描V_I,若第n列存在線段,則查找U_I2中第n行中相關(guān)線段確定障礙物的數(shù)量(U_I2第n行中線段數(shù)量)、位置及相應(yīng)的寬、高邊界。該方法的思想是按視差由小至大地逐步查找距離攝像機(jī)由遠(yuǎn)及近的各障礙物。
為驗(yàn)證算法的有效性,對(duì)180組障礙物雙目圖像在MATLAB7.0下進(jìn)行了仿真測(cè)試。硬件環(huán)境為:內(nèi)存2 Gbyte,主頻 2.2 GHz,CPU 為 Intel Pentium Dual- Core T4400。實(shí)驗(yàn)中獲取的視差圖大小為320×150,最大視差搜索范圍D=30。由于在障礙物提取步驟中的效果較大程度地影響檢測(cè)效果,對(duì)采用單閾值(12)與本文的雙閾值(15,10)方法在U-視差圖中提取障礙物進(jìn)行了測(cè)試與統(tǒng)計(jì)。定義誤判率為:道路像素誤判為障礙物像素與障礙物像素誤判為道路像素的個(gè)數(shù)和占圖像總像素的比率。本文方法的誤判率降低約50%,部分圖像組的誤判率如表1所示。
表1 誤判率對(duì)比 %
選取一組雙目圖像的算法實(shí)現(xiàn)過(guò)程進(jìn)行說(shuō)明,第36組右圖及其獲取的視差圖I0、U-視差圖U_I0如圖3所示。兩種方法的誤判結(jié)果如圖4所示。由白色矩形圈出道路像素誤判為障礙物像素,白色空心圓圈出障礙物誤判為道路像素。
圖3 原圖及其視差圖、U-視差圖效果(截圖)
圖4 障礙物誤判效果對(duì)比圖(截圖)
文獻(xiàn)[5-7]的方法主要是通過(guò)視差圖分別計(jì)算V-視差圖和U-視差圖,采用Hough變換等直線檢測(cè)方法提取V-視差圖中的道路相關(guān)線,并將V-視差圖上檢測(cè)出的障礙物相關(guān)線投影到道路相關(guān)線上,再結(jié)合U-視差圖提取出的障礙物相關(guān)線進(jìn)行障礙物進(jìn)行檢測(cè)。針對(duì)汽車前方障礙物占圖像寬度比例相對(duì)較大的雙目圖像,如圖3a所示,前方除護(hù)欄、對(duì)向汽車外,樹木作為障礙物,其所處位置的寬度幾乎占滿了整幅圖像寬幅,采用文獻(xiàn)[5-7]的方法與本文方法對(duì)80幅類似圖像組進(jìn)行了仿真實(shí)驗(yàn)。以圖3a的原圖為例的2種方法檢測(cè)過(guò)程和效果對(duì)比如圖5所示,文獻(xiàn)[5-7]的方法在V-視差圖的道路與障礙物相關(guān)線提取效果、在U-視差圖的障礙物相關(guān)線提取效果如圖5a、圖5c所示,本文方法在移除道路視差后的V-視差圖、U-視差圖的障礙物相關(guān)線提取效果如圖5b、圖5d所示。圖5a中白色豎線為提取的障礙物相關(guān)線,而白色斜線為道路相關(guān)線,顯然,提取的道路相關(guān)線已經(jīng)偏離了實(shí)際的道路范圍,從而導(dǎo)致后續(xù)的障礙物檢測(cè)失敗。文獻(xiàn)[5-7]的方法與本文方法的最終檢測(cè)效果如圖5e、圖5f所示,圖中純黑色部分為檢測(cè)出的道路,而其他部分為障礙物,誤檢測(cè)部分由白色圓圈出。實(shí)驗(yàn)結(jié)果表明,在該類圖像的檢測(cè)中,文獻(xiàn)[5-7]的方法均出現(xiàn)大量的誤檢,而本文方法誤檢較少,檢測(cè)效果良好。
本文提出一種基于立體視覺的U-視差和V-視差的汽車前方障礙物檢測(cè)新方法。先計(jì)算U-視差提取障礙物后,再在原視差圖移除道路部分,通過(guò)計(jì)算V-視差和U-視差并結(jié)合起來(lái)實(shí)現(xiàn)障礙物的檢測(cè)。實(shí)驗(yàn)結(jié)果表明,該方法在各種情況特別是前方障礙物占圖像寬度比例相對(duì)較大的情況下,誤檢測(cè)率低,檢測(cè)效果良好。該方法可為ADAS的障礙物分類和跟蹤任務(wù)提供參考。
圖5 檢測(cè)過(guò)程和效果對(duì)比圖(截圖)
[1] ZHAO J,WHITTYM,KATUPITIYA J.Detection of non -flatground surfaces using V -Disparity images[C]//Proc.the 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems.[S.l.]:IEEE Press,2009:4584-4589.
[2] IOANNIS K,LAZAROS N,ANTONIOS G.Supervised traversability learning for robot navigation[C]//Proc.the 12th Annual Conference on Towards Autonomous Robotic Systems.[S.l.]:IEEE Press,2011:289-298.
[3]何少佳,劉子揚(yáng),史劍清.基于單目視覺的室內(nèi)機(jī)器人障礙物檢測(cè)方案[J].計(jì)算機(jī)應(yīng)用,2012,32(9):2556-2559.
[4]楊建榮,曲仕茹.基于單目視覺的障礙物檢測(cè)方法研究[J].計(jì)算機(jī)仿真,2009,26(2):279-281.
[5] GAO Yuan,AIXiao,RARITY J,et al.Obstacle detection with 3D camera using U-V-Disparity[C]//Proc.2011 7th International Workshop on Systems,Signal Processing and their Applications(WOSSPA).[S.l.]:IEEE Press,2011:239-242.
[6] SACH L T,ATSUTA K,HAMAMOTO K,et al.A robust road profile estimation method for low texture stereo images[C]//Proc.2009 16th IEEE International Conference on Image Processing(ICIP).[S.l.]:IEEE Press,2009:4273-4276.
[7] SOQUET N,AUBERT D,HAUTIERE N.Road segmentation supervised by an extended V-Disparity algorithm for autonomous navigation[C]//Proc.2007 IEEE Intelligent Vehicles Symposium.[S.l.]:IEEE Press,2007:160-165.
[8] SCHAUWECKER K,KLETTE R .A comparative study of two vertical road modeling techniques[C]//Proc.the 2010 International Conference on Computer Vision.[S.l.]:IEEE Press,2011:174-183.