(杭州電子科技大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)研究所,浙江 杭州310018)
目前,國(guó)內(nèi)外對(duì)于車道檢測(cè)算法的研究主要圍繞基于道路標(biāo)識(shí)線的檢測(cè),很多算法都將車道線歸類為直線模型,從而轉(zhuǎn)換為對(duì)直線的檢測(cè),且大多對(duì)直線的檢測(cè)采用Hough 變換。文獻(xiàn)1所提基于Hough變換算法存在很大的盲目性,需要大量存儲(chǔ)空間和運(yùn)算時(shí)間,難以滿足實(shí)時(shí)性要求。并且在結(jié)構(gòu)化道路里,非直線型的車道線是大量存在,單獨(dú)把車道線歸類為直線模型,存在一定的失真性。因此,增強(qiáng)算法的實(shí)時(shí)性和準(zhǔn)確性是目前急需解決的問(wèn)題。采用TMS320DM6446 嵌入式平臺(tái),在對(duì)場(chǎng)景進(jìn)行最優(yōu)閾值化分割的基礎(chǔ)上融合區(qū)域生長(zhǎng)法獲得車道線候選點(diǎn)集;并采用提取連通分量的聚類算法獲取候選點(diǎn)集聚類中心,以初步提取候選點(diǎn),再經(jīng)過(guò)篩選和分類得到有效特征點(diǎn);最后用最小二乘法擬合基于二次曲線模型的車道線[2-4]。本文最終實(shí)現(xiàn)了對(duì)車道線的實(shí)時(shí)性檢測(cè),具有良好的魯棒性,為車道偏離警告系統(tǒng)的構(gòu)建提供了有利的基礎(chǔ)。
本實(shí)驗(yàn)的硬件平臺(tái)主要采用SEED-DVS6446 開發(fā)板等對(duì)車道線快速檢測(cè)算法進(jìn)行了測(cè)試。該硬件平臺(tái)采 用 了 TI 推 出的DaVinci 系列 DSP 處 理 器TMS320DM6446平臺(tái)。TMS320DM6446平臺(tái)的結(jié)構(gòu)框圖,如圖1所示,ARM和DSP是共享外部的SDRAM 存儲(chǔ)器,實(shí)現(xiàn)數(shù)據(jù)的共享和傳輸;ARM 子模塊主要負(fù)責(zé)各模塊初始化,系統(tǒng)的配置和控制等;視頻處理子系統(tǒng)(VPSS)負(fù)責(zé)視頻捕獲的視頻前端輸入和圖像顯示的視頻后端輸出;DSP 子系統(tǒng)負(fù)責(zé)具體實(shí)現(xiàn)車道線檢測(cè)算法。
圖1 TMS320DM6446系統(tǒng)結(jié)構(gòu)示意圖
由于僅對(duì)視頻的亮度分量進(jìn)行處理,因此,首先對(duì)原始視頻YUV422 序列進(jìn)行亮度提取,并做1/4采樣,獲得原圖的亮度信息灰度圖Y(i,j)。在道路圖像中,存在部分無(wú)用的圖像信息,通過(guò)確定感興趣區(qū)域,不但減少干擾信息,還可以降低算法的計(jì)算量。選取道路路面消失點(diǎn)做水平線,水平線以下區(qū)域即為感興趣區(qū)域。由于視頻采集中不可避免存在噪聲,抖動(dòng)等問(wèn)題,通過(guò)采用3×3 模板,對(duì)灰度圖Y(i,j)進(jìn)行中值濾波。
在傳統(tǒng)的車道線提取研究中,主要采用了幾何特征方式,不能達(dá)到良好預(yù)期效果。為了增強(qiáng)檢測(cè)的魯棒性,本算法提出采用融合最優(yōu)閾值化及區(qū)域生長(zhǎng)法,更有效的獲取車道線,從而建立車道線候選點(diǎn)集[5]。
首先,利用區(qū)域生長(zhǎng)法在感興趣區(qū)域內(nèi)選取3個(gè)象素點(diǎn)作為種子點(diǎn),從種子點(diǎn)開始以8 連通方式搜索相鄰的象素點(diǎn)f(x,y),若該點(diǎn)滿足生長(zhǎng)準(zhǔn)則的閾值,則將其加入種子點(diǎn)區(qū)域內(nèi),區(qū)域不斷的生長(zhǎng),直至達(dá)到停止準(zhǔn)則結(jié)束,如圖2所示:
圖2 候選點(diǎn)集的建立過(guò)程
圖2(a)為原圖,其生長(zhǎng)區(qū)域標(biāo)記為1,其他標(biāo)記為0,得到路面區(qū)域M(i,j)。由于車道線與路面相差很大,可能未被選取,因此需要進(jìn)一步進(jìn)行填充。根據(jù)實(shí)驗(yàn)數(shù)據(jù)得到車道線在圖像中所占寬度最大為15個(gè)象素點(diǎn)。對(duì)圖像M(i,j)進(jìn)行遍歷,當(dāng)象素點(diǎn)M(x,y)滿足象素點(diǎn)M(x+15,y)和M(x-15,y)為1時(shí),也將M(x,y)標(biāo)記為1,如圖2(b),1為黑色,0為白色。同時(shí),對(duì)圖像采用最優(yōu)閾值法對(duì)Y(i,j)進(jìn)行閾值處理,大于閾值T 標(biāo)記為0,小于閾值T 標(biāo)記為1,得到圖像O(i,j),如圖2(c)。
經(jīng)過(guò)上述處理后,若象素點(diǎn)同時(shí)滿足M(x,y)為1和O(x,y)為0,則標(biāo)記為1,可得到圖像F(i,j),即稱為候選點(diǎn)集,如圖2(d)。
由于受各種因素影響,初步提取的候選點(diǎn)集仍存在噪聲和其他干擾。為提高候選點(diǎn)集的準(zhǔn)確性,需做進(jìn)一步處理。利用連通方式遍歷F(i,j),將圖像中相鄰的象素點(diǎn)聚為一類。經(jīng)聚類后,圖像中所有相連的象素點(diǎn)就分別聚合到一起,得到新的候選點(diǎn)集{Mi},i=1,2,…,p。在本實(shí)驗(yàn)中車道線的象素點(diǎn)最少為16個(gè),將{Mi}中象素點(diǎn)少于16個(gè)的剔除。
由于車道線存在磨損和人為等因素導(dǎo)致候選點(diǎn)不連續(xù),為了增強(qiáng)篩選后的候選點(diǎn)信息,對(duì)候選點(diǎn)圖像進(jìn)行膨脹操作。候選點(diǎn)信息增強(qiáng)后,需要對(duì)車道線進(jìn)行分段,添加3條分割線,再重新聚類。仍采用連通方式遍歷圖像,建立新的集合{Ri},i=1,2,…,n,如圖3所示:
在圖3(a)中的3條白線即為分割線。對(duì)每個(gè)點(diǎn)集合計(jì)算相應(yīng)的中心坐標(biāo){為集合Ri的候選點(diǎn)的個(gè)數(shù),并按橫坐標(biāo)x 大小,從低到高進(jìn)行排序,得到新的集合即為有效特征點(diǎn)集合Hi={C(xi,yi)},i=1,2,…,n,如圖3(b)。
圖3 車道線候選點(diǎn)的聚類和篩選分類結(jié)果
在結(jié)構(gòu)化道路上,車輛正前方視角可能存在多條車道線。因此,需要將初步得到的有效特征點(diǎn)集合,進(jìn)行左右分類和篩選。分類步驟如下:
查找離中心線w/2 最近的中心點(diǎn)記作P(xn/2,yn/2)。根據(jù)實(shí)驗(yàn)數(shù)據(jù),當(dāng)P(xn/2,yn/2)的橫坐標(biāo)和中心線相差大于等于d(左右車道線的在圖像中最近距離的1/2)個(gè)象素點(diǎn),則P(xn/2,yn/2)到P(xn,yn)需歸類到右車道線,P(x0,y0)到P(xn/2,yn/2)歸類到左車道線內(nèi)。如果|P(xn/2,yn/2)-w/2|小于d個(gè)象素點(diǎn),且P(xn/2,yn/2)位于中心線左側(cè)時(shí),則從P(x0,y0)到P(xn/2,yn/2)歸類為左車道線,P(xn/2+1,yn/2+1)到P(xn,yn)歸類為右車道線;否則,P(x0,y0)到P(xn/2-1,yn/2-1)歸類為左車道線,P(xn/2,yn/2)到P(xn,yn)歸類為右車道線。
在分類后仍需要進(jìn)一步處理,篩選出車輛正前方視野內(nèi)的最近的兩條車道線。記上一步提取的左車道線的有效特征點(diǎn)集為{L(xi,yi)},i=1,2,…,s,右車道線的有效特征點(diǎn)集為{R(xi,yi)},i=1,2,…,t,且兩集合都要按x軸坐標(biāo)從低到高重新排序,如圖3(c),其中“-”為左車道線的有效特征點(diǎn),“+”為右車道線的有效特征點(diǎn)。
對(duì)于左車道線{L(xi,yi)},從最高位開始掃描,記當(dāng)前點(diǎn)其坐標(biāo)為(xn,yn),下一個(gè)點(diǎn)坐標(biāo)為(xn-1,yn-1),w=(xn-xn-1),h=(yn-yn-1),如果滿足:
式1、2,則將繼續(xù)保留集合內(nèi),其他情況的將剔除掉;式1是車輛正常行駛情況,其中w與h的4倍關(guān)系取決于圖像的視角,式2是車輛向左變道情況,其d1是左右車道線有效點(diǎn)的水平最近距離,d2是車道線有效點(diǎn)的垂直最近距離,d3是中心線水平坐標(biāo)。
對(duì)于右車道線{R(xi,yi)},從最低位開始掃描,記當(dāng)前點(diǎn)其坐標(biāo)為(xn,yn),下一個(gè)點(diǎn)坐標(biāo)為(xn+1,yn+1),w=(xn-xn-1),h=(yn-yn-1),如果滿足:
式2、3,則將繼續(xù)保留集合內(nèi),其他情況的將剔除掉;式2 也適合是車輛向右變道情況,式3是車輛正常行駛情況。
經(jīng)過(guò)本次篩選后分別得到左車道線的有效特征點(diǎn)集合{L'(xi,yi)},i =1,2,…,n和右車道線的有效特征點(diǎn)集合{R'(xi,yi)},i=1,2,…,m,如圖3(d)。
本算法為了能更真實(shí)地標(biāo)記出車道線,采用二次曲線作為車道線模型。將前述所得的有效特征點(diǎn){L'(xi,yi)},和{R'(xi,yi)}分別作為擬合所需的樣本點(diǎn),采用最小二乘法來(lái)擬合該二次曲線,即yi=a0通過(guò)樣本點(diǎn)的輸入結(jié)合最小二乘法擬合,分別得到左車道線yl和右車道線yr。在原圖感興趣區(qū)域內(nèi),描繪出車道線,將圖放入顯示緩沖隊(duì)列。
實(shí)驗(yàn)測(cè)試平臺(tái)由SEED-DVS6446 開發(fā)板、SEED-XDS560PLUS仿真器和inphic 播放器組成。視頻測(cè)試序列為一段采集于高速公路的視頻(720×576,25fps,mpg)。實(shí)驗(yàn)結(jié)果,如圖4所示:
圖4 車道線檢測(cè)效果示意圖
圖4(a)(c)為外界干擾較少時(shí),正常行駛或變換車道狀態(tài)車道線的檢測(cè)效果;圖4(d)和圖4(e)為周圍存在干擾時(shí)(車輛陰影、橋梁等影響)車道線的檢測(cè)效果,圖4中白色即為車道線。視頻序列共673幀,本文算法車道線識(shí)別率為91.3%,每幀平均耗時(shí)為46ms,滿足了車道線的實(shí)時(shí)性檢測(cè),并且具有良好的魯棒性。
本文提出的基于TI 公司Davinci系列DSP 處理DM6446 嵌入式平臺(tái)的車道線快速檢測(cè)算法,其建立于二次曲線模型基礎(chǔ)上,通過(guò)在感興趣區(qū)域內(nèi),融合最優(yōu)閾值化和區(qū)域生長(zhǎng)法獲取車道線,與其他只采用單一閾值化檢測(cè)法相比具有更好的魯棒性;最后利用建立有效特征點(diǎn)來(lái)擬合車道線,降低了樣本點(diǎn)數(shù),與采用傳統(tǒng)Hough 變換檢測(cè)直線相比,檢測(cè)更接近實(shí)際標(biāo)記處車道線,且易于在嵌入式平臺(tái)上實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明,算法對(duì)結(jié)構(gòu)化道路車道線檢測(cè)具有良好的魯棒性和實(shí)時(shí)性,滿足了為車輛偏離警告系統(tǒng)的有效決策提供有利條件。
[1]余厚云,張為公.直線模型下的車道線跟蹤與車道偏離檢測(cè)[J].自動(dòng)化儀表,2009,30(11):1-7.
[2]林國(guó)余,陳旭,張為公.基于多信息融合優(yōu)化的魯棒性車道線檢測(cè)算法[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,40(4):771-772.
[3]Chaiwai Nuthong,Theekapun Charoenpong.Lane Detection using Smoothing Spline[C].Yantai:IEEE 2010 3rd International Congress on Image and Signal Processing,2010:989-993.
[4]Tan Yi,Han Feng,F(xiàn)aroog Ibrahim.A Radar Guided Vision System for Vehicle Validation and Vehicle Motion Characterization[C].Seattle:IEEE Intelligent Transportation Systems Conference,2007:1 059-1 066.
[5]肖曉明,馬智,蔡自興,等.一種自適應(yīng)的區(qū)域生長(zhǎng)算法用于道路分割[J].控制工程,2011,18(3):364-368.