都雪靜，張美歐

（東北林業(yè)大學(xué) 交通學(xué)院，哈爾濱 150040）

目前，國(guó)內(nèi)外車道線識(shí)別的主要研究集中在基于模型的方法和基于特征的方法兩大類?；谀Ｐ偷姆椒ㄖ饕谢舴蜃儞Q［1-2］、最小二乘法［3-4］等，通過(guò)建立直線或者曲線模型來(lái)檢測(cè)車道線。P.Pankiewicz等［1］運(yùn)用霍夫變換的方法對(duì)車道線進(jìn)行檢測(cè)，引入并行計(jì)算提高識(shí)別效率，但此種方法受陰影和車輛的干擾影響較大，導(dǎo)致非車道線像素點(diǎn)混入，在增加計(jì)算量的同時(shí)，降低了車道線識(shí)別的精度。許華榮等［4］應(yīng)用Canny邊緣檢測(cè)算法提取道路邊緣，將B樣條曲線模型與最小二乘法結(jié)合，配合霍夫變換的方法計(jì)算出道路中央線，此方法檢測(cè)的效率不高。而基于特征的方法主要是通過(guò)圖像的特征查找搜索車道線，例如線段檢測(cè)器［4-6］、消失點(diǎn)投票法［7］等。Gioi R G V等［6］運(yùn)用線段檢測(cè)器提取所有潛在的車道線，結(jié)合K-Means聚類法和輔助判定條件，獲得最佳車道線檢測(cè)結(jié)果，但此種方法在車道線不連續(xù)時(shí)，準(zhǔn)確性不高。Kong H等［7］和Rasmussen C［8］運(yùn)用消失點(diǎn)投票法，通過(guò)投票在預(yù)定義區(qū)域來(lái)估計(jì)消失點(diǎn)，但在位置變換迅速的情況下不能準(zhǔn)確地估計(jì)消失點(diǎn)。

針對(duì)無(wú)人駕駛車輛在在動(dòng)態(tài)背景下車道線的識(shí)別效率，本文采用光流法與背景建模相融合的方法，排除背景無(wú)關(guān)像素的干擾，在一定程度上提高車道線識(shí)別的效率和效果。

1 圖像預(yù)處理

1.1 相機(jī)的標(biāo)定與圖像校正

在機(jī)器視覺(jué)應(yīng)用中，由于光線投射導(dǎo)致實(shí)際對(duì)象物體跟投影到2D平面的圖像不一致，因此，需要對(duì)相機(jī)進(jìn)行標(biāo)定，計(jì)算出畸變參數(shù)實(shí)現(xiàn)對(duì)后續(xù)圖像的畸變校正。本文使用OpenCV（開(kāi)源發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)軟件庫(kù)，可以運(yùn)行在Linux、Windows、Android和Mac OS操作系統(tǒng)上）中封裝好的函數(shù)實(shí)現(xiàn)相機(jī)的標(biāo)定與校正。OpenCV源碼在其sample／data目錄下面有一個(gè)自帶的校準(zhǔn)棋盤圖（chessboard.png），如圖1（a）所示，將其打印出10張，擺放于鏡頭前的不同位置進(jìn)行測(cè)試，通過(guò)棋盤格圖片組計(jì)算出相機(jī)校正矩陣（camera calibration matrix）和失真系數(shù)（distortion coefficients）。有了目標(biāo)點(diǎn)和圖像點(diǎn)的角點(diǎn)信息后，利用OpenCV中的API（應(yīng)用程序編程接口）矯正每1幀圖片，則返回值是無(wú)畸變的圖像。其中某一位置的棋盤格圖片和角點(diǎn)識(shí)別后的棋盤格圖片，如圖1（b）（c）所示。校正后的棋盤格圖片如圖1（d）所示。

圖1 棋盤格矯正圖像

1.2 視頻圖像導(dǎo)入

無(wú)人駕駛車輛在行駛過(guò)程中，車道線的檢測(cè)是動(dòng)態(tài)且實(shí)時(shí)的，本文運(yùn)用OpenCV中的VideoCapture函數(shù)，通過(guò)數(shù)字控制不同的設(shè)備，改變函數(shù)的內(nèi)置參數(shù)來(lái)捕獲攝像頭的實(shí)時(shí)視頻流，通過(guò)循環(huán)代碼不斷顯示下一幀圖像，進(jìn)而進(jìn)行后續(xù)的處理操作。

2 基于光流法的車道線檢測(cè)

2.1 方法概述

一般來(lái)說(shuō)，光流是由于場(chǎng)景中前景目標(biāo)本身的移動(dòng)，相機(jī)的運(yùn)動(dòng)，或者兩者共同的運(yùn)動(dòng)產(chǎn)生的，是指空間運(yùn)動(dòng)物體在觀測(cè)成像平面上的像素運(yùn)動(dòng)的“瞬時(shí)速度”，利用圖像序列中像素強(qiáng)度的時(shí)域變化和相關(guān)性確定各個(gè)像素點(diǎn)的速度矢量特征［7］，從圖片序列中近似得到不能直接獲得的運(yùn)動(dòng)場(chǎng)，可以對(duì)圖像進(jìn)行動(dòng)態(tài)分析，在車道線的檢測(cè)中，運(yùn)用光流估計(jì)法觀測(cè)車道線像素點(diǎn)的速度矢量特征進(jìn)行檢測(cè)，在檢測(cè)的復(fù)雜度和實(shí)時(shí)性方面，都優(yōu)于運(yùn)用Canny算子、Sobel算子或復(fù)合算子等算子提取圖像邊緣信息。本文采用光流估計(jì)算法（lucas-kanade，LK）實(shí)時(shí)動(dòng)態(tài)地預(yù)估車道線的范圍，提取感興趣區(qū)域的范圍，進(jìn)一步縮小車道線的范圍后再使用圖像分割算法，提高車道線識(shí)別的精度，最后在視頻圖像上進(jìn)行標(biāo)注。

2.2 Lucas-Kanade光流估計(jì)算法

在車道線的檢測(cè)過(guò)程中，由于視頻圖像中，前提假設(shè)為車道線像素點(diǎn)在相鄰幀之間的亮度是近似恒定的，且受車輛行駛速度的限制，相鄰幀之間車道線像素點(diǎn)的運(yùn)動(dòng)比較“微小”，此外，同一個(gè)子圖像的像素點(diǎn)具有相同的運(yùn)動(dòng)，滿足Lucas-Kanade光流估計(jì)算法的前提假設(shè)。同時(shí)，車道線像素點(diǎn)的運(yùn)動(dòng)小且較為簡(jiǎn)單，因此其光流并不稠密，運(yùn)用Lucas-Kanade光流估計(jì)算法識(shí)別車道線可以滿足其精度要求［9-15］。

2.2.1 基本模型

設(shè)t時(shí)刻位于點(diǎn)（x，y）的像素值為I（x，y），在t+d t時(shí)刻其位置（x+d x，y+d y）在的像素值為I（x+d x，y+d y），由于相鄰幀之間像素點(diǎn)的運(yùn)動(dòng)比較微小，因此：

泰勒展開(kāi)后得到：

因此可以得到：

式中：u為像素點(diǎn)x軸的運(yùn)動(dòng)速度；v為像素點(diǎn)y軸的運(yùn)動(dòng)速度。

即：

因其同一個(gè)子圖像的像素點(diǎn)具有相同的運(yùn)動(dòng)，將其拓展到更多像素即可得到：

若窗口大小為n*n，則共有n2個(gè)像素，n2個(gè)方程：

2.2.2 背景建模

在車道線檢測(cè)過(guò)程中，需要將車道線信息作為前景，而車輛行駛過(guò)程中，天空中云朵的運(yùn)動(dòng)，道路兩旁樹(shù)的運(yùn)動(dòng)等需要將其作為背景濾除，因此本文針對(duì)圖像中的背景采用混合高斯模型（GMM）進(jìn)行模擬，區(qū)分出背景和前景像素。

假設(shè)混合高斯模型由k個(gè)高斯模型組成，則GMM的概率密度函數(shù)為：

式中：p（x｜k）＝N（x｜uk，∑k）是第k個(gè)高斯模型的概率密度函數(shù)，p（x｜k）＝是第k個(gè)高斯模型的權(quán)重。

在遍歷像素點(diǎn)的過(guò)程中，如果該像素值能夠匹配其中的一個(gè)高斯模型，則認(rèn)為是背景，否則認(rèn)為是前景。主要算法步驟如下：

1）初始化高斯模型矩陣參數(shù)。

2）截取視頻中t幀圖像用來(lái)訓(xùn)練高斯混合模型。遍歷第一個(gè)像素時(shí)將它作為第一個(gè)高斯分布。

3）遍歷后續(xù)像素值時(shí)，與前面已有的高斯的均值比較，如果該像素點(diǎn)的值與其模型均值差在3倍的方差內(nèi)，則屬于該分布，并對(duì)其進(jìn)行參數(shù)更新。

4）如果下一次來(lái)的像素不滿足當(dāng)前高斯分布，用它來(lái)創(chuàng)建一個(gè)新的高斯分布。

5）對(duì)新來(lái)像素點(diǎn)的值與混合高斯模型中的每一個(gè)均值進(jìn)行比較，若其差值在3倍的方差內(nèi)，則認(rèn)為是背景，否則認(rèn)為是前景。將前景賦值為255，背景賦值為0。視頻中某一幀原圖如圖2（a）所示，處理后可以得到前景二值圖，如圖2（b）所示。

圖2 背景處理圖像

2.2.3 高斯濾波去噪

從圖2（b）中可以看到，道路中央存在許多細(xì)小的不穩(wěn)定噪音點(diǎn)，例如在路中央及車道線附近由于部分像素點(diǎn)光照條件的不同產(chǎn)生細(xì)小的噪音點(diǎn)，需要將其消除，以免干擾后續(xù)對(duì)車道線的提取操作。常用的濾波器有均值濾波、中值濾波和高斯濾波［16］。均值濾波使用模板內(nèi)所有像素的平均值代替模板中心像素的灰度值，容易受到噪聲的干擾，不能完全地消除噪聲，只能相對(duì)地減弱噪聲；中值濾波通過(guò)計(jì)算模板內(nèi)所有像素中的中值并用其替代模板中心像素的灰度值，對(duì)于噪聲并不是很敏感，只能夠較好地消除椒鹽噪聲，容易導(dǎo)致圖像的不連續(xù)性；高斯濾波將圖像領(lǐng)域內(nèi)不同位置的像素賦予不同的權(quán)值，能夠較好地保留圖像的總體灰度分布特征，因此，本文在背景建模后，進(jìn)一步通過(guò)高斯濾波消除道路細(xì)小噪音點(diǎn)，如圖3所示。

圖3 高斯濾波后的前景二值圖

3 車道線的識(shí)別與標(biāo)注

3.1 自適應(yīng)ROI分割方法

由于車輛行駛道路環(huán)境比較復(fù)雜且在時(shí)刻變化著，因此為了保證車道線識(shí)別的實(shí)時(shí)性，縮短不必要像素的處理時(shí)間，增加識(shí)別精度，需要對(duì)視頻圖像進(jìn)行ROI感興趣區(qū)域的分割。傳統(tǒng)的固定區(qū)域的ROI分割方法基于先驗(yàn)知識(shí)，將道路圖像的上半部分作為背景，下半部分作為路面部分，雖然分割方法簡(jiǎn)單方便，但是對(duì)道路的要求較高，局限性較大，容易導(dǎo)致道路幾何形狀信息的丟失，識(shí)別結(jié)果不夠魯棒［17］。

本文運(yùn)用基于邊緣統(tǒng)計(jì)特性的自適應(yīng)ROI分割方法，先使用OpenCV中的Canny邊緣檢測(cè)，Canny邊緣檢測(cè)通過(guò)高斯濾波器平滑圖像，進(jìn)一步濾除噪聲，計(jì)算出每個(gè)像素點(diǎn)的梯度強(qiáng)度和方向，使用非極大值（Non-Maximum Suppression）抑制，消除雜散響應(yīng)，應(yīng)用雙閾值（Double-Threshold）檢測(cè)確定真實(shí)的和潛在的邊緣，最后抑制孤立的弱邊緣完成邊緣檢測(cè)，可以較為準(zhǔn)確地得到邊緣圖像，如圖4所示。

在道路圖像中，越靠近車輛的部分，路面所占的比例越大，圖像的內(nèi)容越簡(jiǎn)單。距離車輛越遠(yuǎn)的圖像越復(fù)雜，延伸到地平線的部分，道路背景產(chǎn)生的無(wú)效邊緣越多，利用此邊緣點(diǎn)的統(tǒng)計(jì)特性來(lái)確定感興趣區(qū)域，識(shí)別出車道區(qū)域。

圖4 道路邊緣檢測(cè)圖像

根據(jù)路面處于視頻道路圖像下方的先驗(yàn)知識(shí)，將圖像分為兩部分，下半部分作為ROI分割線的搜索區(qū)域，將邊緣點(diǎn)的像素賦值為1，若某點(diǎn)為邊緣點(diǎn)，則Sij取值為1，統(tǒng)計(jì)ms行n列搜索區(qū)域內(nèi)每行邊緣點(diǎn)的個(gè)數(shù)Si，即：

假設(shè)第l行的邊緣點(diǎn)個(gè)數(shù)最多，則將具有特征點(diǎn)個(gè)數(shù)最多的行Pl作為ROI分割線l，即：

運(yùn)用上述圖像分割方法，可以得到ROI分割線，如圖5所示。

圖5 自適應(yīng)ROI分割圖像

3.2 車道線檢測(cè)

3.2.1 透視變換

采用仿射變換，可以保持原來(lái)的線共點(diǎn)、點(diǎn)共線的關(guān)系不變，保持原來(lái)相互平行的線仍然平行，保持原來(lái)的中點(diǎn)仍然是中點(diǎn)，保持原來(lái)在同一直線上的幾段線段之間的比例關(guān)系不變［17-20］。因此，可以將感興趣區(qū)域的圖像轉(zhuǎn)變?yōu)楦┮晥D，計(jì)算出道路曲率，調(diào)用OpenCV的cv2.get Perspective Transform函數(shù)返回轉(zhuǎn)換的矩陣M，Minv是反轉(zhuǎn)換矩陣，warped是轉(zhuǎn)換后車道線鳥(niǎo)瞰圖方便后續(xù)劃窗多項(xiàng)式擬合對(duì)車道線進(jìn)行定位。此種方法能夠找到多條車道線，實(shí)時(shí)性比較好。仿射變換后，車道線的俯視圖如圖6所示。

圖6 仿射變換后的道路車道線圖像

3.2.2 車道線位置定位

計(jì)算出鳥(niǎo)瞰圖的像素直方圖，在像素最多的位置作為車道線的起始位置，然后定義200*200像素的2個(gè)窗口向上做滑窗操作，以搜尋起始點(diǎn)作為當(dāng)前搜尋的基點(diǎn)，并以當(dāng)前基點(diǎn)為中心，做一個(gè)網(wǎng)格化搜尋，求出每個(gè)窗口中像素點(diǎn)的x和y坐標(biāo)作為車道線的x、y坐標(biāo)，當(dāng)前窗口像素的平均x坐標(biāo)作為下一個(gè)滑窗的中心位置，并對(duì)這些中心點(diǎn)做一個(gè)2階的多項(xiàng)式擬合，得到當(dāng)前搜尋對(duì)應(yīng)的車道線曲線參數(shù)，用cv2.fitpoly函數(shù)擬合車道線曲線方程。

搜尋基點(diǎn)計(jì)算完畢后，需要將其進(jìn)行更新，利用2階多項(xiàng)式逼近之后，得到像素點(diǎn)x的坐標(biāo)：

令y＝img·height，即可更新搜尋基點(diǎn)。多次迭代計(jì)算后，可以得到若干個(gè)曲線方程，再用之前的參數(shù)方程進(jìn)行平滑處理，而后，將曲線方程離散化后的坐標(biāo)點(diǎn)取均值，再做2階多項(xiàng)式逼近。有了曲線的方程，進(jìn)而可以根據(jù)曲線的曲率半徑的公式計(jì)算道路曲率Rcurve：

車道線擬合后，運(yùn)用標(biāo)線將車道線進(jìn)行標(biāo)注，并且畫出直線圍成的區(qū)域進(jìn)行高亮，將其顯示在原圖上。

4 識(shí)別算法結(jié)果分析

為了驗(yàn)證本文提出的方法，就識(shí)別效果與識(shí)別效率進(jìn)行對(duì)比分析。

4.1 識(shí)別效果對(duì)比分析

4.1.1 背景濾除效果

由于車道線顏色為白色和黃色，運(yùn)用二進(jìn)制閾值化和閾值法化為0對(duì)圖像背景進(jìn)行濾除，效果如圖7所示。

圖7 閾值化處理圖像

以上2種方法在區(qū)分與車道線相近顏色的天空、云朵等背景時(shí)效果不佳，且在出現(xiàn)陰影遮擋車道線時(shí)，會(huì)出現(xiàn)車道線丟失的狀況，而結(jié)合光流法和背景建模方法濾除背景，能夠在動(dòng)態(tài)情境中更加明顯地突出車道線，將背景中運(yùn)動(dòng)微小的部分剔除，效果更加穩(wěn)定。

4.1.2 去噪效果

結(jié)合光流法與背景建模法濾除背景得到前景二值圖后，圖像中存在較多不穩(wěn)定的噪音點(diǎn)需要濾除，對(duì)比均值濾波與高斯濾波，如圖8所示。運(yùn)用均值濾波使圖像的邊界更加柔和，但道路中央的細(xì)小噪音點(diǎn)的去除效果不佳，相比高斯濾波器，對(duì)道路中的噪音點(diǎn)濾除效果較好，且車道線并沒(méi)有模糊化，方便后續(xù)的處理。

圖8 去噪后的圖像

4.2 算法效率分析

為了驗(yàn)證算法的識(shí)別效率，本文統(tǒng)計(jì)了算法改進(jìn)前后的識(shí)別耗費(fèi)時(shí)間，進(jìn)而對(duì)比出識(shí)別效率，如表1所示。

表1 算法識(shí)別效率

結(jié)合光流法與背景建模法進(jìn)行車道線識(shí)別，在保證識(shí)別效果的前提下，對(duì)算法的運(yùn)行效率進(jìn)行了一定的提升，本文提出的算法主要簡(jiǎn)化了前期圖像處理的復(fù)雜度，縮小了感興趣區(qū)域的范圍，在一定程度上提升了車道線定位與標(biāo)記的準(zhǔn)確度。

4.3 算法精度分析

為了驗(yàn)證算法的識(shí)別精度，將識(shí)別后的道路圖像轉(zhuǎn)換為鳥(niǎo)瞰圖，如圖9所示，計(jì)算其中心線，取其特征點(diǎn)與實(shí)際車道中心線的x軸位置坐標(biāo)相對(duì)比，將中心線特征點(diǎn)x軸坐標(biāo)與實(shí)際中心線x軸位置坐標(biāo)之比轉(zhuǎn)化為百分比作為其精度評(píng)價(jià)指標(biāo)，進(jìn)而計(jì)算出其精度數(shù)據(jù)，具體數(shù)據(jù)如表2所示。

圖9 標(biāo)注車道線后的鳥(niǎo)瞰圖

表2 算法識(shí)別精度

5 結(jié)論

本文中提出的結(jié)合光流法和背景建模的車道線識(shí)別算法，對(duì)比連續(xù)視頻幀中車輛前方的背景的相對(duì)運(yùn)動(dòng)，濾除微小背景物體，突出前景車道線圖像，并且為了減少計(jì)算量，對(duì)圖像進(jìn)行自適應(yīng)的ROI分割，有效地提高了車道線識(shí)別的效果和效率，改進(jìn)后的算法效率提升了43.9%。此算法為后續(xù)機(jī)器學(xué)習(xí)提升其識(shí)別的效率與精度提供了基礎(chǔ)，在采集大量的道路數(shù)據(jù)集對(duì)其進(jìn)行訓(xùn)練后，能夠進(jìn)一步提升識(shí)別的準(zhǔn)確率，以達(dá)到在各種路況中準(zhǔn)確識(shí)別車道線的要求。