， ，

(北京工業(yè)大學(xué) 信息學(xué)部,北京 100124)

0 引言

近年來，由于汽車保有量與使用率的增加，交通事故的發(fā)生呈現(xiàn)逐年上升的趨勢。其中汽車作為交通道路中的主要參與者，保證汽車的行車安全是智能車輛研究領(lǐng)域的重要課題。隨著先進(jìn)駕駛輔助系統(tǒng)(Advanced Driver Assistance Systems，ADAS)的有效應(yīng)用，智能車輛在輔助駕駛和遇險(xiǎn)報(bào)警等方面的功能已經(jīng)日趨完善。如何快速、準(zhǔn)確的檢測出城市道路中的車道線，有效提升駕駛系統(tǒng)的魯棒性及安全性，為后續(xù)的車道保持、車輛避障與路徑規(guī)劃提供可靠保障是智能車輛自主駕駛技術(shù)亟需解決的問題。

許多研究者對車道線檢測進(jìn)行了深入的研究。常見的方法是先進(jìn)行圖像預(yù)處理，包括灰度化、圖像降噪和二值化等，然后采用邊緣檢測算法[1]和Hough變換[2]檢測車道線。為了提高算法的實(shí)時(shí)性，Liu等[3]采用LSD算法[4]檢測車道線，但沒有考慮線段的相關(guān)性，所以在噪聲環(huán)境中提取車道線時(shí)會受到干擾。Guo等[5]采用LDA對道路圖像進(jìn)行有針對性的灰度化，然后再利用LSD提取直線，但沒有考慮道路其它標(biāo)志的干擾。Lee[6-7]等提出一種基于特征的車道線估計(jì)方法，采用直線模型匹配道路邊界，抗干擾能力強(qiáng)，但彎曲的道路邊界會提取失敗。還有一些研究者利用卡爾曼濾波[8]和粒子濾波者[9]利用當(dāng)前幀對下一幀進(jìn)行估計(jì)，但是由于算法復(fù)雜度高，實(shí)時(shí)性會有所下降。

1 改進(jìn)SIS閾值算法

通過閾值化對圖像進(jìn)行處理，可去除大量的無用信息，提高車道線擬合與檢測的準(zhǔn)確性。根據(jù)路面環(huán)境特點(diǎn)，本文提出一種改進(jìn)SIS閾值[10]分割算法和改進(jìn)的順序RANSAC算法用于車道線擬合與檢測。

圖1 改進(jìn)SIS算法與改進(jìn)順序RANSAC算法流程圖

本文算法主要包括以下幾步，算法主要流程如圖1所示。第一步，如圖2所示，截取車道線感興趣區(qū)域(ROI)，并進(jìn)行灰度化和圖像降噪處理；第二步，采用改進(jìn)的SIS閾值算法對圖像進(jìn)行閾值化；第三步，構(gòu)建車道線模型并簡化為雙曲線模型；第四步，利用改進(jìn)順序隨機(jī)抽樣一致性(RANSAC)算法擬合車道線線，然后根據(jù)兩邊的車道線模型進(jìn)行模型配對；最后，通過選取包含最多支持?jǐn)?shù)據(jù)點(diǎn)的組合確定車道線，與傳統(tǒng)的Hough變換和LSD等方法相比，提出的算法不僅可以檢測直線車道線，還可以進(jìn)行曲線車道線的擬合，而且在有效提高車道線識別準(zhǔn)確率的同時(shí)也滿足實(shí)時(shí)性要求，魯棒性也有所提高。

圖2 車道線感興趣區(qū)(ROI)

SIS算法是一種基于圖像本身統(tǒng)計(jì)特性的閾值算法，它執(zhí)行速度快，可以自動(dòng)選擇閾值，在目標(biāo)區(qū)域與背景區(qū)域有明顯梯度的圖像中有很好的效果。假設(shè)圖像為f(u,v)，算法過程如下：

1)計(jì)算每個(gè)像素的水平方向梯度和垂直方向梯度，如式(1)所示：

(1)

2)取水平方向梯度和垂直方向梯度的最大值作為這個(gè)像素的權(quán)重，然后計(jì)算權(quán)重之和、加權(quán)像素之和，如式(2)所示：

(2)

3)加權(quán)像素之和和權(quán)重之和的比值即為最終的閾值，如式(3)所示：

(3)

其中:f(u,v)是像素點(diǎn)(u,v)的灰度值。

SIS算法在尋找閾值時(shí)，降低非邊緣區(qū)域的像素權(quán)值，提高梯度邊緣的像素權(quán)值，在處理噪聲低的圖像時(shí)效果良好。但在噪聲多的圖像中，并且圖像中的噪聲灰度值介于目標(biāo)灰度值和背景灰度值，那么得到的閾值會變小。如果圖像中的噪聲灰度值大于目標(biāo)區(qū)域的灰度，得到的閾值會變大。所以在一些復(fù)雜情況下該算法效果一般。

所以本文對SIS算法進(jìn)行了改進(jìn)，主要思想是由于車道線的亮度總是高于其周圍的道路，所以將亮于鄰近點(diǎn)的區(qū)域分離出來，也就相當(dāng)于將車道線部分分離出來。首先計(jì)算像素點(diǎn)周圍r鄰域內(nèi)的灰度值，并對灰度值做加權(quán)平均，然后用原灰度值減去加權(quán)平均的灰度值，如果小于零，將該點(diǎn)置零。

這種方法受r的影響很大，如果r取的過大，不會影響計(jì)算速度，且分離效果不理想。如果r取的過小則只會把圖像中的邊緣部分突出，無法有效去除圖像中的噪聲。結(jié)合車道線檢測的道路環(huán)境，對r取不同的值進(jìn)行多次計(jì)算比對，當(dāng)r=7時(shí)可取得最佳效果，灰度圖像的處理結(jié)果如圖3所示。

圖3 灰度原圖以及高亮區(qū)分離圖

圖4(a)是圖3的灰度直方圖曲線，在這種情況下，一方面由于分離出的高亮車道線區(qū)域周圍像素灰度值均為0，并且這些像素處在高亮區(qū)域邊緣，權(quán)值較大，那么閾值會變??；另一方面存在高亮度噪點(diǎn)，這些噪點(diǎn)的權(quán)值也較大，那么閾值會變大。所以很難通過基于直方圖的算法求得理想的閾值。

圖4 灰度曲線圖

為降低這些因素的影響，本文采用像素本身灰度值的平方根作為該像素的權(quán)值。這樣可以在去除灰度值為0的像素的影響的同時(shí)降低高亮噪點(diǎn)對閾值的影響。閾值的計(jì)算公式如式(4)所示：

(4)

改進(jìn)算法與比原算法節(jié)省大量計(jì)算，因?yàn)橹恍枰獙υ狈綀D進(jìn)行計(jì)算便可以得到閾值，而不再需要對每個(gè)像素進(jìn)行計(jì)算。根據(jù)直方圖計(jì)算閾值的公式為：

(5)

式中，i為灰度值，Pi為該灰度值的像素個(gè)數(shù)。

圖5 路面泛白情形下二值化對比

加權(quán)后的直方圖曲線如圖4(b)所示，改進(jìn)的算法與原算法及OTSU算法的效果對比如圖5～7所示,其中圖5的原圖為圖2。圖5是有陰影干擾和路面泛白的情形下，SIS算法、OTSU算法和本文的算法都取得了好的效果。圖6是在低亮度和有陰影干擾的情況下，本文的算法在保留了車道線前提下，濾除了噪聲，效果最好。改進(jìn)算法能更好地響應(yīng)圖像亮度和對比度的變化，對環(huán)境的適應(yīng)性更好。

圖6 陰影遮擋情形下二值化對比

通過實(shí)驗(yàn)測試，SIS算法處理一幅圖片需要2.45 ms，OTSU算法需要1.49 ms，本文提出的算法僅需0.98 ms。

2 車道線模型的構(gòu)建與簡化

假設(shè)路面為平面，并且車道線都是平行的，那么根據(jù)攝像機(jī)的位置和朝向，可以確定路面車道線和投影車道線的幾何關(guān)系，這里采用如圖7所示的道路模型，那么左右兩條車道線可分別由式(6)、(7)表示：

圖7 道路模型

(6)

(7)

為了更好地說明這個(gè)模型及其中的參數(shù)，首先明確3個(gè)坐標(biāo)系：大地坐標(biāo)系(路面坐標(biāo)系)、汽車坐標(biāo)系和攝像機(jī)坐標(biāo)系。θ和φ是攝像機(jī)對于大地坐標(biāo)系的偏航角和俯仰角。(u，v)表示像素點(diǎn)相對于投影中心水平方向和垂直方向的位置，Eu和Ev表示攝像機(jī)在像素單元上水平方向與垂直方向的焦距，這些參數(shù)(投影中心、Eu和Ev)都可以通過攝像機(jī)的標(biāo)定來獲得。H是攝像機(jī)距離道路表面的距離。C0是道路的橫向曲率，如果C0=0那么道路為直的，即式(6)、(7)表示直線。xc和dr分別表示左右車道線距車輛的距離，L=xc+dr為車道寬度。

為了簡化擬合過程，這里將車道線模型進(jìn)一步簡化為以A、B、C、D為未知量的雙曲線形式，即：

(8)

以矩陣形式表示為

(9)

其中：E=C-BD，F(xiàn)=A-CD,Cr是對稱的，Cr·P表示雙曲線在P點(diǎn)的切線。

3 改進(jìn)順序RANSAC方法擬合車道線

要確定一個(gè)模型需要4個(gè)像素點(diǎn)，但多數(shù)情況下會存在超過4個(gè)候選像素，并且還存在一些異常像素，從而導(dǎo)致可能存在多模型問題，這里采用順序隨機(jī)抽樣一致性[11](Sequential RANSAC)算法來解決此問題。

順序RANSAC是將RANSAC算法運(yùn)行多次，直到找到所有的模型或者執(zhí)行一定次數(shù)的迭代。一旦確定一個(gè)模型后，它包含的支持?jǐn)?shù)據(jù)點(diǎn)就會從數(shù)據(jù)集中清除，然后RANSAC再在數(shù)據(jù)集剩余數(shù)據(jù)點(diǎn)中確定其它模型，也就是說如果前面確定的模型不準(zhǔn)確，會導(dǎo)致數(shù)據(jù)集中的數(shù)據(jù)點(diǎn)誤消除，這種情況在道路彎曲時(shí)尤為明顯。

為了解決這一關(guān)鍵問題，更準(zhǔn)確地檢測車道線，本文提出了一種改進(jìn)的順序RANSAC算法，加入了一種融合機(jī)制，該算法流程如圖8所示。

圖8 改進(jìn)的順序RANSAC算法流程圖

該方法分為以下6個(gè)步驟：

1)在像素集中隨機(jī)選擇4個(gè)像素?cái)?shù)據(jù)點(diǎn)。

2)創(chuàng)建模型并找到所有的支持?jǐn)?shù)據(jù)點(diǎn)。盡管4個(gè)不在一條線上的任一點(diǎn)可以產(chǎn)生一個(gè)唯一的雙曲線，但并不是每一個(gè)結(jié)果都能正確地描述車道線，所以這一步在尋找支持?jǐn)?shù)據(jù)點(diǎn)之前，需要對模型進(jìn)行校驗(yàn)，式(8)中A、B、C、D的顯式解如式(10)～(13)所示：

(10)

(11)

(12)

D=-tanφEv

(13)

首先校驗(yàn)D，D的值隨φ的變化而變化，φ的變化是汽車懸架系統(tǒng)的壓縮和伸長變化決定的。當(dāng)車輛前懸架壓縮，后懸架伸長時(shí)，攝像機(jī)向前下傾斜，φ可達(dá)到最大值；反之車輛前懸架伸長，后懸架壓縮時(shí)，攝像機(jī)前傾減少甚至?xí)蛏蟽A斜，此時(shí)φ可達(dá)到最小值。通過實(shí)際車輛測試可知得φ的值浮動(dòng)變化為±3°，即±0.035 rad，所以φ值范圍為[φn-0.035，φn+0.035]。D確定后可以根據(jù)道路曲率校驗(yàn)A，A的大小取決于|C0|，一般車輛的最小轉(zhuǎn)彎半徑為10米，那么這里|C0|設(shè)置為0.1 m-1，對于直線，A=0。B和C與車輛的行駛姿態(tài)有關(guān)，由于車輛可以在道路的任何位置行駛，所以對B、C不約束。如果沒有進(jìn)行D和A的校驗(yàn)就開始下一次迭代，會出現(xiàn)錯(cuò)誤的擬合結(jié)果。

3)4個(gè)隨機(jī)點(diǎn)可以產(chǎn)生一個(gè)唯一的雙曲線和六條直線，共7個(gè)模型，這7個(gè)模型中只有包含最多支持?jǐn)?shù)據(jù)點(diǎn)的模型會被保留，支持?jǐn)?shù)據(jù)點(diǎn)由ds確定，如式(14)所示，如果ds小于一個(gè)閾值，那么數(shù)據(jù)點(diǎn)將被判定為支持?jǐn)?shù)據(jù)點(diǎn)。

(14)

其中:Cr已由式(9)給出，(Cr·P)n表示向量的第n個(gè)元素。

4)將新模型與之前確定的模型進(jìn)行融合，如果新模型與之前的模型中有公共數(shù)據(jù)點(diǎn)，那么保留具有更多數(shù)據(jù)點(diǎn)的模型，另一個(gè)模型移除釋放。如果沒有公共數(shù)據(jù)點(diǎn)，則此模型被標(biāo)記為一個(gè)新的模型。由于車道線不存在交叉點(diǎn)，所以此方法在此適用。

5)重復(fù)步驟1)～4)，進(jìn)行一定次數(shù)的迭代，直到?jīng)]有數(shù)據(jù)點(diǎn)被消除，從而不會影響后續(xù)的擬合結(jié)果。

6)到本步驟為止，已經(jīng)得到了多個(gè)互不交叉的模型，為了提高執(zhí)行速度，消除這些已經(jīng)得到的模型的支持?jǐn)?shù)據(jù)點(diǎn)，然后在剩余像素?cái)?shù)據(jù)集中重復(fù)步驟1)～4)，進(jìn)行一定次數(shù)的迭代。擬合結(jié)果如圖9所示。

圖9 擬合結(jié)果

4 最終模型和車道線的確定

4.1 車道線連續(xù)性

如圖10所示，以圖中的標(biāo)志為例，車道線與直行標(biāo)志最大區(qū)別是車道線由多條連續(xù)線段組成，所以可以計(jì)算得出箭頭在感興趣區(qū)域內(nèi)連續(xù)出現(xiàn)的幀數(shù)P。利用標(biāo)志位置到車輛的距離、車輛的行駛速度和視頻的幀率就可以計(jì)算出P值，如式(15)所示：

(15)

式中，S為箭頭、文字等被檢測的位置到車輛的距離，F(xiàn)為視頻幀率，v為車輛的行駛速度。

圖10 車道線與直行標(biāo)志

在連續(xù)的視頻幀中，P值可以作為判斷車道線是否存在的閾值。如果一條直線在P幀中連續(xù)出現(xiàn)，那么就應(yīng)該加上這條車道線，反之如果在連續(xù)P幀中沒有出現(xiàn)，那么就去除這條車道線。

4.2 確定最終車道線模型

確定單個(gè)車道線模型后要進(jìn)行車道線模型的配對，從而得到一條車道，理想的配對結(jié)果取決于模型所具有的支持?jǐn)?shù)據(jù)點(diǎn)數(shù)量以及模型擬合出的車道寬度是否符合正常的數(shù)值。

逆透視映射(Inverse Perspective Mapping， IPM)變換圖像是將攝像機(jī)視圖轉(zhuǎn)換為從上到下的俯視視圖，如圖11所示。假設(shè)地面為零，相機(jī)分辨率為m×n像素，視場角為2α×2β弧度，θ為攝像機(jī)俯仰角，相機(jī)到地面距離為H。大地坐標(biāo)系[u,v]到圖像坐標(biāo)系[x,y]轉(zhuǎn)換關(guān)系如下[12]：

(16)

圖像中的點(diǎn)可通過這個(gè)方程得到大地坐標(biāo)系中的對應(yīng)點(diǎn)。

圖11 IPM變換圖

根據(jù)IPM變換圖結(jié)合式(6)、(7)可以得到車道寬度L，在現(xiàn)實(shí)情況中，機(jī)動(dòng)車道的寬度在2.45～3.75 m之間，可以由此建立車道寬度約束。一般情況下，兩條車道線獨(dú)立擬合的結(jié)果不會完全遵循平行的關(guān)系，所以這里會得到一個(gè)非恒定的L，為了獲得更加準(zhǔn)確的模型，需要對配對的兩個(gè)模型進(jìn)行微調(diào)，使其遵循平行關(guān)系。根據(jù)式(6)、(7)可知，如果一個(gè)模型的形式與式(8)相同，那么另一個(gè)模型就如式(17)所示：

(17)

式(8)和(17)表明，要對這兩個(gè)模型進(jìn)行微調(diào)需要5個(gè)點(diǎn)來確定。但是這對車道線模型是由擬合步驟中的8個(gè)點(diǎn)(每條車道線模型各4個(gè))擬合推導(dǎo)出得到的，這里在其中一個(gè)模型的4個(gè)點(diǎn)中選取3個(gè)點(diǎn)，另一個(gè)模型的4個(gè)點(diǎn)中選取2個(gè)點(diǎn)，總的來說有48種選取組合，這48個(gè)組合中選取規(guī)定范圍內(nèi)具有最多支持?jǐn)?shù)據(jù)點(diǎn)的組合為最終模型。之后，利用式(16)將車道線的端點(diǎn)再轉(zhuǎn)換到原圖像中。

5 實(shí)驗(yàn)驗(yàn)證

程序基于Visual Studio 2010和OpenCV2.4.10，硬件平臺為Intel(R)Core(TM)i5-7200CPU、GF920MX顯卡和4GB內(nèi)存，本文的算法基于單目視覺，為了驗(yàn)證本文所提出的基于改進(jìn)SIS算法和改進(jìn)順序RANSAC算法的車道線檢測方法的檢測性能，共采用6段視頻數(shù)據(jù)集進(jìn)行驗(yàn)證，其中四段視頻是加州理工學(xué)院的車道數(shù)據(jù)集，另外兩段為城市快速路、高速公路的視頻數(shù)據(jù)，這6段視頻分辨率為640×480，涵蓋多種工況。其中加州理工學(xué)院的車道數(shù)據(jù)集與文獻(xiàn)[13]作了對比，結(jié)果如表1所示。高速路的檢測結(jié)果如表2所示。

其中，車道線檢測的正確率就是指檢測到的正確的車道線數(shù)目與實(shí)際車道線總數(shù)的比值，車道線的誤檢率是指本身圖像中不是車道線的信息被誤檢測成為了車道線，也就是誤檢測的直線與實(shí)際車道線總數(shù)的比值。單車道只考慮車輛當(dāng)前行駛的車道，多車道表示視車輛前方包括當(dāng)前車道在內(nèi)的多條車道。算法在多種工況下的擬合與檢測效果見圖12，可以看到效果圖清晰地展示了陰影、車輛干擾、車道標(biāo)志干擾等多種工況下良好的檢測效果。

表1 城市道路實(shí)驗(yàn)對比 %

表2 高速公路測試結(jié)果

圖12 各種工況下的車道線擬合

提出的算法識別準(zhǔn)確率高，誤檢率低，對不同的道路環(huán)境有較強(qiáng)的適應(yīng)性，在單車道即兩邊車道線的情況下有很高的魯棒性。算法每幀耗時(shí)為26.65 ms，實(shí)時(shí)性較強(qiáng)，能滿足每秒30幀的攝像頭檢測。

6 結(jié)束語

本文針對車道線檢測時(shí)會遇到的光照變化、路面狀況不同以及陰影干擾等復(fù)雜環(huán)境，提出了改進(jìn)的SIS閾值算法和改進(jìn)順序RANSAC算法相結(jié)合的方法來擬合與檢測車道線。提出了改進(jìn)的SIS閾值算法，相比其他的閾值算法不易受陰影車輛干擾的影響，抗干擾能力強(qiáng)，魯棒性好，而且算法的計(jì)算復(fù)雜度低，時(shí)間消耗低。采用改進(jìn)的順序RANSAC算法檢測車道線比采用傳統(tǒng)的RANSAC的檢測方法相比準(zhǔn)確率有了一定的提升，誤檢率有所減少。實(shí)驗(yàn)結(jié)果表明，本文提出的算法在滿足了實(shí)時(shí)性與魯棒性要求的基礎(chǔ)上，提高了檢測的準(zhǔn)確率，并且能適應(yīng)多種工況以及復(fù)雜環(huán)境的干擾。