姜立標, 李靜軒

(華南理工大學機械與汽車工程學院, 廣州 510641)

隨著汽車行業(yè)的發(fā)展，車輛的自動駕駛技術在汽車的安全行駛上發(fā)揮著越來越重要的作用，而車道線檢測是自動駕駛的重要組成部分。

傳統(tǒng)的車道線檢測方法主要有基于特征和基于模型方法。Borkar等[1]首先對原圖進行逆透視變換，后使用自適應閾值得到二值化后的圖像，通過霍夫變換檢測出車道線然后分段提取特征，得到長直線的特征，利于后期檢測。賈會群等[2]提出一種基于反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡與最小二乘法曲線模型的車道線檢測算法，假設道路為上凸函數(shù)，但當實際道路不符合上凸函數(shù)特征時，檢測算法失效。程文冬等[3]提出一種基于可調向濾波器的車道線識別方法；并提出基于時空窗口灰度特性統(tǒng)計的虛實車道線分類方法。李亞娣等[4]針對夜間只有車燈照射路面圖像整體較暗、光照不均勻、車道線不易檢測的問題,提出一種夜間車道線識別方法。

由于實際道路環(huán)境復雜多變，現(xiàn)有基于機器視覺的車道線檢測算法易受到光照變化、行人遮擋以及道路破損的影響，導致算法的魯棒性不強，準確率低。

提出基于車道線特征形態(tài)的優(yōu)化檢測算法。首先分析圖像預處理技術，包括劃分圖像感興趣區(qū)域，灰度化，中值濾波去除圖像噪點，大津法(OTSU)二值化圖像得到自適應分割閾值，再運用Sobel算子提取圖像的邊緣。然后，針對傳統(tǒng)Hough變換和最小二乘法的不足分別提出改進算法，并結合改進后的算法擬合車道線，利用Kalman濾波器對車道線進行追蹤，解決車道線抖動和暫時性缺失時的檢測問題。最后結合改進后的算法，設計車道線檢測的算法流程。

1 預處理

為了排除圖像中影響車道線檢測的雜質，以篩選重要信息，突出車道線的輪廓信息，保證檢測的精度，需要先對道路圖像進行預處理。

1.1 感興趣區(qū)域提取

針對車道線檢測任務，車輛前方包含車道線的矩形區(qū)域是檢測的重點，劃分感興趣區(qū)域時需要去除圖片中的行道樹、天空、建筑等干擾檢測的區(qū)域。在實際的行駛路況下，攝像頭通常固定在汽車后視鏡后位置不再變動，焦距和位置參數(shù)等也確定下來，因此，考慮算法魯棒性和實時性，采用靜態(tài)劃分感興趣區(qū)域的方法。

圖1(a)為靜態(tài)劃分示意圖，圖1(b)為根據(jù)實際攝像頭安裝位置反復調整確定的感興趣區(qū)域。在圖1(a)中，區(qū)域A是天空區(qū)域，予以去除，留下區(qū)域B，即為感興趣區(qū)域。

圖1 靜態(tài)劃分感興趣區(qū)域Fig.1 Static partition of the region of interest

1.2 道路圖像灰度化

在車輛實際行駛過程中，攝像頭采集的圖像是三通道彩色圖像。選擇加權平均法進行道路圖像灰度化，減小圖像的數(shù)據(jù)量，提高后續(xù)算法的處理效率，效果如圖2所示。

圖2 道路圖像灰度化Fig.2 Road image graying

1.3 圖像濾波

在對彩色圖像灰度化處理之后還需要進行濾波處理，去除無用噪點，保留車道信息。本研究采用中值濾波算法[5]。實際處理效果如圖3所示，圖像為經(jīng)過灰度化處理后的實際雨天路況下采集的原始圖像，為了檢驗中值濾波的效果，添加了椒鹽噪聲，經(jīng)過濾波處理后明顯消除了噪聲。

圖3 3×3中值濾波處理結果Fig.3 3×3 median filtering results

1.4 基于大津法的Sobel算子的車道線邊緣提取

車道線的邊緣提取是利用一定的技術手段強化車道線的邊緣特征，消除非車道信息的干擾。道路圖像中車道線與路面相鄰處的灰度值變化較大，所以根據(jù)車道線邊緣處灰度值的突變進行車道線的邊緣提取。本研究采用微分法提取車道線邊緣。

設圖像f(x,y)，梯度方向為坐標最大變化率的方向，則圖像f(x,y)在位置(x,y)處的梯度可以表示為

(1)

進而求出向量的幅值和方向角θ為

(2)

式中：Gx和Gy分別表示圖像f(x,y)在水平方向和垂直方向的偏導數(shù)。通過一階和二階導數(shù)檢測目標對象的邊緣，一階導數(shù)最大值所在位置表示圖像邊緣，二階導數(shù)零點處所在位置表示圖像邊緣。對于導數(shù)和分別采用不同的模板，再結合不同系數(shù)構成梯度算子[6]。

選擇Sobel算子作為邊緣提取算法。Sobel算子在領域內(nèi)求得的梯度分量代表像素值的變化率，圖像邊緣點梯度值較大，非圖像邊緣點梯度較小。算子采用兩個3×3模板窗口，分別為水平和垂直模板Gx和Gy，將之于圖像作平面卷積，即可分別得到水平和垂直亮度差分近似值，如圖4所示。

圖4 Sobel算子模板Fig.4 Sobel operator template

大津法(OTSU)又稱為最大類間方差法，通過設定一個自適應的閾值將圖像分為前景(目標)和背景。通過大津法設定圖像分割的自適應閾值，以適應不同場景下的車道線邊緣的提取。

對于圖像I(x,y)，設目標和背景的分割閾值為T，圖像的大小為M×N，屬于目標的像素點個數(shù)N0占整張圖像的比例為ω0， 其平均灰度為μ0；屬于背景的像素點個數(shù)N1占整張圖像的比例為ω1，其平度灰度為μ1；圖像總平均灰度為μ。OTSU方法假設圖像的背景較暗[3]，圖像中像素灰度值小于閾值T的像素個數(shù)為N0，像素值大于閾值T的像素個數(shù)為N1。

大于和小于閾值T的像素點之和為總像素點：

N0+N1=M×N

(3)

ω0和ω1計算公式為

(4)

圖像總平均灰度公式為

μ=ω0μ0+ω1μ1

(5)

目標和背景類之間的方差

g=ω0(μ0-μ)2+ω1(μ1-μ)2

(6)

將式(5)帶入式(6)中可以求得類間方差

g=ω0ω1(μ0-μ1)2

(7)

遍歷對于整張圖像，使得類間方差g的最大閾值T即為所求。

檢測的結果如圖5所示。結果表明，結合OTSU算法和Sobel算子的方法能夠在不同的環(huán)境下較好地提取出車道線邊緣。

圖5 基于OTSU算法的Sobel算子邊緣檢測結果(正常光照)Fig.5 Edge detection results of Sobel operator based on OTSU algorithm (normal illumination)

2 車道線檢測

對于預處理提取出的車道線邊緣，常用Hough變換和最小二乘法擬合車道線邊界點。

2.1 Hough變換及改進

Hough變換通過將圖像坐標變換到參數(shù)空間，來實現(xiàn)直線的擬合。該方法具有提取穩(wěn)定、穩(wěn)定性高的優(yōu)點，但算法實時性差，受干擾時易檢測出多條直線。

針對上述檢測時存在的缺點，對Hough提出以下改進方法[7]：

(1)極角大小和方向約束。將左車道線極角大小約束為[-80°,-10°]，右車道線極角約束范圍為[10°,80°]。

(3)使用兩次Sobel算子，得到單像素寬度的邊緣。

(4)計算每個邊緣點的梯度方向，統(tǒng)計每個方向上的點的個數(shù)，找出邊緣點個數(shù)最多的兩個方向作為車道線的粗略方向。

圖6所示為Hough變換受干擾情況，圖7所示為改進后的Hough檢測結果?？梢钥闯觯倪M后的Hough變換能夠很好地檢測車道線。

圖6 Hough變換受干擾情況Fig.6 Interference of Hough transform

圖7 改進Hough變換檢測結果Fig.7 Improved Hough transform detection results

2.2 最小二乘法及優(yōu)化

最小二乘法(least squares， LS)是最常用的直線擬合方法，一般用于對二維圖像中的離散點直線擬合，通過最小化離散點到直線的距離求出最接近的直線方程。其數(shù)學原理如圖8所示。

圖8 最小二乘法原理Fig.8 Principle of least square method

LS計算簡單，速度快，只需要對離散點遍歷一次即可，檢測實時性好，但算法對噪聲敏感，魯棒性不強。

為克服缺陷，提出R-LSDR。LS改進方法有以下兩種：

方法1：根據(jù)與LS擬合直線間的誤差分布，將誤差過大的樣本點以某個閾值予以剔除。

方法2：通過迭代的思想剔除噪聲點，將檢測到的單個噪聲點剔除再更新回歸直線方程，然后再剔除新的直線下的誤差最大的樣本點，如此循環(huán)直到剩下點的數(shù)量占原始樣本數(shù)量的比例為設定閾值R。

基于上述兩種方法，提出R-LSDR算法。相對于方法2，每次同時剔除正反兩個方向誤差最大的樣本點，然后更新回歸直線方程，直到剩下的點的數(shù)量占總樣本點的比例為R。

R-LSDR算法的步驟如下。

圖像中存在的二維點集P0={(xi,yj)|1≤i≤N}與預設保留數(shù)據(jù)點比例R，經(jīng)過試驗設置為0.85。

(1)設i=0，n=N。計算最終保留的點數(shù)Nf=pN。

(2)求得二維點集Pi的回歸直線參數(shù)θi、ρi。

(3)求取Pi中每個樣本點到回歸直線的帶符號的誤差。

eij=ρij-ρi=

xjcosθi+yjsinθi-ρi,(xj,yj)∈Pi

(8)

(4)分別求取達到正負最大誤差的兩個樣本點的索引值jPOS和jNEG，則

(9)

(5)從Pi中剔除點(xjPOS,yjPOS)和(xjNEG,yjNEG)，則剩下的點集為Pi+1，n=n-2，i=i+1。

(6)判斷如果n≤Nf，則將θi與ρi的結果作為回歸直線的方程，否則至步驟(2)繼續(xù)循環(huán)。

圖9給出了LS與R-LSDR算法的對比結果，可以看出R-LSDR算法能夠明顯消除樣本集中噪聲的影響，回歸得到的直線方程更加符合實際樣本分布的趨勢，有利于車道線的檢測。

圖9 LS與R-LSDR算法的直線回歸對比Fig.9 Linear regression comparison of LS and R-LSDR algorithm

3 車道線跟蹤

3.1 Kalman濾波器跟蹤車道線

完成車道線檢測后，由于車道線殘缺或車輛行人的遮擋，可能出現(xiàn)檢測失效的情況，所以需要進行車道線跟蹤。

Hough 變換中極坐標空間的一點為直線的參數(shù)ρ和θ，兩條直線的距離定義為Hough 變換極坐標空間中點之間的距離，公式為[8]

(10)

式(10)中：Rρ和θρ是根據(jù)Hough變換參數(shù)空間的分辨率進行預設的ρ和θ的修正系數(shù)。

因為連續(xù)前后兩幀道路圖像中的車道線相差不大，所以可以根據(jù)參數(shù)空間點與點距離的方法判斷檢測當前幀與上一幀中的車道線是否為同一條。當計算得到的前后幀的車道線的距離小于預設的閾值時，判斷為同一條車道線。因為噪聲的干擾，通過Kalman濾波器跟蹤車道線在Hough參數(shù)空間中的參數(shù)ρ和θ，則車道線在k時刻的觀測量Z(k)和狀態(tài)量X(k)分別表示為

(11)

(12)

式中：vρ和vθ表示ρ和θ在汽車行駛道路圖像的變換速度。系統(tǒng)的狀態(tài)轉移矩陣用A(k)表示，輸出矩陣用H(k)表示，公式為

(13)

根據(jù)多次實驗結果，將系統(tǒng)的動態(tài)噪聲W(k)的協(xié)方差Q(k)初始值設置為

(14)

測量誤差的協(xié)方差R(k)初始值設置為

(15)

將每一時刻的觀測值代入Kalman濾波器的迭代模型中求得估計值，利用估計值表示車道線信息。在實際應用中，為增強Kalman濾波器跟蹤車道線系統(tǒng)的魯棒性，對預測值進行修正，當連續(xù)出現(xiàn)若干幀車道線檢測異常時，重置Kalman濾波器的參數(shù)。計算前后兩幀圖像中車道線的距離，當距離在設定的閾值范圍內(nèi)即認為屬于同一條車道線，并把當前幀作為有效幀更新濾波器的參數(shù)值；否則，放棄當前幀檢測值，用上一幀的參數(shù)代替，繼續(xù)檢測下一幀圖像。

路況較差時，當連續(xù)多幀檢測異常時，應該在設定的異常幀數(shù)閾值TNum之后，重新復位Kalman濾波器的參數(shù)。當再次檢測到車道線時，使用新的車道線參數(shù)初始化Kalman濾波器。設定前后兩幀車道線的距離閾值Tdis為個像素點，異常幀數(shù)閾值TNum為5幀。Kalman濾波器跟蹤車道線策略如圖10所示。

圖10 Kalman濾波器跟蹤車道線策略Fig.10 Kalman filter tracking lane line strategy

3.2 車道線檢測優(yōu)化算法

Hough變換計算量大，最小二乘法計算簡單但容易受噪聲干擾。分別對兩種算法進行改進，并結合車道線的形態(tài)特征，采用改進Hough變換和R-LSDR算法結合的車道線檢測算法?？紤]到實車檢測場景，采取的策略是在初始幀檢測時用Hough變換檢測車道線的直線方程，以確定車道線的預設區(qū)域，減小后續(xù)車道線的搜索區(qū)域，后續(xù)幀使用R-LSDR算法檢測車道線，再使用Kalman濾波跟蹤車道線，如果在斜率發(fā)生突變時重新用Hough變換檢測車道線。充分結合車道線的特征和不同算法的優(yōu)點，進行車道線的檢測，準確率高，運行效率快。算法的整體流程如圖11所示。

圖11 車道線檢測算法整體流程Fig.11 Overall flow chart of lane line detection algorithm

4 車道檢測與跟蹤結果分析

實驗分別對存在干擾情況下的左右車道線進行檢測，連續(xù)幀的檢測結果如圖12～圖14所示，其中綠色表示不加濾波檢測結果，紅色表示濾波跟蹤結果。

圖12檢測結果表明，在車道線清晰無干擾的路況下，能夠較好地識別車道線信息。存在車道線缺失時，加了Kalman濾波之后，檢測結果更加準確。

圖12 車道線濾波檢測結果(無干擾)Fig.12 Detection results of lane line filtering (no interference)

圖13 車道線濾波檢測結果(存在車輛、道路標識線干擾)Fig.13 Detection results of lane line filtering (interference of vehicles and road marking lines exists)

圖13表示存在車輛和行人干擾下的車道線檢測結果。車道線被遮擋，造成車道線暫時消失，Kalman濾波器能夠很好地根據(jù)前一幀的檢測結果，跟蹤車道線。

圖14表示存在短暫車道線缺失情況下的檢測結果。道路圖像為在鄉(xiāng)村道路采集的道路數(shù)據(jù)，路況較差，右側車道性短暫性缺失，Kalman濾波能夠較好地跟蹤車道線信息，彌補短時間內(nèi)車道線缺失的問題。

5 結論

提出一種基于車道線特征形態(tài)的優(yōu)化檢測算法，針對傳統(tǒng)Hough變換和最小二乘法的不足分別提出改進算法，并結合改進后的算法擬合車道線，最后利用Kalman濾波器對車道線進行追蹤。

對存在干擾情況下的左右車道線進行檢測，結果表明，算法在解決車道線抖動和暫時性缺失時的檢測問題上具有較好的魯棒性。研究對改進現(xiàn)有的車道線檢測和跟蹤算法具有理論意義。