胡勝 黃妙華 陳毅

（武漢理工大學，現(xiàn)代汽車零部件技術(shù)湖北省重點實驗室，武漢 430070）

主題詞：車道線檢測 圖像分割 二值圖像 最小二乘法 曲線擬合 檢測算法

1 前言

環(huán)境感知技術(shù)是智能駕駛的基礎(chǔ)，在復雜的道路環(huán)境下，通過車載傳感器采集道路信息，特別是對車道線進行檢測有不少難點。車道線檢測可以分成圖像預處理、特征點提取、車道線參數(shù)估計和車道線跟蹤4個部分[1]，在較為復雜的環(huán)境下，道路圖像的分割和車道線擬合是其中的難點。Cáceres等[2]選擇R通道作為圖像的灰度圖像，再采用大津法（即最大類間差分法或OTSU算法）對圖像進行閾值分割，該方法在顏色空間轉(zhuǎn)換時利用了車道線的顏色特征，但是在環(huán)境較復雜時采用大津法進行閾值分割誤差較大。Xu H等[3]提出基于大津法的二次閾值分割算法，該改進算法通過計算2個灰度閾值T1和T2將圖像分為3個部分，能夠?qū)Π?類物體的圖像較好地進行分割，但對包含2種相似物體的圖像易出現(xiàn)誤分類。李博等[4]提出了二次閾值分割算法，提高了復雜背景下的識別效果，能夠?qū)⒛繕藦膹碗s背景中分割出來，但會丟失一次閾值分割后的部分有效信息。對車道線進行擬合的常用方法有最小二乘曲線擬合[5]、B樣條曲線擬合[6]、Hough變換[7]等，這些模型各有優(yōu)勢，但均有提升的空間。車道寬度等空間特征可對車道線擬合起輔助作用，Wang等[8]通過分析相機的透視模型，建立了車道寬度與相機參數(shù)之間的關(guān)系，該算法通過估計滅點位置，得到車道的寬度特性，對車道線擬合進行輔助，該算法的固定區(qū)域劃分易導致漏檢，且采用Canny邊緣檢測及多次Hough變換實時性較差。王曉云[9]提出采用梯度點對約束確定寬度特性的方法，該方法根據(jù)車道線左、右側(cè)具有相同或相反梯度方向的特性，對車道線邊緣點及圖像中的各行車道寬度進行估計，該算法計算簡單，但在道路環(huán)境較為復雜時，根據(jù)橫向梯度對邊緣點進行檢測時對噪聲十分敏感，導致寬度特性的提取準確率較低。

本文提出一種基于大津法的二次閾值分割方法，在對道路圖像進行二值化后，根據(jù)車道線的形態(tài)特征對圖像逐行掃描得到車道線特征點，進而采用分視場最小二乘曲線擬合算法對車道線進行擬合，為提高算法的魯棒性，提出車道寬度匹配算法，具有一定的應(yīng)用價值。

2 圖像預處理

2.1 圖像灰度化

車載相機采集到的是RGB圖像，由于RGB圖像包含的信息比較豐富，直接在其基礎(chǔ)上進行圖像分割尋找車道線十分困難，因此需要先進行灰度化操作。將RGB圖像轉(zhuǎn)換為灰度圖像的函數(shù)為：

式中，g為灰度圖像的灰度級；R、G、B分別為RGB圖像各通道的值。

圖1所示為圖像灰度化的結(jié)果。

圖1 圖像灰度化

2.2 感興趣區(qū)域提取

為提高程序的實時性，減少圖像中建筑、樹木的干擾，需在采集到的道路圖像中劃分感興趣區(qū)域（Region of Interest，ROI）。ROI的選取與攝像機的安裝位置相關(guān)，圖2所示為攝像機安裝位置示意。

圖2 車載攝像機安裝示意

圖2中，h為攝像機的安裝高度，θ為攝像機的傾角，α為攝像機掃描點與其光軸之間的夾角，d0為掃描點到攝像機的橫向距離，(xc,yc)為攝像機光心在成像平面上的投影點，f為攝像機焦距，yi為攝像機掃描點在成像平面上的投影點的縱坐標。由圖中的幾何關(guān)系可得：

式中，dx為圖像像素坐標系中一個像素在圖像物理坐標系中的尺寸。

設(shè)車道線檢測的目標距離為D，則根據(jù)式（2）和式（3）可得，圖像中ROI（圖1中兩條直線中間的區(qū)域即為ROI）上、下邊界的縱坐標分別為：

式中，ye為發(fā)動機罩在圖像中的縱坐標，攝像機安裝好之后，ye為定值。

2.3 二次閾值分割

為將車道線從道路圖像中提取出來，即將目標（車道線）與道路背景進行區(qū)分，需要對灰度圖像進行二值化處理。二值化處理的核心是確定灰度閾值，為提高程序的魯棒性，使二值化算法適用于不同的場景，采用大津法確定灰度閾值。其基本思路是：選取的最佳閾值應(yīng)當使得區(qū)分出的目標和背景兩類間具有最好的分離性，而將兩類間統(tǒng)計意義上的灰度值方差作為類間分離性優(yōu)劣的判據(jù)。圖像的最佳閾值為：

式中，μ0、μ1和μ分別為目標、背景和整幅圖像的灰度均值；ω0、ω1分別為目標和背景部分像素點占整幅圖像總像素點的比例。

圖3所示為采用大津法進行二值化操作的效果。當光照條件較好、干擾不多時，大津法能夠?qū)④嚨谰€從道路背景中區(qū)分出來，如圖3a、圖3b所示；但在光照條件不佳時，高亮區(qū)域中的路面與低亮區(qū)域呈現(xiàn)出明顯的分離性，因此在采用統(tǒng)計學方法求閾值時，灰度值較大的高亮路面會被誤分成目標，如圖3c、圖3d所示。

為了提高二值化算法的魯棒性，本文提出二次閾值分割算法，算法流程如圖4所示。

圖3 大津法求二值圖的結(jié)果

圖4 二次閾值分割算法流程

求取二次閾值圖可以分為如下步驟：

a.采用大津法求得二值圖像，如圖5a所示；

b.對二值圖進行逐行掃描，記錄各行中連續(xù)白色像素點的長度lc，由于車道線在圖像中具有一定的寬度范圍[lmin,lmax]，若lc在該范圍內(nèi)，則保留該段連續(xù)像素點，否則將其灰度值置為0，處理結(jié)果如圖5b所示；

c.取出灰度圖上與采用大津法求得的二值圖上白色像素對應(yīng)的點，對該點集再根據(jù)大津法進行一次閾值分割，得到一個只包含車道線目標和少量干擾的二值圖，如圖5c所示；

d.對步驟b和步驟c的結(jié)果進行與運算，得到最終的輸出圖像，如圖5d所示。

圖5 二次閾值分割算法效果

由圖5a和圖5d可以看出，在ROI中根據(jù)大津法進行二值化會將背景誤分為目標，采用二次閾值分割算法可對誤分的目標進行進一步區(qū)分，進而將車道線與道路背景進行區(qū)分。圖6所示為采用大津法和二次閾值分割算法對道路圖像進行分割后提取的候選車道線特征點數(shù)量。從圖6中可以看出，經(jīng)過二次閾值分割，從二值圖中提取的候選車道線特征點數(shù)量大大增加，這表明相比于一次閾值分割，二次閾值分割能夠獲取更多的有用信息。

3 車道線檢測

3.1 車道線特征點提取

在對道路圖片的感興趣區(qū)域進行二值化處理后，需要對車道線特征點進行提取，進而完成車道線的擬合。二值圖像中的白色像素點大部分是車道線，但也存在前方車輛、路基、路面雜物等的干擾，因此，車道線特征點的提取分為候選點提取和噪點過濾兩個步驟。候選點提取是以車道線在圖像中具有一定寬度范圍為依據(jù)的，如圖7所示，通過對圖像逐行掃描，根據(jù)連續(xù)白色像素點的長度可以對該段像素點是否屬于車道線進行初步判斷。

圖6 閾值分割方法效果對比

圖7 候選車道特征點提取

圖8a所示為候選點提取的結(jié)果，可以看出，候選特征點中存在部分噪點，需要進行過濾。過濾算法的原理是利用候選特征點的坐標將候選特征點集分為小段，再根據(jù)車道線的連續(xù)性對每一小段是否為噪點進行判斷，進而濾除噪點，圖8b所示為噪點過濾的結(jié)果。在對噪點過濾的基礎(chǔ)上，對有效點進行分類，對分屬于不同車道線的點分別進行擬合。

圖8 車道線特征點提取

3.2 基于最小二乘法的分段曲線擬合

最小二乘法是一種通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配的數(shù)學優(yōu)化方法，其目標是求出在給定點(x0,y0),(x1,y1),…,(xm,ym)處與給定點的距離平方和最小的曲線y=p(x)。

最小二乘曲線擬合的數(shù)學模型為：

式中，I為誤差的平方和；p(xi)為目標函數(shù)；m為用于車道線擬合的車道線特征點數(shù)量；n為選擇的多項式的最高次數(shù)；xi、yi分別為各點的橫、縱坐標；aj為多項式的各項次數(shù)；j為多項式的各項指數(shù)。

本文選擇用多項式函數(shù)來描述車道線，因此需要求出多項式的各項系數(shù)aj，式（6）的正規(guī)方程組為：

通過求解式（7）可以得到多項式的系數(shù)。

由于在實際場景應(yīng)用時對車道線的線型沒有先驗信息，因此對車道線進行擬合需選取一種能適用于不同場景的方法。本文采用的方法是分段曲線擬合，如圖9所示，將用于車道線擬合的車道線特征點等分為4個部分，第Ⅱ、Ⅲ、Ⅳ部分位于圖片的中下方，其曲率較小，采用直線擬合。第Ⅰ部分根據(jù)其最上端點的縱坐標選擇采用何種擬合方式：若上端點縱坐標較小，說明可供擬合的特征點數(shù)量足夠，則采用三次曲線擬合，以盡可能貼近曲線的實際趨勢；若上端點縱坐標較大，說明本幀中用于擬合的特征點較少，為了防止出現(xiàn)趨勢錯誤，采用直線擬合。圖10所示為不同曲線擬合方法的效果對比。

圖9 分段曲線擬合示意

圖10 不同方法擬合結(jié)果對比

如圖10所示，采用三次曲線擬合和直線擬合均會出現(xiàn)過擬合或欠擬合，采用分段直線擬合會在曲率較大時出現(xiàn)較大誤差，而本文提出的曲線擬合算法擬合結(jié)果與實際的車道線及其趨勢較為切合。

表1所示為對圖10中的車道線采用不同擬合方法所需的擬合時間以及擬合的殘差。從表1中可以看出，除Hough變換實時性較差外，其余方法實時性均較好，且本文提出的曲線擬合算法殘差明顯小于其余方法，表明其具有更大的準確率。

表1 車道線不同擬合方法對比

4 車道寬度匹配算法

由于車輛在行駛過程中，道路上的車道線可能出現(xiàn)某一側(cè)被遮擋或者缺失的情況，導致直接進行擬合出現(xiàn)較大誤差。為了提高車道線檢測算法的魯棒性，提出車道寬度匹配算法，以一側(cè)的擬合結(jié)果對另一側(cè)車道線的參數(shù)進行估計。

世界坐標系和圖像坐標系中的車道模型如圖11所示。已知世界坐標系中的兩點(xl,y)和(xr,y)，通過透視變換到以左上角為原點，c軸為橫軸，r軸為縱軸的圖像坐標系中的兩點坐標分別(cl,r)和(cr,r)，則可得世界坐標系中的道路寬度為：

圖11 車道模型

而圖像坐標系的道路寬度為：

根據(jù)透視的原理，還可以得到[5]：

其中：

式中，k為用于寬度匹配算法的寬度匹配系數(shù)；w為世界坐標系中車道的寬度；hz為車道線滅點所在的直線的縱坐標值。

由于鏡頭的透視作用，地面上相互平行的兩條車道線在圖像中會由近至遠相交于一點，通常將交點稱為滅點（Vanishing Point）。

根據(jù)相似原理，在圖像坐標系中可得：

與式（10）聯(lián)立可得：

式中，cbr和cbl分別為圖片中左、右車道線最底部點的橫坐標，rb為車道線最底部的縱坐標；L1為圖像中某一行距車道線滅點的高度；L2為滅點距車道線底部的高度。

在任一時刻，車道在世界坐標中的寬度處處相等，由式（11）可知，在該時刻寬度匹配系數(shù)k為固定值，通過式（13）對k值進行計算后，即可通過式（10）求出圖像坐標系中各行的車道寬度，進而根據(jù)一側(cè)車道線的擬合結(jié)果對另一側(cè)車道線進行匹配，增強算法的魯棒性。

由式（13）可知，求車道寬度匹配系數(shù)的關(guān)鍵是找到滅點的位置。當車道線為曲線時，滅點的求取十分困難。如圖12a所示，YueWang等[8]提出將圖片分成幾個固定的區(qū)域，在每個區(qū)域中將左、右車道線作為直線處理，進而尋找滅點。但如圖12b所示，當車道線為虛線時，車道線不連續(xù)導致某區(qū)域中沒有直線，且固定區(qū)域的劃分沒有充分利用虛線段的特征。

針對以上問題，提出改進的寬度匹配算法，步驟為：

a.對左側(cè)車道線提取到的車道線特征點坐標進行分析，按照虛線段的分布將特征點分成3個部分，進而對圖像區(qū)域進行劃分，如圖12b所示；

b.在區(qū)域1中，分別對左、右側(cè)車道線特征點進行直線擬合，進而求得滅點VP1，再根據(jù)式（13）求出該區(qū)域的寬度匹配系數(shù)k1；

c.在區(qū)域3中重復步驟b的過程，求出該區(qū)域中的滅點VP3和寬度匹配系數(shù)k3；

d.在區(qū)域2中，由于左側(cè)不存在車道線特征點，不能進行直線擬合?？紤]到車道線曲率變化的連續(xù)性，采用區(qū)域1和區(qū)域3中的滅點和寬度匹配系數(shù)的均值作為區(qū)域2的滅點VP2和寬度匹配系數(shù)k2；

e.根據(jù)各區(qū)域中的滅點的縱坐標和寬度匹配系數(shù)，按式（11）求出圖像中車道各行的寬度；

f.對右側(cè)車道線進行曲線擬合，根據(jù)步驟e求出的車道各行寬度對左側(cè)車道線進行匹配。

5 試驗結(jié)果及分析

為驗證所述算法的準確性和實時性，以飛思卡爾的iMX6為硬件平臺對算法進行了實車測試，圖13所示為系統(tǒng)布置示意。iMX6是一款基于Cortex-A9架構(gòu)、主頻為1GHz的四核車規(guī)級芯片。車載攝像機以30幀/s的速度采集分辨率為640×480DPI的道路圖像，在iMX6平臺上對圖片進行實時處理并顯示車道線識別結(jié)果。在不同環(huán)境下，該算法處理1幀圖像的時間均在17ms以內(nèi)，能夠滿足實時性需求，綜合識別準確率可達94%以上，表2所示為在不同環(huán)境下對車道線進行檢測的結(jié)果，其中時間段1中道路條件較好，時間段2中存在標識符、前方車輛、高架橋陰影等干擾，時間段3為夜間，時間段4為雨天。表3所示為不同車道線檢測算法的準確率對比，其中文獻[10]采用Canny檢測算子對圖像進行分割，采用隨機抽樣一致（Random Sample Consensus，RANSAC）曲線擬合算法進行車道線擬合。文獻[11]采用Hough變換進行車道線檢測。從表3可以看出，本文所提出的算法實時性和準確率均優(yōu)于文獻[10]及[11]中的算法。

圖13 硬件平臺系統(tǒng)布置示意

表2 檢測結(jié)果

表3 不同算法識別準確率與實時性對比

圖14所示為部分識別結(jié)果，從圖14可以看出，本文提處的車道線檢測算法能夠適用于多種復雜的場景，具有一定的應(yīng)用價值。

圖14 不同環(huán)境下檢測結(jié)果

6 結(jié)束語

本文對道路圖像分割及曲線擬合問題進行了研究，得到如下結(jié)論：

a.采用基于大津法的二次閾值分割方法，將復雜環(huán)境下的道路圖像分割分為正確目標提取和誤分目標再分割兩個步驟，能將車道線信息較為完整提取出，相比于傳統(tǒng)的閾值分割算法，對環(huán)境有更強的適應(yīng)性。

b.提出一種基于最小二乘法的分視場自適應(yīng)曲線擬合算法和車道寬度匹配算法，解決了不同線型自適應(yīng)擬合的問題并提高了復雜環(huán)境下的魯棒性，達到了94%以上的綜合準確率以及17ms的單幀處理時間。

c.本文提出的二次閾值分割方法和曲線擬合方法適用于較為復雜的光照及道路環(huán)境，具有一定的應(yīng)用價值。針對復雜道路環(huán)境，建議對本文二次閾值分割過程進行重復，達到更好的分割效果，同時可采用濾波算法對車道線進行跟蹤，降低漏檢率。