曹月花+羅文廣+藍(lán)紅莉+趙曉東
摘 要: 針對不同光照、雨雪天、大霧天等惡劣環(huán)境下道路車道線識別難的問題,研究其識別算法。弱光照下,通過面積算子選取合適閾值進(jìn)而實現(xiàn)邊緣增強;夜間光照更弱的情況下,通過改進(jìn)SUSAN算子實現(xiàn)夜間昏暗道路的邊緣增強,解決了道路信息模糊、周圍因素影響等造成的噪聲干擾;強光照下,通過強光濾波算法可以消除偽邊緣干擾,實現(xiàn)車道線的準(zhǔn)確識別。雨雪天下,道路積水造成路面復(fù)雜,不能準(zhǔn)確找到車道線特征點,通過建立路面積水反射模型,去除光的反射影響,增強路面和車道信息對比度,實現(xiàn)車道線信息的準(zhǔn)確提取。大霧天,道路信息模糊不清,通過逆透視原理、差值分離建立道路識別模型,對道路特征進(jìn)行加強分析,增強車道信息,提高識別效果。實驗驗證了所提出和改進(jìn)的復(fù)雜環(huán)境下道路車道線識別算法的有效性,并且具有較強的魯棒性和抗擾能力,可應(yīng)用到智能交通系統(tǒng)中。
關(guān)鍵詞: 車道線; 車道線信息提??; 逆透視變換; 邊緣增強
中圖分類號: TN912.34?34; TP391.41 文獻(xiàn)標(biāo)識碼: A 文章編號: 1004?373X(2017)14?0109?05
Abstract: It is difficult to recognize the lane line on road in the severe environments such as different illumination, rain day, snow day, fog day, etc, therefore a lane line identification algorithm is studied. Under the condition of weak illumination, the appropriate threshold is selected by means of area operator to realize the edge enhancement. Under the condition of weaker illumination at night, the SUSAN operator is improved to realize the edge enhancement of the dark road at night, and eliminate the noise interference caused by fuzzy road information and surrounding factors. Under the condition of strong light, the high light filtering algorithm can remove the pseudo edge interference, and realize the accurate recognition of the lane line. Under the conditions of snow or rain day, since the feature point of the lane line can′t be identified accurately because of the complex road conditions caused by road water?logging, the reflection model of road water?logging was established to eliminate the influence of light reflection, enhance the contrast of roads and lanes information, and extract the lane line information accurately. Under the condition of fog day, because the road information is blur, the road recognition model based on inverse perspective principle and difference separation was established to perform the enhancement analysis for road feature, enhance the lane information, and improve the recognition effect. The experimental results verify that the road lane line recognition algorithm is effective in complex environment, has strong robustness and anti?interference ability, and can be applied to the intelligent transportation system.
Keywords: lane line; lane line information extraction; inverse perspective transformation; edge enhancement
0 引 言
21世紀(jì)是一個科技和信息技術(shù)飛速發(fā)展的時代,直接帶動交通運輸業(yè)的發(fā)展。科技進(jìn)步直接或間接地使勞動過程發(fā)生變化,促進(jìn)交通行業(yè)經(jīng)濟(jì)增長,但是交通安全隱患也越來嚴(yán)重[1]。道路車道線識別是汽車安全輔助系統(tǒng)中最基本和核心的功能,能為導(dǎo)航提供精確的參照,在劃分道路區(qū)域、安全駕駛和碰撞預(yù)警等方面起到了重要的作用。車道線識別不僅要考慮準(zhǔn)確性、魯棒性和實時性,而且要能夠滿足系統(tǒng)的需求。準(zhǔn)確性是指汽車行駛車道線與檢測到的實時車道線匹配[2];實時性就是圖像視頻處理速度要和車輛圖像的數(shù)據(jù)處理速度同步;魯棒性就是針對不同的道路路況不同氣候條件下日照強度、陰雨天路面車道線的顏色、紋理、障礙物等具有一定的識別能力。若以上車道線識別算法的三個特性得以實現(xiàn),則可以提高車輛行駛時識別道路車道線的準(zhǔn)確率及提高車輛運行速度,增大交通流量,減少交通安全隱患。實際應(yīng)用中,很多環(huán)境道路因素是不確定的,道路圖像信息處理很容易受到天氣狀況的影響,因此復(fù)雜環(huán)境下車道線識別問題是重點研究方向。
1 復(fù)雜環(huán)境下車道線識別算法
1.1 算法流程
道路車道線的識別會受到不同光照和不同氣候等條件的影響,光照過強或過弱、夜間、霧天、雨雪天等都會增加車道線識別的難度[3]。強光照射到路面的情形會增大圖像的平均灰度值,光強度的不均勻使得路面反射造成虛假邊緣。相反,光強度比較弱的時候,會降低圖像平均灰度值,尋找的信息不準(zhǔn)確等。雨、雪天對車輛行駛安全也有一定的影響,積雪、雨水覆蓋路面會產(chǎn)生比較亮的區(qū)域,亮區(qū)域會出現(xiàn)反光,嚴(yán)重影響車道線識別判斷。雨天雨點會影響圖像采集,路面會有徑流產(chǎn)生等,道路局部反光現(xiàn)象使得車道很難區(qū)分,很大程度上增加了車道線的識別難度[4]。大霧天氣下道路視覺模糊不清,道路信息覆蓋細(xì)節(jié)不清楚,路面信息和車道線分辨度降低,影響車道線識別。針對復(fù)雜環(huán)境下車道線識別,提出了圖1所示的算法整體流程。首先圖像采集并灰度化處理,然后進(jìn)行分類處理。強光下通過強光濾波減少虛假邊緣,再用索貝爾算子邊緣檢測有效的平滑噪聲并細(xì)化邊緣,能夠達(dá)到道路圖像的分割、配準(zhǔn)和識別的效果;弱光、黑夜光照很弱的情況下,面積算子能增強背景與車道線對比度,找到有效特征點;雨雪天,建立路面反射模型消除鏡面反射的虛假特征點;大霧天通過逆透視、變換差值分離實現(xiàn)道路信息與背景干擾信息的分離[5]。最后,對分類后的情況進(jìn)行SUNSAN算子邊緣增強,保留有效特征點,通過改進(jìn)霍夫變換,擬合出車道線,實現(xiàn)復(fù)雜環(huán)境下車道線的識別。
1.2 核心算子
(1) 面積算子。通過面積形態(tài)學(xué)運算對不同光照下的圖像進(jìn)行二值化,可以去除連通區(qū)域、有效抑制噪聲干擾、正確提取特征點,進(jìn)而提高識別準(zhǔn)確性和快速性[6]。定義連通區(qū)域如下:
式中:表示橫坐標(biāo)p、縱坐標(biāo)q的像素點;I表示像素點掃面長度。用S(·)表示像素,設(shè)亮、暗區(qū)域的像素分別為 1,0,像素S(·)=1 的像素點為,通過四連通或八連通找到像素點的p和q 的連接路徑如, 由可以得到連接區(qū)域的有效面積,最小面積閾值為a。面積閾值的合理取值是面積形態(tài)學(xué)運算的首要問題,閾值太大會導(dǎo)致車道線漏檢不連續(xù),閾值太小則不能去除噪聲。面積閾值選取要保證車道線特征完整保留而且沒有噪聲干擾,可以減少圖像處理計算量,提高精度識別要求。
(2) SUSAN 算子邊緣分割。夜間圖像信息干擾很大,不僅光照很弱而且車燈以及喇叭等噪聲硬性過大,對車道線識別影響加大。單純的應(yīng)用面積算子不能解決夜間行車問題,因此提出運用SUSAN 算子邊緣分割。如設(shè)定SUSAN 算子的一個圓形模板的像素點個數(shù)為n且半徑是r,黑色背景代表模板中心像素,通過以下公式計算 USAN 區(qū)的像素個數(shù):
(3) 路面積水鏡面反射模型。假設(shè)平面是兩層的路面,第一層包含著瀝青水泥等的有色層,顏色由本身以及反射光強度決定,屬于漫反射類型;第二層屬于積水層,顏色與入射光顏色一致,屬于模糊化的鏡面反射[7]。基于經(jīng)驗的反射模型就是把反射描述為環(huán)境光、漫反射、鏡面反射等部分的線性組合。第一部分是由物體表面的顏色決定,第二部分由本身的材質(zhì)和入射光強度決定。這兩部分的反射光的強度不受反射角影響,在入射角固定的情況下,任何一個角度觀察的兩個部分反射光強度都是固定的。第三部的鏡面反射會造成高光區(qū)域,本身顏色與光源一致,且與入射角和反射角的變化有關(guān),模型如下:
2 算法實現(xiàn)及實驗分析
2.1 不同光照下實驗及分析
在正常光照下車道線圖像平均灰度值比較均勻,可以直接對圖像進(jìn)分割匹配,直接進(jìn)行目標(biāo)圖像識別。但在強光、弱光、夜間不同情景下,如圖2所示,具有不同的光照度,車道線的識別要困難得多,需要分類處理,算法具體步驟如下:
(1) 圖像信息采集,對不同光照的圖像信息進(jìn)行分類,區(qū)分開強弱光照并進(jìn)行圖像灰度化。
(2) 強光照采用強光濾波;弱光照、夜間可采用面積算子,增強對比度。根據(jù)不同的光照度選取合適的閾值,實現(xiàn)二值化。
(3) 通過SUSAN算子進(jìn)行邊緣增強,準(zhǔn)確找到特征點,實現(xiàn)特征點提取。
(4) 采用改進(jìn)霍夫變換,擬合出車道線。
實驗結(jié)果如圖3、圖4所示。與圖2對應(yīng),圖3為不同光照下二值化結(jié)果。在強光下路面會有遮擋部分和陽光直射刺眼的部分,即存在強光和弱光兩種情況,如圖2(a)所示,因此需要對圖像區(qū)域進(jìn)行分割處理,以消除陰影干擾和強光道路曝光反射的影響。圖3(a)為強光照下二值化結(jié)果,可見車道線特征點清晰。弱光照下,可以通過面積算子直接進(jìn)行圖像二值化,通過邊緣增強提高其識別的準(zhǔn)確性,邊緣檢測既可以保留車道信息又能減少信息計算量。結(jié)果如圖3(b)所示,可見能夠順利提取弱光下的目標(biāo)特征點以及去除噪聲。夜間車道線識別可以用面積算子去噪后再進(jìn)行邊緣增強,這樣就不會覆蓋車道線信息。由于夜間光照度很弱,再加上月光、路燈和車燈的干擾,使本來就模糊不清的道路信息增加一定的噪聲干擾。二值化結(jié)果如圖3(c)所示,由于路面很多噪聲干擾,簡單處理后路面有大片白光,直接影響車道信息的獲取,因此需要對二值化結(jié)果進(jìn)一步處理。處理情況如圖4所示。其中,圖4(a)為有效區(qū)域強光濾波結(jié)果,通過選擇有效區(qū)域,有效地濾除月光、路燈和車燈等的影響,只處理車道線周圍區(qū)域,減少算法的計算量。顯而易見,地面的白光降低,車道信息增強了。圖4(b)顯示邊緣特征點的提取,通過邊緣特征點確定車道線的具體位置。在特征點提取的基礎(chǔ)上,采用改進(jìn)SUSAN算子實現(xiàn)車道線邊緣檢測和邊緣分割,如圖4(c)所示,顯然,與圖3(c)的結(jié)果比較,路面區(qū)域清晰很多,能清楚獲得車道線的具體位置,有效抑制噪聲干擾。
圖5、圖6分別為強光和夜間兩種情景下通過改進(jìn)霍夫變換擬合出的車道線結(jié)果(擬合的車道線用藍(lán)線標(biāo)識)。這些結(jié)果證明前述識別算法的可行性,能夠準(zhǔn)確、快速地識別車道線。
2.2 雨天、霧天情景下實驗與分析
日常生活中雨雪天氣、大霧天是很常見的,對車輛行駛安全有一定的影響。如圖7(a)所示,雨水覆蓋路面會產(chǎn)生比較亮的區(qū)域,亮區(qū)域會出現(xiàn)反光,另外雨天雨點會影響圖像采集且路面會有徑流產(chǎn)生等,道路局部反光現(xiàn)象很大程度上增加了車道線的識別難度(雪天也出現(xiàn)同樣影響)。
大霧天氣下道路視覺模糊不清,道路信息覆蓋細(xì)節(jié)不清楚,路面信息與車道線分辨度降低。不同天氣下同樣需要分類處理,算法具體步驟如下:
(1) 圖像信息采集。對雨雪、霧天的圖像信息進(jìn)行分類并進(jìn)行圖像灰度化。
(2) 雨雪天氣情況,結(jié)合攝像頭模型來擬合實際路面積水的鏡面放射模型,降低路面積水的鏡面反射,提高圖像處理的穩(wěn)定性和準(zhǔn)確性。大霧天氣情況,通過直方圖修正道路圖像灰度間距,增大道路和車道信息反差,通過逆透視變換對原始圖像進(jìn)行車道信息分離。
(3) 用SUSAN算子進(jìn)行邊緣增強,準(zhǔn)確找到特征點。
(4) 采用改進(jìn)霍夫變換,擬合出車道線。
實驗結(jié)果如圖8~圖10所示。
圖8(a)為雨天情況下簡單的二值化處理結(jié)果,顯然由于道路上有很多雨水,且前方雨珠遮擋視線,很難看到遠(yuǎn)處的信息,只能處理附近的車道線,難以獲得車道線特征點,路面和車道線的對比度沒有區(qū)分,無法識別車道線,因此需要進(jìn)一步處理。圖8(b)為霧天情況下簡單的二值化處理結(jié)果,由于霧天視線模糊,很難分辨出前方信息,車道線和路面整體對比度都很低,由圖8(b)看出路面信息與車道信息融合在一起,噪聲干擾很多,無法識別出車道線。如圖9所示,引入鏡面反射模型后處理效果得到很大改善,路面的其他信息點減弱許多,但噪聲干擾還存在,車道線的特征點還不是很明顯,但不影響車道線識別。圖10是霧天情況下引入逆透視變換及差值分離后的結(jié)果。通過直方圖修正道路圖像灰度間距,增大道路和車道信息反差,再通過逆透視變換處理后路面干擾信息減少,車道線位置明顯;進(jìn)一步地通過差值分離處理,減弱前方車輛干擾,使車道線信息更加明顯。
圖11、圖12分別為雨天和霧天兩種情景下通過改進(jìn)霍夫變換擬合出的車道線結(jié)果(擬合的車道線用藍(lán)線標(biāo)識)。這些結(jié)果也證明前述識別算法的可行性,實現(xiàn)道路信息的判斷。
3 結(jié) 語
通過實驗驗證了所提出的復(fù)雜環(huán)境下車道線識別算法能夠解決不同光照、雨雪、霧天等情況下車道線識別問題。但是,不同光照影響下道路信息會有所改變,光的反射和陰影都會造成偽邊緣,而雨雪天氣惡劣程度的不同,反射模型參數(shù)的選取以及閾值參數(shù)的設(shè)定都會不同,道路上行駛的車輛多少以及速度都會造成虛假邊緣。該算法在計算機(jī)的計算時間與應(yīng)用到自動駕駛汽車上的處理時間要求不同,今后還需對此算法進(jìn)一步優(yōu)化,提高其魯棒性。
參考文獻(xiàn)
[1] KIM Z W. Real time road detection by learning from one example [C]// Proceedings of 2005 IEEE Workshop on Application of Computer Vision. Washington, DC: ACM, 2005: 455?460.
[2] XU Youchun. Intelligent vehicle vision and GPS integrated navigation method research [D]. Jilin: Jilin University, 2001.
[3] 秦緒佳,王建奇,朱思達(dá),等.基于GPU的四維醫(yī)學(xué)圖像動態(tài)快速體繪制[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2011,23(11):1789?1798.
[4] 張銀霞.基于DM6437的車道線檢測方法的研究[D].合肥:合肥工業(yè)大學(xué),2012.
[5] 陳陽舟,閆豪杰,辛樂.車道線識別中的自適應(yīng)Canny邊緣檢測及改進(jìn)研究[J].交通信息與安全,2012(1):148?151.
[6] 鞠乾翱,應(yīng)忍冬,蔣樂天.基于機(jī)器視覺的快速車道線識別[J].計算機(jī)應(yīng)用研究,2013,30(5):1544?1546.
[7] 曾俊.圖像邊緣檢測技術(shù)及其應(yīng)用研究[D].武漢:華中科技大學(xué),2011.
[8] LEVOY M. Display of surfaces from volume data [J]. IEEE computer graphics and applications, 1988, 8(3): 29?37.
[9] 陳家哲,羅文廣,謝超藝,等.基于DM6437圖像序列中的直線檢測[J].廣西科技大學(xué)學(xué)報,2014,25(3):44?48.