張百睿， 鐘清華， 薛秀婷

華南師范大學(xué)物理與電信工程學(xué)院，廣州510006

由于駕駛員疲勞過度和疏忽致使車輛偏離車道而造成重大交通事故的比例逐年增長，車道偏移警告系統(tǒng)一直是智能交通的研究熱點(diǎn)[1-2]，它能在駕駛員無意識下造成車道偏離時(shí)發(fā)出警告.

車道偏移報(bào)警系統(tǒng)中最主要的一部分是車道線檢測方法，但車道中的環(huán)境較復(fù)雜，系統(tǒng)容易受到路況差異、環(huán)境亮度和城市路面交通標(biāo)記等復(fù)雜場景影響，引起車道線檢測失誤[3-6].如果采用二值化分方法進(jìn)行圖像的閾值分割[7-9]，就不能有效解決夜間的閾值分割問題.基于不同的道路圖像模型，采用模板匹配、神經(jīng)網(wǎng)絡(luò)和Hough變換等技術(shù)可較好地實(shí)現(xiàn)對車道線的識別[10-16]，但重組過程計(jì)算量巨大.在車道線檢測方法中，大多采用傳統(tǒng)的Sobel算子和Canny算子來實(shí)現(xiàn)邊沿檢驗(yàn)[12-13].但經(jīng)邊沿檢測后，不僅是車道線邊沿信息，而且車道標(biāo)識、車輛、行人等其他無用的輪廓線也同時(shí)增強(qiáng)了，這就使車道線的信息淹沒在無用信息當(dāng)中，無法準(zhǔn)確而快速地提取車道線.基于Hough變換的車道線提取算法也是使用較為廣泛的車道識別方法之一，其最大優(yōu)點(diǎn)是魯棒性強(qiáng)，但存在計(jì)算量和存儲(chǔ)空間需求大，運(yùn)算速度緩慢的不足.綜上所述，目前的車道線檢測方法準(zhǔn)確度低，運(yùn)算量大或占用內(nèi)存空間大，導(dǎo)致車道偏移報(bào)警系統(tǒng)在進(jìn)行車道偏移警示時(shí)具有準(zhǔn)確度低、響應(yīng)速度慢等缺點(diǎn).因此，目前的算法大多采用高性能的處理器進(jìn)行實(shí)現(xiàn)，在沒有浮點(diǎn)計(jì)算、缺乏除法器、難以存儲(chǔ)負(fù)數(shù)和片上資源較少的嵌入式處理器中不易實(shí)現(xiàn)，從而使該系統(tǒng)造價(jià)一直居高不下，影響普及應(yīng)用，無法讓廣大的駕駛員享受安全便利智能的駕駛環(huán)境.

針對上述問題，本文基于單目視覺識別應(yīng)用，提出一種魯棒的快速車道線偏移警告方法.它通過一系列的數(shù)字圖像處理從道路圖像中提取車道線信息，利用一種5～15車道線匹配方法代替?zhèn)鹘y(tǒng)的邊沿檢測，有效去除原圖像中的大量干擾信息，在提高識別效果的同時(shí)大大降低了運(yùn)算量.最后采用限定霍夫變換的區(qū)間和數(shù)據(jù)量、縮小霍夫變換投票空間的壓縮型霍夫變換對匹配結(jié)果進(jìn)行車道線提取.與傳統(tǒng)的霍夫變換相比，它減小了內(nèi)存使用量.實(shí)驗(yàn)證明該算法對實(shí)時(shí)車道線的識別非常有效，并成功移植到現(xiàn)場可編程門陣列(field programmable gate array,FPGA)上，滿足了全天候車道偏移警告的需求.

1 圖像預(yù)處理

為了突出車道線所在位置，減少圖像信息量，提高算法的高效性，需對包含車道線信息的圖像進(jìn)行預(yù)處理，其中包括基于區(qū)域統(tǒng)計(jì)的二值化處理和5～15的車道線匹配處理.

1.1 基于區(qū)域統(tǒng)計(jì)方式的二值化處理

從安裝在車輛前方的攝像頭獲得的道路信息圖像中，根據(jù)車道占據(jù)畫面的實(shí)際位置，選取左右兩個(gè)160×160的矩形作為感興趣區(qū)域(ROI)，見圖1.

圖1 感興趣區(qū)域(ROI)Figure 1 Region of interest

對感興趣區(qū)域進(jìn)行式(1)所示的中值濾波運(yùn)算，去除圖像獲取和傳輸過程中所含有的噪聲

式中，Sf(x,y)為點(diǎn)f(x,y)附近的一個(gè)3×3的小區(qū)域.

由于車道上的亮度環(huán)境比較復(fù)雜，必須使用動(dòng)態(tài)的閾值分割方式.考慮到夜間車燈的照射范圍和需要減少區(qū)域統(tǒng)計(jì)灰度分布時(shí)的運(yùn)算量，選取車道圖像中的中下部，即如圖2所示的近景區(qū)域進(jìn)行灰度分布統(tǒng)計(jì).本文把灰度劃分的區(qū)間由原來的256個(gè)調(diào)整為32個(gè)，消除了灰度分布曲線的毛刺對后期處理的影響，不僅可使分布曲線光滑，還能減少所占存儲(chǔ)空間，得到較好的二值圖像.

圖2 近景區(qū)域劃分Figure 2 Partition of close-range

1.2 5～15車道線匹配處理

由于車道線具有連續(xù)性和非突變性的特點(diǎn)，本文從該二值圖像中開始進(jìn)行以行間距為5像素的橫向檢測(如圖3所示)，得到的每行數(shù)據(jù)相當(dāng)于一組布爾量序列.根據(jù)采集圖像中車道線的寬度規(guī)格設(shè)定最小(5像素)和最大(15像素)兩個(gè)閾值作為車道線的寬度匹配閾值，然后對布爾量序列進(jìn)行分析，尋找是否存在連續(xù)且符合兩個(gè)閾值范圍的白點(diǎn)子集，并記錄下其中點(diǎn)的坐標(biāo)di(x,y).

圖3 橫向檢測Figure 3 Horizontal detection

為進(jìn)一步減少計(jì)算量，提高算法效率，并從消除路面標(biāo)志影響的角度出發(fā)，在左邊平面匹配出車道線后，根據(jù)道路的寬度規(guī)格，跳過一定距離D的像素點(diǎn)再進(jìn)行匹配，距離D如式(2)所示

式中，xmid為布爾量序列中點(diǎn)的位置，在本文中該變量取160；i為上述白點(diǎn)子集的起始位置；w為連續(xù)的白點(diǎn)數(shù)目.

2 壓縮型霍夫變換算法提取車道線

Hough變換通常對二值圖像進(jìn)行直線檢測，其原理如下：在直角坐標(biāo)系下的一點(diǎn)D(x,y)對應(yīng)于變換空間中的一條曲線ρ=r(θ)，而直角坐標(biāo)系下的一條直線y=ax+b對應(yīng)于變換空間的一點(diǎn)P(ρ,θ).反之，在直角坐標(biāo)系中屬于一條直線的共線點(diǎn)，在變換空間中相交于一點(diǎn)，由該點(diǎn)P(ρ,θ)的參數(shù)可以換算出直線的參數(shù).坐標(biāo)空間的變換關(guān)系為

通過計(jì)算變換空間中投票統(tǒng)計(jì)后各曲線相交于同一點(diǎn)的次數(shù)，即可確定對應(yīng)的直角坐標(biāo)系下的直線段分布情況.變換空間中次數(shù)越大的點(diǎn)，所對應(yīng)的直線段越長.在車道線提取的過程中，車道線一般是所在平面中最長的線段，即為變換空間中次數(shù)最多的點(diǎn).求得變換空間中符合該情況的點(diǎn)，就可以計(jì)算出車道線參數(shù).

Hough變換最明顯的優(yōu)點(diǎn)是魯棒性強(qiáng)，但所需的計(jì)算量和存儲(chǔ)空間均很大.本文采用一種壓縮型Hough變換對車道線匹配結(jié)果進(jìn)行車道線提取.經(jīng)過匹配處理后的圖像首先分為如圖4所示的左右兩個(gè)感興趣矩陣區(qū)域，圖像原點(diǎn)分別在左右感興趣矩陣的左上角.與傳統(tǒng)的車道識別方法不同，本文忽略正常行使時(shí)的車道線，僅從車道將要偏移時(shí)開始進(jìn)行車道線識別，進(jìn)一步壓縮了計(jì)算量.

研究發(fā)現(xiàn)，可能存在車道偏移情況下的車道線所在范圍如圖4中灰色部分所示，此時(shí)使用Hough變換提取車道線的θ取值范圍左邊為10°～41°，右邊為-41°～-10°，代入式(3)得到對應(yīng)的ρ取值范圍左邊為[0,224]，右邊為[-104,156].在量化過程中選取θ的步長為1°，ρ的步長為4.以上取值可減少運(yùn)算量，避免道路上無關(guān)信息的干擾，也可滿足車道線提取的要求.

圖4 感興趣矩陣霍夫變換Figure 4 Hough transform of ROI

為了適應(yīng)片上資源缺乏的處理器，將算法所需要的正余弦計(jì)算結(jié)果預(yù)先計(jì)算完成，并以整數(shù)形式存儲(chǔ).運(yùn)算時(shí)采用查表的方式讀取，大大減少運(yùn)算過程中的計(jì)算時(shí)間.

又由于右感興趣矩陣與左感興趣矩陣的計(jì)算取值范圍較為相似，將右感興趣矩陣以中線為對稱軸進(jìn)行水平鏡像處理，如圖5所示.即可使用左感興趣矩陣的運(yùn)算單元來處理右方區(qū)域，并且避免了負(fù)數(shù)的產(chǎn)生.

圖5 右感興趣矩陣鏡像處理Figure 5 Mirror processing of right ROI

Hough變換后可得到兩個(gè)感興趣矩陣的變換區(qū)間.提取共線點(diǎn)數(shù)目大于8的值作為最長線段進(jìn)行車道線越線判決，并根據(jù)式(4)和(5)分別計(jì)算出左線或右線與底邊的夾角和交點(diǎn)

最后根據(jù)實(shí)際情況決定當(dāng)前的圖像是否存在越線現(xiàn)象，本文設(shè)定的左越線和右越線判決依據(jù)分別為式(6)和(7)

由于車道線具有非突變性的特點(diǎn)，本文設(shè)定連續(xù)2幀都出現(xiàn)越線現(xiàn)象時(shí)才輸出越線警告，此法能保證越線判據(jù)的正確性.

3 實(shí)驗(yàn)結(jié)果與分析

為了測試算法效果，本文采用實(shí)際道路照片和視頻進(jìn)行車道線偏移警告算法的驗(yàn)證.首先對道路上拍攝的靜態(tài)照片和隨車安裝在前擋風(fēng)玻璃拍攝所得的視頻處理為320×240像素的jpg和avi文件，再利用本算法進(jìn)行處理.計(jì)算環(huán)境為Q9400 CPU、2GB內(nèi)存的計(jì)算機(jī)，采用MATLAB進(jìn)行編程，算法整體流程圖如圖6所示.

圖6 算法整體流程圖Figur e 6 Lane departure detection algorithm

3.1 基于區(qū)域統(tǒng)計(jì)的二值化處理結(jié)果

對于劃分為如圖7(a)所示感興趣的區(qū)域，使用32個(gè)等長灰度區(qū)間對其中的近景區(qū)域進(jìn)行灰度直方圖的統(tǒng)計(jì)，如圖7(b)所示.利用其統(tǒng)計(jì)結(jié)果再采用迭代法對原圖像進(jìn)行二值化處理，得到如圖7(c)所示的二值圖像.

圖7 圖像預(yù)處理Figure 7 Image preprocessing

3.2 基于5～15的車道線匹配處理效果

以圖3中第20次橫向檢測結(jié)果的布爾量序列為例，其結(jié)果可以表示為一個(gè)一維波形圖像(如圖8所示)，其左、右車道線的連續(xù)白點(diǎn)數(shù)量均為13，路面中間箭頭標(biāo)志的連續(xù)白點(diǎn)數(shù)量為25.利用上述車道線匹配算法，根據(jù)車道線的寬度閾值，可以容易地匹配出車道線，得到其中點(diǎn)的所在位置.

圖8 第20次橫向檢測結(jié)果Figure 8 Result of the 20th horizontal detection

相比于傳統(tǒng)使用邊沿檢測對二值化圖像進(jìn)行處理的車道線圖像增強(qiáng)方法，本匹配算法更有效地排除了車道上的大量無關(guān)信息，增強(qiáng)了算法的魯棒性，如圖9所示.

圖9 與邊沿檢測對比Figure 9 Compared with edge detection

采取行間距為5像素的橫向檢測，相當(dāng)于僅對感興趣區(qū)域中20%的信息進(jìn)行處理，經(jīng)過在MATLAB上多次實(shí)驗(yàn)表明(見表1)，本匹配算法有效地提高了計(jì)算速度.

3.3 車道線提取算法結(jié)果

表2所示為其中一次Hough變換后，右車道線變換域的最大值，可得右車道線的各項(xiàng)參數(shù)分別如下：極坐標(biāo)系數(shù)為ρRline=4，θRline=-24°，與底邊夾角為αRline=66°，與底邊交點(diǎn)為xRend=75.6.根據(jù)右線的判決依據(jù)可知此處出現(xiàn)了右車道線的越線情況.

表1 算法運(yùn)行時(shí)間比較Table 1 Algorithm speed comparison

3.4 算法整體測試結(jié)果

不同道路環(huán)境越線情況下的識別結(jié)果如圖10所示.對于不同的道路環(huán)境，本算法不但能準(zhǔn)確地識別出車輛越線的情況，而且解決了路面標(biāo)識、夜間燈光等影響對車道線識別所產(chǎn)生的影響.在上述計(jì)算環(huán)境下，處理單張靜態(tài)圖片花費(fèi)時(shí)間約為19ms，處理視頻數(shù)據(jù)每幀耗時(shí)約為24ms，詳細(xì)結(jié)果統(tǒng)計(jì)如表3所示，完全滿足實(shí)時(shí)性的要求.

表2 右車道線霍夫變換域最大值Table 2 Hough transform f ields of maximum values of the right lane lines

圖10 不同道路環(huán)境下的識別結(jié)果Figure 10 Recognition results of different road environments

表3 視頻處理結(jié)果統(tǒng)計(jì)Table 3 Results of the video processing statistics

對于特殊的路面環(huán)境所產(chǎn)生的干擾問題，如前車阻擋、路面標(biāo)示、斑馬線、文字、井蓋、夜間燈光影響或道路的指示線有破損等情況，由于采用了第2節(jié)中所提及的連續(xù)2幀判斷方法，并在車速大于50km/h時(shí)才開始運(yùn)行警告，本算法能夠排除干擾，準(zhǔn)確地進(jìn)行識別，其識別結(jié)果見圖11.

圖11 特殊路面環(huán)境識別結(jié)果Figure 11 Recognition results of special road environments

3.5 算法移植

本文的算法已成功移植到Altera公司CycloneⅡ系列的FPGA(型號為EP2C35F672C6)上.系統(tǒng)通過ADV7181視頻采集芯片對模擬信號輸出的攝像頭進(jìn)行信號采集，利用FPGA進(jìn)行信號處理，若出現(xiàn)越線現(xiàn)象則發(fā)出警告.為滿足實(shí)時(shí)性的需求，其中圖像處理算法采用硬核固件實(shí)現(xiàn)，并在FPGA上建立SOPC系統(tǒng)，采用電路硬核和NIOSⅡ軟核協(xié)同處理的方式，對處理速度要求不高的控制功能用NIOSⅡ軟核來完成，以滿足系統(tǒng)靈活性需求.整個(gè)系統(tǒng)所占用硬件資源的情況如圖12所示.由圖可見整個(gè)處理算法只占用14169個(gè)邏輯單元(logic elements,LE)，對比現(xiàn)有系統(tǒng)[17]，需要的硬件的資源更少，效率更高.

4 結(jié)語

圖12 系統(tǒng)占用資源情況Figure 12 Resource consumption of the system

本文針對基于視覺感知的識別方式，提出一種魯棒的車道線偏移警告快速算法.根據(jù)道路圖像，通過數(shù)字圖像和視覺技術(shù)的處理，提取車道線的信息，利用一種簡便的5～15車道線匹配方法代替?zhèn)鹘y(tǒng)的邊沿檢測算法，有效去除原圖像中的大量干擾信息，提高了識別效果，大大降低了運(yùn)算量.再采用壓縮型Hough變換方法針對匹配結(jié)果進(jìn)行車道線提取.與傳統(tǒng)的Hough變換相比，該方法減小了內(nèi)存使用量.實(shí)驗(yàn)證明該算法對車道線的識別非常有效，不僅在速度上符合實(shí)時(shí)性的要求，而且適合在FPGA等片上資源較缺乏的處理器上運(yùn)行.

[1]MCCALL J C,TRIVEDI M M.Video-based lane estimation and tracking for driver assistance:survey,system,and evaluation[J].IEEE Transaction on Intelligent Transportation Systems,2006,7(1):20-37.

[2]ASSIDIQ A A,KHALIFA O O,ISLAM M R．Real time lane detection for autonomous vehicles[C]//International Conference Computer and Communication Engineering.Kuala Lumpur: IEEE Press,2008:82-88.

[3]LEEJ W.A machine vision system for lane-departure detection[J].Computer Vision and Image Understanding,2002,86(1):52-78.

[4]CLANTONJ M,BEVLY D M,HODEL A S.A low-cost solution for an integrated multisensor lane departure warning system[J].IEEE Transactions on Intelligent Transportation Systems,2009,10(1):47-59.

[5]CUALAIN D O,GLAVIN M E,JONES E.Multiplecamera lane departure warning system for the automotive environment[J].IET Intelligent Transport Systems,2012,6(3):223-234.

[6]KANGD J,JUNGM H.Road lane segmentation using dynamic programming for active safety vehicles[J].Pattern Recognition Letters,2003,l6(1):3177-3185.

[7]HE Y,WANG H,ZHANG B.Color-based road detection in urban traffic scenes[J].IEEE Transactions on Intelligent Transportation Systems,2004,5(4):309-318.

[8]D'CRUZ C,ZOU J J.Lane detection for driver assistance and intelligent vehicle applications[C]//International Symposium on Communications and Information Technologies.Sydney:IEEE Press,2007:1291-1296.

[9]BENMANSOUR N,LABAYRADE R,AUBERT D.Stereovision-based 3D lane detection system: a model driven approach[C]//11th International IEEE Conference on Intelligent Transportation Systems.Beijing:IEEE Press,2008:182-188.

[10]ZHOU Y,XU R,HU X F.A robust lane detection and tracking method based on computer vision[J].Measurement Science and Technology,2006,17(4):736-745.

[11]BERTOZZI M,BOMBINI L,BROGGI A．GOLD:a framework for developing intelligent-vehicle vision applications[J].IEEE Transaction on Intelligent Systems,2008,23(1):69-71.

[12]CHEN S Y,HSIEH J W.Edge-based lane change detection and its application to suspicious driving behavior analysis[C]//International Conference Intelligent Information Hiding and Multimedia Signal Processing.Kaohsiung:IEEE Press,2007:415-418.

[13]SHEN Huan,LI Shunming,BO Fangchao.Intelligent vehicles oriented lane detection approach under bad roadscene[C]//IEEE Ninth International Conference on Computer and Information Technology.Xiamen.IEEE Press,2009:177-182．

[14]WU C F,LIN C J,LEE C Y.Applying a functionalneurofuzzy network to real-time lane detection and front-vehicle distance measurement[J].IEEE Transactions on Systems,Man,and Cybernetics—PART C:Applications and Reviews,2012,42(4):577-589.

[15]LEE J W,YI U K.A lane-departure identif ication based on LBPE,Hough transform,and linear regression[J].Computer Vision and Image Understanding,2005,99(3):359-383.

[16]FARRDI B,WANIELIK G.Hough transformation based approach for road border detection in infrared image[C]//Proceeding of IEEE Intelligent Vehicles Symposium.Parma:IEEE Press,2004:549-554.