黃武陵

智能車輛的道路檢測及其應(yīng)用

黃武陵

（中國科學(xué)院自動化研究所，北京100190）

道路檢測是智能車輛環(huán)境感知的主要內(nèi)容，也是實現(xiàn)自動駕駛的基礎(chǔ)。由于交通道路環(huán)境多樣、復(fù)雜，車道檢測存在許多挑戰(zhàn)。本文總結(jié)了相關(guān)工作，以縮微智能車輛驗證平臺為例，從車道檢測系統(tǒng)的嵌入式平臺構(gòu)建、典型車道線檢測算法分析、車道預(yù)警應(yīng)用等方面入手，分析了典型道路檢測技術(shù)實現(xiàn)，可作為智能車輛相關(guān)功能實現(xiàn)的技術(shù)參考。

智能車輛；視覺感知；道路檢測；車載嵌入式平臺

引 言

環(huán)境感知功能是實現(xiàn)自動駕駛的基礎(chǔ)，以視覺傳感器為主的智能車輛環(huán)境感知模塊必須能夠檢測和識別行駛車道及周邊的目標，包括結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路信息、行駛環(huán)境中行人和車輛、交通信號燈和交通標志等［3］。其中，道路檢測模塊通過檢測結(jié)構(gòu)化和非結(jié)構(gòu)化的道路信息，準確獲得本車相對于車道的位置和方向，為環(huán)境感知功能提供最基礎(chǔ)的支撐。

以道路檢測為基礎(chǔ)，可以衍生出智能車輛的高級輔助駕駛系統(tǒng)（ADAS）的車道偏離預(yù)警等許多具體應(yīng)用，常用的有Mobileye AWS、Daimler Chrysler的Auto Vue和卡內(nèi)基梅隆大學(xué)的AURORA等系統(tǒng)。以Mobileye的C2 270為例（見圖1），包括固定于擋風(fēng)玻璃內(nèi)側(cè)的視覺傳感器（高動態(tài)CMOS攝像機和SeeQ圖像處理模塊）、聲音警報蜂鳴器、Eye Watch顯示及控制裝置等，提供了車道偏離警告、車距監(jiān)測與警告、行人碰撞警告等功能，有效減少了交通事故，提高了駕駛安全性［6］。

由于受交通標志線新舊磨損、光照條件和多變天氣、周邊車輛遮擋等交通環(huán)境復(fù)雜性因素影響，道路檢測技術(shù)一直是智能車輛視覺感知的難題，還在不斷研究以改進其可靠性和魯棒性［14-15］。除了雨雪天氣、車道線缺失等復(fù)雜情況下還需要進一步結(jié)合多傳感器融合進行推理判斷［13］，針對城市結(jié)構(gòu)化道路的檢測技術(shù)已經(jīng)相對比較成熟，而針對鄉(xiāng)村和越野等情況下的非結(jié)構(gòu)化道路檢測，則還在研究和發(fā)展中，需要采用機器學(xué)習(xí)等方法來對復(fù)雜環(huán)境進一步理解判斷［2］。近來，在結(jié)合傳統(tǒng)道路檢測技術(shù)的基礎(chǔ)上，采用深度學(xué)習(xí)技術(shù)將可能極大改進車道檢測精度和效果［12］。

本文主要包括道路檢測技術(shù)綜述、基于縮微智能車輛平臺的道路檢測系統(tǒng)分析、基于道路檢測技術(shù)的典型車載應(yīng)用等內(nèi)容。

圖1　Mobileye的C2-270

1　道路檢測技術(shù)綜述

城市交通環(huán)境中一般都是標準的結(jié)構(gòu)化道路，有清晰車道標志線和道路邊界。車載視覺系統(tǒng)中一般假設(shè)距攝像機近的車道線方向變化不大（即道路曲率變化很?。?，可以用直線來擬合車道線［9］；而在道路曲率變化較大的彎道處，可以采用多種曲線形式進行車道擬合［10］。鄉(xiāng)村公路等非結(jié)構(gòu)化道路在結(jié)構(gòu)上符合道路的特征，但一般缺少車道線等標志，無法采用結(jié)構(gòu)化道路所用的車道線檢測方法，一般采用基于機器學(xué)習(xí)的檢測算法來識別車道及其邊界，完成道路檢測。本文中主要討論城市結(jié)構(gòu)化道路檢測。

1.1結(jié)構(gòu)化道路檢測中的假設(shè)

結(jié)構(gòu)化道路有建設(shè)和施工國家標準，道路輪廓和曲率都遵循規(guī)則，道路區(qū)域和非道路區(qū)域有明顯車道線和道路邊緣。在結(jié)構(gòu)化道路檢測的具體實現(xiàn)中，一般對條件進行適當(dāng)簡化假設(shè)。例如，使用道路形狀假設(shè)以簡化道路模型，比如采用直線、回旋曲線、雙曲線等多項式曲線來表示車道線，并采用Hough變換進行匹配［4］。一般還可對道路寬度和平坦度進行假設(shè)，認為道路寬度固定或變化比較緩慢，并且道路平坦、兩個邊緣平行。此外，還可以對道路特征一致性進行假設(shè)，認為圖像中的路面區(qū)域具有一致的顏色、紋理等特征，而非道路區(qū)域則沒有，故可采用聚類方法來檢測道路區(qū)域。最后，為了加快道路檢測的速度，可以設(shè)定感興趣的區(qū)域，并進行分析和尋找期望特征，而無須對整幅圖像進行分析。

1.2結(jié)構(gòu)化道路的直道和彎道檢測

在直道檢測中，可以利用距離攝像機不遠處曲率變化很小的假設(shè)，近似用直線來擬合車道線，利用車道線信息進行道路區(qū)域與非道路區(qū)域的分割，從而完成道路檢測［5］。道路邊緣檢測主要包括圖像預(yù)處理、邊緣提取和二值化等步驟。其中，圖像預(yù)處理一般先選定圖像感興趣區(qū)域，用中值濾波、均值濾波、高斯濾波等消除噪聲，再采用膨脹腐蝕等方法進行邊緣增強，然后進一步進行邊緣提取，根據(jù)算法執(zhí)行時間和邊緣檢測結(jié)果綜合考慮選用Sobel、Canny、Gauss Laplacia等算子進行邊緣檢測，最后完成道路檢測。

在彎道檢測中，不僅要識別出道路邊界線，還需要判斷道路彎曲的方向，確定彎道曲率半徑。選取適合的曲線模型來描述彎道車道線并由圖像數(shù)據(jù)擬合出可靠的曲線方程參數(shù)，一般采用車載視頻圖像透視變換之后的俯視圖進行車道擬合。常用的彎道檢測方法可分為基于道路特征的方法和基于道路模型的方法［8］?；诘缆诽卣鞯姆椒ㄔ诘缆窐司€明顯且標線完整等條件下檢測效果較好，基于道路模型的方法則具備更好的適應(yīng)性，可以克服道路特征檢測方法的弊端，因此，一般多采用基于道路模型的方法進行彎道檢測，將彎道檢測轉(zhuǎn)化為各種曲線模型中數(shù)學(xué)參數(shù)的求解問題，一般包括建立彎道模型、提取車道線像素點，以及擬合車道線模型等主要步驟［7］。

2　基于縮微智能車輛平臺的道路檢測

2.1智能車輛道路檢測驗證方案

道路檢測涉及車輛環(huán)境感知核心，一般要求在幾十毫秒內(nèi)得到車道檢測結(jié)果，實時性要求較高。由于涉及圖像處理，要求處理器具備較高的運算性能，一般專用處理器進行系統(tǒng)構(gòu)建。例如Mobileye的系統(tǒng)中，采用了與意法半導(dǎo)體聯(lián)合設(shè)計的EyeQ視覺處理器，結(jié)合Mobileye先進的視覺處理技術(shù)，EyeQ視覺處理器才能在要求的時間內(nèi)完成行駛環(huán)境中車道、交通標志和行人等目標檢測處理。2016年7月1日，Mobileye、Intel與BMW三家企業(yè)宣布，希望Mobileye把算法集成到Intel最新的高性能自動駕駛計算平臺上。

為了驗證智能車輛自動駕駛功能，構(gòu)建了室內(nèi)縮微交通環(huán)境，如圖2所示，總面積70 m2左右，能夠進行縮微智能車輛的直道行駛、彎道行駛、橋梁行駛、交叉口匯入、避障超車、十字路口、交通標志識別和岔道口行駛等典型交通情景自動駕駛測試。

圖2　用于驗證智能車輛技術(shù)的室內(nèi)縮微交通環(huán)境

智能車輛采用縮微的HPI Cup Racer小車、Web Camera、速度傳感器、MEMS加速度和陀螺儀、超聲傳感器等構(gòu)建，車輛行駛電機和轉(zhuǎn)向舵機采用AVR單片機控制，主處理模塊初版采用AMD雙核x86工業(yè)控制板，新版采用NVIDIA Tegra K1平臺構(gòu)建，如圖3所示。

NVIDIA Tegra K1平臺作為處理模塊和傳感器接口，處理像機視覺圖像和LIDAR測距掃描數(shù)據(jù)，進行車道、交通信號、障礙物和可行駛區(qū)檢測，通過串口整合GPS模塊、慣性測量單元（IMU）、轉(zhuǎn)向角和碼盤輪速檢測等傳感器。Tegra K1運行Ubuntu Linux 14.04，集成ROS和OpenCV4Tegra，提供TK1 CUDA編譯代碼支持視覺圖像處理和機器學(xué)習(xí)等任務(wù)，可以本地編譯TK1 CUDA代碼或在Linux開發(fā)主機進行交叉編譯。除此之外，在Ubuntu版本中還包含豐富的ARM預(yù)編譯軟件包，大大減少了構(gòu)建系統(tǒng)所需時間?；贘TK的開放架構(gòu)，方便實現(xiàn)基于OpenCV4Tegra支持的道路檢測算法。

圖3　基于Tegra K1的智能車輛感知方案

2.2智能車輛車道檢測算法

在室內(nèi)縮微交通環(huán)境下，智能車輛采用比較常見的基于雙曲線模型的車道識別算法來檢測直道和彎道［11］，并且可根據(jù)需要進行車道跟蹤。其中，車道檢測重點是車道線邊緣點搜索和車道線邊緣曲線擬合等，其算法簡要流程如圖4所示。

圖4　車道檢測算法簡要流程

首先從攝像頭讀取視頻幀進行重新采樣，將RGB圖像轉(zhuǎn)為YCbCr顏色空間，同時設(shè)置感興趣區(qū)域（ROI），通過Sobel等算子進行圖形邊緣增強，進行圖像自適應(yīng)二值化分割處理，通過Canny邊緣檢測算子進行不連續(xù)的道路邊緣提取。采用Hough變化得到道路內(nèi)的候選直線，根據(jù)左右車道線夾角和車道線寬等約束，篩選出距車輛坐標系原點最近的兩條直線。

首先在篩選出的Hough直線附近通過自適應(yīng)車道線特征點搜索算法進行搜索，采用擬合算法進行搜索到的特征點擬合，然后根據(jù)擬合車道線及像素梯度、灰度等信息構(gòu)建車道置信度函數(shù)，最后根據(jù)置信度判斷當(dāng)前幀車道線識別成功預(yù)購，再轉(zhuǎn)入車道跟蹤算法，完成車道跟蹤。

（1）Hough變換原理

Hough變換是利用圖像的全局特性，在二維像素中尋找直線、圓及其他簡單形狀曲線的一種方法。將表決原理運用于參數(shù)估計，利用曲線上的點表決產(chǎn)生目標參數(shù)組，使分割過程具有較強的魯棒性。

（2）建立車道線模型

常見的車道線模型中，直線模型簡單但彎道時誤差較大，B樣條曲線模型計算復(fù)雜度較高，三次曲線模型對道路邊緣噪聲點干擾比較敏感且計算量也較大。雙曲線模型可以同時描述直道和彎道模型，且模型簡單、計算速度較快。

式中，（x，y）表示圖像上點的像素坐標，a、b、c分別為車道線的曲率、起始點的切線斜率、車道線的截距，h控制消失點遠近。因車載相機固定，消失點圖像縱坐標可近似不變，只需在圖像坐標系中求解參數(shù)a、b、c即可。

（3）車道線特征點搜索

道路圖像經(jīng)邊緣增強后必須從諸多的邊界信息中識別出道路邊界。如圖5所示，在結(jié)構(gòu)化道路上，車道邊界線亮度值較高，而邊界線附近的路面亮度值較低，車道線兩側(cè)的亮度值會發(fā)生突變。因此，可以基于該特征進行道路邊緣點篩選。

圖5　車道線灰度變化特征

通過Hough變化獲得候選直線，根據(jù)車道線特征篩選出左右車道直線，在車道直線下端點附近設(shè)置搜索范圍，尋找特征點。一般可以基于行駛路面灰度均勻分布的特征，采用預(yù)設(shè)閾值的方法對尋找出的每行中最大灰度跳變的特征點進行預(yù)處理，同時去除道路區(qū)域上灰度跳變小于預(yù)設(shè)閾值的特征點。若符合車道線特征點條件，則沿著特征點下一行找候選車道線特征點集，當(dāng)車道線特征點坐標超出設(shè)定的ROI區(qū)域，當(dāng)前幀車道線特征點搜索完畢；否則，將搜索范圍增大，重新尋找特征基點，再結(jié)合距離、角度、車道線寬等約束排除不滿足要求的點。當(dāng)預(yù)處理后剩余特征點的個數(shù)超過一定值時，啟動車道線擬合算法。

（4）車道線擬合

為減少噪聲對擬合結(jié)果的影響，所有搜索到的車道線基點不參與車道線的擬合，只有當(dāng)擬合點（車道線特征點）個數(shù)大于閾值時才進行擬臺。結(jié)合最小二乘擬合原理，可取目標函數(shù)為：

為使f（a，b，c）取得極小值，車道線參數(shù)a、b、c滿足式（3），求解可得到線型雙曲線的系數(shù)a、b、c，用最小二乘法分別擬合左右邊界線，初步完成候選車道標線的識別。

3　基于道路檢測技術(shù)的車載應(yīng)用

3.1基于道路檢測的車道偏離預(yù)警

道路檢測為智能車輛車道偏離預(yù)警功能提供支撐，如圖6所示，車道偏離預(yù)警系統(tǒng)中，車道檢測模塊主要是即時地獲得車輛與車道線的即時夾角與相對距離等參數(shù)，并將信息發(fā)送給車載電控單元（ECU）判斷是否需要警示。如果車輛在無轉(zhuǎn)向信號情況下開始偏離車道，而ECU判定車輛已處于警示狀態(tài)，則自動進行駕駛員警示，提醒立即作出處理。

圖6　車道偏離預(yù)警系統(tǒng)組成

可以采用基于車輛當(dāng)前位置判定（Car's Current Position，CCP）、基于車輛將出現(xiàn)的偏移量判定（Future Offset Difference，F(xiàn)OD）、基于車輛橫越邊界時間進行判定（Time to Lane Crossing，TLC）等多種車道偏離預(yù)警系統(tǒng)評判標準。例如TLC判定法可以根據(jù)車輛當(dāng)前的運動狀態(tài)，建立未來幾秒鐘內(nèi)車輛運動的假設(shè)，估算出車輛駛離某一側(cè)車道所需的時間，從而提前預(yù)測出將要出現(xiàn)的車道偏離。

在車道偏離預(yù)警分析時，結(jié)合道路檢測進行判斷，如果是直道時，假設(shè)車輛保持當(dāng)前方向行駛，此時車輛相對于車道線的方向角為θ，當(dāng)前車輛中心與車道中心線的橫向偏移量為y0，某一時間段內(nèi)車輛行駛的直線距離為l，某一時間段內(nèi)車輛行駛的橫向距離為y（l），由此假設(shè)得到以下描述：

假如車輛行駛在彎道上，則接下來要保持某一轉(zhuǎn)角運動，可以類似于車道線的回旋曲線模型來描述。設(shè)車輛曲線運動的曲率為Cc（可通過轉(zhuǎn)向盤轉(zhuǎn)角測算），其近似方程為：

可以根據(jù)汽車的具體尺寸換算成車輪的偏移：

車輛的運動曲線與所檢測的相應(yīng)車道邊線的交點之外，設(shè)定一個越線距離，結(jié)合車輛的運動速度，計算出車道偏離時間，可與規(guī)定閾值進行比較來判斷是否需要進行預(yù)警。

3.2縮微環(huán)境下的道路檢測結(jié)果

道路檢測模塊為自動駕駛提供了許多參數(shù)，可以在車道檢測基礎(chǔ)上實現(xiàn)智能車輛的許多功能，例如車道偏離預(yù)警等。Mobileye的EyeQ提供的道路檢測結(jié)果參數(shù)如表1所列。

表1　Mobileye的EyeQ提供道路檢測結(jié)果

本文所用的車道檢測算法比Mobileye簡單得多，如圖7所示，在縮微交通環(huán)境中，進行車道圖像處理和車道線檢測過程得到的二值化圖像、邊緣檢測圖像、車道線圖像，其中圖7（c）中的白色線段標記車道線檢測結(jié)果，可以看出所用車道線檢測方法有較好效果。

在縮微智能車輛高性能JTK主板上運行道路檢測算法，平均處理一幅圖像的時間為35 ms，可以滿足主控器與車輛底層控制模塊的50 ms數(shù)據(jù)交互周期硬性要求，從而使得縮微智能車輛可以以較快速度行駛。

在車道檢測基礎(chǔ)上，結(jié)合相機標定所得的坐標轉(zhuǎn)換矩陣，獲得以智能車為原點的二維坐標系下表示的車道線與智能車的即時夾角和距離等參數(shù)。結(jié)合這些參數(shù)以及TLC判定法，即可實現(xiàn)車道偏離預(yù)警等演示功能。

結(jié) 語

道路檢測是智能車輛環(huán)境感知的重要內(nèi)容。本文通過道路檢測技術(shù)的簡要綜述，結(jié)合縮微交通環(huán)境下的智能車輛平臺的道路檢測系統(tǒng)分析，以及基于道路檢測技術(shù)的典型車載應(yīng)用等內(nèi)容，總結(jié)了道路檢測系統(tǒng)的構(gòu)建方案，分析典型道路檢測技術(shù)實現(xiàn)，可作為智能車輛相關(guān)功能實現(xiàn)的技術(shù)參考。隨著深度學(xué)習(xí)研究進展和相關(guān)應(yīng)用技術(shù)的不斷成熟，現(xiàn)有道路檢測算法可以升級到深度學(xué)習(xí)架構(gòu)上。本文所提出的深度學(xué)習(xí)的環(huán)境感知平臺可以作為后續(xù)研究的參考方案。

［1］Jetson TK1［EB/OL］.［201608］.http：//elinux.org/Jetson_ TK1.

［2］周圣硯.基于學(xué)習(xí)算法的智能車輛非結(jié)構(gòu)化道路檢測技術(shù)研究［D］.北京：北京理工大學(xué)，2014.

［3］陳龍.城市環(huán)境下無人駕駛智能車感知系統(tǒng)若干關(guān)鍵技術(shù)研究［D］.武漢：武漢大學(xué)，2013.

［4］騰今朝，邱杰.利用Hough變換實現(xiàn)直線的快速精確檢測［J］.中國圖象圖形學(xué)報，2008，13（2）：234237.

［5］姬雪嬌.基于視覺信息的縮微車自主駕駛研究［D］.北京：清華大學(xué)，2011.

［6］Mobileye.Mobileye C2270［EB/OL］.［201608］.www. mobileye.com/zhcn/產(chǎn)品/mobileye c2270/.

［7］陸正辰.基于多縮微車的智能交通系統(tǒng)仿真平臺研究［D］.上海：上海交通大學(xué)，2013.

［8］王科.城市交通中智能車輛環(huán)境感知方法研究［D］.長沙：湖南大學(xué)，2013.

［9］Qing Li，Nanning Zheng，Hong Cheng.Springrobot：a prototype autonomous vehicle and its algorithms for lane detection［J］.Intelligent Transportation Systems，2004，5（4）：300308.

［10］王永忠，王曉云，文成林，等.梯度點對約束的結(jié)構(gòu)化車道檢測［J］.中國圖象圖形學(xué)報，2012，17（6）：657663.

［11］陳本智.基于雙曲線模型的車道識別與偏離預(yù)警［J］.計算機應(yīng)用，2013，33（9）：6265.

［12］J Li，X Mei，D Prokhorov.Deep Neural Network for Structural Prediction and Lane Detection in Traffic Scene［J］. IEEE Transactions on Neural Networks and Learning Systems，2016（2）.

［13］Y C Leng，C L Chen.Vision-based lane departure detection system in urban traffic scenes［C］//Control Automation Robotics&Vision（ICARCV），2010 11th International Conference on，Singapore，2010.

［14］X Liu，G Wang，J Liao，et al.Detection of geometric shape for traffic lane and mark［C］//Information and Automation（ICIA），2012 International Conference on，Shenyang，2012.

［15］J Yu，M Zuo.A Video-Based Method for Traffic Flow Detection of Multi-lane Road［C］//2015 Seventh International Conference on Measuring Technology and Mechatronics Automation，Nanchang，2015.

Road Detection and Application of lntelligent Vehicle

Huang Wuling
（Institute of Automation，Chinese Academy of Sciences，Beijing 100190，China）

Road detection is one of the basic functions of intelligent vehicle environment perception and automated driving.Due to the complex and diversity of the traffic environment，there are lots of challenges in reliable road detection technology.This article summarizes the related works，gives sample implementation on a micro intelligent vehicle platform，analyses the typical road detection technology with the detection embedded system architecture，typical algorithms，and application in road departure warning system.It can be used as reference for other road detection system im plementations.

intelligent vehicle；environment perception；road detection；vehicular embedded system

TP277

A

黃武陵，中國科學(xué)院自動化研究所副研究員、中國科學(xué)院大學(xué)博士，主要從事智能車輛研究，參與和主持了多項國家863和973、交通部和自然基金課題，發(fā)表SCI/EI論文12篇，申請和獲得發(fā)明專利20項。獲北京市科技進步獎、北京市“金橋工程”項目獎、吳文俊人工智能科學(xué)技術(shù)進步獎、中科院教學(xué)成果獎等獎勵。

圖7縮微交通環(huán)境下道路檢測結(jié)果

??薛士然

2016-08-01）