王世峰，戴祥，徐寧，張鵬飛

（長(zhǎng)春理工大學(xué)光電工程學(xué)院，長(zhǎng)春 130022）

無人駕駛汽車環(huán)境感知技術(shù)綜述

王世峰，戴祥，徐寧，張鵬飛

（長(zhǎng)春理工大學(xué)光電工程學(xué)院，長(zhǎng)春 130022）

無人駕駛汽車在行駛過程中獲取外界環(huán)境信息是車輛進(jìn)行導(dǎo)航定位、路徑規(guī)劃及運(yùn)動(dòng)控制的根本前提。首先對(duì)無人車環(huán)境感知所需傳感器的特點(diǎn)和原理進(jìn)行了介紹，然后闡述了激光雷達(dá)和相機(jī)的標(biāo)定方法，并論述了道路、行人、車輛、交通信號(hào)及標(biāo)識(shí)檢測(cè)任務(wù)中的關(guān)鍵技術(shù)，同時(shí)分析了各種傳感器的優(yōu)勢(shì)與限定條件，論述了各項(xiàng)關(guān)鍵技術(shù)的原理與方法，從而對(duì)無人駕駛汽車在環(huán)境感知領(lǐng)域的關(guān)鍵技術(shù)進(jìn)行了綜合論述。

激光雷達(dá)；相機(jī)；毫米波雷達(dá)；環(huán)境感知；無人駕駛汽車

自主行駛機(jī)器人包含無人地面行駛車輛、無人航空飛行器和無人水面/水下艦船，它們都具備自主對(duì)所行駛/飛行/航行的環(huán)境進(jìn)行感知和判斷的能力，從而指導(dǎo)機(jī)器人行進(jìn)并到達(dá)指定位置。

無人地面行駛車輛也稱作無人駕駛汽車（簡(jiǎn)稱無人車），由于近年來新型傳感器的研制和機(jī)器學(xué)習(xí)技術(shù)基礎(chǔ)研究的飛速發(fā)展［1］，使得民用無人駕駛汽車的研制在技術(shù)上成為可能。國(guó)內(nèi)外的科研機(jī)構(gòu)和企業(yè)紛紛投入智能汽車或無人駕駛汽車的研發(fā)行列，其中一些機(jī)構(gòu)稱將在未來五年內(nèi)實(shí)現(xiàn)無人車的商業(yè)化推廣［2］。

無人車的技術(shù)結(jié)構(gòu)主要分為環(huán)境感知、導(dǎo)航定位、路徑規(guī)劃和運(yùn)動(dòng)控制四個(gè)方面［3］。本文將詳細(xì)對(duì)環(huán)境感知中的常用技術(shù)手段和關(guān)鍵技術(shù)進(jìn)行講解與分析，并闡述所涉及使用到的各種傳感器。

1 無人車獲取環(huán)境信息的傳感器

無人車在行駛過程中需要對(duì)環(huán)境信息進(jìn)行實(shí)時(shí)獲取并處理。從目前的大多數(shù)技術(shù)方案來看，激光雷達(dá)對(duì)周圍環(huán)境的三維空間感知完成了60%～75%的環(huán)境信息獲取，其次是相機(jī)獲取的圖像信息，再次是毫米波雷達(dá)獲取的定向目標(biāo)距離信息，以及GPS定位及慣性導(dǎo)航獲取的無人車位置及自身姿態(tài)信息，最后是其他超聲波傳感器、紅外線傳感器等其他光電傳感器獲取的各種信息［4］。

1.1 激光雷達(dá)

激光雷達(dá)可獲取環(huán)境空間的三維尺寸信息。激光雷達(dá)使用遠(yuǎn)距測(cè)距技術(shù)，通過向目標(biāo)發(fā)射光線并且分析反射光來完成距離的測(cè)量。有單線（亦稱單層、二維）和多線（亦稱多層、三維）兩種激光雷達(dá)，多線雷達(dá)能夠增加一定角度的俯仰，實(shí)現(xiàn)一定程度的面掃描。一般在無人駕駛汽車上會(huì)結(jié)合兩種激光雷達(dá)來實(shí)現(xiàn)障礙物探測(cè)和指導(dǎo)汽車安全通過道路的功能。

1.1.1 單線激光雷達(dá)

以德國(guó)SICK公司的LMS511單線激光雷達(dá)為典型代表［5］，它能夠發(fā)出一條激光束掃描某一區(qū)域，并根據(jù)區(qū)域內(nèi)各點(diǎn)與掃描儀的相對(duì)位置返回由極坐標(biāo)表達(dá)的測(cè)量值即測(cè)量物體與掃描儀掃描中心之間的距離和相對(duì)角度。它可以設(shè)置多種角度分辨率和掃描頻率組合。該雷達(dá)有多種數(shù)據(jù)傳遞方式，一般選擇網(wǎng)絡(luò)接口傳輸?shù)姆绞?，由上位機(jī)向雷達(dá)發(fā)送請(qǐng)求，雷達(dá)根據(jù)請(qǐng)求中的測(cè)量要求收集數(shù)據(jù)并返回給上位機(jī)。

式中，ρ為距離值，θ為相對(duì)角度值。為了提高數(shù)據(jù)返回速度，常用網(wǎng)絡(luò)接口傳輸方式連接上位機(jī)。SICK LMS511可以根據(jù)需要設(shè)置不同角度分辨率和掃描頻率組合，其參數(shù)如表1所示。在無人駕駛技術(shù)中常使用多個(gè)單線激光雷達(dá)來協(xié)助實(shí)現(xiàn)地形重建。

表1 SICK LMS511參數(shù)指標(biāo)

1.1.2 多激光雷達(dá)傳感器

多線激光雷達(dá)是指發(fā)射2條或以上的激光束作為探測(cè)光的激光雷達(dá)，目前以美國(guó)Velodyne公司的HDL-64E S2激光雷達(dá)為典型代表［6］，它發(fā)出多達(dá)64個(gè)激光束，全部安裝在旋轉(zhuǎn)電機(jī)上，其水平探測(cè)范圍360°垂直方向探測(cè)范圍26.8°。上位機(jī)通過串口連接對(duì)其發(fā)送控制命令，通過基于UDP協(xié)議網(wǎng)絡(luò)連接返回?cái)?shù)據(jù)。因?yàn)槔走_(dá)64對(duì)激光發(fā)射器與接收器分為上下兩層，傳輸數(shù)據(jù)也分為兩部分。處理收集到的數(shù)據(jù)建立幾何模型，首先，由于激光器安放位置不同，而坐標(biāo)原點(diǎn)應(yīng)在同一垂直平面因此每一個(gè)激光器都有一組校準(zhǔn)數(shù)據(jù)來協(xié)助建模。

式中，Dcorr為距離校正因子、V0為垂直偏移量、H0為水平偏移量、θ為垂直校正角、α為旋轉(zhuǎn)校正角。通過每一條激光束返回的距離Dret值和當(dāng)前激光雷達(dá)的旋轉(zhuǎn)角度γ轉(zhuǎn)化為激光雷達(dá)坐標(biāo)系中的笛卡爾坐標(biāo)（Px，Py，Pz）。

激光雷達(dá)因其測(cè)距精度高、實(shí)時(shí)性好、抗干擾能力強(qiáng)等優(yōu)點(diǎn)，在障礙檢測(cè)、道邊檢測(cè)、動(dòng)態(tài)障礙分類、跟蹤、移動(dòng)機(jī)器人定位和導(dǎo)航中被廣泛使用。

1.2 相機(jī)

圖像傳感器—相機(jī)能夠獲取環(huán)境彩色景象信息，是無人車獲取環(huán)境信息的第二大來源。相機(jī)可選擇的型號(hào)和種類非常多樣，可簡(jiǎn)單分為單目相機(jī)、雙目立體相機(jī)和全景相機(jī)三種。

1.2.1 單目相機(jī)

無人車的環(huán)境成像是機(jī)器視覺在車輛上的應(yīng)用，需要滿足車輛行駛環(huán)境及自身行駛狀況的要求。天氣變化、車輛運(yùn)動(dòng)速度、車輛運(yùn)動(dòng)軌跡、隨機(jī)擾動(dòng)、相機(jī)安裝位置等都會(huì)影響車載視覺。無人車任務(wù)中對(duì)圖像質(zhì)量要求高，不僅在圖像輸出速度上需要較高幀頻，且在圖像質(zhì)量上也具有較高要求。

單目相機(jī)是只使用一套光學(xué)系統(tǒng)及固體成像器件的連續(xù)輸出圖像的相機(jī)。通常對(duì)無人車任務(wù)的單目相機(jī)要求能夠?qū)ζ鋵?shí)現(xiàn)實(shí)時(shí)調(diào)節(jié)光積分時(shí)間、自動(dòng)白平衡，甚至能夠完成開窗口輸出圖像功能。另外，對(duì)相機(jī)光學(xué)系統(tǒng)的視場(chǎng)大小、景深尺度、像差抑制都有一定要求。

值得一提的是以色列Mobileye公司的單目智能相機(jī)產(chǎn)品［7］，它將圖像處理及運(yùn)算部件也集成在同一相機(jī)產(chǎn)品之內(nèi)，完成諸如前向碰撞、行人探測(cè)、車道線偏離等檢測(cè)功能，其性能在同類產(chǎn)品中具有一定優(yōu)勢(shì)。

1.2.2 雙目相機(jī)

雙目相機(jī)能夠?qū)σ晥?chǎng)范圍內(nèi)目標(biāo)進(jìn)行立體成像，其設(shè)計(jì)是建立在對(duì)人類視覺系統(tǒng)研究的基礎(chǔ)上，通過雙目立體圖像處理，而獲取場(chǎng)景的三維信息［8］。其結(jié)果表現(xiàn)為深度圖，再經(jīng)過一步處理就可以得到三維空間中的景物，實(shí)現(xiàn)二維圖像到三維圖像的重構(gòu)。但是在無人車任務(wù)應(yīng)用中，雙目相機(jī)的兩套成像系統(tǒng)未必能夠完美對(duì)目標(biāo)進(jìn)行成像和特征提取，也就是說，所需目標(biāo)三維信息往往不能十分可靠地獲取。

1.2.3 全景相機(jī)

以加拿大Point Grey公司的Lady bug相機(jī)為代表的多相機(jī)拼接成像的全景相機(jī)被用于地圖街景成像的圖像傳感器［9］，它是由完全相同6個(gè)相機(jī)對(duì)上方和360度全周進(jìn)行同時(shí)成像，然后再進(jìn)行6幅圖像矯正和拼接，以獲得同時(shí)成像的全景圖像。使用該全景相機(jī)的無人車可以同時(shí)獲得車輛周圍環(huán)境的全景圖像，并進(jìn)行處理和目標(biāo)識(shí)別。

另外，使用魚眼鏡頭的單目相機(jī)也能呈現(xiàn)全景圖像［10］，雖然原始圖像的畸變較大，但其計(jì)算任務(wù)量相對(duì)多相機(jī)拼接方式較小，且價(jià)格低廉，也開始受到無人車領(lǐng)域的重視。

1.3 毫米波雷達(dá)傳感器

毫米波雷達(dá)傳感器是工作頻率選在30～300GHz頻域（波長(zhǎng)為1～10mm，即毫米波段）的雷達(dá)［11］。其優(yōu)勢(shì)在于波束窄，角分辨率高，頻帶寬，隱蔽性好，抗干擾能力強(qiáng)，體積小，重量輕，可測(cè)距離遠(yuǎn)。雖然沒有激光雷達(dá)的探測(cè)范圍大，但其較好的指向性和穿透力仍然使其無法被激光雷達(dá)替代。根據(jù)測(cè)量原理不同，毫米波雷達(dá)傳感器可分為脈沖方式和調(diào)頻連續(xù)波方式兩種。

1.3.1 脈沖方式的毫米波雷達(dá)傳感器

采用脈沖方式的毫米波雷達(dá)需要在短時(shí)間內(nèi)發(fā)射大功率脈沖信號(hào)，通過脈沖信號(hào)控制雷達(dá)的壓控振蕩器從低頻瞬時(shí)跳變到高頻；同時(shí)對(duì)回波信號(hào)進(jìn)行放大處理之前需將其與發(fā)射信號(hào)進(jìn)行嚴(yán)格隔離。

1.3.2 調(diào)頻連續(xù)波方式的毫米波雷達(dá)

調(diào)頻連續(xù)波測(cè)距方式的雷達(dá)結(jié)構(gòu)簡(jiǎn)單、體積小，最大的優(yōu)勢(shì)是可以同時(shí)得到目標(biāo)的相對(duì)距離和相對(duì)速度。當(dāng)它發(fā)射的連續(xù)調(diào)頻信號(hào)遇到前方目標(biāo)時(shí)，會(huì)產(chǎn)生與發(fā)射信號(hào)有一定延時(shí)的回波，再通過雷達(dá)的混頻器進(jìn)行混頻處理，而混頻后的結(jié)果與目標(biāo)的相對(duì)距離和相對(duì)速度有關(guān)。

1.3.3 ESR毫米波雷達(dá)

ESR（Electronically Scanning Rader）高頻電子掃描毫米波雷達(dá)，在其視域內(nèi)可同時(shí)檢測(cè)64個(gè)目標(biāo)。該雷達(dá)的發(fā)射波段為76～77GHz，同時(shí)具有中距離和遠(yuǎn)距離的掃描能力。因?yàn)槠溆布w積小且不易受惡劣天氣影響等優(yōu)點(diǎn)，仍然被應(yīng)用于無人車領(lǐng)域，且在商用上被廣泛應(yīng)用在汽車的自適應(yīng)巡航系統(tǒng)、汽車防撞系統(tǒng)等產(chǎn)品中。

1.4 超聲波傳感器

超聲波傳感器是利用超聲波的特性研制而成的傳感器。超聲波傳感器的數(shù)據(jù)處理簡(jiǎn)單快速，檢測(cè)距離較短，主要用于近距離障礙物檢測(cè)。超聲波在空氣中傳播時(shí)能量會(huì)有較大的衰減，難以得到準(zhǔn)確的距離信息，一般不單獨(dú)用于環(huán)境感知，或者僅僅用于對(duì)感知精度要求不高的場(chǎng)合，如倒車?yán)走_(dá)的探測(cè)任務(wù)中［12］。

2 無人駕駛汽車環(huán)境感知關(guān)鍵技術(shù)

無人車使用了多種傳感器進(jìn)行環(huán)境感知，將這些傳感器安裝于車輛固定位置后，需要對(duì)這些傳感器進(jìn)行標(biāo)定。在無人車行駛過程中，對(duì)環(huán)境感知的要求是極其多樣和復(fù)雜的，作為一個(gè)地面自主行駛機(jī)器人，其應(yīng)該具備提取路面信息、檢測(cè)障礙物、計(jì)算障礙物相對(duì)于車輛的位置和速度等能力。也就是無人車對(duì)道路環(huán)境的感知通常至少包含結(jié)構(gòu)化道路、非結(jié)構(gòu)化道路檢測(cè)，行駛環(huán)境中行人和車輛檢測(cè)，交通信號(hào)燈和交通標(biāo)志的檢測(cè)等能力。

2.1 傳感器標(biāo)定

通過傳感器標(biāo)定來確定傳感器輸入與輸出之間的關(guān)系，從而完成基礎(chǔ)性的環(huán)境識(shí)別。

2.1.1 激光雷達(dá)標(biāo)定

激光雷達(dá)與車體為剛性連接，兩者間的相對(duì)姿態(tài)和位移固定不變，為了處理數(shù)據(jù)的方便性，需要把各個(gè)激光雷達(dá)的坐標(biāo)系轉(zhuǎn)化到統(tǒng)一的車體坐標(biāo)系上［13］。首先進(jìn)行對(duì)激光雷達(dá)外部安裝參數(shù)的標(biāo)定，然后通過雷達(dá)返回的極坐標(biāo)數(shù)據(jù)實(shí)現(xiàn)單個(gè)激光雷達(dá)的數(shù)據(jù)轉(zhuǎn)換，最后實(shí)現(xiàn)多個(gè)激光雷達(dá)數(shù)據(jù)轉(zhuǎn)換。通過（3）實(shí)現(xiàn)基準(zhǔn)坐標(biāo)中的轉(zhuǎn)化。

式中，β0為基準(zhǔn)坐標(biāo)系旋轉(zhuǎn)的角度，di為掃描距離，i為激光雷達(dá)數(shù)據(jù)序列號(hào)，A是設(shè)計(jì)采樣步距。通過式（4）實(shí)現(xiàn)車輛坐標(biāo)系建立。

式中，L為激光雷達(dá)安裝點(diǎn)到車輛質(zhì)心的距離沿y軸的分量，HL為激光雷達(dá)安裝點(diǎn)離地的高度，HV為汽車質(zhì)心離地的高度。

2.1.2 相機(jī)的標(biāo)定

相機(jī)與車體也為剛性連接，兩者相對(duì)姿態(tài)和位置固定不變，相機(jī)的標(biāo)定是為了找到相機(jī)所生成的圖像像素坐標(biāo)系中的點(diǎn)坐標(biāo)與相機(jī)環(huán)境坐標(biāo)系中的物點(diǎn)坐標(biāo)之間的轉(zhuǎn)換關(guān)系。從而實(shí)現(xiàn)把相機(jī)采集到的環(huán)境數(shù)據(jù)與車輛行駛環(huán)境中的真實(shí)物體對(duì)應(yīng)。

單目相機(jī)的標(biāo)定主要包括對(duì)相機(jī)模型的建立和對(duì)物點(diǎn)坐標(biāo)的轉(zhuǎn)換［14］。通過下式可以得到相機(jī)環(huán)境坐標(biāo)系中的物點(diǎn)P(xyc，yvc，zvc)到圖像像素坐標(biāo)系中的像點(diǎn)Pi(u，v)的轉(zhuǎn)化關(guān)系。

式中，f為透鏡的焦距，dx與dy分別為相機(jī)傳感器x與y方向的像素單元距離由廠家提供，R*c為3*3的坐標(biāo)旋轉(zhuǎn)矩陣，Tc*為1*3的坐標(biāo)平移矩陣，u0與v0為圖像像素中心坐標(biāo)，zc為相機(jī)坐標(biāo)系下P點(diǎn)的zc軸上的值。（5）忽略實(shí)際情況中畸變的誤差。雙目立體相機(jī)標(biāo)定主要包括雙目立體視覺模型建立、雙目圖像去畸變處理、雙目圖像校正、雙目圖像裁切等四個(gè)步驟。

2.1.3 相機(jī)和激光雷達(dá)聯(lián)合標(biāo)定

相機(jī)的每一個(gè)像素點(diǎn)和激光雷達(dá)的每一個(gè)數(shù)據(jù)點(diǎn)都對(duì)應(yīng)著三維空間中唯一的一個(gè)點(diǎn)，因此能實(shí)現(xiàn)激光雷達(dá)與相機(jī)的空間對(duì)準(zhǔn)［15］。其中有空間上和時(shí)間上兩部分?jǐn)?shù)據(jù)的融合。空間上數(shù)據(jù)的融合通過下式實(shí)現(xiàn)：

式中，R*c為坐標(biāo)旋轉(zhuǎn)矩陣，T*c為坐標(biāo)平移矩陣，Xlv由激光雷達(dá)的外參標(biāo)定，而K-1c為相機(jī)內(nèi)參標(biāo)定矩陣，U是可見光圖像中投影點(diǎn)的坐標(biāo)。確定式（6）需要12個(gè)參數(shù)，所以要求多次改變標(biāo)定箱的遠(yuǎn)近和方位，使其位置盡可能均勻分布在圖像分辨率的各個(gè)位置。時(shí)間上的數(shù)據(jù)融合是為了解決傳感器在采集數(shù)據(jù)時(shí)間差異問題的方法。通過GPS獲得絕對(duì)時(shí)間，給不同的傳感器所記錄數(shù)據(jù)進(jìn)行時(shí)間戳標(biāo)定。

2.2 結(jié)構(gòu)化道路檢測(cè)

結(jié)構(gòu)化道路檢測(cè)是通過了解具有清晰車道標(biāo)志線和道路邊界的標(biāo)準(zhǔn)化道路的信息來準(zhǔn)確獲得本車相對(duì)于車道的位置和方向［16］。

2.2.1 結(jié)構(gòu)化道路的常用假設(shè)

由于各地的路況都有一定的區(qū)別，所以只能提供一個(gè)簡(jiǎn)化的道路場(chǎng)景。因此建立了道路形狀假設(shè)、道路寬度和道路平坦假設(shè)、道路特征一致假設(shè)、感興趣區(qū)域假設(shè)等，有助于識(shí)別結(jié)構(gòu)化的道路。

2.2.2 直道檢測(cè)

在官方制定的行業(yè)標(biāo)準(zhǔn)下，結(jié)構(gòu)化道路的設(shè)計(jì)和建設(shè)都比較規(guī)則，有明顯的區(qū)分道路和非道路的車道線。在視覺導(dǎo)航系統(tǒng)中，利用距相機(jī)不遠(yuǎn)處的車道線方向變化不大，即曲率變化很小的假設(shè)，近似用直線來擬合車道線。

通過車道線邊緣點(diǎn)搜索和車道線邊緣曲線擬合實(shí)現(xiàn)直道擬合。其算法流程如圖1所示。

圖1 算法流程

2.2.3 彎道檢測(cè)

彎道是公路中必不可少的道路形式，因此需要從道路圖像中檢測(cè)出彎曲車道線的邊界，判斷道路彎曲的方向，確定彎道的曲率半徑才能為無人車提供有效的信息。一般公路平面的線形主要分為直線、圓曲線與回旋線，因此選擇俯視圖進(jìn)行擬合。國(guó)內(nèi)外的彎道檢測(cè)辦法主要是基于道路模型的檢測(cè)辦法。一般分為三個(gè)步驟：建立彎道模型，完成對(duì)道路形狀的假設(shè)；提取車道線像素點(diǎn)，把每一條車道線的像素點(diǎn)從前景像素點(diǎn)中提取出來作為依據(jù)；擬合車道模型，運(yùn)用檢測(cè)到的像素點(diǎn)確定彎道數(shù)學(xué)模型的最優(yōu)參數(shù)。

2.2.4 復(fù)雜環(huán)境下檢測(cè)圖像預(yù)處理

實(shí)際情況下往往會(huì)出現(xiàn)復(fù)雜的情況，由于外界環(huán)境光線的變化不均勻?qū)е孪鄼C(jī)提取的圖像出現(xiàn)多塊純白色和純黑色區(qū)域，讓圖像識(shí)別算法失去目標(biāo)。常用圖像預(yù)處理來解決這個(gè)問題。其中有：Gamma調(diào)節(jié)、灰度映射調(diào)節(jié)、直方圖調(diào)節(jié)等方法。

由于無人車在車載視覺中的導(dǎo)航圖像對(duì)圖像灰度信息、圖像真實(shí)性、圖像實(shí)時(shí)性要求較高，所以圖像預(yù)處理方法必須要滿足快速、簡(jiǎn)單、合成圖像平滑自然和產(chǎn)生合成痕跡少等要求?？刹捎迷O(shè)置長(zhǎng)短快門進(jìn)行多重曝光，用雙目相機(jī)中不同相機(jī)交替曝光等方法。

2.3 非結(jié)構(gòu)化道路檢測(cè)

對(duì)于鄉(xiāng)村公路、野外土路等非結(jié)構(gòu)化道路的情況，采用基于機(jī)器學(xué)習(xí)的道路探測(cè)，結(jié)合探測(cè)到的環(huán)境信息和先驗(yàn)知識(shí)庫中的模型，對(duì)圖像和數(shù)據(jù)進(jìn)行處理。同時(shí)根據(jù)環(huán)境的不同來修正預(yù)測(cè)模型，實(shí)現(xiàn)模型不斷更新的效果。其方法框架如圖2所示［17］。

圖2 基于機(jī)器學(xué)習(xí)算法的非結(jié)構(gòu)化道路檢測(cè)方法框架

2.4 行駛環(huán)境中目標(biāo)檢測(cè)

根據(jù)不同的檢測(cè)目標(biāo)選擇不同的傳感器數(shù)據(jù)、不同的處理算法來實(shí)現(xiàn)行駛環(huán)境中的目標(biāo)檢測(cè)。

2.4.1 行人檢測(cè)

基于HOG特征的行人檢測(cè)［18］，HOG特征是一種對(duì)圖像局部重疊區(qū)域的密集型描述符，它通過計(jì)算局部區(qū)域的梯度方向直方圖來構(gòu)成人體特征。該方法是提取圖像的HOG特征后通過SVM進(jìn)行決策的檢測(cè)方式。

基于Stixel模型的行人檢測(cè)通過融合激光雷達(dá)和視頻數(shù)據(jù)，可以對(duì)目標(biāo)進(jìn)行較為準(zhǔn)確的檢測(cè)。利用激光雷達(dá)數(shù)據(jù)抽取出感興趣的區(qū)域，再利用視頻圖像識(shí)別該目標(biāo)的屬性，可以有效地實(shí)現(xiàn)不同模態(tài)傳感器間的互補(bǔ)，提高傳感器的性能。分為三步：首先處理激光雷達(dá)數(shù)據(jù)，得到感興趣區(qū)域；再準(zhǔn)備圖像數(shù)據(jù)，進(jìn)行基于圖像的行人檢測(cè)算法的訓(xùn)練；最后利用訓(xùn)練好的分類器，基于感興趣區(qū)域進(jìn)行行人檢測(cè)。

2.4.2 車輛檢測(cè)

V-disparity方法是基于立體視覺的障礙物檢測(cè)方法［19］。其算法流程為：首先獲取立體圖像對(duì)，然后計(jì)算得到稠密視差圖，建立V-disparity圖，通過分析V-disparity圖，可以提取出行駛環(huán)境中的路面，從而計(jì)算出路面上障礙物的位置。

視覺與激光雷達(dá)信息的結(jié)合，避免了機(jī)器視覺受光照影響和激光雷達(dá)數(shù)據(jù)不足的問題，實(shí)現(xiàn)了傳感器信息的互補(bǔ)，通過建立激光雷達(dá)、相機(jī)和車體之間的坐標(biāo)轉(zhuǎn)換模型，將激光雷達(dá)數(shù)據(jù)與圖像像素?cái)?shù)據(jù)統(tǒng)一到同一坐標(biāo)中進(jìn)行識(shí)別處理。結(jié)合激光雷達(dá)的數(shù)據(jù)特點(diǎn)選取合適的聚類方法，對(duì)聚類后的激光雷達(dá)數(shù)據(jù)新型形狀匹配和模板匹配，確定感興趣區(qū)域；通過類Haar特征結(jié)合AdaBoss算法在感興趣區(qū)域進(jìn)行車輛檢測(cè)，然后通過車輛在激光雷達(dá)中的數(shù)據(jù)特征實(shí)現(xiàn)Kalman預(yù)估跟蹤。

2.4.3 交通信號(hào)燈檢測(cè)

交通信號(hào)燈識(shí)別采用的系統(tǒng)結(jié)構(gòu)可分為圖像采集模塊、圖像預(yù)處理模塊、識(shí)別模塊和跟蹤模塊。其系統(tǒng)機(jī)構(gòu)如圖3所示。

圖3 交通信號(hào)燈識(shí)別系統(tǒng)結(jié)構(gòu)

運(yùn)用基于彩色視覺的交通信號(hào)燈識(shí)別方法可以檢測(cè)到單幀圖像中的交通信號(hào)燈。為防止出現(xiàn)誤檢或跟蹤丟失的現(xiàn)象，可以采用基于彩色直方圖的目標(biāo)跟蹤算法。CAMSHIFT（Continuously Adaptive Mean SHIFT）算法［20］，它可以有效地解決目標(biāo)變形和遮擋的問題，且運(yùn)算效率較高。

2.4.4 交通標(biāo)志檢測(cè)

交通標(biāo)志檢測(cè)包括三方面內(nèi)容：色彩分割、形狀檢測(cè)和象形識(shí)別［21］。

當(dāng)光照條件良好時(shí)，色彩分割需要通過室外環(huán)境的圖像采樣選取閾值，運(yùn)用HSV彩色空間的色度和飽和度信息能夠?qū)⒔煌?biāo)志從背景中分離出來。

通常情況下交通標(biāo)志和駕駛方向并不是垂直的。在對(duì)圓形標(biāo)志進(jìn)行判斷時(shí)往往采用基于隨機(jī)連續(xù)性采樣的橢圓檢測(cè)。而在色彩分割后的邊緣直線可以通過Hough直線變換獲得。選擇相關(guān)的模板對(duì)處理后的圖像大致分成紅色禁止標(biāo)志、藍(lán)色允許標(biāo)志和黃色警告標(biāo)志。

對(duì)于每一類交通標(biāo)志分別設(shè)計(jì)分類器。首先運(yùn)用OTSU閾值分割算法對(duì)探測(cè)到的標(biāo)志進(jìn)行預(yù)處理，能有效避免光照陰影和遮擋造成的誤差。然后基于算法獲得的圖像運(yùn)用矩運(yùn)算提取輻射狀特征，最后選取多層感知器來完成識(shí)別內(nèi)核的目標(biāo)。輸出相似程度最高的結(jié)果。

3 結(jié)語

無人駕駛汽車為減少交通事故，優(yōu)化人類時(shí)間結(jié)構(gòu)，節(jié)約能源消耗等實(shí)際的問題在市場(chǎng)的強(qiáng)烈需求下應(yīng)運(yùn)而生。無人車對(duì)空間環(huán)境的感知十分依賴于單線或多線的激光雷達(dá)，對(duì)交通信號(hào)燈及交通標(biāo)志燈圖像信息的采集使用相機(jī)來完成，同時(shí)應(yīng)用毫米波雷達(dá)等其它傳感器共同進(jìn)行環(huán)境信息的采集。各種信息數(shù)據(jù)的分析與識(shí)別使用了多項(xiàng)數(shù)據(jù)分析與解算方法，并利用人工智能的機(jī)器學(xué)習(xí)手段進(jìn)行各種目標(biāo)的識(shí)別工作，從而最終完成無人車的環(huán)境感知任務(wù)。

［1］http：//www.rand.org/pubs/research_reports/RR443-2. html

［2］http：//news.xinhuanet.com/info/2015-12/15/c_13491 7019.htm

［3］Raj Madhavanm，Elena Messina.James Albus.Intelligent vehicle systems：a 4D/RCS approach［M］.New York：Nova Science Publishers，2006：6-15，302-309.

［4］Sebastian Thrun.Toward robotic cars［J］.Communications of the ACM,2010（53）：99-106.

［5］https：//www.sick.com/media/pdf/5/45/945/dataSheet_ LMS511-10100S01_1055659_en.pdf

［6］http：//velodynelidar.com/hdl-64e.html

［7］http：//www.mobileye.com/products/mobileye-5-series/

［8］張堯，趙洋，劉博宇，等.一種基于雙目測(cè)距系統(tǒng)的亞像素精度自適應(yīng)圖像匹配算法［J］.長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，39（2）：1-4.

［9］https：//www.ptgrey.com/360-degree-spherical-camera-systems

［10］李松，張欽泉，呂卓，等.基于特征點(diǎn)的球面全景圖快速生成算法［J］.長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，35（3）：1-4.

［11］趙爽.汽車毫米波防撞雷達(dá)的研究與實(shí)現(xiàn)［D］.長(zhǎng)春：長(zhǎng)春理工大學(xué)，2013.

［12］湯傳國(guó).基于超聲波測(cè)距的倒車?yán)走_(dá)系統(tǒng)研究［D］.長(zhǎng)安：長(zhǎng)安大學(xué)，2015.

［13］諶彤童.三維激光雷達(dá)在自主車環(huán)境感知中的應(yīng)用研究［D］.長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2011.

［14］Bertozzi Massimo，Broggi Alberto，F(xiàn)ascioli Alessandra.Vision-based intelligent vehicles：state of the art and perspectives［J］.Robotics and Autonomous Systems，2000（1）：1-16.

［15］葉春蘭.基于圖像顏色與激光點(diǎn)云信息的智能車輛行駛環(huán)境三維重建［D］.北京：北京理工大學(xué)，2013.

［16］HendrikDeusch，JürgenWiest，StephanReuter，Magdalena Szczot，Marcus Konrad und Klaus Dietmayer.A random finite set approach to multiple lane detection［C］.15th International IEEE Conference on Intelligent Transportation Systems，Anchorage，2012：270-275.

［17］周圣硯.基于學(xué)習(xí)算法的智能車輛非結(jié)構(gòu)化道路檢測(cè)技術(shù)研究［D］.北京：北京理工大學(xué)，2011.

［18］Pedro Felzenszwalb，Ross Girshick，David McAllester，etal.Objectdetectionwithdiscriminatively trainedpartbasedmodels［J］.IEEETransactions on Software Engineering，2014（9）：1627-1645.

［19］Sayanan Sivaraman，Mohan Trivedi.A review of recent developments in vision-based vehicle detection［J］.IEEE Intelligent Vehicles Symposium，Gold Coast，2013：310-315.

［20］Z Wang，X Yang，Y Xu，et al.CamShift guided particle filter for visual tracking［J］.Pattern Recognition Letters，2007（4）：407-413.

［21］Jiang Yanhua，Zhou shengyang，Jiang Yan，et al. Traffic sign recognition using ridge regression and otsu method［J］.IEEE Intelligent Vehicles Symposium，Baden-Baden，Germany，2011：613-618.

Overview on Environment Perception Technology for Unmanned Ground Vehicle

WANG Shifeng，DAI Xiang，XU Ning，ZHANG Pengfei
（School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022）

Navigation and location path planning and motor control are essential prerequisites of obtaining environmental information during the Unmanned Ground Vehicle’s driving.First of all，this paper introduces characteristics and the theories of sensors which are employed in environmental perception of UGV.The methods of calibration for lidar and camera as well as the crucial technique in road，pedestrians，vehicles，traffic signal and marked detection assignments are described afterwards.Due to the limits and advantages of all types of sensors and the theories of each item，this paper makes a comprehensively and synthetic discussion about the unmanned ground vehicle environmental perception.

lidar；camera；ESR；environment perception；unmanned ground vehicle

TP242.6

A

1672-9870（2017）01-0001-06

2016-09-16

吉林省自然科學(xué)基金項(xiàng)目（20150101047JC）；長(zhǎng)春理工大學(xué)青年科學(xué)基金（XQNJJ-2014-05）

王世峰（1978-），男，博士，副教授，E-mail：SF.Wang@cust.edu.cn