李英勃，于波

（中國汽車技術(shù)研究中心數(shù)據(jù)中心，天津 300393）

0 引言

駕駛場景數(shù)據(jù)是描述車輛在行駛時所遇到的周圍環(huán)境、道路、物體等靜態(tài)因素以及行人、車輛、障礙物等動態(tài)交通目標(biāo)的數(shù)據(jù)，是智能網(wǎng)聯(lián)汽車自動駕駛技術(shù)研發(fā)的重要基礎(chǔ)，是自動駕駛算法開發(fā)以及自動駕駛和輔助駕駛產(chǎn)品測試的核心資源?？梢哉f，自動駕駛算法好不好，技術(shù)可靠不可靠，有很大一部分和訓(xùn)練時所用的場景數(shù)據(jù)的質(zhì)量和數(shù)量相關(guān)。目前，包括中國汽車技術(shù)研究中心、中國汽車工程研究院、上海汽車城在內(nèi)的很多企業(yè)和機(jī)構(gòu)，都在積極推進(jìn)中國駕駛場景數(shù)據(jù)采集工作。

駕駛場景數(shù)據(jù)采集主要通過數(shù)據(jù)采集平臺，即場景數(shù)據(jù)采集車進(jìn)行。如伊必汽車（Elektrobit）、恒潤科技等企業(yè)紛紛推出了自己的場景采集平臺。這種采集平臺可以收集采集車本車CAN線信號，獲取油門、方向盤轉(zhuǎn)角，本車速度、方向、GPS信息，以及車載傳感器信號，如激光雷達(dá)信號、毫米波雷達(dá)信號、單目攝像頭圖像、雙目攝像頭圖像以及360o環(huán)視攝像頭圖像等信息。駕駛場景提取工作的目的，是將這些在道路上通過攝像頭、激光雷達(dá)等傳感器采集到的信號，還原成真實的道路場景的描述，供智能網(wǎng)聯(lián)汽車開發(fā)企業(yè)測試其產(chǎn)品使用。換句話講，場景數(shù)據(jù)抽取就是從這些數(shù)據(jù)中提取出本車的速度、方向以及控制信息，道路信息以及交通目標(biāo)、障礙物的類別、大小、速度、方向、運動軌跡等信息，再轉(zhuǎn)換為對于駕駛場景的描述，以O(shè)pen-Scenario的格式進(jìn)行存儲。

以前這些信息的提取多采用人工方式提取，通過比對不同傳感器返回的信號值，同時對比視頻數(shù)據(jù)，手動標(biāo)出目標(biāo)，找出目標(biāo)的速度，然后總結(jié)成場景數(shù)據(jù)，編寫OpenScenario文件。這種方法工作量大，速度慢且準(zhǔn)確率低，容易出現(xiàn)人為錯誤。

本文提出一種方法，通過機(jī)器視覺技術(shù)和深度學(xué)習(xí)技術(shù)，從視頻圖像出識別出行人、車輛等交通目標(biāo)，并估計目標(biāo)的距離和速度。然后比對從視頻圖像中提取出來的目標(biāo)信息和其他傳感器（如激光雷達(dá)和高精度地圖）信息，得到動態(tài)和靜態(tài)元素的位置，速度和運動軌跡等信息，在通過實現(xiàn)設(shè)定好的判斷規(guī)則，將駕駛場景數(shù)據(jù)轉(zhuǎn)化為一連串的駕駛場景描述，并最終自動轉(zhuǎn)化成OpenScenario格式進(jìn)行存儲。本文提出的基于卡爾曼濾波的目標(biāo)追蹤，采用了對每一幀均進(jìn)行識別，再通過追蹤算法找到幀與幀之間不同目標(biāo)的聯(lián)系的辦法，比起deep-sort等追蹤算法，雖然在實時性上有損失，但是精確度有提高。由于場景提取并不是在采集駕駛場景時實時完成的，所以可以容忍以實時性上的損失換取提高追蹤的精確度。

1 相關(guān)研究工作

在視覺感知方面，基于深度學(xué)習(xí)的圖像技術(shù)取得了令人矚目的成果。Karen Simonyan和Andrew Zisserman在2015年提出了VGG16模型[1]，使對VOC數(shù)據(jù)集進(jìn)行目標(biāo)識別的精度達(dá)到98%。Ross Girshick基于VGG16模型提出了一種利用識別作為圖像檢測方法的技術(shù)R-CNN[2]，在圖像中提出候選框，然后對框中的物體進(jìn)行識別，最后通過精修框的位置識別物體的方位。這個思路也成為后來R-CNN系檢測算法的思想基礎(chǔ)。后來，Ross Girshick等人又通過共享特征提取和RPN候選框提取網(wǎng)絡(luò)，兩次改進(jìn)R-CNN算法，分別提出了 Fast R-CNN[3]和 Faster R-CNN[4]算法。Faster RCNN也成為性能最好的“提框-識別”兩步圖像檢測算法。Faster R-CNN雖然檢測準(zhǔn)確性高，但檢測速度還是較慢。為了進(jìn)一步提升識別速度，Ross Girshick等人又提出了將提框和識別一步完成的方法，開發(fā)了YOLO 算法[5]，同時，Wei Liu、Alexander C.Berg等人提出了SSD算法[6]。相比于Faster R-CNN模型，這兩個算法大幅提升了圖像檢測的速度，但是同時也不可避免地犧牲了一部分識別精度。

對于目標(biāo)位置的檢測，基于圖像的方法，成本較低的可以采取單目定位的方法[7]。雙目攝像機(jī)可以利用人眼成像的原理，更精準(zhǔn)地獲取目標(biāo)位置和距離。隨著不同傳感器之間相互匹配和融合技術(shù)[8]的不斷發(fā)展，使用RGB-D技術(shù)或深度圖像技術(shù)的目標(biāo)感知定位技術(shù)逐漸普遍了起來。其中，利用圖像融合激光雷達(dá)，組成RGB-D傳感器對目標(biāo)進(jìn)行識別和定位的技術(shù)就是其中一種常用的技術(shù)[9]。本項研究就是采用的攝像頭加激光雷達(dá)的融合感知平臺。

卡爾曼濾波[10]是一種常用的對目標(biāo)速度狀態(tài)進(jìn)行估計的算法，擴(kuò)展卡爾曼濾波[11]是卡爾曼濾波的改進(jìn)形式，能夠?qū)Ψ蔷€性系統(tǒng)狀態(tài)進(jìn)行預(yù)測。本項目采用擴(kuò)展卡爾曼濾波作為目標(biāo)追蹤的主要依據(jù)和算法基礎(chǔ)。

2 場景采集平臺配置

場景平臺采集車采用長城VV7SUV為運載車輛，感知系統(tǒng)由激光雷達(dá)和攝像頭組成。其中激光雷達(dá)的型號為禾賽-40P，線數(shù)為40線，可以掃描周圍約200米范圍，安裝在車頂部。視覺采集系統(tǒng)安裝在車前擋風(fēng)玻璃內(nèi)側(cè)，采用羅技，觀察角度為前方60度。

場景采集的數(shù)據(jù)為高速道路數(shù)據(jù)，采集的圖像如圖1所示，采集的激光雷達(dá)用pcl點云庫的pcd格式存儲，存儲格式為二進(jìn)制格式，點云圖像如圖2所示。

圖1

圖2

3 場景數(shù)據(jù)提取

3. 1 駕駛場景數(shù)據(jù)構(gòu)成

駕駛場景數(shù)據(jù)分為靜態(tài)元素數(shù)據(jù)和動態(tài)元素數(shù)據(jù)。靜態(tài)元素數(shù)據(jù)是指場景的道路、環(huán)境、路上及周邊設(shè)施等靜態(tài)物體的信息；動態(tài)元素數(shù)據(jù)是指交通參與者，包括行人、車輛的方向、速度等信息。以此來分，場景數(shù)據(jù)的提取也分為靜態(tài)元素提取和動態(tài)元素提取兩個部分。

我們首先對場景的靜態(tài)信息進(jìn)行分析。在本項目中，靜態(tài)元素數(shù)據(jù)主要依靠高精度地圖信息提供。通過使用高精度地圖，可以極大地簡化場景采集平臺對感知系統(tǒng)的依賴，將采集平臺對周圍環(huán)境的感知轉(zhuǎn)換成了一個定位問題，包括車道信息、車道線、交通燈、交通指示牌的內(nèi)容和位置等信息，通過輸入本車位置信息即可以知道周圍所有靜態(tài)元素的位置以及部分靜態(tài)信號的內(nèi)容。但動態(tài)的交通信號信息，如交通信號燈狀態(tài)，或者變化的交通指示牌（如學(xué)校的警示牌等），依然需要依靠視覺系統(tǒng)獲取。

圖3 高精度地圖

對于動態(tài)元素的分析則更依賴于平臺的融合感知結(jié)果。在動態(tài)元素感知當(dāng)中，我們要識別周圍的行人，車輛以及其他交通參與者，并對這些元素進(jìn)行跟蹤，計算他們的運動方向和速度，以此預(yù)測元素未來的位置。其中，感知的部分，我們采用深度學(xué)習(xí)技術(shù)，對圖像中的人、車，連同上文提到的交通信號燈信息進(jìn)行識別；動態(tài)元素的位置則通過配合圖像和激光雷達(dá)獲得。

3. 2 深度學(xué)習(xí)提取圖像信息

無論是靜態(tài)元素中的交通信號燈還是動態(tài)元素中的行人，車輛，都主要依靠視覺進(jìn)行。項目中我們使用了深度學(xué)習(xí)技術(shù)從圖像中提取場景元素。由第2節(jié)的研究可以知道，SSD和YOLO雖然速度快，但損失精度。我們采用了Faster R-CNN網(wǎng)絡(luò)，利用RPN提取潛在目標(biāo)框，通過精修，對目標(biāo)框的位置的大小進(jìn)行調(diào)整，以獲得較高目標(biāo)位置精度，為下一步圖像與點云匹配創(chuàng)造良好的條件。

3. 3 坐標(biāo)系轉(zhuǎn)換實現(xiàn)激光點云信息與圖像信息匹配

（1）激光雷達(dá)信息和圖像信息匹配

圖像信息和激光雷達(dá)信息匹配，主要通過時間匹配和空間匹配來完成。在時間維度上，場景采集車采用的激光雷達(dá)的頻率為10赫茲，約為每秒10幀點云圖片，圖像信息為30幀/秒。因為是原始數(shù)據(jù)融合，所以沒有識別物體，不能使用插值等方法估計精確時刻目標(biāo)物體在圖像或點云數(shù)據(jù)中的位置。為了保障激光點云與圖像能夠匹配上，我們采用以快配慢的方法，以激光雷達(dá)點云圖像的時間點為基準(zhǔn)，尋找時間上最接近的圖像匹配雷達(dá)點云數(shù)據(jù)。即：

其中t為雷達(dá)點云圖像時刻，i為圖像幀數(shù)，ti為第i幀圖像的時間。

圖4 車輛坐標(biāo)系

在空間匹配技術(shù)方面，本項目以車輛坐標(biāo)系為圖像信息和點云信息匹配的坐標(biāo)系。以車輛行進(jìn)方向為x軸正方向，車輛右側(cè)方向為y軸正方向，以車輛上方方向為z軸正方向。（如圖4所示）項目通過匹配圖像和激光點云信息，將目標(biāo)物體的位置以這個坐標(biāo)系的坐標(biāo)進(jìn)行輸出。

空間匹配技術(shù)的關(guān)鍵在于將激光雷達(dá)中點的坐標(biāo)與圖像投射到同一個坐標(biāo)系的二維空間當(dāng)中。我們將攝像頭的成像平面作為這個投射的二維空間，以圖像左上角坐標(biāo)為原點，橫軸向右為x軸方向，縱向向下為y軸方向。然后建立一個3D坐標(biāo)點轉(zhuǎn)換為2D點的坐標(biāo)轉(zhuǎn)換矩陣，將空間中的點投影在成像平面上。投影的原理如圖5所示，其中f為焦距。

圖5 相機(jī)投影

相機(jī)焦距 f、像素長度（dx，dy）是相機(jī)的內(nèi)參。為了獲取相機(jī)的內(nèi)參數(shù)據(jù)，我們首先對相機(jī)進(jìn)行了標(biāo)定。標(biāo)定采用了棋盤標(biāo)定法，使用OpenCV函數(shù)Calibratecamera（）函數(shù)進(jìn)行標(biāo)定，得到相機(jī)內(nèi)參。

表1 攝像頭內(nèi)參標(biāo)定

根據(jù)相機(jī)投影原理，通過幾何算術(shù)推導(dǎo)，我們可以得出：

其中，（X，Y，Z）為點在空間中的坐標(biāo)，（u，v）為在圖像中的成像坐標(biāo)。這樣，我們就可以將空間中任意一點投影到成像平面上。現(xiàn)在，我們可以嘗試把雷達(dá)點云數(shù)據(jù)通過矩陣計算投影到圖像上。投影效果如圖6所示。

圖6 點云與圖像匹配

如果我們用激光雷達(dá)的距離信息近似表示它周圍所有像素點的實際坐標(biāo)系中的距離信息，我們就將激光雷達(dá)和攝像頭組成了一個RGBD深度攝像頭。通過對圖像中物體的位置進(jìn)行判斷，就可以通過物體像素點所對應(yīng)的激光雷達(dá)點在實際坐標(biāo)系中的坐標(biāo)獲得物體的實際位置。

（2）圖像識別

我們使用神經(jīng)網(wǎng)絡(luò)模型對圖像進(jìn)行識別，使用的網(wǎng)絡(luò)為Faster R-CNN，通過模型返回目標(biāo)框的四個角點的圖像坐標(biāo)，以及識別到的物體種類。效果如圖7所示。

圖7 圖像檢測效果

圖7中目標(biāo)框基本框出了物體的位置，但并非框中所有的點均是物體。我們必須選擇框中的部分像素為基準(zhǔn)，取它的坐標(biāo)為物體的位置。一般來說，目標(biāo)物的圖像能夠覆蓋框中心點，所以我們選擇框中心點的坐標(biāo)位置為感知目標(biāo)的坐標(biāo)。

我們對所有目標(biāo)框中的物體進(jìn)行了識別，并用此方法獲得了所有目標(biāo)的坐標(biāo)方位，如圖8所示。

圖8 融合感知效果

3. 4 基于圖像和點云信息的目標(biāo)追蹤

為了追蹤目標(biāo)的運動軌跡，我們使用擴(kuò)展卡爾曼濾波算法過濾探測誤差并對物體的運動軌跡進(jìn)行跟蹤。假設(shè)xt={pt,vt}為物體在t時刻的系統(tǒng)狀態(tài)。那么物體在t時刻的位置與它在t-1時刻的位置，t時刻的系統(tǒng)對他的改變相關(guān)。那么t時刻對物體狀態(tài)的估計應(yīng)該為：

由于是對實際運動軌跡的估計，我們需要對狀態(tài)轉(zhuǎn)移矩陣At加入噪聲模型：

由于x’是估計的目標(biāo)位置，并不是目標(biāo)真正的位置，而是我們用來估計真正目標(biāo)位置x的工具。我們用x^t表示t時刻時觀測到的目標(biāo)位置，我們用矩陣H表示真正位置到觀測位置的轉(zhuǎn)換矩陣，則真實的觀測值用估計值和真實觀測值的加權(quán)值進(jìn)行表示：

其中卡爾曼系數(shù)K由濾波增益陣算出：

其中：

我們將觀察到的目標(biāo)坐標(biāo)和速度代入卡爾曼濾波系統(tǒng)，對目標(biāo)位置進(jìn)行預(yù)測和修正，卡爾曼濾波可以修正小的系統(tǒng)誤差，使目標(biāo)運動軌跡更加平滑。

4 場景采集效果對比與結(jié)論

我們在試驗場采集了場景，對障礙物進(jìn)行了精確的標(biāo)定，并對車輛的行進(jìn)路線進(jìn)行了詳細(xì)的規(guī)劃和記錄。由此，我們可以計算出障礙物對于車輛的相對位置信息。同時，我們還用CalmCar的基于視覺的駕駛場景采集系統(tǒng)同時進(jìn)行了測量。

圖9（1）是探測到的目標(biāo)移動軌跡，圖9（2）是單目視覺感知系統(tǒng)CalmCar獲得的結(jié)果，圖9（3）是探測到的目標(biāo)軌跡加入卡爾曼濾波后的目標(biāo)移動軌跡，可以觀察到的融合感知加入卡爾曼濾波后的目標(biāo)運動軌跡更平滑，更貼近目標(biāo)真實的運動軌跡。通過比較，從結(jié)果總體看，融合感知提出駕駛場景的精度要高于僅依靠視覺感知的CalmCar的結(jié)果。

圖9 從左到右為探測到的路徑、CalmCar探測到路徑、融合感知路徑