楊宵祺

摘 要：針對車輛檢測中傳感器數(shù)據(jù)來源單一的問題，提出綜合激光雷達點云與圖像信息應用于車輛檢測。首先進行激光雷達相對于相機的校準使得點云與圖像數(shù)據(jù)相互匹配，然后對稀疏點云進行插值，得到距離與反射強度密集數(shù)據(jù)，并將各模態(tài)的數(shù)據(jù)分別輸入YOLO-tiny中訓練，訓練好的分類器可用于車輛檢測。實驗結(jié)果表明，點云數(shù)據(jù)可以為基于圖像的車輛檢測提供額外的信息，多模態(tài)的車輛檢測可以為決策級的融合提供有效依據(jù)。

關(guān)鍵詞：車輛檢測；傳感器融合；深度學習

1.前言

目前，我國擁有超過2億輛汽車保有量，新車年銷售量接近3000萬輛。智能汽車已成為汽車產(chǎn)業(yè)發(fā)展的戰(zhàn)略方向，發(fā)展智能汽車是解決汽車社會交通安全、道路擁堵、能源消耗、環(huán)境污染等問題的重要手段[1]，所以需要加快推進汽車向智能化方向發(fā)展。安全性是智能汽車發(fā)展需要實現(xiàn)的最為重要的目標。據(jù)調(diào)查，現(xiàn)代汽車交通事故有百分之七十以上是因為追尾發(fā)生的，因此主動安全中前方碰撞系統(tǒng)需要進一步的優(yōu)化和改進。汽車前方碰撞預警系統(tǒng)[2]通過時刻監(jiān)測前方車輛，判斷本車與前車之間的距離、方位及相對速度，當存在潛在碰撞危險時對駕駛者進行警告。車輛檢測對智能汽車實現(xiàn)碰撞預警至關(guān)重要。

目前在車輛檢測領(lǐng)域，許多研究都利用來自攝像頭的圖像信息，而對于激光雷達等傳感器的數(shù)據(jù)利用較少。根據(jù)車輛所用傳感器類型不同，例如傳統(tǒng)CMOS/CCD攝像頭或是新型LiDAR，所采集到的信息有所不同。每種類型的傳感器都有其優(yōu)缺點[3]。彩色攝像機可以獲得周圍世界的顏色和紋理信息，但檢測范圍有限，且在光照受限或是惡劣的天氣條件下效果不理想。激光雷達可以為智能汽車提供精確的距離信息，在夜間也能工作，但不能從中獲得顏色信息，且在雨雪天氣中工作性能不佳。多傳感器融合已經(jīng)成為目前研究的熱點。

針對現(xiàn)有車輛檢測方法中所用傳感器數(shù)據(jù)來源單一的問題，提出綜合激光雷達點云與圖像信息并應用于車輛檢測。為融合不同類型傳感器的數(shù)據(jù)，首先進行激光雷達相對于相機的校準，使彩色相機的圖像信息和激光雷達的點云數(shù)據(jù)相互匹配。然后對稀疏的點云數(shù)據(jù)進行上采樣，生成密集的距離數(shù)據(jù)和反射強度數(shù)據(jù)。在此基礎(chǔ)上，將彩色圖像和生成的兩類密集數(shù)據(jù)分別輸入到Y(jié)OLO-tiny中訓練，訓練好的模型可以用來進行多模態(tài)車輛檢測，得到的車輛檢測結(jié)果為決策級的融合提供依據(jù)。

2.車輛檢測算法概述

2.1激光雷達的校準

在傳感器數(shù)據(jù)融合前，必須要進行激光雷達相對于相機的校準工作。激光雷達需要校準是因為確定激光雷達坐標系相對于相機坐標系進行六自由度變換才能與后者重合，所以校準要做的就是確定前者到后者的變換需要的六個參數(shù)，即空間x，y，z三軸的旋轉(zhuǎn)角度和平移距離。這六個參數(shù)唯一確定了激光雷達坐標系到相機坐標系的變換矩陣T。校準之后，激光雷達和相機的數(shù)據(jù)才能匹配上。校準精度越高，傳感器的數(shù)據(jù)匹配度就越高。

使用的圖像和點云數(shù)據(jù)均來自KITTI數(shù)據(jù)集。KITTI數(shù)據(jù)集[4]采集自德國卡爾斯魯厄及其周邊地區(qū)，包含農(nóng)村、城市地區(qū)真實的交通場景。采集數(shù)據(jù)的設(shè)備有彩色相機和激光雷達。作者對激光雷達進行了初步的校準，可以在此基礎(chǔ)上進一步提高校準的精度。

采用文獻[5]中的方法，對圖像和點云數(shù)據(jù)進行邊緣匹配。提取圖像邊緣的算法已經(jīng)較為成熟，而對于激光雷達，使用的是其中的反射強度數(shù)據(jù)。當點云數(shù)據(jù)中某個點與相鄰點的反射強度的差值超過設(shè)定的閾值，該點就成為點云數(shù)據(jù)中的邊緣點。對點云中的每個點，定義該點的不連續(xù)度X為：

式中，i表示點云中點的序號，r表示該點的反射強度。

如圖1（a）所示，選取某一幅圖像，先后對其進行Sobel算子濾波、腐蝕膨脹和高斯濾波提取其邊緣。同時，提取了相應點云數(shù)據(jù)中的邊緣點。當這些邊緣點投影到邊緣圖中，就呈現(xiàn)出如圖所示的效果。我們把邊緣點和邊緣圖都處理為相同的矩陣大小，對兩者進行元素乘法，將結(jié)果定義為相似度分數(shù)S。

式中， X（T）表示使用變換矩陣T時，點云的不連續(xù)度投影到圖像平面的矩陣， S（T）表示使用變換矩陣T時求得的相似度分數(shù)，E表示圖像經(jīng)過邊緣檢測后得到的邊緣圖。

在此基礎(chǔ)上運用無梯時度優(yōu)化算法求該目標函數(shù)的最大值，以使得圖像和雷達數(shù)據(jù)中的邊緣盡可能匹配，S取最大值時的T就是所求的最佳變換矩陣，最佳六參數(shù)同時也唯一確定。經(jīng)過優(yōu)化，六個參數(shù)與KITTI數(shù)據(jù)集提供的參數(shù)間的相對誤差為：7.480969e-04°，1.472487e-03°，1.608395e-04°，4.187419e-05m，1.162718e-04m，6.979999e-05。調(diào)整前后點云投影到圖像上的效果圖分別如圖1（b）（c）所示。提升激光雷達與攝像頭的數(shù)據(jù)匹配度有助于兩者信息的融合。

圖1 （a）校準優(yōu)化后，邊緣點投影至邊緣圖的匹配效果；（b）校準優(yōu)化前，點云投影至圖像平面；（c）校準優(yōu)化后，點云投影至圖像平面

2.2多模態(tài)數(shù)據(jù)的產(chǎn)生

激光雷達的點云數(shù)據(jù)是稀疏的，如果想要在深度學習中使用點云數(shù)據(jù)，需要將其變得密集起來。使用文獻[6]所述Delaunay三角化方法，對點云的距離和反射強度數(shù)據(jù)進行插值，得到兩類圖像數(shù)據(jù)：密集的距離數(shù)據(jù)和密集的反射強度數(shù)據(jù)，分別稱為距離密集圖和反射強度密集圖。

根據(jù)已有的稀疏點云數(shù)據(jù)，使用最近鄰插值來獲得其他點處的距離或反射強度數(shù)據(jù)。以距離密集圖的獲取為例，將使用已知點的坐標（x0，y0）及其距離數(shù)據(jù)v0進行最近鄰插值獲得的函數(shù)定義為F

然后利用F便可以獲得其余點（x，y）的距離數(shù)據(jù)v。

反射強度密集圖的獲得是類似的。值得注意的是，距離密集圖和反射強度密集圖的生成都沒有使用來自相機的圖像數(shù)據(jù)，而僅用了激光雷達的距離數(shù)據(jù)和反射強度數(shù)據(jù)。實例如圖2所示。

2.3基于YOLO-tiny算法的車輛檢測

對于某一幀來說，有四類數(shù)據(jù)，分別是相機拍攝的彩色圖像、點云數(shù)據(jù)經(jīng)處理獲得的距離密集圖、反射強度密集圖以及2D車輛標簽數(shù)據(jù)。每一幀的標簽數(shù)據(jù)中記錄了車輛在圖像坐標系中的位置，標簽數(shù)據(jù)由KITTI數(shù)據(jù)集提供。

在基于各類傳感器的車輛檢測領(lǐng)域，人們已經(jīng)進行了許多研究工作。文獻[7]利用二維圖像基于先驗知識的方法推測圖像中潛在的車輛，主要利用車輛的幾何結(jié)構(gòu)、日間行駛時車輛下方的陰影、車輛尾燈以及車輛紋理、對稱性、色彩等信息。更多的研究者考慮使用基于立體視覺[8]的車輛檢測方法，包括視差圖方法和逆透視映射法。此外，還有基于運動的方法使用光流法]來計算車輛和背景的相對運動，從而確定車輛的位置。由于發(fā)散光流的產(chǎn)生，該方法在檢測相反方向運動的車輛時更為有效。近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，基于深度學習的方法也被應用于車輛檢測。

將從相機獲取的圖像數(shù)據(jù)以及根據(jù)前文所述方法得到的兩類密集圖分別輸入到神經(jīng)網(wǎng)絡(luò)中進行訓練，進行多模態(tài)的車輛檢測。本文采用YOLO-tiny作為深度學習訓練網(wǎng)絡(luò)。YOLO[10]是目前較為先進的目標檢測算法，YOLO由24個卷積層、2個全連接層以及邊界框輸出所組成。YOLO-tiny是YOLO算法的作者提出的一個相對輕量的版本。使用YOLO-tiny在較短時間內(nèi)實現(xiàn)車輛檢測的初步效果。在訓練YOLO-tiny時使用的GPU是NVIDAI MX150，并使用cnDNN進行加速。在各模態(tài)輸入到Y(jié)OLO-tiny中分別進行7800次迭代之后，得到三個訓練好的YOLO-tiny的模型，并在圖像上進行了測試，檢測效果如圖3所示。

從測試的結(jié)果可以看出，經(jīng)過處理的點云數(shù)據(jù)可以作為車輛檢測的依據(jù)，有不遜于圖像數(shù)據(jù)的效果。結(jié)合三種模態(tài)下的檢測結(jié)果，可以為決策級的融合提供依據(jù)。同時，前述相機和激光雷達點云數(shù)據(jù)的匹配對后續(xù)的融合起了積極作用。當然，可以在YOLO等性能更好的網(wǎng)絡(luò)和更為強勁的GPU上按照本文思路進行實踐，從而大幅提升檢測效果。

3. 結(jié)論

3.1結(jié)論

本文綜合利用圖像與點云數(shù)據(jù)，使兩者信息互為補充，并應用于車輛檢測。進行激光雷達相對于相機的校準，使得彩色相機的圖像信息和激光雷達的點云數(shù)據(jù)相互匹配。對稀疏的點云數(shù)據(jù)進行插值，生成距離密集圖和反射強度密集圖，可以用于深度學習的訓練。實驗結(jié)果表明，多模態(tài)下車輛檢測的結(jié)果可以為決策級的融合提供依據(jù)，在相機使用受限以及車輛的色彩紋理信息與圖像背景易混淆時，點云數(shù)據(jù)的利用有望提高車輛檢測在不同環(huán)境條件下的魯棒性。

參考文獻：

[1] Tokody D， Mezei I J， Schuster G. An Overview of Autonomous Intelligent Vehicle Systems[M]//Vehicle and Automotive Engineering. Springer， Cham， 2017： 287-307.