江澤宇,趙 蕓

(浙江科技學院 信息與電子工程學院,杭州 310023)

要實現自動駕駛必須解決道路上障礙物的檢測問題,即對道路上的三維物體進行識別和位置估計。隨著卷積神經網絡的發(fā)展,大多數研究人員采用深度學習來處理三維物體的識別。為了能直接采用深度學習處理點云,Qi等[1]提出了PointNet,采用最大池(max pooling)解決了點云的無序性問題。在PointNet的基礎上,也出現了很多直接處理點云的分割算法和三維目標識別算法。其中,Yan等[2]提出了一種改進的稀疏卷積算法并將其應用于三維物體檢測,該算法檢測速度快,但小目標檢測精度不高;Wang等[3]在PointNet的基礎上提出了EdgeConv,采用局部鄰域映射的方法來提取點云的局部特征并分割目標,能夠捕捉到潛在的遠距離相似特征,提高了分割精度;Qi等[4]提出的F-PointNet使用RGB(red,green,blue)圖像與點云的結合作為輸入,并使用PointNet作為分割網絡從中分離出前景點,但PointNet使用最大池化層提取點云全局特征并保證點云不變性的同時,并不能很好地提取到局部特征,因此該算法分割精度不高,從而導致某些目標的檢測結果不準確。近年來有些研究者[5-7]采用從鳥瞰圖(bird’s eye view,BEV)點云中分割和檢測目標的方法,Chen等[8]提出了一個采用多視角和多種數據相結合的三維目標檢測網絡MV3D,將前視點云和俯視點云作為輸入,避免了信息的丟失又減少了卷積的計算量;王張飛等[9]采用不同的濾波去除不必要的點,再通過深度投影的方式將點云轉為鳥瞰圖點云進行目標分割和檢測;Wang等[10]提出了一種多視圖三維檢測算法,將三維點云投影到具有特定角度的4個視圖并從中提取特征,從而保留了許多低級特征,檢測速度達到0.05 s/幀。但這些基于鳥瞰圖點云的檢測方法不能很好地檢測到小物體,而且激光雷達采集到的點云轉換為鳥瞰圖之后所需卷積運算量也增大。

綜上所述,傳統的基于點云的三維檢測算法由于點云的稀疏性而導致其檢測精度較低。因此,筆者提出一種新的基于邊緣特征的三維目標識別算法。為了提高檢測速度,本算法首先基于二維檢測算法生成的二維候選區(qū)域過濾點云并生成視錐點云;然后在分割網絡中計算點云之間的歐氏距離并將其作為點云的邊緣特征輸入多層感知機(multi-layer perceptron,MLP)中,在MLP提取特征的同時重新計算點云之間的歐氏距離并更新邊緣特征,以此更好地提取局部特征并實現點云的分割;最后通過檢測網絡輸出三維邊界框的參數。

1 數據集和設備

1.1 數據集

采用自動駕駛場景數據集KITTI[11](Karlsruhe Institute of Technology and Toyota Technological Institute)對提出的模型進行訓練和測試。該數據集具有7 481張分辨率為1 242×375的RGB圖片和與之對應的7 481個三維點云數據。在圖片和點云中,道路上的障礙物會因其他物體的遮擋而出現不同的遮擋率,為了更好地將數據分類并測試模型,根據KITTI官方對數據集難度的定義及不同的遮擋率將數據分為3個等級:物體被遮擋率不超過15%即為簡單難度,物體被遮擋率在15%～30%之間為中等難度,物體被遮擋率超過30%為困難難度。為了更好地測試模型的性能,按照約7∶2∶1的比例劃分數據集,其中訓練集有5 236個數據,驗證集有1 496個數據,測試集有749個數據。訓練集、驗證集、測試集均包含了簡單、中等、困難等級的圖片和點云,用訓練集作為輸入數據訓練本研究的模型及其他三維目標檢測模型,并使用劃分后的測試集對所有模型的性能進行評估。

1.2 設 備

數據處理系統主要用于車輛識別,并在配置如下的計算機上進行模型訓練:顯卡為NVIDIA GTX 2 080Ti,處理器為Intel(R)Core(TM)i7,內存為32 GB,操作系統為Win10。軟件系統為Pycharm2018,Python2.7,Tensorflow-gpu 1.14.0,Numpy 1.16.4,Mayavi和OpenCV庫。

2 試驗方法

2.1 點云預處理

在點云的預處理中,先采用二維檢測算法Fast R-CNN[12]對輸入的RGB圖片進行檢測并生成二維候選區(qū)域,將輸入的點云與二維候選區(qū)域中的像素點一一對應。如果三維點能夠對應二維候選區(qū)域中的像素點,那么該三維點將被保留下來,否則被過濾掉,最終保留下來的點集合到一起并生成視錐體區(qū)域。在視錐內的點一定在相機的視野內,因此只檢測在視錐范圍內或者與視錐視野相交的物體。點云預處理的流程如圖1所示。

圖1 點云預處理的流程Fig.1 Flowchart of point cloud preprocessing

2.2 點云分割

基于邊緣卷積的分割算法如圖2所示,該分割神經網絡由構造邊緣特征的模塊及多個MLP組成,同時也采用最大池化層提取全局特征。分割網絡的輸入數據為預處理后的視錐點云,在邊緣特征中,采用K近鄰算法確定目標點的局部特征圖,并計算目標點與相鄰點之間的歐氏距離,將該距離作為三維點的邊緣特征并用于MLP的卷積計算。為了提取三維點云更多的細節(jié)特征,在網絡中的較低層以更多的通道數來提取特征,如圖2中的兩層MLP(64),卷積核大小均為1×1。在最大池化層之前的所有MLP,在每次對點云進行卷積計算并提取特征后,都會重新計算新的局部特征圖并構造新的邊緣特征,再將新的邊緣特征傳入下一層MLP,使得每個點與其他點之間的關系能在點云中擴散,以此改善PointNet只獨立地處理點以維持置換不變性而導致的局部特征缺失的情況。點云的分割問題可以看作是對每個點的分類,本研究將分割后的點云分為兩類,分別是雜亂點云和目標點云,并在分割的最終結果中輸出它們對應的分類得分。歐氏距離計算如下:

圖2 基于邊緣卷積的分割算法Fig.2 Segmentation algorithm based on edge convolution

(1)

三維空間中的歐氏距離是兩點之間的實際距離。距離矩陣(Dij)代表點云矩陣的第i個向量和第j個向量之間的歐氏距離。x、y、z表示三維空間中向量的坐標值。

2.3 目標檢測

三維檢測算法最終目的是識別并定位目標,因此采用檢測網絡估計目標的三維邊界框并分類,最終輸出三維邊界框的參數,包括長度、寬度、高度、中心點的位置及邊界框的方向。目標檢測網絡如圖3所示,將分割網絡得到的目標點云作為輸入數據并送到檢測網絡,在MLP和最大池化層中進行多次卷積計算并回歸后獲得三維邊界框的參數。本研究采用的回歸方式與Faster R-CNN[13]類似,將三維邊界框回歸到不同的尺寸和朝向,并以不同尺寸的三維邊界框作為最終分類目標的依據。

圖3 目標檢測網絡Fig.3 Target detection network

3 結果與分析

3.1 點云預處理結果

點云預處理過程的可視化如圖4所示。圖4(a)是初始點云即未經任何處理的輸入點云。圖4(b)是輸入的初始RGB圖片。圖4(c)是使用二維檢測算法Fast R-CNN對RGB圖片進行檢測并生成對應的二維邊界框的檢測結果圖,從圖中可以看出有3輛車被檢測出來。圖4(d)是點云投影到圖片上,并且點云中的三維點與二維候選區(qū)域中的像素點一一對應的可視化結果,在圖中可以看到距離二維邊界框較近的點顏色偏紅;反之,距離二維邊界框較遠的點顏色偏綠,圖中還出現了未被三維點覆蓋的像素,這是由于激光雷達的掃描高度有限,因此無法覆蓋所有像素。圖4(e)是點云預處理后的最終結果的可視化圖,從圖中可以看出,預處理后的點云數量遠遠少于圖4(a)中的點;圖中的五邊形邊界框是為了凸顯視錐區(qū)域的范圍,使得視錐的可視化效果更明顯。

圖4 點云預處理過程的可視化Fig.4 Visualization of point cloud preprocessing process

3.2 試驗細節(jié)參數

本試驗設置的網絡參數包括:輸入的點云總點數為2 048,訓練周期為200次,優(yōu)化器為Adam,動量設置為0.9。為了訓練模型,每次會取一小部分樣本作為輸入數據,每次取32個點云樣本,即batch size為32。此外,在計算邊緣特征的過程中,需要用K近鄰算法確定相鄰點的個數,試驗驗證后參數k的值設為6。在分割網絡的全連接層使用了dropout層來防止模型過度擬合,一般取值為0.4～0.6,在本試驗中該值為0.5。

3.3 分割結果

本研究使用K近鄰算法計算歐氏距離并構造邊緣特征。K近鄰算法的參數取值會影響邊緣特征的構造,進而影響特征的提取效果和點云分割。為了準確選取一個合適的k值,對不同的k值進行了試驗,試驗后的結果見表1。

表1 不同的k值對分割精度的影響

在得到最終的檢測結果之前,將本文方法與其他分割算法進行比較(表2)。mesh是以網格的形式表示點云,volume是三維空間分割上的最小單位,類似像素,以立方體的形式來表示點云,而以point的形式處理點云是當前的主流形式,可直接將三維點云輸入到卷積神經網絡進行訓練,本文的算法采用這種形式處理點云。由表2可知,本文算法的分割精度比multi-view segmentation算法提高了25.48百分點,比O-CNN算法提高了6.92百分點,可見采用point形式作為輸入能更好地處理點云。同時,本文算法的分割精度比F-PointNet提高了2.30百分點,測試結果證明本研究提出的構造邊緣特征的方法能改善PointNet的局部特征缺失情況,實現更好的分割。

表2 不同分割算法的分割精度對比

3.4 檢測結果

在測試結果中隨機選取3張點云圖,從數據集中選取它們對應的初始點云圖,并將這些點云圖可視化,如圖5所示。由圖5可知,圖5(a)檢測出了4輛汽車,圖5(b)檢測出了5輛汽車和1個行人,這兩個測試結果都正確地檢測出了所有目標,圖5(c)中只檢測出了1輛汽車和4個行人,有1個行人未被檢測到,這可能是由于該行人的三維點云不夠密集而導致的漏檢。

圖5 檢測結果的可視化圖Fig.5 Visualization of detection results

為了更好地對比本文算法與其他算法的性能,采取KITTI數據集的三維點云測試集對本文算法進行了驗證,對汽車、自行車和行人的檢測精度對比結果見表3。檢測的對象分別是汽車、自行車和行人,由于每種目標都存在著不同遮擋率,因此把數據劃分為了簡單、中等和困難3個等級并一一進行驗證。由表3可知,相比于基于迭代算法的三維目標檢測算法[16],采用鳥瞰視角的MV3D算法及采用PointNet作為分割網絡的F-PointNet算法,本研究提出的基于邊緣卷積的三維目標識別算法在不同目標的識別精度上都有所提高。隨著遮擋率的增大,目標的檢測精度下降,其中行人的檢測精度最低,這是因為行人點云的幾何形狀不明顯,易與其他物體點云混淆在一起,不易過濾出來,且行人的三維點可能會由于太稀疏而出現誤檢或漏檢等情況的發(fā)生,從而使得行人的檢測精度遠低于車輛和自行車。驗證結果證明了本文算法實現了最佳檢測性能,這說明本研究提出的邊緣卷積有助于提取局部特征并提高檢測精度。

表3 不同算法對汽車、自行車和行人的檢測精度對比Table 3 Comparison of detection accuracy of different algorithms for vehicles, bicycles and pedestrians %

4 結 語

本研究提出了一種基于邊緣卷積的三維目標檢測算法,采用由激光雷達獲取得到的點云和由RGB攝像機采集到的圖像作為輸入數據來識別和定位道路上的障礙物。試驗結果證明了本研究提出的基于邊緣卷積的分割網絡的有效性,且分割精度和檢測精度相比于其他算法都有所提升。驗證結果也說明了該方法存在一些尚待完善的地方,其中一個可能的擴展是將RGB圖像更好地與點云融合,并且提高RGB圖像的檢測精度也能更好地提高模型的性能。另一種可能性是完善目標點云,使得目標的三維點足夠密集,減少因三維點不足而導致的誤檢和漏檢等情況的發(fā)生。我們在未來將更多地研究RGB圖像與點云的融合,以獲得更好的檢測效果。