劉長(zhǎng)吉，郝志成*，楊錦程，朱 明，聶海濤

(1. 中國科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所, 吉林 長(zhǎng)春 130033;2. 中國科學(xué)院大學(xué), 北京 100049;3. 重慶嘉陵華光光電科技有限公司, 重慶 400000)

1 引 言

基于點(diǎn)云數(shù)據(jù)的三維物體檢測(cè)的難點(diǎn)在于深度感知設(shè)備價(jià)格高、高質(zhì)量的稠密點(diǎn)云獲取困難且運(yùn)算規(guī)模大、點(diǎn)云數(shù)據(jù)集制作困難。經(jīng)典點(diǎn)云分割算法例如LCCP[1]、區(qū)域生長(zhǎng)[2]、RANSAC[3]等，效果較差，且速度慢。近些年已經(jīng)有學(xué)者提出使用深度學(xué)習(xí)進(jìn)行三維物體檢測(cè),如PointNet[4-5]、F-PointNet[6]等。其中F-PointNet提出使用基于二維檢測(cè)器的三維物體檢測(cè)，減少對(duì)點(diǎn)云的搜索空間。PointNet直接使用全部點(diǎn)云信息進(jìn)行分割，達(dá)到了非常不錯(cuò)的效果。但是基于深度學(xué)習(xí)的三維物體檢測(cè)都需要使用三維點(diǎn)云數(shù)據(jù)作為訓(xùn)練樣本。而在實(shí)際的工程應(yīng)用當(dāng)中，很難獲得大量的、高質(zhì)量的點(diǎn)云數(shù)據(jù)作為訓(xùn)練樣本。

在圖像中存在豐富的目標(biāo)信息，且二維圖像訓(xùn)練集獲取容易。如今成熟的二維檢測(cè)算法,例如Yolo[7]、Faster R-CNN[8]等算法已經(jīng)得到了廣泛的應(yīng)用，準(zhǔn)確率高且速度快。經(jīng)典的實(shí)例分割算法Mask R-CNN[9]其分割效果已經(jīng)滿足大部分的應(yīng)用場(chǎng)景。因此本文提出了一種基于實(shí)例分割的三維目標(biāo)位置估計(jì)方法，首先得到目標(biāo)分割掩碼，提取深度信息，由此獲得目標(biāo)粗略點(diǎn)云。再采用統(tǒng)計(jì)學(xué)異常點(diǎn)檢測(cè)，對(duì)混入的極少量異常點(diǎn)進(jìn)行剔除，最終得到精細(xì)的目標(biāo)點(diǎn)云。

經(jīng)過試驗(yàn)，該方法可以得到準(zhǔn)確的目標(biāo)物體點(diǎn)云，實(shí)現(xiàn)簡(jiǎn)單、成本低，無需任何點(diǎn)云數(shù)據(jù)作為訓(xùn)練樣本。適合在目標(biāo)點(diǎn)云提取、三維物體檢測(cè)、障礙物檢測(cè)等工程任務(wù)當(dāng)中使用。

2 基于實(shí)例分割的目標(biāo)粗略點(diǎn)云提取

2.1 基于Mask R-CNN的目標(biāo)實(shí)例分割

目標(biāo)檢測(cè)(Object detection)需要獲取圖像中目標(biāo)的位置(Bounding box)，還需要獲取物體的類別。實(shí)例分割(Instance segmentation)在目標(biāo)檢測(cè)的基礎(chǔ)上，需要對(duì)每一個(gè)像素的分類，同時(shí)獲得分割掩碼，如圖1所示。

圖1 基于Mask R-CNN的實(shí)例分割結(jié)果Fig.1 Instance segmentation result based on Mask R-CNN

圖2 Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of Mask R-CNN

Mask R-CNN是一種通用圖像實(shí)例分割算法，其沿用了Faster R-CNN[10]的思想，并且在Faster R-CNN的結(jié)構(gòu)上增加了全卷積網(wǎng)絡(luò)進(jìn)行掩碼預(yù)測(cè)[11]，并將感興趣區(qū)域池化(ROI pooling)替換成感興趣區(qū)域?qū)R(RoI Align)，使特征圖與原圖更加準(zhǔn)確地對(duì)準(zhǔn)，在區(qū)域推薦的過程中，減少了量化而損失的像素偏移，使得掩碼更加準(zhǔn)確。最后通過增加全卷積網(wǎng)絡(luò)對(duì)推薦區(qū)域進(jìn)行語義分割。不管是實(shí)例分割或者語義分割，由于其最后一層的分割掩碼特征圖一般為16倍下采樣，直接上采樣到目標(biāo)尺寸大小會(huì)造成分割邊緣的不準(zhǔn)確。在2.2中我們會(huì)描述分割邊緣不準(zhǔn)確對(duì)點(diǎn)云分割造成的影響。Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2.2 RGB圖像與深度圖融合

使用成熟的二維檢測(cè)器在RGB圖像中對(duì)目標(biāo)進(jìn)行實(shí)例分割，得到目標(biāo)掩碼和類別。不論是使用雙目相機(jī)TOF相機(jī)或者是相機(jī)與雷達(dá)融合，都可以獲得RGB圖像與深度信息。如圖3所示。

圖3 深度圖像Fig.3 RGB image and depth image

本文使用深度圖來表示深度信息，深度圖與RGB圖像尺寸一致，每一個(gè)像素上儲(chǔ)存的是與其對(duì)應(yīng)RGB圖像每一個(gè)像素的距離，使用單通道無符號(hào)16位整形(Uint16)來保存深度信息，單位取mm，如圖4所示。

圖4 使用分割掩碼得到的RGB信息與深度信息Fig.4 Mask,RGB and depth from instance segmentation.

根據(jù)相機(jī)成像模型，物體投影在像平面上生成圖像，此時(shí)從世界坐標(biāo)系轉(zhuǎn)換到像素坐標(biāo)系，當(dāng)擁有深度信息時(shí)，可從像素坐標(biāo)系轉(zhuǎn)化到相機(jī)坐標(biāo)系。相機(jī)成像模型可簡(jiǎn)化為圖5。

圖5 簡(jiǎn)單相機(jī)成像模型Fig.5 Simple camera model

空間中一點(diǎn)可以分別在世界坐標(biāo)系OwXwYwZw，相機(jī)坐標(biāo)系OcXcYcZc，圖像坐標(biāo)系o-x-y，與像素坐標(biāo)系u-v中描述。世界坐標(biāo)系中一點(diǎn)P轉(zhuǎn)化到像素坐標(biāo)系的過程如下：

從世界坐標(biāo)系到相機(jī)坐標(biāo)系:

(1)

其中:R為旋轉(zhuǎn)矩陣，T為平移矩陣。

從相機(jī)坐標(biāo)系到理想圖像坐標(biāo)系:

(2)

其中:fx、fy為焦距。

假設(shè)像素坐標(biāo)系原點(diǎn)在圖像坐標(biāo)系下的坐標(biāo)為(u0，v0)，每個(gè)像素點(diǎn)在圖像坐標(biāo)系x軸、y軸方向的尺寸為dx、dy，且像點(diǎn)在實(shí)際圖像坐標(biāo)系下的坐標(biāo)為(x,y)，于是可得到像點(diǎn)在像素坐標(biāo)系下的坐標(biāo)為：

從實(shí)際圖像坐標(biāo)系到像素坐標(biāo)系：

(3)

式(4)被稱為內(nèi)參矩陣：

(4)

根據(jù)式(1)、(2)、(3)、(4)可以得到圖像坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換公式：

(5)

其中depth為深度圖中儲(chǔ)存的深度信息，根據(jù)式(5)可以將RGB圖像與深度圖像融合得到點(diǎn)云數(shù)據(jù)，其點(diǎn)云效果如圖6所示。

圖6 不同視角下椅子點(diǎn)云中混入的非目標(biāo)點(diǎn)云[12]Fig.6 Outliner point cloud in different view

圖7 分割邊緣不準(zhǔn)確性Fig.7 Segmentation edge inaccuracy

由于分割邊緣不準(zhǔn)確性[13]，如圖7所示，導(dǎo)致得到的分割掩碼中混入背景，從而造成點(diǎn)云中混入一定量的異常點(diǎn)。異常點(diǎn)云一般都與實(shí)際目標(biāo)有一定距離，這些非目標(biāo)點(diǎn)云會(huì)嚴(yán)重影響物體位置的判斷，有必要將非目標(biāo)點(diǎn)云進(jìn)行去除。

3 點(diǎn)云主成分提取

3.1 自適應(yīng)統(tǒng)計(jì)學(xué)異常點(diǎn)檢測(cè)

由于每個(gè)目標(biāo)形狀差異不同，僅使用圖像分割獲取到的點(diǎn)云區(qū)別也很大，有些異常點(diǎn)云占比很大，有些異常點(diǎn)云占比很少，甚至有些規(guī)則形狀的目標(biāo)不存在異常點(diǎn)云的混入。異常點(diǎn)云有以下特點(diǎn)：(a)異常存在性未知，即是否存在異常點(diǎn)云；(b)異常占比未知性，即不同情況不同目標(biāo)，基于圖像分割得到的點(diǎn)云中，異常點(diǎn)云占比是不確定的；(c)異常分布未知性，即異常點(diǎn)云所處的位置是不確定、異常點(diǎn)云簇?cái)?shù)量也不確定，可能存在多個(gè)點(diǎn)云數(shù)量較少的點(diǎn)云簇[14]，分布在不同的位置。

由于以上3點(diǎn)特性，使得異常點(diǎn)的判斷變得十分困難，并且由于異常占比未知性，使得異常點(diǎn)云的去除需要手動(dòng)設(shè)置異常率的占比，這在同一場(chǎng)景多目標(biāo)的情況下是不可用的。圖8所示為在復(fù)雜室外場(chǎng)景下，不同目標(biāo)混入的異常點(diǎn)云分布。

(a) 室外分割掩碼與深度圖(a) Outdoor segmentation mask and depth map

(b) 汽車分割掩碼與粗略點(diǎn)云(異常占比少)(b) Car segmentation mask and coarse point cloud (few abnormal points)

(c)自行車分割掩碼與粗略點(diǎn)云(異常占比多)(c) Bicycle segmentation mask and coarse point cloud(more anomalous point clouds)圖8 不同目標(biāo)混入的異常點(diǎn)云分布Fig.8 Distribution of abnormal point clouds blended in different objects

所以我們需要一種可以不指定異常占比、依賴點(diǎn)云形態(tài)分布來提取目標(biāo)點(diǎn)云的算法。通過觀察我們發(fā)現(xiàn)，異常點(diǎn)云與真實(shí)目標(biāo)點(diǎn)云的分布存在明顯不同，最明顯的是數(shù)量與密度的不同。

統(tǒng)計(jì)學(xué)異常點(diǎn)移除(Statistical Outlier detect,SOD)[15]是一種無監(jiān)督學(xué)習(xí)方法，可以應(yīng)用在數(shù)據(jù)異常數(shù)據(jù)檢測(cè)、工業(yè)產(chǎn)品檢測(cè)等領(lǐng)域。該算法有以下特點(diǎn)：(a)無需指定異常點(diǎn)占比; (b)無監(jiān)督學(xué)習(xí)，無需訓(xùn)練樣本。適用于連續(xù)數(shù)據(jù)的異常檢測(cè)，檢測(cè)分布稀疏且離密度高的群體較遠(yuǎn)的點(diǎn)、容易被孤立的離群點(diǎn)。

已有檢測(cè)數(shù)據(jù)集X={x1,x2,x3…xn}，?xi∈X,且xi由m維度的特征構(gòu)成,xi={xi1,xi2,xi3…,xim}。在點(diǎn)云數(shù)據(jù)中，只保存位置信息，則m=3，則xi={x,y,z}。對(duì)每個(gè)點(diǎn)，我們計(jì)算它到所有k個(gè)臨近點(diǎn)的平均距離。得到所有點(diǎn)的平均距離向量D={d1,d2,d3…dn}。假設(shè)得到的結(jié)果是一個(gè)高斯分布，其形狀由均值μ和標(biāo)準(zhǔn)差s決定。當(dāng)某一點(diǎn)的平均距離di>n·s+μ時(shí)，可被定義為離群點(diǎn)并可從數(shù)據(jù)集中去除掉。算法具體流程如表1所示。

表1 異常點(diǎn)去除算法流程表Tab.1 Outlier removal algorithm

3.2 k與n的選取

k值代表計(jì)算一個(gè)其最臨近k個(gè)點(diǎn)，其中k值的大小決定了SOD對(duì)異常點(diǎn)的敏感程度。k越小,SOD對(duì)局部特征越敏感。對(duì)于目標(biāo)來說，異常點(diǎn)占比通常很小，也會(huì)出現(xiàn)局部聚集的情況，所以k不宜取過小的數(shù)。一般對(duì)于一個(gè)目標(biāo)來說，假設(shè)其點(diǎn)云數(shù)量為a，令k=a/t，其中t代表將整個(gè)目標(biāo)當(dāng)做t個(gè)部分來考慮。我們使用t來控制SOD對(duì)整體與局部敏感度。

在計(jì)算k近鄰平均距離后，每個(gè)點(diǎn)會(huì)形成新的映射關(guān)系，異常點(diǎn)會(huì)被映射到離散區(qū)域,如圖9所示。SOD去除異常點(diǎn)效果如圖10所示。最終

圖9 t=3，n=1時(shí),點(diǎn)云k臨近距離統(tǒng)計(jì)。Fig.9 Point cloud k proximity statistics at t=3, n=1.

圖10 自適應(yīng)SOD去除異常點(diǎn)云,紅色點(diǎn)被判定為異常點(diǎn)。Fig.10 Adaptive SOD removes the abnormal point cloud, and the red points are determined as abnormal points.

將異常點(diǎn)進(jìn)行移除，得到目標(biāo)精細(xì)點(diǎn)云，同時(shí)獲得了目標(biāo)的準(zhǔn)確的空間位置信息。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)分別使用了TUM數(shù)據(jù)集[16]與KITTI數(shù)據(jù)集[17-18]。TUM數(shù)據(jù)集由尼黑工業(yè)大學(xué)的Computer Vision Lab制作。采集設(shè)備使用Kinect，主要針對(duì)室內(nèi)的辦公室場(chǎng)景，于是使用飛行時(shí)間法(TOF)，點(diǎn)云較為稠密。KITTI數(shù)據(jù)集由德國卡爾斯魯厄理工學(xué)院和豐田美國技術(shù)研究院聯(lián)合創(chuàng)辦，是目前國際上最大的自動(dòng)駕駛場(chǎng)景下的計(jì)算機(jī)視覺算法評(píng)測(cè)數(shù)據(jù)集。該數(shù)據(jù)集用于評(píng)測(cè)立體圖像(Stereo)、光流(Optical flow)、視覺測(cè)距(Visual odometry)、3D物體檢測(cè)(Object detection)和3D跟蹤(Tracking)等計(jì)算機(jī)視覺技術(shù)在車載環(huán)境下的性能。3D物體檢測(cè)包含7 481張訓(xùn)練圖片和其對(duì)應(yīng)的點(diǎn)云。由于KITTI-3D object數(shù)據(jù)集中物體只有三維框與二維框標(biāo)注，并無實(shí)例分割標(biāo)注，所以我們使用了COCO作為訓(xùn)練集。COCO中包含類別人與車，并使用KITTI訓(xùn)練集作為驗(yàn)證集進(jìn)行性能評(píng)估。

3D目標(biāo)檢測(cè)需要同時(shí)實(shí)現(xiàn)目標(biāo)定位和目標(biāo)識(shí)別兩項(xiàng)任務(wù)。通過比較預(yù)測(cè)框與真值框之間的交并比(Intersection over Union,IOU)來計(jì)算重疊程度。通過置信分?jǐn)?shù)和IOU來確定檢測(cè)結(jié)果的性能，最終使用單類別平均精度值(Average precision, AP)來評(píng)估單類目標(biāo)檢測(cè)的結(jié)果如圖11所示。其中2D邊界框的性能也使用AP來衡量，IOU閾值使用KITTI標(biāo)準(zhǔn)。由于算法機(jī)制不同，我們估算物體位置使用了最小外包立方體，而遠(yuǎn)處目標(biāo)的點(diǎn)云數(shù)量稀少且只有物體表面被激光雷達(dá)捕捉到，所以在遠(yuǎn)處物體的3D預(yù)測(cè)邊界框會(huì)比真值3D邊界框小很多，所以隨著IOU增加AP會(huì)降低，如表2所示。在表3中，我們對(duì)比了不同算法在KITTI上的AP得分，經(jīng)比較，我們的算法可以只使用2D數(shù)據(jù)集進(jìn)行訓(xùn)練，在AP得分上，與主流的算法比較有一定差距。在測(cè)量精度上，當(dāng)前主流的深度感知設(shè)備激光雷達(dá)Velodyne HDL-64E誤差<2 cm，深度相機(jī)RealsenseD435i在<4 m的距離下誤差不超過2%。

圖11 不同IOU閾值下的車輛AP值(3D)Fig.11 Car AP at different IOU thresholds (3D)

表2 不同IOU閾值下的KITTI數(shù)據(jù)集上的APTab.2 AP on KITTI dataset with different IOU threshold (%)

表3 在KITTI數(shù)據(jù)集上的性能對(duì)比Tab.3 Performance comparison on KITTI dataset (%)

圖12 在KITTI上的檢測(cè)結(jié)果與真值對(duì)比Fig.12 Detection results vs. ground truth on KITTI

圖13 TUM數(shù)據(jù)集上的檢測(cè)結(jié)果Fig.13 Results of TUM dataset

圖.14 KITTI數(shù)據(jù)集上的檢測(cè)結(jié)果Fig.14 Detection results of KITTI dataset

5 結(jié) 論

使用二維檢測(cè)器驅(qū)動(dòng)的三維物體檢測(cè)可以得到非常好的效果，經(jīng)過試驗(yàn)，在KITTI數(shù)據(jù)集上的AP可以達(dá)到50%以上。以Mask R-CNN作為檢測(cè)器，在2080 Ti上可以達(dá)到15 FPS。

對(duì)于遠(yuǎn)距離、重疊、復(fù)雜的目標(biāo)來說，點(diǎn)云已經(jīng)無法分辨其輪廓形狀，二維檢測(cè)器可以提供一個(gè)強(qiáng)有力的前端策略，來獲取目標(biāo)的點(diǎn)云。同時(shí)，本文使用了無監(jiān)督學(xué)習(xí)來對(duì)異常點(diǎn)云進(jìn)行檢測(cè)，整個(gè)算法不需要任何的三維數(shù)據(jù)作為訓(xùn)練樣本，輕量化，更加易于部署應(yīng)用于各個(gè)環(huán)境。其中輕量化體現(xiàn)在硬件輕量化與訓(xùn)練集輕量化。硬件輕量化是指以圖像為主，對(duì)點(diǎn)云質(zhì)量要求不高，可以降低硬件成本。訓(xùn)練集輕量化是指僅使用了二維數(shù)據(jù)集，相比三維點(diǎn)云數(shù)據(jù)集，容易獲取容易標(biāo)注。

對(duì)于二維驅(qū)動(dòng)的三維物體檢測(cè)來說，其前端可以搭載強(qiáng)大的二維檢測(cè)器以達(dá)到更多功能的拓展。比如骨架識(shí)別、人體姿態(tài)識(shí)別、全景分割等。并且目前主流的三維目標(biāo)檢測(cè)方法都使用了RGB數(shù)據(jù)與點(diǎn)云數(shù)據(jù)的多模態(tài)融合，這也是三維物體檢測(cè)的發(fā)展趨勢(shì)。RGB提供豐富的語義信息，而點(diǎn)云數(shù)據(jù)提供準(zhǔn)確的位置、輪廓信息。多模態(tài)的融合可以優(yōu)勢(shì)互補(bǔ)，但網(wǎng)絡(luò)也會(huì)變得復(fù)雜，也更難應(yīng)用于實(shí)時(shí)處理當(dāng)中。