蘇鵬，羅素云

（201600 上海市 上海工程技術(shù)大學(xué)）

0 引言

圖像動態(tài)特征點，是指在動態(tài)環(huán)境下，相機獲取的圖像中含有動態(tài)物體，而在獲取圖像中的特征點時，部分特征點會落在此動態(tài)物體上，這部分特征點被稱為圖像動態(tài)特征點[1]。動態(tài)特征點的存在會影響特征點匹配、位姿估計等的準(zhǔn)確性[2]。在無人駕駛領(lǐng)域，進(jìn)行位姿估計時假定周圍環(huán)境都是靜態(tài)物體，但避免不了行人、汽車等動態(tài)物體干擾。當(dāng)動態(tài)物體在圖像中占比較小時，一般可通過RANSAC（隨機抽樣一致）算法將其剔除，但當(dāng)動態(tài)物體在圖像中占比較大時，RANSAC 算法則不能有效剔除這些動態(tài)特征點[3]，因此研究動態(tài)環(huán)境下動態(tài)特征點的剔除，對無人汽車的定位很有意義。

為了解決動態(tài)特征點影響特征點匹配問題，WANG[4]等通過光流法完成動態(tài)物體的過濾。但是光流法的運算量較大，且對光照變化敏感，魯棒性較差。隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)被越來越多的研究者應(yīng)用到動態(tài)特征點剔除上。YU[5]等利用SegNet 網(wǎng)絡(luò)進(jìn)行動態(tài)物體分割，利用語義信息來完成動態(tài)特征點的剔除；BESCOS[6]等利用Mask-RCNN 網(wǎng)絡(luò)和多視角幾何方法來識別動態(tài)信息；ZHONG[7]等通過深度圖像的深度值來判定動態(tài)物體來實現(xiàn)動態(tài)特征點的剔除；席志紅[8]等對SegNet 網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出PSPNet 網(wǎng)絡(luò)，使識別出的動態(tài)語義信息更加準(zhǔn)確；CHEN[9]等利用YOLO 模型并結(jié)合貝葉斯濾波識別動態(tài)特征。但是大部分方法會導(dǎo)致圖像特征點剔除過多，而保留的靜態(tài)特征點較少，導(dǎo)致特征點匹配效果不佳。

本文提出了一種在動態(tài)場景下結(jié)合深度學(xué)習(xí)的圖像動態(tài)特征點提出方法，創(chuàng)新點和主要工作包括：（1）將SSD（Single Shot MultiBox Detector）網(wǎng)絡(luò)模型融合到特征點檢測階段，獲取圖像的動態(tài)特征點存在區(qū)域；（2）通過高斯混合模型的聚類算法，對特征點進(jìn)行分類、剔除；（3）對實驗結(jié)果進(jìn)行評價，估算方法的有效性。

1 方法描述

本方法的系統(tǒng)框架如圖1 所示，主要包括動態(tài)區(qū)域檢測和動態(tài)特征點提取2 部分。首先對輸入的RGB 圖像進(jìn)行ORB（Oriented FAST and Rotated BRIEF）特征點提取，再利用SSD 目標(biāo)檢測模型對RGB 圖像進(jìn)行動態(tài)區(qū)域檢測；同時，通過深度圖像賦予特征點深度值，再以特征點的深度值為對象，對動態(tài)區(qū)域內(nèi)的特征點進(jìn)行GMM（高斯混合模型）聚類處理。由于動態(tài)區(qū)域的中心點應(yīng)為運動目標(biāo)上的一點，以此點的深度值，判斷聚類后的特征點類別是否為動態(tài)特征點類別。最后實現(xiàn)動態(tài)特征點的識別與剔除。

圖1 整體框架流程圖Fig.1 Overall framework flow chart

2 目標(biāo)檢測模型

隨著感知技術(shù)的發(fā)展，許多應(yīng)用在目標(biāo)檢測方面的卷積神經(jīng)網(wǎng)絡(luò)模型被提出，最有代表性的有R-CNN、Fast R-CNN、Faster R-CNN、SSD 和YOLO 等。前3 種方法為two-stage 的方法，主要思想就是先找出可能包含待檢測目標(biāo)的候選框，然后再通過分類和邊框回歸確定候選框中包含待檢測物體的概率。但因其包含的步驟較多，所以檢測速度不能達(dá)到很快。SSD 和YOLO 是one-stage 的方法，它把檢測直接簡化為一個回歸問題。通過設(shè)計大量的anchor 用于目標(biāo)定位，因此省略了找出包含待檢測目標(biāo)的候選框這一步驟，所以其檢測速度大大提升，實時性較強。

為了同時兼顧目標(biāo)檢測的準(zhǔn)確性和實時性，本文選擇SSD 算法作為目標(biāo)檢測模型。SSD 是Liu Wei 等在2016 的ECCV 上提出的一種目標(biāo)檢測算法[10]，相比two-stage 方法有更快的檢測速度，相比YOLO 又有更高的檢測精度。SSD 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。在特征提取部分，以VGG16 作為其基礎(chǔ)網(wǎng)絡(luò)的同時，將VGG16 的最后2 個全連接層（FC6，F(xiàn)C7）修改為2 個卷積層（conv6，conv7）。同時，又在之后添加了6 個卷積 層（conv8-1，conv8-2，conv9-1，conv9-2，conv10-1，conv10-2），最后通過全局平均池化輸出一個1×1×256 的feature map。同時加入了特征金字塔的檢測方式，不像YOLO 那樣只利用最高層的feature map，而是在檢測時同時利用多尺度的feature map（conv4-3，conv-7（FC7），conv6-2，conv7-2，conv8_2，conv9_2）。

圖2 SSD 卷積神經(jīng)網(wǎng)絡(luò)Fig.2 SSD convolutional neural network

SSD 以Faster RCNN 中的anchor 作為基礎(chǔ)，提出了prior box 的概念。prior box 代表一些目標(biāo)的預(yù)選框，它的生成規(guī)則如下：

（1）以輸出的每個feature map 上的cell 的中點作為中心來生成一列同心的prior box。

（2）prior box 的最小邊長為min_size，最大邊長為

（3）同時設(shè)置一個縱橫比r，即2 個長方形，

（4）min_size與max_size由式（1）決定

式中：m——feature map 的數(shù)量。

得到prior box 之后，SSD 通過分類和回歸獲得目標(biāo)類別和回歸框的位置，以conv4-3 為例，如圖3 所示。

圖3 特征的分類與回歸流程圖Fig.3 Classification and regression flow chart of features

conv4_3 中的feature map 經(jīng)過batch norm 和卷積，得到[1，21*Num_priorbox，W，H]大小的feature用于softmax 分類，得到[1，4*Num_priorbox，W，H]大小的feature 用于bounding box 回歸，由此可以判斷物體是否為動態(tài)類別，同時也得到了回歸框坐標(biāo)。

本文采用基于pytorch 的SSD 目標(biāo)檢測模型對圖像進(jìn)行檢測，得到動態(tài)目標(biāo)區(qū)域范圍如圖4 所示。

圖4 動態(tài)區(qū)域檢測結(jié)果Fig.4 Dynamic region detection results

3 特征GMM 聚類

3.1 特征提取

常見的特征點提取算法有sift、SURF、fast 等，ORB 特征是把fast 特征與brief 描述子結(jié)合，并改進(jìn)和優(yōu)化。相比其他特征提取算法，ORB 特征提取的速度較快，且具有旋轉(zhuǎn)不變性，可以滿足攝像頭在連續(xù)采集視頻幀時實時性的要求。

ORB 特征點采用FAST（Features from accelerated segment test）算法檢測特征點。FAST 的思路是用一個點與它周圍的點比較，如果它和周圍大部分的點都不一樣，則認(rèn)為它是一個特征點。獲取步驟如下：

（1）從圖片中選取一個像素點P，為了判斷它是否是一個特征點，首先把它的灰度值設(shè)為IP；

（2）設(shè)定一個合適閾值t，當(dāng)2 個像素點灰度值之差的絕對值大于t時，則認(rèn)為這2 個點不同；

（3）考慮該像素點周圍的16 個像素，如果這16 個點中有連續(xù)的n個點都和該像素點不同，那么就認(rèn)為它是一個角點。

當(dāng)然也可以提出一個高效測試快速排除一大部分非特征點。該測試僅僅檢查上、下、左、右4個位置的像素。如果是一個角點，那么上述4 個像素點中至少有3 個應(yīng)該和該點相同。如果都不滿足，那么該點則不是一個角點。

得到特征點后，需要以某種方式描述這些特征點的屬性。這些屬性稱為該特征點的描述子。ORB采用BRIEF算法來計算一個特征點的描述子。BRIEF 算法的思路是在關(guān)鍵點P的周圍以一定模式選取N個點對，然后把這N個點對的比較結(jié)果組合起來作為描述子。獲取步驟如下：

（1）以關(guān)鍵點P為圓心，以d為半徑做圓O。

（2）在圓O內(nèi)某一模式選取N個點對。為方便說明，取N=4，實際應(yīng)用中可以取N=512。

（3）選取的4 個點對分別標(biāo)記為：P1（A，B），P2（A，B），P3（A，B），P4（A，B）。

（4）定義函數(shù)T

式中：IA——點A的灰度。

（5）分別對步驟（3）選取的點對進(jìn)行T操作，將得到的結(jié)果進(jìn)行組合，即得到該點的描述子。

3.2 GMM 聚類

GMM（高斯混合模型）聚類是k-means 模型的一種優(yōu)化。k-means 模型聚類的原理是分別計算樣本中每個點與每個簇中心點的歐氏距離，樣本點離哪個簇中心點近，則被歸類于哪一個簇。但k-means 聚類出來的簇必須為圓形，因此聚類后的結(jié)果可能和實際的分布情況有很大差別。而GMM則是把所有的簇先假定看作多個高斯分布，然后通過樣本點找出K個高斯分布的期望和方差，聚類出來的簇的形狀更加靈活多變，且GMM 聚類進(jìn)行簇的劃分時，是根據(jù)每個樣本點屬于某個簇的概率劃分的，聚類結(jié)果更加精確。

對于GMM 聚類，首先給定聚類后簇的個數(shù)K。對給定的樣本數(shù)據(jù)集，其高斯混合模型的概率密度函數(shù)由K個多元高斯分布組合成的混合分布表示：

式中：p（x|μ，Σ）——以μ為均值的向量；Σ——協(xié)方差矩陣的多元高斯分布概率密度函數(shù)；ωi——第i個多元高斯分布在混合模型中的權(quán)重，且

然后對于給定的聚類簇數(shù)k與樣本集，GMM以參數(shù)估計的方法推導(dǎo)出混合成分的參數(shù)。GMM訓(xùn)練時采用極大似然估法：

但是通過式（4）無法直接求解，這里用到EM（Expectation-Maximization）方法求解，具體的步驟如下：

（1）根據(jù)給定的k值，初始化k個多元高斯分布以及權(quán)重；

（2）E 步：根據(jù)當(dāng)前模型參數(shù)，計算第i個樣本在第k個分布中的概率；

（3）M 步：計算新一輪迭代的模型參數(shù)

式中：μk——第k個分布的期望值；Σk——第k個分布的方差。

（4）重復(fù)步驟（2）、步驟（3），直到似然估計值不再變化或達(dá)到最大迭代次數(shù)。

3.3 動態(tài)刪除

本文首先結(jié)合深度圖像對3.1 中提取出的ORB特征點賦予深度信息，然后通過2 中檢測出的動態(tài)區(qū)域，對目標(biāo)范圍內(nèi)的特征點基于深度信息進(jìn)行GMM 聚類，考慮到動態(tài)區(qū)域內(nèi)存在深度值大于動態(tài)目標(biāo)深度值的物體與深度值小于動態(tài)目標(biāo)深度值的物體，故將聚類簇的數(shù)量k設(shè)置為3，將動態(tài)區(qū)域內(nèi)的物體深度值分為3 簇。由于SSD 模型檢測到的動態(tài)范圍中心點一定為動態(tài)目標(biāo)，故將動態(tài)范圍中心點的深度值IO提取出來，計算聚類結(jié)果中3個簇的質(zhì)心與中心點深度值的歐氏距離：

式中：k分別取1、2、3；Ik——聚類簇質(zhì)心的值。

取S值最小時的聚類簇為動態(tài)目標(biāo)的特征點聚類簇，其他2 個聚類簇則認(rèn)為是靜態(tài)特征點，最后對此部分動態(tài)目標(biāo)的特征點進(jìn)行剔除。具體的算法框架如圖5 所示。

圖5 動態(tài)特征點剔除流程圖Fig.5 Dynamic feature point culling flow chart

4 實驗結(jié)果分析

選擇網(wǎng)上公開的數(shù)據(jù)集——TUM 深度圖像數(shù)據(jù)集進(jìn)行實驗，驗證本文所提出的算法的有效性。圖6 是本文所采用的TUM 深度圖像數(shù)據(jù)集中的RGB 圖像。

圖6 原始RGB 圖像Fig.6 Original RGB image

圖7（a）是在選用的RGB 圖像上提取出的ORB 特征點，圖7（b）是通過SSD 算法和深度信息聚類來實現(xiàn)動態(tài)特征點剔除后的圖像。由圖7的實驗結(jié)果可以看出，動態(tài)目標(biāo)上的特征點絕大部分都被剔除，且保留了動態(tài)區(qū)域內(nèi)的靜態(tài)特征點。通過計算動態(tài)特征點數(shù)量與動態(tài)特征點的剔除數(shù)量，得出動態(tài)特征點的剔除率在94%以上，從而驗證本文算法可以有效剔除不同場景下動態(tài)目標(biāo)上的特征點，以此提高特征點匹配、位姿估計的精度。

圖7 動態(tài)特征點剔除示例Fig.7 Dynamic feature point elimination examples

5 結(jié)語

本文采用了ORB 特征提取的方法，融合了一種基于深度學(xué)習(xí)的SSD 目標(biāo)檢測模型與GMM 高斯聚類算法，并以公開數(shù)據(jù)集TUM 動態(tài)場景深度圖像數(shù)據(jù)集作為測試，實現(xiàn)動態(tài)目標(biāo)上特征點的剔除。該方法在實時性、剔除率上取得了良好效果，但是在實際應(yīng)用中由于相機受光照強度影響，導(dǎo)致動態(tài)目標(biāo)上一些邊緣特征的深度值采集效果不好，部分邊緣動態(tài)特征點剔除失敗，因此要進(jìn)一步改進(jìn)算法提高動態(tài)特征點的剔除率。