李璐琪蔡成林

(湘潭大學(xué)自動(dòng)化與電子信息學(xué)院，湖南 湘潭411105)

同時(shí)定位與地圖創(chuàng)建(simultaneous localization and mapping，SLAM)是機(jī)器人研究領(lǐng)域的熱點(diǎn)技術(shù)，是機(jī)器人實(shí)現(xiàn)環(huán)境感知與場(chǎng)景三維重建，自主避障與路徑規(guī)劃，自動(dòng)駕駛與導(dǎo)航等應(yīng)用的關(guān)鍵[1]。隨著研究的不斷發(fā)展，機(jī)器人搭載的傳感器也更加多元化，包括視覺，激光，雷達(dá)，以及多傳感器融合的方式，視覺SLAM 則是指以相機(jī)、攝像頭等視覺傳感器作為主要數(shù)據(jù)采集器，圖像序列作為信息源的定位建圖方法[2]。 現(xiàn)代視覺SLAM 系統(tǒng)已經(jīng)相當(dāng)成熟，并具有令人滿意的性能，例如基于特征點(diǎn)法的ORB＿SLAM2[3]，利用ORB 特征[4]進(jìn)行計(jì)算，支持單目、雙目、RGB-D 三種模式，使用跟蹤、局部建圖、回環(huán)檢測(cè)的三線程結(jié)構(gòu)，構(gòu)建稀疏特征點(diǎn)地圖；基于半直接法的LSD-SLAM[5]，利用直接圖像對(duì)齊進(jìn)行高精度位姿估計(jì)，實(shí)時(shí)重建3D 環(huán)境作為與半稠密深度圖相關(guān)的關(guān)鍵幀位姿圖，該算法允許構(gòu)建大規(guī)模半稠密的三維地圖；基于直接法的DTAM[6]，依賴于單個(gè)像素的光度變化、紋理信息，通過直接最小化光度誤差和全局空間正則化來估計(jì)出完全密集的重構(gòu)。

但是以上經(jīng)典SLAM 系統(tǒng)都是建立在場(chǎng)景中的物體均是靜態(tài)的假設(shè)前提下，對(duì)動(dòng)態(tài)物體的檢測(cè)和處理十分有限，然而實(shí)際的室內(nèi)外場(chǎng)景中，無法規(guī)避運(yùn)動(dòng)物體，比如行走的人或動(dòng)物、行駛的自行車或汽車。 在這種情況下，周圍環(huán)境的意外變化可能會(huì)嚴(yán)重影響相機(jī)位姿估計(jì)，增大軌跡誤差甚至導(dǎo)致系統(tǒng)故障。 于是，運(yùn)動(dòng)物體的檢測(cè)與動(dòng)態(tài)區(qū)域的正確分割成為動(dòng)態(tài)場(chǎng)景下視覺SLAM 的重要研究環(huán)節(jié)。 目前，有學(xué)者使用多傳感器融合來檢測(cè)運(yùn)動(dòng)物體，Chavez-Garcia 等[7]提出用雷達(dá)，激光雷達(dá)和攝像頭構(gòu)建環(huán)境感知模型來進(jìn)行運(yùn)動(dòng)物體檢測(cè)，Popov[8]等使用Kinect 傳感器和2D 激光雷達(dá)對(duì)移動(dòng)目標(biāo)進(jìn)行檢測(cè)，有學(xué)者使用密集場(chǎng)景流來檢測(cè)運(yùn)動(dòng)物體，Pan等[9]通過估計(jì)3D 場(chǎng)景流來分割多個(gè)運(yùn)動(dòng)對(duì)象從而恢復(fù)潛在的清晰圖，Xiao 等[10]通過計(jì)算視差圖和密集光流場(chǎng)獲得超像素再輸入到條件隨機(jī)場(chǎng)模型進(jìn)行動(dòng)態(tài)靜態(tài)分割，有學(xué)者使用深度學(xué)習(xí)來檢測(cè)運(yùn)動(dòng)物體，Runz 等[11]使用MASK-RCNN[12]充分利用實(shí)例級(jí)語(yǔ)義分割的優(yōu)勢(shì)，以使語(yǔ)義標(biāo)簽?zāi)軌蛉诤系揭粋€(gè)對(duì)象感知映射中，可以識(shí)別，檢測(cè)，跟蹤和重建多個(gè)移動(dòng)的剛性物體，Brickwedde 等[13]提出的monostixels 基于逐像素語(yǔ)義分割來處理運(yùn)動(dòng)對(duì)象，并在KITTI 數(shù)據(jù)集[14]上實(shí)驗(yàn)，表明單像素可對(duì)場(chǎng)景的靜態(tài)和運(yùn)動(dòng)部分進(jìn)行緊湊而可靠的深度重建，Chen等[15]利用CNN 目標(biāo)檢測(cè)技術(shù)來檢測(cè)當(dāng)前視圖中的可能移動(dòng)對(duì)象，并讓SLAM 的前端使用邊界框以外的局部特征來實(shí)現(xiàn)連續(xù)的跟蹤和映射，從而可以消除由移動(dòng)物體引起的噪聲，Bescos[16]等提出的DynaSLAM 通過使用多視幾何、深度學(xué)習(xí)或者兩者兼有的方法實(shí)現(xiàn)移動(dòng)物體的檢測(cè)，并且通過對(duì)動(dòng)態(tài)物體遮擋的背景幀進(jìn)行修復(fù)，生成靜態(tài)場(chǎng)景地圖。

但是，多傳感器融合方案需要添加來自不同傳感器源的信息，面臨數(shù)據(jù)關(guān)聯(lián)、信號(hào)同步，融合處理等多重困難，大大增加了系統(tǒng)的復(fù)雜性，密集場(chǎng)景流的方法計(jì)算量大，對(duì)實(shí)時(shí)計(jì)算是一個(gè)很大的挑戰(zhàn)，深度學(xué)習(xí)的方法通過深度神經(jīng)網(wǎng)絡(luò)對(duì)圖像強(qiáng)大的學(xué)習(xí)能力，容易標(biāo)記出潛在運(yùn)動(dòng)物體，并提供語(yǔ)義信息可構(gòu)建語(yǔ)義地圖，豐富機(jī)器人對(duì)環(huán)境的理解從而獲得高級(jí)感知，但是存在對(duì)于可移動(dòng)物體誤判以及動(dòng)態(tài)物體檢測(cè)框過大或邊緣不對(duì)齊的問題。

針對(duì)以上問題，本文提出一種更加魯棒的動(dòng)態(tài)場(chǎng)景下的SLAM 算法，采用深度學(xué)習(xí)快速識(shí)別動(dòng)態(tài)物體框與稀疏特征光流計(jì)算做進(jìn)一步動(dòng)態(tài)判斷相結(jié)合，并利用邊緣檢測(cè)算法對(duì)動(dòng)態(tài)物體的邊緣進(jìn)行有效分割，保證沒有過多的靜態(tài)特征點(diǎn)被誤刪除，構(gòu)建無動(dòng)態(tài)物體的靜態(tài)環(huán)境三維點(diǎn)云地圖以真正實(shí)現(xiàn)自主機(jī)器人的強(qiáng)大感知和導(dǎo)航能力。

1 系統(tǒng)整體框架和流程

本研究采用YOLOv4[17]實(shí)時(shí)目標(biāo)檢測(cè)算法快速獲取輸入的彩色三通道圖像中潛在的語(yǔ)義動(dòng)態(tài)物體粗略的矩形范圍，同時(shí)提取ORB 特征點(diǎn)并計(jì)算光流場(chǎng)，僅計(jì)算所跟蹤的ORB 特征點(diǎn)的光流場(chǎng)可很大程度減少計(jì)算全部像素點(diǎn)光流場(chǎng)的時(shí)間，通過語(yǔ)義信息與光流場(chǎng)計(jì)算篩選出的動(dòng)態(tài)特征點(diǎn)相互結(jié)合可獲得真正運(yùn)動(dòng)的物體，再針對(duì)動(dòng)態(tài)物體采用canny 算子[18]進(jìn)行邊緣檢測(cè)，得到動(dòng)態(tài)物體的邊緣信息，通過最小化動(dòng)態(tài)物體以外靜態(tài)特征點(diǎn)的重投影誤差進(jìn)行相機(jī)位姿估計(jì)。 最后，使用剔除了動(dòng)態(tài)物體的關(guān)鍵幀構(gòu)建地圖。 整體流程如圖1 所示。

圖1 算法流程

1.1 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)

YOLOv4 是YOLO 系列的目標(biāo)檢測(cè)算法，是目前速度和精度平衡得最好的算法，因此本研究選取該網(wǎng)絡(luò)進(jìn)行SLAM 過程中圖像語(yǔ)義信息處理。YOLOv4 網(wǎng)絡(luò)采用CSPDarkNet53[19]作為主干網(wǎng)絡(luò)提取圖像特征，CSPDarkNet53 是在Darknet53 的每個(gè)大殘差塊上加上CSP，共有5 個(gè)大殘差塊，每個(gè)大殘差塊所包含的小殘差單元個(gè)數(shù)為1、2、8、8、4。 在特征金字塔部分，使用SPP[20]和PANet[21]，可以有效增加主干特征的感受野，分離最顯著的上下文特征，SPP 對(duì)CSPdarknet53 的最后一個(gè)特征層進(jìn)行三次DarknetConv2D＿BN＿Leaky 卷積后，再進(jìn)行最大池化處理，最大池化的池化核大小分別為13×13、9×9、5×5，完成池化后進(jìn)行張量拼接并通過1×1 降維到512 個(gè)通道，PANet 實(shí)現(xiàn)特征的反復(fù)提取，在完成特征金字塔從下到上的特征提取后，還需要實(shí)現(xiàn)從上到下的特征提取。 分類回歸層采用YOLOv3[22]頭部進(jìn)行預(yù)測(cè)輸出，提取三個(gè)特征層獲得預(yù)測(cè)結(jié)果，采用MS COCO 數(shù)據(jù)集進(jìn)行訓(xùn)練，輸入圖片大小為608×608，包含80 種不同類別，三個(gè)特征層的形狀為(19，19，255)，(38，38，255)，(76，76，255)，最后的維度255 ＝3×85，85 包含了4＋1＋80，分別代表x＿offset、y＿offset、height 和width、置信度、分類結(jié)果，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。 在預(yù)訓(xùn)練中，訓(xùn)練步數(shù)為500，500，采用階躍衰減學(xué)習(xí)率調(diào)度策略，初始學(xué)習(xí)率為0.01，在400 000 步和450 000 步分別乘以因子0.1，動(dòng)量衰減和權(quán)重衰減分別設(shè)置為0.9 和0.000 5，訓(xùn)練曲線如圖3 所示。

圖2 YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)

圖3 訓(xùn)練曲線圖

首先將圖像輸入至YOLOv4，獲取先驗(yàn)語(yǔ)義信息，即得到目標(biāo)類別，置信度，所在矩形框的位置及大小，如圖4(a)所示。 根據(jù)輸出結(jié)果，可大致得到圖像的語(yǔ)義動(dòng)態(tài)區(qū)域和語(yǔ)義靜態(tài)區(qū)域。 語(yǔ)義動(dòng)態(tài)區(qū)域即傳統(tǒng)意義上運(yùn)動(dòng)目標(biāo)區(qū)域，比如人，動(dòng)物，汽車等具有主動(dòng)運(yùn)動(dòng)能力的物體類別區(qū)域，語(yǔ)義靜態(tài)區(qū)域即為非語(yǔ)義動(dòng)態(tài)區(qū)域。 實(shí)際上語(yǔ)義動(dòng)態(tài)區(qū)域包含動(dòng)態(tài)物體以外的靜態(tài)場(chǎng)景，如圖4(b)所示。 如果在SLAM 算法中直接去除語(yǔ)義動(dòng)態(tài)區(qū)域，不利于精確的相機(jī)位姿估計(jì)，甚至當(dāng)過多的靜態(tài)環(huán)境被包含在語(yǔ)義動(dòng)態(tài)區(qū)域時(shí)，會(huì)造成相機(jī)定位失敗。 因此有必要進(jìn)一步對(duì)動(dòng)態(tài)物體進(jìn)行精確判定與劃分。 另外，如果場(chǎng)景中的人并沒有移動(dòng)就不屬于動(dòng)態(tài)物體或者人坐著的時(shí)候轉(zhuǎn)動(dòng)椅子，那椅子就也變成運(yùn)動(dòng)物體?？傊?，不能簡(jiǎn)單地認(rèn)為語(yǔ)義動(dòng)靜態(tài)區(qū)域就是真實(shí)的動(dòng)靜態(tài)區(qū)域，也就是說通過YOLOv4 算法得到的語(yǔ)義信息能夠提供先驗(yàn)知識(shí)以及豐富的物體類別信息，但在實(shí)際的動(dòng)靜態(tài)判斷上是模糊的，需要結(jié)合接下來的特征點(diǎn)光流信息進(jìn)一步做出準(zhǔn)確判斷。

圖4 YOLOv4 目標(biāo)檢測(cè)獲取的語(yǔ)義動(dòng)靜態(tài)區(qū)域信息

1.2 ORB 特征點(diǎn)提取與光流計(jì)算

為了進(jìn)行物體動(dòng)靜態(tài)分析同時(shí)節(jié)約計(jì)算成本保證實(shí)時(shí)性，本研究針對(duì)提取的ORB 特征點(diǎn)對(duì)其進(jìn)行光流場(chǎng)計(jì)算估計(jì)其運(yùn)動(dòng)狀態(tài)。 ORB 特征點(diǎn)的提取主要分為FAST 角點(diǎn)提取和BRIEF 描述子計(jì)算兩部分，具體步驟如下。

①構(gòu)造圖像金字塔，對(duì)金字塔的每一層使用基于四叉樹的均勻提取策略提取FAST 角點(diǎn)，如圖5所示，具體計(jì)算過程如下:

第1 步 在圖像中選取像素p，獲取它的亮度，假設(shè)為Ip；

第2 步 設(shè)置閾值T＝Ip×0.2；

第3 步 遍歷以像素p為中心的半徑為3 的圓上的16 個(gè)像素點(diǎn)；

第4 步 設(shè)每個(gè)遍歷點(diǎn)的亮度為Icp，若存在連續(xù)N個(gè)點(diǎn)，其Icp＞IP＋T或者Icp＜Ip-T，則認(rèn)定該點(diǎn)為特征點(diǎn)，本研究中N為12；

第5 步 對(duì)圖像中每個(gè)像素點(diǎn)執(zhí)行上述操作。

圖5 FAST 角點(diǎn)計(jì)算

②利用灰度質(zhì)心法，計(jì)算FAST 角點(diǎn)旋轉(zhuǎn)角度，定義圖像的矩為:

式中:I(x，y)FAST 角點(diǎn)(x，y)灰度值，a，b為矩的階次，圖像的質(zhì)心坐標(biāo)為:

旋轉(zhuǎn)角度為:

③計(jì)算旋轉(zhuǎn)后的BRIEF 描述子，選取S×S的窗口W，定義:

式中:I(x)是x處的灰度值，隨機(jī)選取n對(duì)特征點(diǎn)，生成n維BRIEF 描述子向量:

引入方向因子θ，則特征點(diǎn)的描述子為:

式中:Sθ為定義的一個(gè)2×n的矩陣:

由方向因子θ的旋轉(zhuǎn)矩陣Rθ變換所得，即Sθ＝RθS。

同時(shí)對(duì)提取的ORB 特征點(diǎn)計(jì)算光流場(chǎng)，篩選動(dòng)態(tài)特征點(diǎn)，再將動(dòng)態(tài)特征點(diǎn)與語(yǔ)義信息結(jié)合選取動(dòng)態(tài)物體。 如圖6(a)所示，特征點(diǎn)集合Φ＝{λ1，λ2，…，λn}，其中每個(gè)λi＝{xi，yi，mi}，(xi，yi)為像素坐標(biāo)，mi為物體類別信息。 假設(shè)灰度不變，運(yùn)動(dòng)方式一致且幅度小，任意第i個(gè)特征點(diǎn)λi＝(xi，yi)在t時(shí)刻的灰度為Ii(xi，yi，ti)，在t＋δt時(shí)刻的灰度為Ii(xi＋δxi，yi＋δyi，ti＋δti)，則:

用泰勒公式展開可得:

利用Locas-Kanade 算法，對(duì)光流值局部進(jìn)行調(diào)整，假設(shè)光流在λi為中心的空間小領(lǐng)域內(nèi)基本相同，取7×7 個(gè)特征點(diǎn)聯(lián)立方程進(jìn)行計(jì)算:

這是一個(gè)超定線性方程:

利用最小二乘法來求解，可得λi的光流信息為:

如圖6(b)所示。 設(shè)[Uj，Vj]T為mj所在矩形區(qū)域的背景光流場(chǎng)，根據(jù)

計(jì)算此區(qū)域背景運(yùn)動(dòng)速度，式中，k＝1，2，…N為此區(qū)域內(nèi)所有特征點(diǎn)。 利用背景運(yùn)動(dòng)速度進(jìn)行動(dòng)態(tài)特征點(diǎn)篩選，若λk的運(yùn)動(dòng)速度滿足

則λk為動(dòng)態(tài)點(diǎn)，本研究中在時(shí)間t取1 的情況下ε為13，如圖6(c)所示，進(jìn)一步地，mj含有的動(dòng)態(tài)特征點(diǎn)的數(shù)目大于一定閾值，則mj為動(dòng)態(tài)物體，本研究中提取的特征點(diǎn)數(shù)目為1 000，閾值為20，如圖6(d)所示。

圖6 特征提取與光流計(jì)算

1.3 基于canny 算子的動(dòng)態(tài)物體邊緣檢測(cè)

直接去除動(dòng)態(tài)物體矩形區(qū)域則去掉了過多的靜態(tài)場(chǎng)景，不利于精確的相機(jī)定位與地圖構(gòu)建。 為了更準(zhǔn)確地提取出動(dòng)態(tài)物體的輪廓，本研究采用canny 算子對(duì)篩選出的動(dòng)態(tài)物體(如圖7(a)所示)進(jìn)行邊緣檢測(cè)，如圖7(b)所示。 canny 算子屬于二階微分算子，通過給定圖像邊緣處的二階導(dǎo)數(shù)零點(diǎn)來提取圖像的邊緣，相比于一階微分算子提取的邊緣更細(xì)，連續(xù)性更好，不容易受噪聲的干擾，而且使用兩種不同的閾值分別檢測(cè)強(qiáng)邊緣和弱邊緣，能夠檢測(cè)到真正的弱邊緣。 具體步驟如下。

①消除圖像噪聲。 首先利用高斯函數(shù)對(duì)圖像進(jìn)行平滑處理，設(shè)f(x，y)為輸入圖像，g(x，y)為輸出圖像，G(x，y)為高斯函數(shù)，定義為:

進(jìn)行卷積降噪，則:

②計(jì)算梯度幅值和方向。 利用高斯濾波之后的圖像，選用合適的梯度算子計(jì)算相鄰像素之間一階偏導(dǎo)的有限差分來計(jì)算各像素點(diǎn)梯度的大小和方向。

式中:Ax，Ay為Sobel 梯度算子，Ex，Ey為水平和垂直方向的差分，則梯度幅值和方向?yàn)?/p>

圖7 動(dòng)態(tài)物體邊緣檢測(cè)

③過濾非極大值。 在高斯濾波過程中，邊緣有可能被放大了，采用非極大值抑制方法來過濾不是邊緣的點(diǎn)。 若當(dāng)前計(jì)算出的梯度幅值在該點(diǎn)所在領(lǐng)域內(nèi)，大于沿該點(diǎn)梯度方向上其他相鄰2 個(gè)像素點(diǎn)的梯度幅值，則該點(diǎn)屬于可能的邊緣點(diǎn)，否則不是，采取抑制手段，將灰度值設(shè)為0。

④雙閥值檢測(cè)和連接邊緣。 經(jīng)過以上步驟的處理僅得到候選邊緣點(diǎn)，再采用上、下閾值的檢測(cè)處理來剔除偽邊緣點(diǎn)。 大于上閾值的點(diǎn)都被檢測(cè)為邊緣點(diǎn)，小于下閾值的點(diǎn)都被檢測(cè)為非邊緣點(diǎn)，介于兩個(gè)值之間的點(diǎn)則被檢測(cè)為弱邊緣點(diǎn)，如果與確定為邊緣點(diǎn)的像素點(diǎn)鄰接，則判定為邊緣點(diǎn)；否則為非邊緣點(diǎn)。

1.4 基于動(dòng)態(tài)物體剔除的位姿估計(jì)與點(diǎn)云地圖構(gòu)建

1.4.1 基于靜態(tài)特征點(diǎn)的位姿估計(jì)

在確定了動(dòng)態(tài)物體的準(zhǔn)確輪廓之后，剔除分布在動(dòng)態(tài)物體內(nèi)的動(dòng)態(tài)特征點(diǎn)，僅利用非動(dòng)態(tài)區(qū)域的穩(wěn)定特征點(diǎn)進(jìn)行更為精確的相機(jī)位姿求解，如圖8 所示。設(shè)為當(dāng)前幀c中靜態(tài)特征點(diǎn)的像素坐標(biāo)，利用深度值可得3D空間點(diǎn)坐標(biāo)

式中:fx，fy為相機(jī)焦距，(cx，cy)為相機(jī)主點(diǎn)坐標(biāo)，本研究中fx＝535.4，fy＝539.2，cx＝320.1，cy＝247.6。設(shè)參考關(guān)鍵幀k，當(dāng)前幀c和參考關(guān)鍵幀k之間相機(jī)的位姿變換矩陣:

圖8 位姿估計(jì)過程運(yùn)行圖

式中:為旋轉(zhuǎn)矩陣，為平移向量，則空間坐標(biāo)點(diǎn)對(duì)應(yīng)參考關(guān)鍵幀的空間坐標(biāo)點(diǎn)

將投影至參考關(guān)鍵幀k的圖像平面得到其投影的像素坐標(biāo)

式中:ω(·)為投影函數(shù)。 通過特征匹配知道在參考關(guān)鍵幀k中匹配點(diǎn)，對(duì)關(guān)鍵幀中所有特征點(diǎn)構(gòu)造重投影誤差函數(shù):

利用迭代非線性優(yōu)化算法進(jìn)行求解，每次迭代使用李代數(shù)ζ∈se(3)作為位姿的擾動(dòng)量進(jìn)行優(yōu)化，左乘對(duì)位姿進(jìn)行更新:

采用列文伯格-馬夸爾特方法作為梯度下降策略，求解過程中重投影誤差對(duì)于位姿增量的雅可比矩陣為:

式中:ex和ey分別為重投影誤差在橫縱方向的梯度值，求解所得的(R，t)即為相機(jī)位姿變換。

1.4.2 剔除動(dòng)態(tài)物體的靜態(tài)環(huán)境點(diǎn)云地圖構(gòu)建

構(gòu)建環(huán)境3D 點(diǎn)云地圖，能夠更好地提供環(huán)境可視化。 利用點(diǎn)云攜帶的語(yǔ)義信息則能為機(jī)器人導(dǎo)航避障提供依據(jù)。 在構(gòu)建點(diǎn)云時(shí)，若位姿存在較大誤差，會(huì)造成地圖出現(xiàn)明顯的交錯(cuò)重疊，不利于導(dǎo)航。 利用剔除了動(dòng)態(tài)物體之后的點(diǎn)云進(jìn)行疊加，能有效解決這個(gè)問題。

利用ORB＿SLAM2 算法獲得關(guān)鍵幀，將所有關(guān)鍵幀的點(diǎn)云進(jìn)行疊加，太過繁復(fù)冗余，可通過精簡(jiǎn)關(guān)鍵幀數(shù)量進(jìn)一步提高建圖的效率。 在關(guān)鍵幀篩選的過程中，考慮以下兩個(gè)策略:①關(guān)鍵幀有效性判斷。若被剔除的點(diǎn)云面積超過當(dāng)前關(guān)鍵幀面積的一半，則認(rèn)為該關(guān)鍵幀包含的有效信息不足，不參與疊加。②關(guān)鍵幀冗余性判斷。 能被多個(gè)關(guān)鍵幀觀測(cè)到的特征點(diǎn)，稱為多個(gè)關(guān)鍵幀的共視地標(biāo)點(diǎn)。 對(duì)當(dāng)前關(guān)鍵幀觀測(cè)到的共視地標(biāo)點(diǎn)做檢測(cè)，假設(shè)已確定的繪圖關(guān)鍵幀集合為F，觀測(cè)到的地標(biāo)點(diǎn)集合為L(zhǎng)，當(dāng)前關(guān)鍵幀觀測(cè)到的地標(biāo)點(diǎn)集合Lc，若L∩Lc的數(shù)量超過Lc的一半，則認(rèn)為當(dāng)前關(guān)鍵幀包含過多共視地標(biāo)點(diǎn)，信息冗余，不參與疊加。

滿足以上兩個(gè)條件，則更新F以及L，這樣既能保證引入新的點(diǎn)云信息又能保證有足夠多的靜態(tài)環(huán)境信息，運(yùn)行過程中跟蹤的關(guān)鍵幀如圖9 所示。

圖9 跟蹤的關(guān)鍵幀

2 實(shí)驗(yàn)與分析

本節(jié)采用TUM-RGBD 數(shù)據(jù)集以及其提供的測(cè)評(píng)工具從位姿估計(jì)誤差和點(diǎn)云地圖構(gòu)建兩方面對(duì)系統(tǒng)綜合能力進(jìn)行評(píng)估，并與ORB＿SLAM2 以及DynaSLAM(N)僅使用MASK-RCNN 進(jìn)行動(dòng)態(tài)物體分割的方法對(duì)比。 為了檢驗(yàn)動(dòng)態(tài)物體的處理對(duì)SLAM算法的影響，選取dynamic objects 分類下的walking序列進(jìn)行實(shí)驗(yàn)。 此序列為兩個(gè)人在辦公桌周圍運(yùn)動(dòng)行走，halfsphere、rpy、xyz、static 分別表示Asus Xtion傳感器在拍攝過程中的運(yùn)動(dòng)方式。

2.1 位姿估計(jì)誤差實(shí)驗(yàn)

本實(shí)驗(yàn)首先在數(shù)據(jù)集的四個(gè)高動(dòng)態(tài)序列上進(jìn)行測(cè)試，獲取本文系統(tǒng)的估計(jì)軌跡，再使用位姿估計(jì)評(píng)估工具計(jì)算估計(jì)軌跡與真實(shí)軌跡之間的絕對(duì)軌跡誤差(absolute trajectory erro，ATE)來進(jìn)行評(píng)估，并與ORB＿SLAM2 以及DynaSLAM(N)的運(yùn)行結(jié)果進(jìn)行比較。 ATE 統(tǒng)計(jì)對(duì)比結(jié)果如表1 所示，其中:RMSE為比對(duì)數(shù)據(jù)之間的均方根誤差，Mean 為平均誤差，Median 為中值誤差，std 為標(biāo)準(zhǔn)偏差。

由表1 可以看出，由于本文算法增加了動(dòng)態(tài)物體處理，并能較為準(zhǔn)確的檢測(cè)出動(dòng)態(tài)物體區(qū)域，大大減小了軌跡誤差，定位精度明顯優(yōu)于ORB＿SLAM2，與DynaSLAM 對(duì)比在半球面運(yùn)動(dòng)、rpy 運(yùn)動(dòng)和靜止序列中稍有提升，但是DynaSLAM 是采用MASKRCNN 實(shí)例分割算法提取場(chǎng)景中動(dòng)態(tài)物體的語(yǔ)義信息，運(yùn)行速度較慢，實(shí)時(shí)性不是太好。 ORB＿SLAM2與本文算法得到的估計(jì)軌跡與真實(shí)軌跡之間的誤差如圖10 所示，圖中黑線為真實(shí)軌跡，藍(lán)線為估計(jì)軌跡，紅線為兩者之間的誤差。 從圖中可以看出，本文算法的誤差明顯減少。

表1 動(dòng)態(tài)環(huán)境下的ATE 統(tǒng)計(jì)對(duì)比

圖10 ORB＿SLAM2 算法與本文算法的軌跡對(duì)比

2.2 點(diǎn)云地圖構(gòu)建實(shí)驗(yàn)

本實(shí)驗(yàn)采用ORB＿SLAM2 和本文算法在以上四個(gè)高動(dòng)態(tài)序列中運(yùn)行得到的位姿估計(jì)數(shù)據(jù)以及關(guān)鍵幀進(jìn)行點(diǎn)云地圖疊加，疊加過程中考慮關(guān)鍵幀的冗余性和有效性。 如圖11 所示，實(shí)驗(yàn)表明剔除動(dòng)態(tài)物體的點(diǎn)云地圖能有效改善地圖重疊交錯(cuò)的現(xiàn)象，構(gòu)建動(dòng)態(tài)場(chǎng)景中較為準(zhǔn)確的靜態(tài)環(huán)境圖，大大提高地圖可讀性。

圖11 ORB＿SLAM2 算法與本文算法的點(diǎn)云地圖對(duì)比

本實(shí)驗(yàn)在配置為Intel Xeon E5-2600 V3 CPU，RTX2080TI GPU，16G 內(nèi)存，11G 顯存的服務(wù)器上進(jìn)行，ORB＿SLAM2 平均速度為32 幀/s，目標(biāo)檢測(cè)線程平均速度為51 幀/s，slam 與目標(biāo)檢測(cè)并行進(jìn)行，增加光流信息計(jì)算以及邊緣檢測(cè)后總平均速度為25幀/s，可以到達(dá)實(shí)時(shí)性要求。

3 結(jié)論

本文利用目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv4 從語(yǔ)義上獲取圖像的動(dòng)靜態(tài)信息，再聯(lián)合特征點(diǎn)光流信息識(shí)別真正運(yùn)動(dòng)的物體，并使用canny 算子提取動(dòng)態(tài)物體的輪廓邊緣，從而獲得圖像較為準(zhǔn)確的動(dòng)態(tài)區(qū)域，僅利

用動(dòng)態(tài)區(qū)域以外的靜態(tài)特征點(diǎn)構(gòu)造重投影誤差函數(shù)進(jìn)行相機(jī)位姿求解，在構(gòu)建環(huán)境點(diǎn)云地圖時(shí)，對(duì)關(guān)鍵幀的冗余性和有效性加以判斷，疊加其點(diǎn)云信息，構(gòu)建動(dòng)態(tài)環(huán)境下剔除了動(dòng)態(tài)物體的點(diǎn)云地圖，保證實(shí)時(shí)性的同時(shí)提高精度。 在TUM 數(shù)據(jù)集中，本文系統(tǒng)與ORB＿SLAM2 進(jìn)行對(duì)比，定位精度大大提升，點(diǎn)云地圖可讀性明顯增強(qiáng)。