文露婷，李智

（四川大學(xué) 電子信息學(xué)院，四川成都，610065）

0 引言

SLAM 技術(shù)是指在運(yùn)動(dòng)過程中通過機(jī)載傳感器實(shí)時(shí)采集的數(shù)據(jù)來構(gòu)建環(huán)境地圖并實(shí)現(xiàn)自身定位的技術(shù)，是智能移動(dòng)機(jī)器人可以在未知環(huán)境中自主作業(yè)的關(guān)鍵技術(shù)。常用傳感器有相機(jī)、激光雷達(dá)、慣性傳感器、編碼器等，相機(jī)即為視覺 SLAM 使用的傳感器。由于相機(jī)價(jià)格低廉、適用性高并且獲得的圖像信息豐富等特點(diǎn)，視覺 SLAM 成為當(dāng)前研究的熱點(diǎn)[1]。

現(xiàn)有的視覺 SLAM 根據(jù)前端獲取圖像信息的方式不同，可分為兩大類：特征點(diǎn)法和直接法。特征點(diǎn)法的主要思路是在圖像中提取出一些關(guān)鍵點(diǎn)，然后通過特征點(diǎn)描述子計(jì)算它們之間的相似性并完成匹配，最后利用三角或?qū)O幾何的方法估算相機(jī)運(yùn)動(dòng)，優(yōu)秀算法代表有 PTAM[2]、ORB-SLAM3[3]。直接法則是直接利用像素灰度值進(jìn)行匹配，基于光度不變性，通過最小化圖像中兩個(gè)對應(yīng)位置的光度誤差來估計(jì)相機(jī)運(yùn)動(dòng)[4]，優(yōu)秀算法代表有 LSDSLAM[5]、DSO[6]。兩種方法在靜態(tài)場景中均可實(shí)現(xiàn)高精度定位和高魯棒性運(yùn)行，但現(xiàn)實(shí)場景中的動(dòng)態(tài)物體如行人、車輛，會(huì)使系統(tǒng)出現(xiàn)錯(cuò)誤的匹配，導(dǎo)致其定位精度和魯棒性大幅度下降。

為了減小上述動(dòng)態(tài)物體對視覺 SLAM 系統(tǒng)的影響，國內(nèi)外學(xué)者分別提出了三種方法：基于多視幾何的方法，該方法首先建立靜態(tài)場景中的標(biāo)準(zhǔn)約束，然后通過判斷提取的特征點(diǎn)是否違背這些約束來檢測物體的靜止或運(yùn)動(dòng)狀態(tài)；基于光流的方法，該方法通過比較兩幅圖像中對應(yīng)像素的亮度值的變化，來推斷像素在圖像中的運(yùn)動(dòng)方向和大小；基于深度學(xué)習(xí)的方法，該方法通過運(yùn)用目標(biāo)檢測網(wǎng)絡(luò)和語義分割網(wǎng)絡(luò)識別并剔除場景中的動(dòng)態(tài)特征點(diǎn)。上述方法在一定程度上能夠解決動(dòng)態(tài)目標(biāo)對系統(tǒng)的影響問題，但普遍存在精度較低或?qū)崟r(shí)性較差的問題。鑒于以上，本文以動(dòng)態(tài)環(huán)境為研究背景，以 ORB-SLAM3 為框架，開展相關(guān)研究，主要有以下改進(jìn)和創(chuàng)新：改進(jìn) YOLOv5s，將其主干網(wǎng)絡(luò)替換為 MobileNetV3[7]輕量級網(wǎng)絡(luò)，并引入SE[8]注意力機(jī)制，構(gòu)成 MN-YOLOv5 模型。在 ORB-SLAM3 的框架中添加 MNYOLOv5s 模型組成的動(dòng)態(tài)特征點(diǎn)剔除模塊，用于檢測并剔除動(dòng)態(tài)特征點(diǎn)，減小動(dòng)態(tài)物體對視覺 SLAM 系統(tǒng)的影響。

1 系統(tǒng)框架

1.1 ORB-SLAM3 框架

2015 年，Raul Mur-Artal 等人提出了只針對單目相機(jī)的 ORB_SLAM[9]，主要有跟蹤、建圖、回環(huán)檢測三個(gè)線程，由此開始了 ORB-SLAM 系列算法。經(jīng)過幾年的迭代，2020 年該團(tuán)隊(duì)開源了 ORB-SLAM3，是第一個(gè)支持視覺、視覺+慣導(dǎo)、混合地圖的 SLAM 系統(tǒng)，被認(rèn)為是目前最優(yōu)秀的 SLAM 算法之一。如圖1 所示，ORB-SLAM3 系統(tǒng)具有跟蹤、局部建圖、閉環(huán)檢測 3 個(gè)并行線程。從編程實(shí)現(xiàn)上來看，三大線程是父子關(guān)系，跟蹤線程持有其他兩個(gè)子線程的指針；但是從邏輯實(shí)現(xiàn)上，三大線程是并發(fā)的，系統(tǒng)的隨機(jī)性使得各個(gè)線程的運(yùn)行順序是不固定的。跟蹤線程主要負(fù)責(zé)處理傳感器信息，通過最小化匹配地圖點(diǎn)的重投影誤差實(shí)時(shí)計(jì)算幀間相對位置，還會(huì)初始化地圖并根據(jù)地圖集來進(jìn)行重定位，同時(shí)會(huì)篩選新的關(guān)鍵幀，之后的局部建圖和回環(huán)檢測線程均只處理關(guān)鍵幀以減少內(nèi)存消耗。局部建圖線程負(fù)責(zé)對得到的關(guān)鍵幀進(jìn)行管理，增加關(guān)鍵幀和特征點(diǎn)到地圖中，剔除掉冗余的關(guān)鍵幀和點(diǎn)，并使用視覺或視覺慣性光束平差法（BundleAdjustment，BA）優(yōu)化地圖，在慣性情況下，IMU 參數(shù)通過線程使用最大后驗(yàn)估計(jì)技術(shù)來進(jìn)行初始化和優(yōu)化?；丨h(huán)檢測線程本質(zhì)上是通過計(jì)算圖像數(shù)據(jù)間的相似性，從而解決位置估計(jì)隨時(shí)間漂移的問題，首先根據(jù)查詢數(shù)據(jù)庫和計(jì)算 Sim3/SE3 來檢測回環(huán)，而后通過循環(huán)融合和優(yōu)化本質(zhì)圖來進(jìn)行回環(huán)矯正，最后利用全局 BA 優(yōu)化所有地圖點(diǎn)和關(guān)鍵幀組成的位姿圖[10]。

圖1 ORB-SLAM3 系統(tǒng)框架

1.2 MN-YOLOv5 框架

1.2.1 YOLOv5s 目標(biāo)檢測網(wǎng)絡(luò)

相比于之前版本，YOLOv5 改進(jìn)方向有些許不同，它優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練策略并進(jìn)行了數(shù)據(jù)增強(qiáng)，使得其在速度和精度上都有所提升。YOLOv5 目前仍在迭代更新，不同版本之間的主要區(qū)別在于深度及特征圖的寬度不同，YOLOv5s 網(wǎng)絡(luò)是YOLOv5 系列中深度、特征圖寬度最小的網(wǎng)絡(luò)，也是模型最小、運(yùn)行速度最快的網(wǎng)絡(luò)，對硬件設(shè)備要求較低，因此更適合在移動(dòng)端部署。本文采用的是 YOLOv5-6.1 版本，其主要網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，主要有四個(gè)組件：輸入層 Input 部分負(fù)責(zé)數(shù)據(jù)處理及增強(qiáng)，采用Mosaic 數(shù)據(jù)增強(qiáng)算法增加訓(xùn)練樣本的多樣性和復(fù)雜性；骨干網(wǎng)絡(luò) Backbone 部分負(fù)責(zé)對經(jīng)過處理后的圖像進(jìn)行特征提取并輸出三個(gè)特征層；頸部網(wǎng)絡(luò) Neck 部分負(fù)責(zé)將來自不同層次的特征圖進(jìn)行融合，生成大、中、小三種類型的特征信息；頭部網(wǎng)絡(luò) Head 部分負(fù)責(zé)生成最終的檢測結(jié)果。

圖2 YOLOv5s-6.1 網(wǎng)絡(luò)結(jié)構(gòu)

1.2.2 MobileNet-V3 輕量級網(wǎng)絡(luò)

由 Google 在2019 年提出的網(wǎng)絡(luò)架構(gòu) MobileNetV3是專注于移動(dòng)端設(shè)備的輕量級 CNN 網(wǎng)絡(luò)，在保證準(zhǔn)精確率的同時(shí)大幅度減少了模型參數(shù)。MobileNetV3 經(jīng)過 V1和 V2 的迭代，它有以下創(chuàng)新：首先使用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)，用于發(fā)現(xiàn)和優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)；其次引入 SE 注意力模塊并將 Sigmoid 換成 hard-sigmoid，提升了模型的精確率和計(jì)算速度；同時(shí)更新激活函數(shù)，ReLU 替換成 hardswish，提升了模型計(jì)算速度；最后優(yōu)化 V2 網(wǎng)絡(luò)的最后幾層，改進(jìn)和刪除了許多所需計(jì)算時(shí)間較長的層，減少了運(yùn)算量。MobileNetV3 有 Large 和 Small 兩個(gè)版本，本文采用Small，整體結(jié)構(gòu)如圖3 所示。

圖3 MobileNetV3 網(wǎng)絡(luò)結(jié)構(gòu)

1.2.3 SE 注意力機(jī)制

SE 在通道維度增加注意力機(jī)制，主要思想是通過一個(gè)權(quán)重矩陣，從通道域的角度賦予圖像不同位置不同的權(quán)重，對當(dāng)前任務(wù)有益的特征圖的通道進(jìn)行提高，反之抑制，從而讓神經(jīng)網(wǎng)絡(luò)重點(diǎn)關(guān)注某些特征通道。SE 的實(shí)現(xiàn)步驟如圖4所示： Squeeze 使用全局平均池化將每個(gè)通道的特征圖壓縮為向量；Excitation 使用兩個(gè)全連接層處理上述向量，構(gòu)建通道間的特征相關(guān)性，生成通道權(quán)重值，輸出的權(quán)重值數(shù)目和輸入特征圖的通道數(shù)相同；Scale 用第二步得到的歸一化權(quán)重對特征圖進(jìn)行賦值。圖中輸入前特征圖的每個(gè)通道都是一樣重要，輸出后每個(gè)通道的重要性不再一樣，不同顏色代表不同的權(quán)重。

圖4 SE 注意力機(jī)制實(shí)現(xiàn)步驟

1.2.4 MN-YOLOv5 目標(biāo)檢測網(wǎng)絡(luò)

考慮到移動(dòng)設(shè)備內(nèi)存及算力的限制，本文以 YOLOv5s網(wǎng)絡(luò)為基礎(chǔ)，提出 MN-YOLOv5 輕量化目標(biāo)檢測算法，有以下改進(jìn)：首先將骨干網(wǎng)絡(luò) Backbone 替換為更加輕量化的MobileNet-V3 輕量級網(wǎng)絡(luò)，大幅度減少網(wǎng)絡(luò)參數(shù)，有效地提高了運(yùn)行速度；其次在 Backbone 中添加 SE 注意力機(jī)制，增強(qiáng)網(wǎng)絡(luò)對于重要信息的捕捉能力。MN-YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 MN-YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)

1.3 動(dòng)態(tài)特征點(diǎn)剔除模塊

1.3.1 基于MN-YOLOv5 的動(dòng)態(tài)特征點(diǎn)剔除

本文主要研究室內(nèi)場景，因此選擇人和動(dòng)物作為先驗(yàn)動(dòng)態(tài)目標(biāo)。將目標(biāo)檢測網(wǎng)絡(luò) MN-YOLOv5 與 ORB-SLAM3 跟蹤線程結(jié)合，當(dāng)圖片幀進(jìn)入系統(tǒng)后，首先在跟蹤線程中提取圖片上的所有特征點(diǎn)得到集合，同時(shí)通過 MN-YOLOv5得到圖像中目標(biāo)檢測框的集合，見式(1):

其中是第k幀圖像中的第m個(gè)特征點(diǎn)，是第k幀圖像中的第n個(gè)目標(biāo)檢測框。若目標(biāo)檢測框?yàn)槿嘶騽?dòng)物，且，則判定為先驗(yàn)動(dòng)態(tài)點(diǎn)。由此可得到動(dòng)態(tài)特征點(diǎn)集合和靜態(tài)特征點(diǎn)集合由于目標(biāo)檢測框?yàn)榫匦?，框?nèi)的特征點(diǎn)除了動(dòng)態(tài)目標(biāo)外還存在其他靜態(tài)特征點(diǎn)，如果一并剔除會(huì)導(dǎo)致 SLAM 系統(tǒng)匹配的特征點(diǎn)大幅度減少，不利于定位精度，因此引入光流法對動(dòng)態(tài)特征點(diǎn)進(jìn)行判斷剔除。

1.3.2 基于 LK 光流法的動(dòng)態(tài)特征點(diǎn)剔除

首先運(yùn)用 LK 光流法估計(jì)先驗(yàn)靜態(tài)點(diǎn)的平均運(yùn)動(dòng)矢量，其關(guān)鍵在于灰度不變假設(shè)，即像素在運(yùn)動(dòng)過程中的灰度值恒定，由此可建立方程式(2)：

其中等號左邊為t時(shí)刻位于 (x,y) 的像素灰度值，右邊為t+dt時(shí)刻位于 (x+dx,y+dy) 的像素灰度值，泰勒展開得：

結(jié)合式(2)和式(3)可得：

利用最小二乘法，并引入運(yùn)動(dòng)一致性約束，可求得每個(gè)先驗(yàn)靜態(tài)點(diǎn)的運(yùn)動(dòng)矢量，再求平均即可得到背景運(yùn)動(dòng)速度U、V：

最后構(gòu)建不等式(7)判斷集合Dp內(nèi)特征點(diǎn)是否為動(dòng)態(tài)特征點(diǎn)：

γ為自適應(yīng)閾值，若不等式不成立，則說明該特征點(diǎn)為靜態(tài)特征點(diǎn)，移入靜態(tài)特征點(diǎn)集合Sq。最后僅用Sq中的特征點(diǎn)用于特征匹配、相機(jī)的位姿估計(jì)，其余特征點(diǎn)被剔除。

1.4 改進(jìn)后的 ORB-SLAM3 系統(tǒng)

在原 ORB-SLAM3 系統(tǒng)中的跟蹤線程加入動(dòng)態(tài)特征點(diǎn)剔除模塊，將目標(biāo)檢測網(wǎng)絡(luò)獲取的圖語義信息與提取到的ORB 特征點(diǎn)結(jié)合，以獲取先驗(yàn)特征點(diǎn)，然后引入 LK 光流對先驗(yàn)特征點(diǎn)進(jìn)行二次判斷，最終僅利用靜態(tài)特征點(diǎn)進(jìn)行位姿估計(jì)，降低動(dòng)態(tài)物體對 SLAM 系統(tǒng)的影響。本文算法框架如圖6 所示。

圖6 本文算法框架

2 實(shí)驗(yàn)分析

實(shí)驗(yàn)所用設(shè)備的性能參數(shù)如表 1 所示，操作系統(tǒng)為 Ubuntu18.04，實(shí)驗(yàn)環(huán)境為 Python3.6 +Pytorch1.2.1。

表1 實(shí)驗(yàn)設(shè)備參數(shù)

2.1 輕量級網(wǎng)絡(luò) MN-YOLOv5 性能檢測

實(shí)驗(yàn)使用 VOC2007+VOC2012 數(shù)據(jù)集對 MNYOLOv5 及 YOLOv5 系列進(jìn)行網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練均不使用預(yù)訓(xùn)練權(quán)重，訓(xùn)練超參數(shù)如表2 所示，使用 SGD 優(yōu)化器訓(xùn)練 500 輪次，設(shè)置早停機(jī)制，若精度在30 個(gè)輪次內(nèi)沒有上升就停止訓(xùn)練。訓(xùn)練過程精確率如圖7 所示，明顯 YOLOv5x 收斂最快且精確率最高，YOLOv5l 次之，YOLOv5n 最慢。

表2 訓(xùn)練超參數(shù)

圖7 目標(biāo)檢測網(wǎng)絡(luò)訓(xùn)練過程的精確率

訓(xùn)練后采用 VOC 測試集進(jìn)行性能測試，含4952 張圖片，結(jié)果如表3 所示。由表可知，相比于 YOLOv5s，本文提出的 MN-YOLOV5 參數(shù)量減少了56.08%，算力要求減少了57.86%，權(quán)重文件減少了49.66%，幀率增加了3.03%，精度減少了0.96%，在可接受范圍內(nèi)提高了系統(tǒng)的運(yùn)行速度，更容易部署在移動(dòng)端。

表3 目標(biāo)檢測網(wǎng)絡(luò)測試結(jié)果

2.2 動(dòng)態(tài)環(huán)境軌跡誤差實(shí)驗(yàn)

本文軌跡誤差實(shí)驗(yàn)采用德國慕尼黑工業(yè)大學(xué)提供的TUM 數(shù)據(jù)集[11]中的五個(gè)圖像序列，使用絕對軌跡誤差和相對軌跡誤差作為評價(jià)指標(biāo)，評估參數(shù)有均方根誤差(Root Mean Squared Error，RMSE)、標(biāo)準(zhǔn)誤差(Standard Deviation，STD)和平均值(Mean)。為了驗(yàn)證本文算法的有效性，對原 ORB-SLAM3 與本文算法進(jìn)行對比實(shí)驗(yàn)，結(jié)果如表4 和表5 所示。由表可知，本文算法在高動(dòng)態(tài)場景walking_xyz、walking_half 中表現(xiàn)優(yōu)異，相較于原 ORBSLAM3 算法誤差下降 90% 以上，而在靜止場境 sitting_static 中，誤差下降不明顯甚至還有輕微上升。這表明ORB-SLAM3 在靜態(tài)環(huán)境中的確是一個(gè)定位精度高的系統(tǒng)，但是無法在高動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)魯棒運(yùn)行，而本文算法在動(dòng)態(tài)場景中仍能保持較小的定位誤差，證實(shí)適合應(yīng)用于動(dòng)態(tài)環(huán)境的位姿估計(jì)。

表4 ORB-SLAM3 與本文算法的絕對軌跡誤差對比

表5 ORB-SLAM3 與本文算法的相對軌跡誤差對比

3 結(jié)束語

本文提出了一種基于MN-YOLOv5 的動(dòng)態(tài)視覺SLAM算法，使用輕量級網(wǎng)絡(luò) MobileNetV3 替換目標(biāo)檢測網(wǎng)絡(luò)YOLOv5s 的主干網(wǎng)絡(luò)，并加入 SE 注意力機(jī)制，構(gòu)建 MNYOLOv5 輕量級目標(biāo)檢測網(wǎng)絡(luò)，改進(jìn)后模型參數(shù)減少了56.08%，能更好地在移動(dòng)端運(yùn)用。將 LK 光流法與MNYOLOv5 目標(biāo)檢測網(wǎng)絡(luò)結(jié)合，加入 ORB-SLAM3 系統(tǒng)的跟蹤線程，用于剔除動(dòng)態(tài)特征點(diǎn)。實(shí)驗(yàn)結(jié)果表明，在動(dòng)態(tài)場景中本文算法可實(shí)現(xiàn)低誤差定位，相較于原 ORB-SLAM3 算法，位姿估計(jì)的均方根誤差下降了90% 以上。因此，本文提出的動(dòng)態(tài)視覺 SLAM 算法具有較好的實(shí)際應(yīng)用前景。接下來的工作將有兩個(gè)前進(jìn)方向：繼續(xù)改進(jìn)目標(biāo)檢測網(wǎng)絡(luò)，提升網(wǎng)絡(luò)的精確率；考慮引入基于多視圖幾何的動(dòng)態(tài)目標(biāo)檢測，加強(qiáng)系統(tǒng)對動(dòng)態(tài)點(diǎn)的識別能力。