林釗浩 徐穎

（深圳大學(xué)機(jī)電與控制工程學(xué)院 廣東省深圳市 518061）

1 引言

近年來，隨著家用機(jī)器人、自動(dòng)駕駛、無人機(jī)、AR/VR 等產(chǎn)業(yè)的發(fā)展。SLAM（Simultaneous Localization and Mapping，同步定位與建圖）技術(shù)也呈現(xiàn)出了一個(gè)快速發(fā)展的態(tài)勢。SLAM 技術(shù)為可移動(dòng)設(shè)備提供了實(shí)時(shí)可靠的定位功能。其中，使用攝像頭作為傳感器的視覺SLAM，憑借其遠(yuǎn)低于激光雷達(dá)的成本，獲得了市場和研究人員的青睞，得到了快速的發(fā)展。

回環(huán)檢測是視覺SLAM 中的一個(gè)重要組成部分，其目的是消除移動(dòng)機(jī)器人在長時(shí)間的工作下產(chǎn)生的位姿估計(jì)的累計(jì)誤差。它通過計(jì)算圖像之間的相似度檢測回環(huán)。在得到了回環(huán)信息之后，SLAM 后端優(yōu)化算法便可以根據(jù)回環(huán)約束對(duì)位姿進(jìn)行優(yōu)化，得到更加精確的定位。

目前，在回環(huán)檢測問題中已經(jīng)比較成熟且廣泛應(yīng)用的算法是基于BOW（BagofWords，詞袋模型），并使用無監(jiān)督學(xué)習(xí)算法K-means 和TF-IDF 加 權(quán) 方 式（Term Frequency-Inverse Document Frequency）[1]的算法[2]。但是，BOW 存在一些缺點(diǎn)。它需要計(jì)算SIFT，SURF，ORB 等人工設(shè)計(jì)的圖像特征，這通常比較消耗計(jì)算資源且效率低下。而且，這些人工設(shè)計(jì)的特征對(duì)于光線強(qiáng)度的變化都比較敏感[3]。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，CNN（Convolutional Neural Network,卷積神經(jīng)網(wǎng)絡(luò)）在圖像處理上的應(yīng)用也越來越廣泛，并且取得了超過傳統(tǒng)算法的效果。而回環(huán)檢測問題，本質(zhì)上就是一個(gè)圖像間的特征匹配問題，屬于圖像處理的范疇，所以，可以借用CNN 的技術(shù)對(duì)回環(huán)檢測算法進(jìn)行提高。

圖2：City Centre 數(shù)據(jù)集0326.jpg

圖3：City Centre 數(shù)據(jù)集0508.jpg

2 算法結(jié)構(gòu)

本文提出的算法稱為LOM（ListofMasks，掩膜列表），通過Mask R-CNN[4]得到圖像中可識(shí)別物體的掩膜，利用掩膜表示圖像特征。它通過計(jì)算兩張圖像所有掩膜之間的相似程度來判斷兩張圖像是否構(gòu)成回環(huán)。為了提高該算法的通用性，本文還將該算法與經(jīng)典的詞袋模型進(jìn)行融合。

2.1 LOM

2.1.1 特征表示

LOM 使用Mask R-CNN 提取的掩膜來表示圖像特征。一幅圖像可以表示為若干個(gè)物體掩膜的列表：

其中，Mi表示第i 張圖像，miu表示Mi的第u 個(gè)掩膜，其表現(xiàn)形式是和圖像同等大小的矩陣，若圖像中某一個(gè)像素屬于miu，則miu的矩陣中該位置的值為1，否則為0。|Mi|是圖像Mi中檢測得到的物體掩膜的個(gè)數(shù)。

2.1.2 相似度計(jì)算

本文通過計(jì)算兩張圖像的同類別的物體掩膜之間的交并比IOU（Intersection over Union，交并比）來衡量兩張圖像的相似度。

表1：子數(shù)據(jù)集信息標(biāo)表

表2：實(shí)驗(yàn)結(jié)果

但是，由于一張圖像中存在的1 個(gè)類別的掩膜可能不止1 個(gè)，所以，需要確定Mi中的每一個(gè)掩膜是匹配Mj中的哪一個(gè)掩膜。匹配的原則是要盡量保證Mi與Mj對(duì)應(yīng)的掩膜來自于物理世界中的同一個(gè)物體。

如果Mi和Mj存在回環(huán)，那么Mi和Mj匹配的每兩個(gè)掩膜之間應(yīng)該存在比較大的IOU，因?yàn)榇藭r(shí)兩張圖像是極為相似的。而且，掩膜之間應(yīng)該一一匹配，不能出現(xiàn)1 個(gè)掩膜匹配2 個(gè)掩膜的情況。那么，掩膜匹配問題就可以抽象成一個(gè)指派問題，即如何找到一個(gè)最優(yōu)的匹配關(guān)系，使得使用該匹配關(guān)系計(jì)算得到的IOU 的和最大，且每一個(gè)Mi掩膜只能與一個(gè)Mj掩膜匹配。解決指派問題的經(jīng)典算法之一就是匈牙利算法[5]。匈牙利算法應(yīng)用在掩膜匹配問題中的算法流程圖如圖1 所示。

其中，第2 步要交換Mi,Mj是為了保證|Mi|≥|Mj|，這樣便于編程實(shí)現(xiàn)。

第4 步要使用1 減去矩陣T 的每一個(gè)元素是因?yàn)樾傺览惴ǖ淖顑?yōu)值是代價(jià)的最小值，而掩膜匹配問題的最優(yōu)值是IOU 的最大值，所以使用1 減去矩陣T 的每一個(gè)元素，再利用匈牙利算法進(jìn)行求解，才可以得到掩膜匹配問題的最優(yōu)解，求解得到的結(jié)果是一個(gè)形如P的由二元組組成的集合。

其中，一個(gè)匹配對(duì)是一個(gè)二元組，第一個(gè)元素表示Mi中的掩膜序號(hào)，第二個(gè)元素表示與之匹配的M_j 中的掩膜序號(hào)，0 表示“未找到匹配”，因?yàn)閨Mi|≥|Mj|，所以只有二元組的第二個(gè)元素可能為0。

得到匹配關(guān)系之后就可以計(jì)算兩張圖像之間的總IOU 作為LOM 的相似度：

其中，|miu∩mjw|表示miu和mjw的交集的像素個(gè)數(shù)。|miu∪mjw|表示miu和mjw的并集的像素個(gè)數(shù)。假如w 為0，即miu沒有匹配的Mi掩膜，則|miu∩mjw|=0，|miu∪mjw|=|miu|

得到相似度之后，通過設(shè)置閾值就可以判斷兩張圖片是否存在回環(huán)。

2.2 算法融合

LOM 依賴于Mask R-CNN 檢測到的物體掩膜，只能識(shí)別場景中的部分物體。當(dāng)場景中可識(shí)別的物體比較少時(shí)，LOM 的性能就會(huì)下降。所以，為了提高LOM 的通用性，本文將其與BOW 進(jìn)行融合，并提出了兩種算法融合的方式，分別是線性組合和使用雙閾值。

2.2.1 線性組合

本文首先考慮的是使用線性組合。由于LOM 在物體較多的時(shí)候更為可靠，所以，利用圖像中的物體個(gè)數(shù)對(duì)LOM 分配權(quán)重。物體數(shù)量多時(shí)給予LOM 更大的權(quán)重，反之給予BOW 更大的權(quán)重。公式如下。

其中，max|M|表示整個(gè)數(shù)據(jù)集中在一張圖像中能檢測出來的最大物體掩膜個(gè)數(shù)。λ 是LOM 的權(quán)重。表示使用線性組合融合LOM 和BOW 的相似度。表示判斷結(jié)果。

2.2.2 設(shè)置雙閾值

另外一種融合LOM 和BOW 的方式是使用兩個(gè)閾值。分別利用BOW 和LOM 對(duì)Mi和Mj是否存在回環(huán)進(jìn)行判斷，只有當(dāng)兩個(gè)算法同時(shí)判定Mi和Mj存在回環(huán)，才判斷Mi和Mj存在回環(huán)。公式如下：

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

實(shí)驗(yàn)使用兩個(gè)開放的數(shù)據(jù)集New College 和City Centre。以圖像中的最少物體數(shù)為篩選條件，本文篩選出6 個(gè)子數(shù)據(jù)集，全部子數(shù)據(jù)集的信息如表1 所示，其中，nc0 和cc0 等價(jià)于原數(shù)據(jù)集。nc2由于圖像張數(shù)過少，所以不使用它進(jìn)行實(shí)驗(yàn)。

3.2 模型訓(xùn)練

本文使用谷歌發(fā)布的預(yù)訓(xùn)練網(wǎng)絡(luò)。該網(wǎng)絡(luò)基于InceptionV2 并在MSCOCO 數(shù)據(jù)集上完成訓(xùn)練。BOW 的實(shí)現(xiàn)使用DBoW3 庫 。在New College 和City Centre 數(shù)據(jù)集上使用的詞袋模型字典分別是使用New College 和City Centre 數(shù)據(jù)集進(jìn)行訓(xùn)練的。

3.3 實(shí)驗(yàn)結(jié)果

本文使用100%精確度下的最高召回率作為系統(tǒng)性能的指標(biāo)。實(shí)驗(yàn)結(jié)果如表2 所示，fusion 表示使用線性組合融合的算法，fusion2 表示使用雙閾值融合的算法。在計(jì)算精確度和召回率的過程中，所有的閾值都是從0 以最大值的1/500 增加到最大值。加粗字體是在同一個(gè)子數(shù)據(jù)集下得到的最好性能。

表2 中LOM 沒有數(shù)據(jù)是因?yàn)闊o論取任何一個(gè)閾值，LOM 都無法達(dá)到100%精確度，所以不存在100%精確度下的最高召回率。LOM 之所以性能這么差，是因?yàn)樗豢紤]了圖像的高層特征，而不考慮圖像的低層特征。如圖2 和圖3，高層特征，也就是圖像中可識(shí)別物體的類別和占據(jù)的像素位置，都很相似，但是低層特征，如顏色，紋理等，很不相似。

表2 中，從橫向來看，無論是在哪一個(gè)數(shù)據(jù)集上，使用雙閾值融合LOM 和BOW 的性能在各個(gè)數(shù)據(jù)集上都是最好的。這得益于該融合方式存在2 個(gè)閾值，將BOW 相似度和LOM 相似度分開計(jì)算和判斷，同時(shí)考慮了圖像的高層特征和低層特征，只有在高層特征和低層特征都相似的時(shí)候，才會(huì)判定為存在回環(huán)。從縱向來看，不論是New College 還是City Centre，隨著圖像中的可識(shí)別物體數(shù)越來越多時(shí)，2 種融合算法相對(duì)于BOW 的提升越來越大。

4 結(jié)論

本文使用Mask R-CNN 提取圖像中的物體掩膜，并利用物體掩膜表示圖像特征，定義了一種基于物體掩膜計(jì)算圖像相似度的方法。本文還提出了兩種融合LOM 和BOW 的方法。通過實(shí)驗(yàn)，可以看到融合算法在New College 和City Centre 數(shù)據(jù)集上的表現(xiàn)優(yōu)于BOW，而且隨著圖像中物體掩膜個(gè)數(shù)的增加，與BOW 的性能差距也逐漸增大。