林義忠，謝震鵬

(廣西大學(xué)機(jī)械工程學(xué)院，廣西南寧 530000)

0 前言

隨著同步定位與地圖構(gòu)建(SLAM)的研究與發(fā)展，視覺(jué)SLAM能獲取更多的環(huán)境信息，具有較好的精度和相比激光傳感器更便宜的價(jià)格，因此在很多領(lǐng)域都有廣闊的應(yīng)用前景。對(duì)于SLAM而言，地圖的構(gòu)建非常重要。傳統(tǒng)的SLAM構(gòu)建的地圖有柵格地圖、拓?fù)涞貓D和點(diǎn)云地圖等，這些地圖只包含了環(huán)境中的拓?fù)湫畔⒑蛶缀涡畔ⅲ瑳](méi)有環(huán)境的語(yǔ)義信息，這樣的地圖不能讓機(jī)器人完成更高級(jí)的任務(wù)。因此，對(duì)環(huán)境中的物體進(jìn)行語(yǔ)義提取和標(biāo)注的語(yǔ)義SLAM就成為了一個(gè)重要的研究方向。

深度學(xué)習(xí)能夠很好地對(duì)圖像中的物體進(jìn)行檢測(cè)和分類(lèi)，因此很多學(xué)者將深度學(xué)習(xí)引入到SLAM的研究當(dāng)中。TATENO等[1]使用CNN預(yù)測(cè)深度圖，并融合單目SLAM得到的深度信息構(gòu)建語(yǔ)義地圖。MCCORMAC等[2]使用CNN進(jìn)行語(yǔ)義分割，并采用ElasticFusion構(gòu)建語(yǔ)義地圖。KUNDU等[3]從單目視頻中使用語(yǔ)義分割和三維重建構(gòu)建語(yǔ)義地圖。ENDO等[4]融合CNN和LSD-SLAM構(gòu)建了半稠密三維語(yǔ)義地圖。趙洋[5]采用GrabCut方法優(yōu)化了Mask-RCNN算法的分割效果，并在該結(jié)果的基礎(chǔ)上構(gòu)建了三維語(yǔ)義地圖。常思雨[6]提出一種基于改進(jìn)GrabCut方法的目標(biāo)RGB分割算法，該算法通過(guò)CPF算法分割深度圖的信息，剔除了GrabCut分割色彩圖中不符合目標(biāo)空間幾何關(guān)系的像素點(diǎn)，提高了RGB-D分割效果，并以此建立了語(yǔ)義八叉樹(shù)地圖。白云漢[7]結(jié)合ORB-SLAM和YOLO算法進(jìn)行目標(biāo)檢測(cè)并構(gòu)建語(yǔ)義地圖。鄒斌等人[8]在ORB-SLAM2的基礎(chǔ)上結(jié)合光流方法[9]進(jìn)行優(yōu)化，同時(shí)將其與YOLOv3網(wǎng)絡(luò)檢測(cè)出的物體語(yǔ)義信息融合并構(gòu)建語(yǔ)義地圖。

本文作者在ORB-SLAM2系統(tǒng)上，增加目前最新的YOLOv7-mask網(wǎng)絡(luò)進(jìn)行目標(biāo)物體的檢測(cè)，得到目標(biāo)物體的類(lèi)別和掩碼，從而得到圖像中的語(yǔ)義信息，進(jìn)而構(gòu)建語(yǔ)義地圖。該方法能在移動(dòng)機(jī)器人上實(shí)時(shí)地進(jìn)行語(yǔ)義地圖的構(gòu)建。

1 視覺(jué)SLAM和深度學(xué)習(xí)算法

1.1 視覺(jué)SLAM框架

視覺(jué)SLAM常用的特征點(diǎn)法有SIFT算法、SURF算法和ORB算法，其中ORB算法具有特征提取和匹配速度快、魯棒性好的特點(diǎn)，能滿足實(shí)時(shí)性要求。ORB-SLAM2支持單目、雙目和RGB-D三種相機(jī)，并且使用前端、后端和閉環(huán)檢測(cè)三個(gè)線程并行實(shí)現(xiàn)算法[10]。前端讀取圖像并從圖像中提取ORB特征以及完成相鄰兩幀之間的特征匹配，然后利用已匹配的特征點(diǎn)對(duì)構(gòu)建重投影誤差函數(shù)，以此進(jìn)行VO求解。閉環(huán)檢測(cè)用于檢測(cè)相機(jī)是否到達(dá)了曾經(jīng)到達(dá)過(guò)的地方，以便消除長(zhǎng)時(shí)間對(duì)相機(jī)位姿估計(jì)帶來(lái)的積累誤差。后端用于局部?jī)?yōu)化建圖，并且在閉環(huán)檢測(cè)成功檢測(cè)到相機(jī)到達(dá)曾經(jīng)到過(guò)的位置時(shí)觸發(fā)全局優(yōu)化?；谝陨显颍疚淖髡哌x擇ORB-SLAM2作為視覺(jué)SLAM系統(tǒng)框架，同時(shí)，由于構(gòu)建的是室內(nèi)語(yǔ)義地圖，因此選擇RGB-D相機(jī)來(lái)獲取環(huán)境信息。ORB-SLAM2系統(tǒng)框架如圖1所示。

1.2 深度學(xué)習(xí)算法

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法主要有兩類(lèi)：一類(lèi)是two-stage，基于區(qū)域建議的算法，代表算法有Fast R-CNN；另一類(lèi)是one-stage，基于回歸的算法，代表算法有YOLO、SDD。YOLO是一種端到端的目標(biāo)檢測(cè)算法，其優(yōu)點(diǎn)是速度快，但精度相對(duì)較低。YOLO系列算法目前發(fā)展到了YOLOv7。YOLOv7由WANG等[11]提出，其大體框架和YOLOv5類(lèi)似，但Backbone部分和Head部分有所不同。YOLOv7的Head部分使用Lead Head獲取網(wǎng)絡(luò)的深層信息作為輸出，Aux Head獲取網(wǎng)絡(luò)的淺層信息，用Lead Head引導(dǎo)Aux Head，以檢測(cè)好的正樣本進(jìn)行匹配，解決了模型隨深度降低帶來(lái)的性能退化、正樣本差等問(wèn)題。

為了避免目標(biāo)檢測(cè)的邊界框可能包含非目標(biāo)物體的點(diǎn)，本文作者采用YOLOv7-mask實(shí)現(xiàn)實(shí)例分割。YOLOv7-mask在YOLOv7的基礎(chǔ)上加入了BlendMask[12]，實(shí)現(xiàn)了實(shí)例分割。YOLOv7-mask架構(gòu)如圖2所示。

圖2 YOLOv7-mask架構(gòu)

2 室內(nèi)環(huán)境語(yǔ)義地圖構(gòu)建框架與流程

本文作者在ORB-SLAM2算法框架的基礎(chǔ)上，結(jié)合YOLOv7-mask進(jìn)行目標(biāo)物體的實(shí)例分割，利用得到的語(yǔ)義信息構(gòu)建語(yǔ)義地圖，如圖3所示。

圖3 語(yǔ)義地圖構(gòu)建整體框架

實(shí)例分割是對(duì)新關(guān)鍵幀的彩色圖像進(jìn)行目標(biāo)檢測(cè)和語(yǔ)義分割，得到圖像中目標(biāo)物體的像素點(diǎn)以及其所屬物體的類(lèi)別信息。本文作者采用YOLOv7-mask網(wǎng)絡(luò)實(shí)時(shí)地對(duì)彩色圖像進(jìn)行實(shí)例分割，并生成一張與彩色圖像尺寸大小相同、帶有語(yǔ)義信息的語(yǔ)義灰度圖，語(yǔ)義灰度圖像中不同的非零數(shù)字代表不同類(lèi)型的目標(biāo)物體。

在插入新的關(guān)鍵幀時(shí)，ORB-SLAM2新增的語(yǔ)義地圖線程先將新關(guān)鍵幀的彩色圖傳送給YOLOv7-mask網(wǎng)絡(luò)框架，YOLOv7-mask提取該彩色圖像的語(yǔ)義信息，并生成一張語(yǔ)義灰度圖。然后利用YOLOv7-mask傳送回來(lái)的語(yǔ)義灰度圖和新的關(guān)鍵幀深度圖生成該關(guān)鍵幀的語(yǔ)義點(diǎn)云；生成的語(yǔ)義點(diǎn)云須同時(shí)滿足在深度圖中對(duì)應(yīng)位置的深度值大于0、在語(yǔ)義灰度圖中對(duì)應(yīng)位置的灰度值在目標(biāo)物體類(lèi)別對(duì)應(yīng)的數(shù)字中，不滿足則不生產(chǎn)該點(diǎn)云；生成的語(yǔ)義點(diǎn)云中包含點(diǎn)云的X、Y、Z坐標(biāo)位置，以及跟物體類(lèi)別對(duì)應(yīng)的RGB顏色信息。接著，利用該新關(guān)鍵幀的位姿將生成的語(yǔ)義點(diǎn)云投影到同一世界坐標(biāo)系下，完成點(diǎn)云拼接，以實(shí)現(xiàn)語(yǔ)義點(diǎn)云地圖的構(gòu)建。最后將生成的語(yǔ)義點(diǎn)云轉(zhuǎn)換成octomap中帶顏色信息的八叉樹(shù)地圖，實(shí)現(xiàn)語(yǔ)義八叉樹(shù)地圖的構(gòu)建。

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 實(shí)驗(yàn)平臺(tái)搭建

采用ROSMASTER X3機(jī)器人作為硬件平臺(tái)，如圖4所示。它搭載了Astra Pro深度相機(jī)、電機(jī)、麥克納姆輪、電池、Jetson Xavier NX主機(jī)、ROS機(jī)器人擴(kuò)展板和顯示屏等。其組成原理如圖5所示。

圖4 ROSMASTER X3機(jī)器人

圖5 ROSMASTER X3機(jī)器人組成原理

文中采用的是Linux的ubuntu 18.04系統(tǒng)，以及其對(duì)應(yīng)的ROS Melodic版本的ROS系統(tǒng)作為軟件平臺(tái)。ORB-SLAM2和YOLOv7-mask的運(yùn)行環(huán)境配置如表1所示。

表1 ORB-SLAM2和YOLOv7-mask的環(huán)境配置

3.2 語(yǔ)義八叉樹(shù)地圖構(gòu)建實(shí)驗(yàn)與分析

3.2.1 ROS自定義服務(wù)消息

由于YOLOv7-mask和ORB-SLAM2采用不同語(yǔ)言進(jìn)行編程，因此本文作者通過(guò)自定義ROS服務(wù)通信消息類(lèi)型實(shí)現(xiàn)ORB-SLAM2和YOLOv7-mask之間的圖像傳輸，如圖6所示。

圖6 YOLOv7-mask和ORB-SLAM2的服務(wù)消息通信示意

在ORB-SLAM2創(chuàng)建新的關(guān)鍵幀時(shí)，該關(guān)鍵幀的彩色圖用cv_bridge轉(zhuǎn)換成ROS可以傳送的格式后，傳送給YOLOv7-mask所在的節(jié)點(diǎn)。在該節(jié)點(diǎn)中，先將傳送過(guò)來(lái)的彩色圖用cv_bridge轉(zhuǎn)換成OpenCV能處理的格式，然后用YOLOv7-mask提取該圖像的語(yǔ)義信息，得到一張帶有物體語(yǔ)義信息的語(yǔ)義灰度圖，語(yǔ)義灰度圖經(jīng)過(guò)cv_bridge轉(zhuǎn)換格式后傳送回ORB-SLAM2所在的節(jié)點(diǎn)，再將語(yǔ)義灰度圖經(jīng)過(guò)cv_bridge轉(zhuǎn)換成OpenCV能處理的格式后，利用該關(guān)鍵幀的深度圖、語(yǔ)義灰度圖構(gòu)建語(yǔ)義八叉樹(shù)地圖。

3.2.2 語(yǔ)義八叉樹(shù)地圖構(gòu)建實(shí)驗(yàn)

為了驗(yàn)證文中算法對(duì)動(dòng)、靜態(tài)場(chǎng)景的地圖構(gòu)建效果，先在實(shí)驗(yàn)室靜態(tài)場(chǎng)景下構(gòu)建語(yǔ)義八叉樹(shù)地圖，然后在實(shí)驗(yàn)室動(dòng)態(tài)圖場(chǎng)景下構(gòu)建語(yǔ)義八叉樹(shù)地圖。實(shí)驗(yàn)室場(chǎng)景如圖7所示。

圖7 實(shí)驗(yàn)室場(chǎng)景

首先對(duì)實(shí)驗(yàn)室靜態(tài)場(chǎng)景構(gòu)建語(yǔ)義八叉樹(shù)地圖，控制ROSMASTER X3機(jī)器人在實(shí)驗(yàn)室中移動(dòng)，實(shí)驗(yàn)結(jié)束后的輸出結(jié)果如圖8所示。結(jié)果顯示該次實(shí)驗(yàn)共創(chuàng)建了60張關(guān)鍵幀，生成了166 235個(gè)PCL點(diǎn)云，所有關(guān)鍵幀的彩色圖從轉(zhuǎn)換格式到Y(jié)OLOv7-mask網(wǎng)絡(luò)提取語(yǔ)義信息，生成帶有語(yǔ)義信息的灰度圖，再傳送到ORB-SLAM2節(jié)點(diǎn)并轉(zhuǎn)換格式整個(gè)過(guò)程所花費(fèi)的時(shí)間為27.153 7 s，平均每張關(guān)鍵幀整個(gè)過(guò)程花費(fèi)的時(shí)間為0.452 562 s，最后保存了PCL語(yǔ)義點(diǎn)云地圖和語(yǔ)義八叉樹(shù)地圖。

圖8 靜態(tài)實(shí)驗(yàn)室場(chǎng)景實(shí)驗(yàn)結(jié)果

圖9和圖10分別為靜態(tài)實(shí)驗(yàn)室場(chǎng)景下創(chuàng)建的部分關(guān)鍵幀彩色圖以及對(duì)應(yīng)的語(yǔ)義灰度圖。可以看出：YOLOv7-mask網(wǎng)絡(luò)能比較好地提取出實(shí)驗(yàn)室場(chǎng)景下的椅子、計(jì)算機(jī)顯示器、鍵盤(pán)、鼠標(biāo)的語(yǔ)義信息，但對(duì)桌子的識(shí)別效果不好。這是因?yàn)橛?xùn)練YOLOv7-mask使用的數(shù)據(jù)集中桌子類(lèi)型以餐桌為主，而實(shí)驗(yàn)室的桌子是辦公桌，差別太大導(dǎo)致識(shí)別效果差，有時(shí)候會(huì)將其局部識(shí)別成其他物體。同時(shí)，YOLOv7-mask對(duì)于椅子這種形狀比較復(fù)雜的物體，在進(jìn)行實(shí)例分割時(shí)，不能很好地將其輪廓給分割出來(lái)。

圖9 靜態(tài)實(shí)驗(yàn)室場(chǎng)景下部分關(guān)鍵幀彩色圖

圖10 靜態(tài)實(shí)驗(yàn)室場(chǎng)景下部分關(guān)鍵幀語(yǔ)義灰度圖

靜態(tài)實(shí)驗(yàn)室場(chǎng)景下的語(yǔ)義點(diǎn)云地圖如圖11所示，圖中主要聚集在一起的點(diǎn)云都是實(shí)驗(yàn)室場(chǎng)景中主要存在的物體，并根據(jù)它們類(lèi)別的不同顯示出了不同的顏色，如藍(lán)色點(diǎn)云所屬類(lèi)別為椅子、黃色點(diǎn)云所屬類(lèi)別為計(jì)算機(jī)顯示器、青色點(diǎn)云所屬類(lèi)別為鼠標(biāo)以及紫色點(diǎn)云所屬類(lèi)別為鍵盤(pán)。但地圖中也明顯存在著不聚集在語(yǔ)義物體附近的語(yǔ)義點(diǎn)云，可能是由于提取語(yǔ)義信息時(shí)產(chǎn)生的錯(cuò)誤語(yǔ)義導(dǎo)致的。圖12為圖11的語(yǔ)義點(diǎn)云地圖轉(zhuǎn)換成的語(yǔ)義八叉樹(shù)地圖，在八叉樹(shù)地圖中采用體素代替點(diǎn)云，數(shù)據(jù)明顯減少。同時(shí)，語(yǔ)義八叉樹(shù)地圖去除了許多語(yǔ)義點(diǎn)云地圖中離散的語(yǔ)義點(diǎn)云。但是，語(yǔ)義八叉樹(shù)地圖也因?yàn)槭褂皿w素代替點(diǎn)云，所以建立的物體模型不如語(yǔ)義點(diǎn)云地圖更接近真實(shí)物體。

圖11 靜態(tài)實(shí)驗(yàn)室場(chǎng)景下語(yǔ)義點(diǎn)云地圖

圖12 靜態(tài)實(shí)驗(yàn)室場(chǎng)景下語(yǔ)義八叉樹(shù)地圖

為了驗(yàn)證文中的算法在動(dòng)態(tài)場(chǎng)景中也能有好的建圖效果，本文作者在明亮的、有人員走動(dòng)的實(shí)驗(yàn)室中進(jìn)行語(yǔ)義八叉樹(shù)地圖構(gòu)建實(shí)驗(yàn)。圖13和圖14分別為動(dòng)態(tài)實(shí)驗(yàn)室場(chǎng)景下創(chuàng)建的部分關(guān)鍵幀彩色圖以及對(duì)應(yīng)的語(yǔ)義灰度圖。圖13展示了該次實(shí)驗(yàn)創(chuàng)建的56張關(guān)鍵幀中包含人的5張圖像，在這5張圖像中，在實(shí)驗(yàn)室中移動(dòng)人遮擋了如椅子、計(jì)算機(jī)顯示器、鍵盤(pán)等物體。從圖14可以發(fā)現(xiàn)，被人遮擋的椅子、計(jì)算機(jī)顯示器、鍵盤(pán)等物體無(wú)法被YOLOv7-mask網(wǎng)絡(luò)識(shí)別，提取語(yǔ)義信息，或者不能識(shí)別出完整的物體語(yǔ)義信息。

圖13 動(dòng)態(tài)實(shí)驗(yàn)室場(chǎng)景下部分關(guān)鍵幀彩色圖

圖14 動(dòng)態(tài)實(shí)驗(yàn)室場(chǎng)景下部分關(guān)鍵幀語(yǔ)義灰度圖

動(dòng)態(tài)實(shí)驗(yàn)室場(chǎng)景下的語(yǔ)義點(diǎn)云地圖如圖15所示，語(yǔ)義八叉樹(shù)地圖如圖16所示。對(duì)比圖15和圖11可以發(fā)現(xiàn)，雖然在動(dòng)態(tài)環(huán)境下，有時(shí)候YOLOv7-mask網(wǎng)絡(luò)無(wú)法識(shí)別、分割實(shí)驗(yàn)室被遮擋的物體，但是在點(diǎn)云拼接下，仍然可以較好地構(gòu)建語(yǔ)義點(diǎn)云地圖。并且由于文中算法只對(duì)選中的語(yǔ)義類(lèi)別進(jìn)行語(yǔ)義地圖的構(gòu)建，因此在語(yǔ)義點(diǎn)云圖中不會(huì)出現(xiàn)人的點(diǎn)云，剔除了動(dòng)態(tài)物體。在該次實(shí)驗(yàn)中構(gòu)建的語(yǔ)義點(diǎn)云地圖，出現(xiàn)的綠色點(diǎn)云對(duì)應(yīng)的語(yǔ)義類(lèi)別為餐桌，但其對(duì)應(yīng)的實(shí)驗(yàn)室物體為凳子，屬于錯(cuò)誤的識(shí)別、分割。在圖16中，語(yǔ)義八叉樹(shù)地圖由于使用概率判斷一個(gè)體素是否被占據(jù)，因此剔除了圖15中被誤識(shí)別為餐桌、實(shí)際屬于凳子的綠色點(diǎn)云，說(shuō)明八叉樹(shù)地圖可以有效地剔除偶爾出現(xiàn)的誤識(shí)別、分割導(dǎo)致的錯(cuò)誤點(diǎn)云。

圖15 動(dòng)態(tài)實(shí)驗(yàn)室場(chǎng)景下語(yǔ)義點(diǎn)云地圖

圖16 動(dòng)態(tài)實(shí)驗(yàn)室場(chǎng)景下語(yǔ)義八叉樹(shù)地圖

以上實(shí)驗(yàn)可說(shuō)明文中提出的算法在動(dòng)、靜態(tài)場(chǎng)景下都有比較好的建圖效果，并且能在室內(nèi)場(chǎng)景下實(shí)時(shí)構(gòu)建語(yǔ)義地圖。而八叉樹(shù)地圖相比點(diǎn)云地圖具有濾波和剔除誤識(shí)別、分割產(chǎn)生的點(diǎn)云的效果。以上實(shí)驗(yàn)所構(gòu)建的語(yǔ)義地圖占據(jù)存儲(chǔ)空間情況如表2所示，可以看出：語(yǔ)義八叉樹(shù)地圖占據(jù)存儲(chǔ)空間的大小遠(yuǎn)小于語(yǔ)義點(diǎn)云地圖。

表2 占據(jù)存儲(chǔ)空間對(duì)比

4 結(jié)論

本文作者提出一種基于ORB-SLAM2和YOLOv7-mask網(wǎng)絡(luò)的語(yǔ)義地圖構(gòu)建方法，在ORB-SLAM2算法基礎(chǔ)上新增語(yǔ)義建圖線程，生成新的關(guān)鍵幀時(shí)，語(yǔ)義建圖線程利用新關(guān)鍵幀的深度圖和YOLOv7-mask網(wǎng)絡(luò)提取彩色圖語(yǔ)義信息后生成的語(yǔ)義灰度圖，生成新關(guān)鍵幀的語(yǔ)義點(diǎn)云，通過(guò)點(diǎn)云拼接生成語(yǔ)義點(diǎn)云地圖，最終將語(yǔ)義點(diǎn)云地圖轉(zhuǎn)換成帶有顏色信息的語(yǔ)義八叉樹(shù)地圖。本文作者以ROSMASTER X3機(jī)器人作為硬件平臺(tái)，ROS Melodic作為軟件平臺(tái)，在實(shí)驗(yàn)室的動(dòng)、靜態(tài)場(chǎng)景對(duì)所設(shè)計(jì)的語(yǔ)義地圖構(gòu)建方法進(jìn)行實(shí)驗(yàn)和分析，并生成了語(yǔ)義點(diǎn)云地圖和語(yǔ)義八叉樹(shù)地圖，驗(yàn)證了所提出的語(yǔ)義地圖構(gòu)建方法的可行性。在后續(xù)的研究中，還需要實(shí)現(xiàn)物體級(jí)的語(yǔ)義地圖，并對(duì)地圖中的離散點(diǎn)云進(jìn)行處理。