張 文, 劉 勇, 張超凡, 張 龍, 夏營威

(1.中國科學(xué)院 合肥物質(zhì)科學(xué)研究院 應(yīng)用技術(shù)研究所,安徽 合肥 230031；2.中國科學(xué)技術(shù)大學(xué) 科學(xué)島分院,安徽 合肥 230026)

?

基于語義建圖的室內(nèi)機器人實時場景分類*

張 文1,2, 劉 勇1, 張超凡1,2, 張 龍1, 夏營威1

(1.中國科學(xué)院 合肥物質(zhì)科學(xué)研究院 應(yīng)用技術(shù)研究所,安徽 合肥 230031；2.中國科學(xué)技術(shù)大學(xué) 科學(xué)島分院,安徽 合肥 230026)

針對室內(nèi)環(huán)境下的機器人場景識別問題,重點研究了場景分類策略的自主性、實時性和準確性,提出了一種語義建圖方法。映射深度信息構(gòu)建二維柵格地圖,自主規(guī)劃場景識別路徑；基于卷積網(wǎng)絡(luò)建立場景分類模型,實時識別脫離特定訓(xùn)練；利用貝葉斯框架融合先驗知識,修正了錯誤分類并完成語義建圖。實驗結(jié)果表明：機器人能夠進行全局自主探索,實時判斷場景類別,并創(chuàng)建滿足要求的語義地圖。同時,實際路徑規(guī)劃中,機器人可以根據(jù)語義信息改善導(dǎo)航行為,驗證了方法的可行性。

自主建圖； 卷積網(wǎng)絡(luò)； 貝葉斯框架； 語義地圖

0 引 言

針對室內(nèi)非結(jié)構(gòu)化環(huán)境,移動機器人不僅需要局部避障和自主導(dǎo)航能力,更需要自適應(yīng)的環(huán)境理解能力[1]。相對傳統(tǒng)同時同步與定位(simultaneous localization and mapping,SLAM)解決的定位問題,機器人需及時提取場景中語義信息,從而協(xié)助高層決策過程,達到減弱人為干涉及指導(dǎo)機器人行為的目的[2]。目前,場景分類主要通過語義標簽賦予環(huán)境,并結(jié)合語義地圖實現(xiàn)[3,4]。

非結(jié)構(gòu)化環(huán)境的感知側(cè)重于視覺語義,而場景理解的提出,推動了該領(lǐng)域的發(fā)展。Wu J[5]和Ranganathan A等人[6]利用不同的特征檢測方法訓(xùn)練并分類房間,但空間視覺相似性較大；Pronobis A等人[2]融合二維激光雷達和相機實現(xiàn)場景分類系統(tǒng),創(chuàng)建柵格地圖并積累語義標簽,雖然訓(xùn)練集和測試集使用不同樓層,相似性依然較大；Meger D等人[7]通過檢測物體進而推斷當前場景的語義信息,例如微波爐更有可能位于廚房；上述算法均基于特征提取,耗時且需要離線訓(xùn)練。近年來,在物體識別和檢測領(lǐng)域,利用卷積神經(jīng)網(wǎng)絡(luò)獲取學(xué)習(xí)特征成為新的趨勢。很多學(xué)者意識到深度卷積網(wǎng)絡(luò)較于經(jīng)典方法的優(yōu)越性[8,9],而Zhou B等人[10]更是驗證了卷積神經(jīng)網(wǎng)絡(luò)在場景分類中的先進性。

本文引入深度卷積網(wǎng)絡(luò)算法,重點研究了場景分類策略的自主性、實時性和準確性,構(gòu)建了一種機器人語義建圖綜合系統(tǒng),并應(yīng)用于中國科學(xué)院貝貝機器人本體,旨在實現(xiàn)室內(nèi)環(huán)境下的自主場景識別功能。

1 基于語義建圖的場景分類策略

場景分類策略流程如圖1所示,僅依靠RGB數(shù)據(jù)(RGBD)實現(xiàn),首先通過映射深度信息構(gòu)建柵格地圖,自主規(guī)劃場景識別路徑；其次基于深度學(xué)習(xí)建立場景分類模型,實時識別脫離特定訓(xùn)練；最后利用貝葉斯估計融合先驗知識,修正錯誤分類并完成語義建圖。

圖1 場景分類策略流程

1.1 自主規(guī)劃探索路徑

1.1.1 深度信息映射激光數(shù)據(jù)

語義地圖結(jié)構(gòu)需建立于傳統(tǒng)二維柵格地圖之上,本文在各室內(nèi)場景中,采用穩(wěn)定的Gmapping方法結(jié)合里程計和激光雷達實現(xiàn)。由于采用RGBD相機進行物體識別,且激光雷達價格昂貴,故將信息豐富的深度數(shù)據(jù)轉(zhuǎn)換以代替激光數(shù)據(jù)。

深度圖變換激光數(shù)據(jù)的方法實質(zhì)是將一定高度范圍內(nèi)的數(shù)據(jù)進行投影,其原理如圖2所示。對任意給定的深度圖像點,相應(yīng)的映射步驟為：

1)將深度圖像的點m(u,v，z)轉(zhuǎn)換為其相機坐標系下的對應(yīng)坐標點M(x,y,z)。

2)計算直線AO和BO的夾角θ

(1)

3)將θ內(nèi)數(shù)據(jù)映射至有效激光槽。已知激光最小最大范圍(α,β),共細分為N份,則可用laser[N]表示激光數(shù)據(jù)。點M投影到數(shù)組laser中的索引值n可計算如下

n=N(θ-α)/(β-α)

(2)

laser[n]值為M在x軸上投影的點B到相機光心O的距離r,即

(3)

圖2 深度映射激光原理

1.1.2 未知環(huán)境自主全局探索

移動機器人在未知環(huán)境中自主探索主要通過傳感器構(gòu)建地圖,并根據(jù)信息生成序列運動從而指導(dǎo)機器人進行遍歷搜索。文中采用環(huán)境通路點拓撲圖(圖3),考慮路徑優(yōu)化、運動連續(xù)性等因素,最終完成機器人全局探索目標。

圖3 環(huán)境通路點示意

自主探索時,機器人根據(jù)激光數(shù)據(jù)確定當前最優(yōu)通路點,從而實時規(guī)劃每次下一步目標路徑,直至完成全局遍歷并構(gòu)建環(huán)境地圖。其相關(guān)搜索步驟為：

1)若環(huán)境中不存在可用通路點,且l(O,T)≤λ,搜索停止；否則,機器人移動至原點O,其中，T為當前拓撲節(jié)點。

2)通過式(4)評價函數(shù)計算當前通路點,選擇最大值為此刻目標點,同時添加至當前拓撲節(jié)點T,并更新地圖，即

φp=(Wp×Ep×|θp-θr|)/Lp

(4)

式中 Wp為點P相鄰障礙物間可通過的寬度;Ep為點P處可觀測的未知環(huán)境面積;θp為點P指向的未探索區(qū)域方向;θr為機器人當前方向角;Lp為機器人與點P距離。

3)判斷當前拓撲節(jié)點T是否存在通路點,若有,則跳至步驟(2);若沒有，且環(huán)境中也不存在尚未探索的通路點,則跳至步驟(1);若沒有，但環(huán)境中存在尚未探索的通路點,則回溯到最近的尚未探索的拓撲節(jié)點處。

1.2AlexNet實時分類模型

采用ZhouB等人[10]發(fā)布的Places205卷積網(wǎng)絡(luò)建立分類模型,該網(wǎng)絡(luò)沿用AlexNet結(jié)構(gòu)且特別訓(xùn)練用于場景分類任務(wù)。Places205包含205個固定的已知場景類,通過大數(shù)據(jù)訓(xùn)練而得。其中,各語義類訓(xùn)練不少于5 000幅圖像,采用人工方式區(qū)分標記。由于數(shù)據(jù)的多樣性和差異性,確保了分類器訓(xùn)練結(jié)果的通用性和穩(wěn)定性。因此,對于未知環(huán)境,無需再次訓(xùn)練和調(diào)整參數(shù),有助于移動機器人實時創(chuàng)建語義地圖。

1.3 基于概率分布的語義建圖

1.3.1 融合先驗知識的貝葉斯估計

本文將室內(nèi)語義場景分類解釋為概率估計問題,定義已知場景類標簽集合為

(5)

由于n服從正態(tài)分布,故相應(yīng)的似然函數(shù)可表示為

(6)

式中p(ωi|Xt)為第t幅圖像相對場景i類的離散概率分布;ωi之間相互獨立。

相機獲取的前后兩幅圖像具有連續(xù)時間戳,該特性可利用貝葉斯估計方法。文獻[11]證明了當上述估計問題滿足一階馬爾科夫?qū)傩詴r,將得到更為一致的場景類判斷結(jié)果。假設(shè)具有一階馬爾科夫?qū)傩?將獲取以下貝葉斯估計公式

(7)

(8)

1.3.2 三維語義場景地圖

圖4為本文語義地圖結(jié)構(gòu),最下層為常規(guī)占用柵格,較高層次的柵格單元通過語義類別進行編碼,各層代表不同場景類的概率。

實驗中，基于單張地圖一個場景類策略,將傳統(tǒng)柵格單元賦予語義信息,利用最大語義標簽值進行賦值。當圖像流的實時分類結(jié)果輸入系統(tǒng)后,對于相機視野內(nèi)的當前激光線所覆蓋的每個柵格,利用遞歸的貝葉斯估計方法更新。

圖4 語義地圖結(jié)構(gòu)示意

(9)

2 實 驗

為驗證場景分類策略的可行性,將其用于貝貝機器人本體,并在光電子中心進行室內(nèi)語義建圖實驗。機器人貝貝(圖5(a))基于機器人操作系統(tǒng)(robotoperatingsystem,ROS)開發(fā),采用IntelRealSense深度相機獲取RGBD數(shù)據(jù),并通過TX1進行圖形處理器(graphicsprocessingunit,GPU)加速處理。實驗時,機器人在8種不同用途環(huán)境(圖5 (b))中進行自主探索,同時記錄圖像流、轉(zhuǎn)換激光和里程計信息。

圖5 實驗機器人及不同場景

2.1 自主建圖結(jié)果

為驗證移動機器人在未知領(lǐng)域自主探索的有效性,選取實驗室(lab)場景進行實驗：轉(zhuǎn)換深度數(shù)據(jù)頻率為20Hz,最大范圍4m,機器人本體最大半徑0.4m,線速度為0.4m/s,角速度0.9rad/s。自主建圖的起點為lab入口的點A(1.22,-1.54)。

實驗時,機器人實時轉(zhuǎn)換激光數(shù)據(jù),遍歷全局并生成柵格地圖。自主探索實驗結(jié)果如圖6所示,圓點為拓撲節(jié)點,連線為實際行走路徑,機器人最終回到點B(1.51,-1.42),完成遍歷。實驗結(jié)果表明：在該環(huán)境中,采用的自主規(guī)劃路徑能夠有效探索區(qū)域,同時未發(fā)生明顯的死鎖現(xiàn)象,驗證了該方法的可行性。

圖6 機器人自主探索路徑

2.2 語義地圖結(jié)果

已知實驗可能出現(xiàn)的室內(nèi)語義標簽類,故定義已知場景類標簽集合為

實驗時,在8種環(huán)境中生成柵格地圖。同時,對獲取的實時RGB圖像,歸一化為227像素×227像素×3像素大小,并利用GPU加速計算的TX1平臺,通過內(nèi)嵌Caffe工具配置的Places205卷積網(wǎng)絡(luò)識別場景標簽號,遞歸使用貝葉斯估計方法,并用不同顏色的最大語義標簽值更新柵格顏色。最終的語義地圖如圖7所示。

圖7中,各場景均由標簽進行描述,但地圖基本均混合了其他場景。例如,洗手間環(huán)境主要是粉色的洗手間標簽,但同時也包括了綠色的大廳標簽和淺綠色的走廊標簽。在大廳的語義地圖中,則具有綠色的大廳和淺綠色的走廊兩種標簽，這是因為該處的門禁系統(tǒng)有大面積玻璃門,導(dǎo)致相機透視探測。另外,橙色會議室場景和紅色辦公室場景均存在一部分粉色標簽,原因在于這些環(huán)境中均存在洗手池,卷積網(wǎng)絡(luò)在識別物體時將其判定為洗手間標簽。

2.3 貝葉斯框架對語義建圖的影響

為驗證貝葉斯框架的作用,在洗手間語義地圖時,基于ROS中的rosbag記錄數(shù)據(jù),其中圖像流共有1 500幅圖像。在同一條件下,對該數(shù)據(jù)集分別利用貝葉斯估計和最大似然估計進行語義建圖,對比效果如圖8所示。

圖8 不同方法對室內(nèi)數(shù)據(jù)集的效果對比

分析可得,貝葉斯估計結(jié)果濾除了虛假的誤判斷(黃色標簽),而沒有融合先驗知識的最大似然估計出現(xiàn)較為明顯的波動數(shù)據(jù)(更多不屬于該環(huán)境的顏色標簽)。因此,融合先驗知識的貝葉斯估計作用積極且更加穩(wěn)定。

2.4 語義地圖對路徑規(guī)劃的影響

為測試語義地圖能否改善移動機器人在環(huán)境中的行為,本文基于A-star(A*)算法進行路徑規(guī)劃,根據(jù)地圖中的語義信息,將場景賦予不同的權(quán)重值,測試機器人行為。

實驗時,分別在工作時間和午餐時間,由相同起點,模擬機器人取水任務(wù),測試實際規(guī)劃路徑。在光電子中心走廊設(shè)置同一起點A,但走廊兩端(B和C)的洗手間均有熱水點,AC距離大于AB。測試結(jié)果及路徑如圖9所示。

結(jié)果表明,工作時間機器人選擇了短路徑AB執(zhí)行任務(wù),而午餐時間則選擇了繞路的長路徑AC。原因在于,午餐時間將有部分人員去餐廳熱飯,以及大量人員穿過大廳去食堂,造成路徑擁擠,故此時經(jīng)過AB段走廊的權(quán)重值較大,機器人重新規(guī)劃路徑,選擇了長路徑。因此,該語義地圖可以運用于機器人任務(wù)并改善行為。

圖9 語義地圖上的路徑規(guī)劃

3 結(jié) 論

針對室內(nèi)機器人的場景識別問題,提出了一種語義建圖方法,結(jié)合自主空間探索和深度學(xué)習(xí)策略,并輔以貝葉斯概率模型和GPU加速。語義建圖結(jié)果表明：機器人能夠進行全局自主探索,實時判斷場景類別和創(chuàng)建語義地圖,并及時通過貝葉斯估計更新誤分類。通過機器人路徑規(guī)劃實驗,表明語義地圖能夠指導(dǎo)機器人完成導(dǎo)航任務(wù)。

[1]GalindoC,Fernandez-MadrigalJA,GonzalezJ,etal.Robottaskplanningusingsemanticmaps[J].RoboticsandAutonomousSystems,2008,56(11): 955-966.

[2]PronobisA,MozosOM,CaputoB,etal.Multi-modalsemanticplaceclassification[J].TheInternationalJournalofRoboticsResearch,2009，29(23)：298-320.

[3]XiaoJ,EhingerKA,HaysJ,etal.Sundatabase:Exploringalargecollectionofscenecategories[J].InternationalJournalofComputerVision,2016,119(1):3-22.

[4]HemachandraS,WalterMR,TellexS,etal.Learningspatial-semanticrepresentationsfromnaturallanguagedescriptionsandsceneclassifications[C]∥IEEEInternationalConferenceonRoboticsandAutomation,2014：2623-2630.

[5] Wu J,Christensen H I,Rehg J M.Visual place categorization:Problem,dataset,and algorithm[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems,2009:4763-4770.

[6] Ranganathan A.PLISS: Detecting and labeling places using online change-point detection[C]∥Robotics: Science and Systems,2010:185-191.

[7] Meger D,Forssén P E,Lai K,et al.Curious george: An attentive semantic robot[J].Robotics and Autonomous Systems,2008,56(6):503-511.

[8] Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2014:580-587.

[9] Razavian A S,Azizpour H,Sullivan J,et al.CNN features off-the-shelf: An astounding baseline for recognition[C]∥IEEE Confe-rence on Computer Vision and Pattern Recognition,2014:512-519.

[10] Zhou B,Lapedriza A,Xiao J,et al.Learning deep features for scene recognition using places database[C]∥International Conf on Neural Information Processing Systems,2014:487-495.

[11] Hornung A,Wurm K M,et al.octoMap:An efficient probabilistic 3D mapping framework based on octrees[J].Autonomous Robots,2013,34(3):189-206.

Real-time scene category of indoor robot based on semantic mapping*

ZHANG Wen1,2, LIU Yong1, ZHANG Chao-fan1,2, ZHANG Long1, XIA Ying-wei1

(1.Institute of Applied Technology,Hefei Institutes of Physical Science,Chinese Academy of Sciences,Hefei 230031,China；2.College of Science Island,University of Science and Technology of China,Hefei 230026,China)

Aiming at problems of robot scene recognition in indoor environment,a senmantic mapping algorithm is proposed,autonomy,realtime and accuracy of scene classification strategy are focused on.Two-dimensional grid map is constructed by mapping depth information and autonomously plan recognition path of scene.Convolutional network is applied to set up scene categorization model,recognize semantic classes without specific training in real-time.By Bayesian framework fusing prior knowledge,modify error classification and accomplish semantic mapping.Experimental results show that robot can carry out global autonomous exploration and realtime judge scene category,and set up semantic mapping which meets need.At the same time,in real path planning,robot can improve navigation behavior according to semantic information,feasibility of the method is verified.

independent mapping; convolutional network; Bayesian framework; semantic map

10.13873/J.1000—9787(2017)08—0018—04

2017—06—12

國家科技支撐計劃資助項目(2015BAI01B00)；安徽省科技重大專項計劃資助項目(15CZZ02019)；中國科學(xué)院STS項目(KFJ—SW—STS—161)

TP 242.6

A

1000—9787(2017)08—0018—04

張 文(1987-),男,博士研究生,研究方向為機器人視覺、SLAM、路徑規(guī)劃。

夏營威(1985-),男,通訊作者,博士,副研究員,主要從事機器視覺、機器人、智能裝備等方面的研究工作,E—mail：xiayw@aiofm.ac.cn