劉天亮　 馮希龍　 顧雁秋　 戴修斌　 羅杰波

(1南京郵電大學(xué)江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室, 南京 210003)(2羅徹斯特大學(xué)計(jì)算機(jī)科學(xué)系, 美國羅徹斯特 14627)

?

一種由粗至精的RGB-D室內(nèi)場景語義分割方法

劉天亮1馮希龍1顧雁秋1戴修斌1羅杰波2

(1南京郵電大學(xué)江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室, 南京 210003)(2羅徹斯特大學(xué)計(jì)算機(jī)科學(xué)系, 美國羅徹斯特 14627)

為了標(biāo)注室內(nèi)場景中可見物體,提出一種基于RGB-D數(shù)據(jù)由粗至精的室內(nèi)場景語義分割方法.首先,利用分層顯著度導(dǎo)引的簡單線性迭代聚類過分割和魯棒多模態(tài)區(qū)域特征,構(gòu)建面向語義類別的超像素區(qū)域池,基于隨機(jī)決策森林分類器判決各個(gè)超像素區(qū)域的語義類別,實(shí)現(xiàn)粗粒度區(qū)域級語義標(biāo)簽推斷.然后,為了改善粗粒度級的語義標(biāo)簽,利用幾何深度導(dǎo)引和內(nèi)部反饋機(jī)制改進(jìn)像素級稠密全連接條件隨機(jī)場模型,以求精細(xì)粒度像素級語義標(biāo)注.最后,在粗、細(xì)粒度語義標(biāo)注之間引入全局遞歸式反饋,漸進(jìn)式迭代更新室內(nèi)場景的語義類別標(biāo)簽.2個(gè)公開的RGB-D室內(nèi)場景數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,與其他方法相比,所提出的語義分割方法無論在主觀還是客觀評估上,均具有較好的效果.

RGB-D室內(nèi)場景;語義分割;SLIC過分割;稠密CRFs;遞歸式反饋

場景理解一直都是圖像處理與計(jì)算視覺領(lǐng)域研究的熱點(diǎn).給室內(nèi)場景中每個(gè)像素稠密地提供一個(gè)預(yù)定義的語義類別標(biāo)簽,能為移動(dòng)機(jī)器導(dǎo)航、人機(jī)交互和虛擬現(xiàn)實(shí)等應(yīng)用提供豐富的視覺感知線索.根據(jù)不同的標(biāo)注基元量化級別,相應(yīng)方法可大致分為區(qū)域級語義標(biāo)注法和像素級語義標(biāo)注法2類.這2類方法能分別標(biāo)注粗、細(xì)粒度級別的語義標(biāo)簽;前者標(biāo)注效率較高且整體視覺效果較好,而后者標(biāo)注層次化細(xì)節(jié)較高但標(biāo)注效率較低.

文獻(xiàn)[1]基于高斯核線性組合成對項(xiàng)勢能的快速稠密全連通CRFs概率圖模型,提出了RGB圖像像素級語義標(biāo)注推斷算法.由于深度傳感器具有強(qiáng)大捕獲場景結(jié)構(gòu)能力,學(xué)者們傾向?qū)鼍皫缀紊疃热谌胝Z義標(biāo)注.文獻(xiàn)[2]構(gòu)建核描述子特征實(shí)現(xiàn)區(qū)域級RGB-D場景標(biāo)注.文獻(xiàn)[3]提出了解析RGB-D室內(nèi)場景中區(qū)域級的主要平面和物體,并推斷物體支撐關(guān)系.文獻(xiàn)[4]采用一種反饋式前向神經(jīng)網(wǎng)絡(luò)作為判別分類器,從RGB圖像、深度圖像以及經(jīng)旋轉(zhuǎn)處理后的RGB圖像[5]中提取尺度不變特征轉(zhuǎn)換SIFT特征描述[6].而文獻(xiàn)[7]提出基于多尺度RGB圖像和深度圖像的卷積網(wǎng)絡(luò)實(shí)現(xiàn)RGB-D場景語義標(biāo)注.文獻(xiàn)[8]給出了能快速獲取普通場景較高質(zhì)量超像素區(qū)域的SLIC過分割方法,但該方法面對結(jié)構(gòu)混亂、目標(biāo)交疊且光照條件復(fù)雜的室內(nèi)場景,其過分割效果欠佳.

針對上述方法難于選擇標(biāo)注基元量化級別及未充分利用場景幾何深度等問題,本文設(shè)計(jì)了一種基于RGB-D數(shù)據(jù)和全局遞歸式反饋由粗至精的室內(nèi)場景語義標(biāo)注框架.與其他方法相比,所提出的語義分割方法無論在主觀上還是客觀評估上,均具有較好的效果.

1　室內(nèi)場景語義標(biāo)注方案

本文提出的方案主要包括粗粒度區(qū)域級標(biāo)簽推斷和細(xì)粒度像素級標(biāo)簽求精2部分,如圖1所示;二者之間引入全局遞歸式反饋機(jī)制,能交替迭代更新不同粒度級別的語義標(biāo)簽,有利于語義標(biāo)簽的有機(jī)整合.粗粒度區(qū)域級標(biāo)簽推斷由改進(jìn)型區(qū)域過分割、區(qū)域特征提取和融合、超像素語義標(biāo)簽池構(gòu)建以及隨機(jī)決策森林分類預(yù)測組成;RGB-D訓(xùn)練數(shù)據(jù)集輸入圖1中的左側(cè)訓(xùn)練流程,而圖1中的右側(cè)測試流程可以查詢圖像和將對應(yīng)深度圖像作為輸入;利用改進(jìn)型區(qū)域過分割方法獲取超像素區(qū)域,有效提取輸入樣本集中魯棒區(qū)域特征,并構(gòu)建超像素語義標(biāo)簽池,基于隨機(jī)決策森林分類預(yù)測區(qū)域標(biāo)簽;測試流程利用對已訓(xùn)練的分類器測試輸入樣本.細(xì)粒度像素級標(biāo)簽求精構(gòu)建一種基于幾何深度信息和內(nèi)部遞歸式反饋擴(kuò)展的像素級稠密CRFs概率圖模型,優(yōu)化求精即可得到細(xì)粒度的標(biāo)注.

圖1　室內(nèi)場景語義分割流程圖

2　粗粒度區(qū)域級語義標(biāo)簽推斷

2.1顯著度導(dǎo)引改進(jìn)SLIC過分割

針對目前快速SLIC過分割法[8]處理雜亂室內(nèi)場景難以得到較高邊緣一致性的超像素問題,本文利用圖像分層顯著度導(dǎo)引簡單線性迭代聚類,得到較緊湊的超像素區(qū)域.受文獻(xiàn)[8-9]啟發(fā),本文在傳統(tǒng)SLIC過分割法[8]的5維(3維RGB通道和2維位置通道)聚類空間基礎(chǔ)上,引入額外3個(gè)多模態(tài)視覺感知通道(1維多尺度融合的圖像分層顯著度[9]、1維深度信息和1維語義標(biāo)簽圖),將傳統(tǒng)SLIC過分割法擴(kuò)展增至8維,任意特征聚類中心w和t之間相似性測度為

(1)

dcds=[(Lw-Lt)2+(aw-at)2+(bw-bt)2+

(2)

(3)

(4)

2.2多模態(tài)區(qū)域特征提取

為了實(shí)現(xiàn)粗粒度區(qū)域級語義標(biāo)簽推斷,根據(jù)訓(xùn)練或測試流程需要,對RGB-D訓(xùn)練數(shù)據(jù)集或測試數(shù)據(jù)集中RGB圖像和對應(yīng)深度圖D中即得的各個(gè)超像素區(qū)域,提取區(qū)域級魯棒多模態(tài)特征描述.首先,根據(jù)預(yù)設(shè)攝像機(jī)內(nèi)部參數(shù)、深度圖D及點(diǎn)云庫[10]計(jì)算對齊于RGB圖像I各像素點(diǎn)的表面法向量n;接著,依次計(jì)算各個(gè)過分割超像素內(nèi)的區(qū)域特征單元并歸一化;然后,將其串聯(lián)拼接成即得的超像素區(qū)域的多模態(tài)特征.其特征單元包括區(qū)域像素質(zhì)心、色彩HSV分量均值與相應(yīng)直方圖、彩色RGB圖像的梯度方向直方圖(histograms of oriented gradients, HOG)、基于深度圖像的HOG以及由深度圖像衍生得到場景的表面法線向量圖像的HOG等多模態(tài)視覺特征.

2.3超像素語義標(biāo)簽池構(gòu)建

利用RGB-D輸入數(shù)據(jù)合理構(gòu)建超像素語義標(biāo)簽池,以訓(xùn)練或測試隨機(jī)決策森林分類器.對訓(xùn)練數(shù)據(jù)的超像素集合中的各個(gè)超像素,根據(jù)RGB-D訓(xùn)練數(shù)據(jù)集中包含的基準(zhǔn)標(biāo)簽信息和多模態(tài)特征向量,分別整合該所有超像素對應(yīng)的各個(gè)條目,并采用映射準(zhǔn)則將基準(zhǔn)標(biāo)注信息的類別標(biāo)簽映射至訓(xùn)練數(shù)據(jù)的超像素集,獲取該各個(gè)超像素分別對應(yīng)的類別標(biāo)簽,構(gòu)成訓(xùn)練數(shù)據(jù)的超像素集對應(yīng)的語義標(biāo)簽池.為保證正確映射至每個(gè)超像素的類別標(biāo)簽具有唯一性,經(jīng)基準(zhǔn)標(biāo)注圖像映射后,若某超像素區(qū)域包含多種既定的類別標(biāo)簽,將該超像素中像素?cái)?shù)目比例最大的類別標(biāo)簽視為其判定該超像素的正確標(biāo)簽.測試用超像素語義標(biāo)簽池可以采用類似方法構(gòu)建.

2.4隨機(jī)森林分類區(qū)域標(biāo)簽

采用隨機(jī)決策森林[11]分類判別即得的超像素區(qū)域的語義標(biāo)簽.隨機(jī)森林F由K個(gè)二進(jìn)制決策樹Tk(k=1,2,…,K) 集成.每個(gè)決策樹節(jié)點(diǎn)n通過二值判決即得場景區(qū)域的多模態(tài)特征來分類相應(yīng)實(shí)例.F決策樹訓(xùn)練步驟如下:① 隨機(jī)多次自舉重采樣訓(xùn)練集;② 采用深度優(yōu)先策略,將即得構(gòu)建的多個(gè)訓(xùn)練樣本集分別訓(xùn)練隨機(jī)決策樹,每個(gè)節(jié)點(diǎn)n根據(jù)二值決策函數(shù)選擇合適的自舉重采樣的候選特征參數(shù)θ和閾值τ,以產(chǎn)生最大的信息增益,如此往復(fù);③ 據(jù)此統(tǒng)計(jì)分類投票結(jié)果,以得票最多的語義分類作為F分類器的輸出.

根據(jù)已訓(xùn)練的隨機(jī)森林F,對每個(gè)超像素區(qū)域r,從決策樹根節(jié)點(diǎn)遍歷每個(gè)決策樹Tk;根據(jù)二值決策準(zhǔn)則,分叉每個(gè)樹節(jié)點(diǎn),直至到達(dá)葉節(jié)點(diǎn)l;用概率p(c|n)關(guān)聯(lián)二值決策時(shí)所到達(dá)節(jié)點(diǎn)的類別標(biāo)簽c,c∈C,C為所有語義標(biāo)簽的集合,并平均所遍歷的各決策樹Tk，用以編碼類別標(biāo)簽的經(jīng)驗(yàn)后驗(yàn)概率;將F中最大后驗(yàn)分類概率對應(yīng)的語義類別視為相應(yīng)場景區(qū)域所預(yù)測的標(biāo)簽,即

(5)

3　細(xì)粒度像素級語義標(biāo)簽求精

3.1融合幾何深度的稠密CRFs概率圖模型

(6)

式中,Ψu(xi)為節(jié)點(diǎn)i對應(yīng)像素ei出現(xiàn)類別xi的一元?jiǎng)菽?即

(7)

(8)

Ψp(xi,xj)=μ(xi,xj)K(fi,fj)

(9)

(10)

式中,xi和xj分別為節(jié)點(diǎn)i和j對應(yīng)的可能類別標(biāo)簽;μ(xi,xj)為波茨模型標(biāo)簽兼容函數(shù)，μ(xi, xj)=1, xi≠xj;K(fi,fj)為高斯核的線性組合,fi和fj分別為節(jié)點(diǎn)i和j的相應(yīng)特征向量;pi和pj分別為相應(yīng)的坐標(biāo)位置向量;Ii和Ij分別為相應(yīng)的RGB彩色向量;di和dj分別為相應(yīng)的深度值;ni和nj分別為節(jié)點(diǎn)i和j相應(yīng)的表面法線向量;wa和ws分別為高斯外觀核和平滑核的權(quán)值系數(shù);θα, θβ, θγ和θδ為控制鄰近兩像素點(diǎn)同屬于某一類的參數(shù);θχ為平滑核控制系數(shù),能控制標(biāo)簽的孤立區(qū)域大小.

3.2兩層遞歸式標(biāo)簽反饋機(jī)制

為了改善語義標(biāo)注精度和穩(wěn)定性,細(xì)粒度像素級標(biāo)注中先建立內(nèi)部反饋機(jī)制;將細(xì)粒度語義標(biāo)簽作為額外通道,反饋至粗粒度區(qū)域級語義標(biāo)簽推斷,以改善SLIC過分割,實(shí)現(xiàn)在模型輸入/輸出之間全局遞歸式標(biāo)簽反饋.首先,采用改進(jìn)型概率圖模型求精粗粒度語義標(biāo)注,以更新細(xì)粒度像素級標(biāo)注;然后,根據(jù)1.1節(jié)得到的過分割區(qū)域,將相應(yīng)區(qū)域中即得的細(xì)粒度級別標(biāo)注中類別標(biāo)簽反饋映射至其區(qū)域級語義標(biāo)簽超像素集;最后,根據(jù)該超像素集中的類別標(biāo)簽和過分割信息,更新區(qū)域結(jié)構(gòu)粗粒度級別標(biāo)注,將比較更新前后對應(yīng)的超像素語義標(biāo)簽是否一致作為迭代結(jié)束的判斷標(biāo)準(zhǔn).鑒于僅通過一次求精步驟難以使所得標(biāo)注達(dá)到最優(yōu),本文方法采用遞歸式策略保證在像素級語義標(biāo)簽優(yōu)化時(shí)對粗標(biāo)注的求精效果達(dá)到較高水平.

4　實(shí)驗(yàn)與分析

4.1主觀評估

采用NYU Depth V2[3]與SUN3D[12]室內(nèi)場景RGB-D數(shù)據(jù)集評測實(shí)驗(yàn).NYU Depth V2數(shù)據(jù)集有1 449組RGB-D圖像對(795組訓(xùn)練和654組測試)和相應(yīng)的4種語義類別(Structure, Floor, Furniture和Props).SUN3D數(shù)據(jù)集有1 869組RGB-D圖像對(1 121組訓(xùn)練和748組測試)和相應(yīng)的15種語義類別(Bed, Cabinet, Wall, Ceiling, Floor, Sofa, Picture, Lamp, Curtain, TV, Door, Bathtub, Close stool, Washbasin和Props).圖2和圖3分別給出了本文方法在NYU Depth V2與SUN3D數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果.

比較圖2(c)與(d)可知,細(xì)粒度像素級語義標(biāo)簽求精提升粗粒度語義標(biāo)注的效果較為顯著,目標(biāo)邊緣更接近場景的真實(shí)邊緣;引入像素間豐富上下文能有效修正粗粒度語義標(biāo)注結(jié)果中某些誤標(biāo)的標(biāo)簽.另外,圖2(d)視覺標(biāo)注效果明顯優(yōu)于圖2(e),標(biāo)簽圖邊緣更清晰且正確率更高.文獻(xiàn)[13]方法屬于傳統(tǒng)像素級標(biāo)注方案,難以構(gòu)建魯棒、辨識(shí)力強(qiáng)的像素級特征描述;而本文方法充分融合場景圖像中不同層次多模態(tài)信息,有利于得到正確率較高的像素級語義標(biāo)簽.

圖3(d)、(e)與(c)相比,在視覺效果上均有較大提升,其原因是像素間引入稠密的上下文信息;而圖3(e)也明顯優(yōu)于圖3(d),原因在于引入了幾何深度信息與內(nèi)部反饋機(jī)制.圖3(a)最左側(cè)圖中,因臺(tái)燈光源過強(qiáng),使得RGB圖像中臺(tái)燈燈罩周邊區(qū)域被過度曝光,臺(tái)燈的輪廓和紋理信息失效;而傳統(tǒng)方法難以從圖3(c)中獲得臺(tái)燈的邊緣信息.而引入獨(dú)立于光照條件的場景深度,能為場景語義標(biāo)簽上下文推斷,帶來更具魯棒性、判別力強(qiáng)的上下文約束.

(a) RGB圖像

(b) 基準(zhǔn)標(biāo)注圖像

(c) 本方法最終標(biāo)注

(d) 本方法粗粒度語義標(biāo)注

(e)文獻(xiàn)[13]方案的語義標(biāo)注

4.2客觀評估

表1給出NYU Depth V2數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果,其評價(jià)指標(biāo)有平均雅爾卡指數(shù)和像素標(biāo)注準(zhǔn)確率[3].平均雅爾卡指數(shù)為混淆矩陣中對角線(針對定義的語義類別,測試數(shù)據(jù)集中從屬于某語義類別的像素獲得正確語義類別標(biāo)簽的概率)的均值;像素標(biāo)注準(zhǔn)確率表示測試數(shù)據(jù)集中每個(gè)像素經(jīng)標(biāo)注后獲得正確語義類別標(biāo)簽的概率.由表1可得,相比于其他方法[2-3,13],本文方法在總體性能上有一定提升,特別是Structure和Furniture 兩種語義結(jié)構(gòu)類別的標(biāo)注.其原因是引入的有效深度信息能揭示場景中物體間的內(nèi)在結(jié)構(gòu),能有效抑制噪聲且保護(hù)圖像細(xì)節(jié).與文獻(xiàn)[14]相比,本文方法整體性能上稍差,原因是本文方法不需要較多額外計(jì)算資源用于預(yù)先擬合場景的地心引力坐標(biāo)系[14]，并將其作為參考,因而使得Floor語義標(biāo)注不夠理想.

表2給出了SUN3D數(shù)據(jù)集的本文方法結(jié)果,評價(jià)指標(biāo)為每個(gè)語義類別的像素級語義標(biāo)注準(zhǔn)確

表1　NYU Depth V2數(shù)據(jù)集室內(nèi)場景語義標(biāo)注方法性能比較　%

注：“無”表示文獻(xiàn)[13]中無此數(shù)據(jù).

率.由表2可知,引入幾何深度信息和內(nèi)部遞歸式反饋能提升像素級標(biāo)注準(zhǔn)確率.內(nèi)部遞歸式反饋使得標(biāo)注信息不斷迭代更新,最終標(biāo)注結(jié)果趨于穩(wěn)定且準(zhǔn)確率得到提升.結(jié)合主觀評估的圖2可知,將有效可靠的幾何深度信息引入改進(jìn)概率圖模型上下文推理語義標(biāo)簽時(shí),能有效恢復(fù)被室內(nèi)光照所隱藏的目標(biāo)邊緣,優(yōu)化求精粗粒度標(biāo)注.

(a) RGB圖像

(b) 基準(zhǔn)標(biāo)注圖像

(c) 粗粒度語義標(biāo)注

(d) 未引入深度信息及內(nèi)部遞歸式反饋的標(biāo)注

(e) 最終標(biāo)注

圖3　SUN3D數(shù)據(jù)集的本文標(biāo)注方法結(jié)果

表2　SUN3D數(shù)據(jù)集本文方法標(biāo)注語義準(zhǔn)確率比較 %

注:Final表示包含深度信息及反饋機(jī)制結(jié)果;Initial表示不包含深度信息及反饋機(jī)制結(jié)果;1stPart表示粗粒度標(biāo)注結(jié)果.

5　結(jié)語

本文提出一種基于RGB-D圖像由粗至精的室內(nèi)場景語義分割方法,包括粗粒度區(qū)域級語義標(biāo)簽推斷與細(xì)粒度像素級語義標(biāo)簽求精.基于改進(jìn)型SLIC過分割圖像區(qū)域并提取其相應(yīng)多模態(tài)區(qū)域特征,基于隨機(jī)決策森林分類判決構(gòu)建的超像素語義類別標(biāo)簽;利用場景幾何深度和內(nèi)部反饋機(jī)制改進(jìn)像素級稠密CRFs概率圖模型,引入全局遞歸式反饋漸進(jìn)迭代更新室內(nèi)場景的語義類別標(biāo)簽.相比于其他方法,本文方法能得到視覺表現(xiàn)力較強(qiáng)、標(biāo)注準(zhǔn)確率較高的語義標(biāo)注結(jié)果.

References)

[1]Krhenbühl P, Koltun V. Efficient inference in fully connected CRFs with gaussian edge potentials [C]//25thAnnualConferenceonNeuralInformationProcessingSystems. Granada, Span, 2011:109-117.

[2]Ren X, Bo L, Fox D. RGB-(D) scene labeling: Features and algorithms [C]//IEEEConferenceonComputerVisionandPatternRecognition. Providence, RI, USA, 2012:2759-2766.

[3]Silberman N, Hoiem D, Kohli P, et al. Indoor segmentation and support inference from RGBD images [C]//12thEuropeanConferenceonComputerVision. Firenze, Italy, 2012:746-760. DOI:10.1007/978-3-642-33715-4-54.

[4]Silberman N, Fergus R. Indoor scene segmentation using a structured light sensor [C]//IEEEInternationalConferenceonComputerVisionWorkshops. Barcelona, Spain, 2011:601-608.

[5]Stasse O, Dupitier S, Yokoi K. 3D object recognition using spin-images for a humanoid stereoscopic vision system [C]//IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems. Beijing, China, 2006:2955-2960. DOI:10.1109/iros.2006.282151.

[6]Lowe D G. Distinctive image features from scales-invariant keypoints [J].InternationalJournalofComputerVision, 2004, 60(2):91-110. DOI:10.1023/b:visi.0000029664.99615.94.

[7]Couprie C, Farabet C, Najman L, et al. Indoor semantic segmentation using depth information [C]//InternationalConferenceonLearningRepresentation. Scottsdale, AZ, USA, 2013:1-8.

[8]Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2012, 34(11):2274-2282. DOI:10.1109/tpami.2012.120.

[9]Yan Q, Xu L, Shi J, et al. Hierarchical saliency detection [C]//IEEEConferenceonComputerVisionandPatternRecognition. Portland, OR, USA, 2013:1155-1162.

[10]Rusu R B, Cousins S. 3D is here: Point cloud library [C]//ProceedingsIEEEInternationalConferenceonRoboticsandAutomation. Shanghai, China, 2011:1-4.

[11]Stückler J, Waldvogel B, Schulz H, et al. Dense real-time mapping of object-class semantics from RGB-D video [J].JournalofReal-TimeImageProcessing, 2013, 10(4):599-609. DOI:10.1007/s11554-013-0379-5.

[12]Xiao J X, Owens A, Torralba A. SUN3D: A database of big spaces reconstructed using SfM and object labels [C]//14thIEEEInternationalConferenceonComputerVision. Sydney, Australia, 2013:1625-1632. DOI:10.1109/iccv.2013.458.

[13]Waldvogel B. Accelerating random forests on CPUs and GPUs for object-class image segmentation [D]. Bonn, German: Bonn University, 2013.

[14]Gupta S, Arbelaez P, Malik J. Perceptual organization and recognition of indoor scenes from RGB-D images [C]//IEEEConferenceonComputerVisionandPatternRecognition. Portland, Oregon, 2013:564-571. DOI:10.1109/cvpr.2013.79.

Coarse-to-Fine semantic parsing method for RGB-D indoor scenes

Liu Tianliang1Feng Xilong1Gu Yanqiu1Dai Xiubin1Luo Jiebo2

(1Jiangsu Provincial Key Laboratory of Image Processing and Image Communication,Nanjing University of Posts and Telecommunications, Nanjing 210003, China)(2Department of Computer Science, University of Rochester, Rochester 14627, USA)

A coarse-to-fine semantic segmentation method based on RGB-D information was proposed to label the visually meaningful components in indoor scenes. First, to complete coarse-grained region-level semantic label inference, the superpixel region pools for the semantic categories were constructed using hierarchical saliency-guided simple linear iterative clustering(SLIC) segmentation and robust multi-modal regional features, and the semantic category of each superpixel region can be judged based on random decision forest classifer. Then, to adjust coarse-grained semantic tag, a depth-guided pixel-wise fully-connected conditional random field model with an internal recursive feedback was presented to refine fine-grained pixel-level semantic label. Finally, a progressive global recursive feedback mechanism between coarse-grained and fine-grained semantic labels was introduced to iteratively update semantic tags of the predefined superpixel region in the given scenes. Experimental results show that the presented method can achieve comparable performance on the subjective and objective evaluations compared with other state-of-the-art methods on two public RGB-D indoor scene datasets.

RGB-D indoor scene; semantic parsing; simple linear iterative clustering (SLIC) segmentation; dense conditional random fields (CRFs); recursive feedback

10.3969/j.issn.1001-0505.2016.04.002

2015-12-07.作者簡介: 劉天亮(1980—),男,博士,副教授,liutl@njupt.edu.cn.

國家自然科學(xué)基金資助項(xiàng)目(31200747,61001152,61071091,61071166,61172118)、江蘇省自然科學(xué)基金資助項(xiàng)目(BK2010523,BK2012437)、南京郵電大學(xué)校級科研基金資助項(xiàng)目(NY210069,NY214037)、國家留學(xué)基金資助項(xiàng)目、教育部互聯(lián)網(wǎng)應(yīng)用創(chuàng)新開放平臺(tái)示范基地(氣象云平臺(tái)及應(yīng)用)資助項(xiàng)目(KJRP1407).

10.3969/j.issn.1001-0505.2016.04.002.

TP391

A

1001-0505(2016)04-0681-07

引用本文: 劉天亮，馮希龍，顧雁秋，等.一種由粗至精的RGB-D室內(nèi)場景語義分割方法[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,46(4):681-687.