王澤宇，吳艷霞，張國印，布樹輝

(1.哈爾濱工程大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001； 2.西北工業(yè)大學(xué) 航空學(xué)院，西安 710072)

面向RGB-D場景解析的三維空間結(jié)構(gòu)化編碼深度網(wǎng)絡(luò)

王澤宇1，吳艷霞1*，張國印1，布樹輝2

(1.哈爾濱工程大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001； 2.西北工業(yè)大學(xué) 航空學(xué)院，西安 710072)

有效的RGB-D圖像特征提取和準(zhǔn)確的3D空間結(jié)構(gòu)化學(xué)習(xí)是提升RGB-D場景解析結(jié)果的關(guān)鍵。目前，全卷積神經(jīng)網(wǎng)絡(luò)(FCNN)具有強(qiáng)大的特征提取能力，但是，該網(wǎng)絡(luò)無法充分地學(xué)習(xí)3D空間結(jié)構(gòu)化信息。為此，提出了一種新穎的三維空間結(jié)構(gòu)化編碼深度網(wǎng)絡(luò)，內(nèi)嵌的結(jié)構(gòu)化學(xué)習(xí)層有機(jī)地結(jié)合了圖模型網(wǎng)絡(luò)和空間結(jié)構(gòu)化編碼算法。該算法能夠比較準(zhǔn)確地學(xué)習(xí)和描述物體所處3D空間的物體分布。通過該深度網(wǎng)絡(luò)，不僅能夠提取包含多層形狀和深度信息的分層視覺特征(HVF)和分層深度特征(HDF)，而且可以生成包含3D結(jié)構(gòu)化信息的空間關(guān)系特征，進(jìn)而得到融合上述3類特征的混合特征，從而能夠更準(zhǔn)確地表達(dá)RGB-D圖像的語義信息。實驗結(jié)果表明，在NYUDv2和SUNRGBD標(biāo)準(zhǔn)RGB-D數(shù)據(jù)集上，該深度網(wǎng)絡(luò)較現(xiàn)有先進(jìn)的場景解析方法能夠顯著提升RGB-D場景解析的結(jié)果。

全卷積神經(jīng)網(wǎng)絡(luò)；圖模型；空間結(jié)構(gòu)化編碼算法；分層視覺特征；分層深度特征；空間關(guān)系特征；混合特征

0 引言

隨著智能時代的到來，場景解析作為計算機(jī)視覺研究方向上的重要技術(shù)領(lǐng)域，近年來取得了突飛猛進(jìn)的發(fā)展，這對于有效地實現(xiàn)目標(biāo)檢測[1]、姿態(tài)估計[2]以及圖像檢索[3]等智能任務(wù)起到至關(guān)重要的作用。場景解析作為一項復(fù)雜的計算機(jī)視覺工作，不僅需要檢測并分割出場景中出現(xiàn)的不同物體，而且需要識別出不同物體所屬的類別。因此，實現(xiàn)場景解析的核心技術(shù)是準(zhǔn)確地為圖像中每個像素作分類[4-5]。

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的方法已經(jīng)在場景解析工作中取得巨大成功[6-12]。這些方法提出的全CNN(Fully CNN, FCNN)以現(xiàn)有成熟的對象分類網(wǎng)絡(luò)(Visual Geometry Group Network, VGGNet)為基礎(chǔ)，首選修改分類網(wǎng)絡(luò)末端的全連接層為卷積層，然后級聯(lián)卷積層的特征作為反卷積層的輸入，最后采用端到端、像素到像素的訓(xùn)練方式完成面向RGB或RGB-D圖像的場景解析。但是，由于CNN的感知域較小，所以單純CNN的方法僅能學(xué)習(xí)有限局部區(qū)域內(nèi)的空間結(jié)構(gòu)化信息。如果想要實現(xiàn)更準(zhǔn)確的場景解析，就需要網(wǎng)絡(luò)具有較強(qiáng)的空間結(jié)構(gòu)化學(xué)習(xí)能力，能夠感知圖像的全局空間狀態(tài)，即圖像中物體所處空間的物體分布。

為此，具有空間結(jié)構(gòu)化學(xué)習(xí)能力的條件隨機(jī)場(Conditional Random Field, CRF)聯(lián)合CNN的混合網(wǎng)絡(luò)架構(gòu)應(yīng)運而生[13-16]。CRF通過最小化定義在圖模型上的能量函數(shù)，使得特征相近的相鄰像素對或超像素對類別相同，相差較大的類別不同，從而實現(xiàn)場景解析中物體輪廓的一致性和平滑性優(yōu)化。但是，CRF的能量函數(shù)僅能描述圖像中物體之間的距離(位置)和相似度(顏色、紋理等)，無法較為充分地學(xué)習(xí)物體所處空間的物體分布，因此，場景解析的效果提升的并不顯著。

最近，長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)聯(lián)合CNN的混合架構(gòu)在場景解析中取得了一些突破[12, 17]。LSTM是具有門和存儲結(jié)構(gòu)的特殊遞歸神經(jīng)網(wǎng)絡(luò)，它主要通過學(xué)習(xí)物體間的空間依賴關(guān)系實現(xiàn)一定程度的空間結(jié)構(gòu)化信息推理。文獻(xiàn)[17]設(shè)計了一種基于圖模型的LSTM網(wǎng)絡(luò)，該網(wǎng)絡(luò)首先對輸入圖像進(jìn)行超像素分割，然后按照Confidence-Driven的更新策略遍歷圖像中每一個超像素，最后利用具有自適應(yīng)遺忘門的LSTM來學(xué)習(xí)物體間的空間依賴關(guān)系，這樣不僅可以提升網(wǎng)絡(luò)的訓(xùn)練效率，而且能夠準(zhǔn)確地學(xué)習(xí)空間結(jié)構(gòu)化信息。在此基礎(chǔ)上，文獻(xiàn)[12]提出了一種基于LSTM的端到端深度網(wǎng)絡(luò)，該網(wǎng)絡(luò)不僅能夠有機(jī)地融合RGB和深度圖像的卷積特征，而且能夠通過LSTM進(jìn)行空間結(jié)構(gòu)化信息的提取，從而完成RGB-D圖像的場景解析。但是，現(xiàn)有基于LSTM的方法僅學(xué)習(xí)RGB圖像的平面空間結(jié)構(gòu)化信息，沒有充分地利用深度圖像提供的深度空間結(jié)構(gòu)化信息，因此無法全面地學(xué)習(xí)RGB-D圖像中物體所處3D空間的物體分布。

為了解決上述問題，本文提出新穎的三維空間結(jié)構(gòu)化編碼深度網(wǎng)絡(luò)(Three-dimensional Spatial Structured Encoding Deep Network, 3D-SSEDN)，3D-SSEDN以CNN和CRF的混合架構(gòu)為基礎(chǔ)，能夠結(jié)合CNN和CRF各自的優(yōu)點。與現(xiàn)有深度網(wǎng)絡(luò)不同，本文將CRF作為3D-SSEDN的中間層，并與本文提出的空間結(jié)構(gòu)化編碼算法(Spatial Structured Encoding Algorithm, SSEA)有機(jī)地結(jié)合。這樣，3D-SSEDN不僅可以充分地發(fā)揮FCNN的特征提取能力，而且能夠有機(jī)地結(jié)合CRF和SSEA學(xué)習(xí)RGB-D圖像中物體的3D空間結(jié)構(gòu)化信息，進(jìn)而適合利用深度置信網(wǎng)絡(luò)(Deep Belief Network, DBN)巧妙地挖掘物體各類特征之間的非線性關(guān)系，從而能夠生成包含豐富RGB-D圖像語義信息的混合特征。

本文的主要工作如下：

1)提出空間結(jié)構(gòu)化編碼算法。SSEA通過劃分物體所處3D空間，以編碼的方式較為準(zhǔn)確地學(xué)習(xí)和描述RGB-D圖像中物體所處3D空間的物體分布，從而生成包含3D結(jié)構(gòu)化信息的空間關(guān)系特征。這樣，3D-SSEDN不僅能夠根據(jù)物體本身的視覺特征和深度特征(FCNN提取的RGB-D圖像特征)作分類，而且能夠利用物體的空間關(guān)系特征調(diào)優(yōu)分類結(jié)果。

2)運用多模態(tài)特征融合方法。本文通過DBN融合視覺特征、深度特征和空間關(guān)系特征，從而挖掘各類特征之間的非線性關(guān)系，融合生成的混合特征能夠更全面地表達(dá)物體的語義信息。

本文在NYUDv2[18]和SUNRGBD[19]標(biāo)準(zhǔn)RGB-D數(shù)據(jù)集上進(jìn)行了對比實驗，結(jié)果表明：本文提出的3D-SSEDN較現(xiàn)有先進(jìn)的場景解析方法能夠顯著地提升場景解析的結(jié)果。

1 三維空間結(jié)構(gòu)化編碼深度網(wǎng)絡(luò)

本文提出的三維空間結(jié)構(gòu)化編碼深度網(wǎng)絡(luò)3D-SSEDN包含三個部分：特征提取層、結(jié)構(gòu)化學(xué)習(xí)層和特征融合層。其中，特征提取層主要由全卷積神經(jīng)網(wǎng)絡(luò)FCNN構(gòu)成，用來分別提取RGB和深度圖像中物體的視覺和深度多維特征；結(jié)構(gòu)化學(xué)習(xí)層有機(jī)地結(jié)合條件隨機(jī)場CRF和空間結(jié)構(gòu)化編碼算法SSEA，SSEA通過CRF的分類概率推理超像素所處3D空間的物體分布，從而獲取超像素的空間關(guān)系特征；特征融合層主要包括深度置信網(wǎng)絡(luò)DBN，用來對上述學(xué)習(xí)到的超像素視覺特征、深度特征和空間關(guān)系特征作融合。整個3D-SSEDN的網(wǎng)絡(luò)框架如圖1所示。

圖1 三維空間結(jié)構(gòu)化編碼深度網(wǎng)絡(luò)Fig. 1 Three-dimensional spatial structured encoding deep network

1.1 特征提取層

在場景解析研究中，提取的特征將直接影響分類結(jié)果。最近的研究表明包含多層物體信息的特征能夠提升分類結(jié)果。這種特征的結(jié)構(gòu)是分層的，不同層次是對物體不同級別的抽象，這意味著特征提取是逐層進(jìn)行的，因此，由多個卷積層和反卷積層逐級相連構(gòu)成的FCNN成為特征提取的有效工具。另外，為了更好地利用FCNN提取深度圖像的特征，本文將單通道的深度圖像轉(zhuǎn)換為3通道的HHA圖像[20]。HHA圖像的3個通道分別表示物體的深度、高度以及角度，與RGB圖像相似，HHA圖像能夠通過水平視差、垂直視差和重力方向角顯示物體的邊界。本文使用FCNN提取特征的原理如圖2所示。

圖2 特征提取層Fig. 2 Feature extraction layer

1.1.1 全卷積神經(jīng)網(wǎng)絡(luò)

本文通過FCNN分別提取RGB圖像和HHA圖像中物體的分層視覺特征(Hierarchical Visual Feature, HVF)和分層深度特征(Hierarchical Depth Feature, HDF)，其特征提取過程相同，可統(tǒng)一描述為：

假設(shè)FCNN的卷積網(wǎng)絡(luò)包含Lc層，反卷積網(wǎng)絡(luò)包含Ld層，輸入圖像為x(RGB或者HHA圖像)，第l層的輸出特征為Fl，那么，第l層的操作可以表示為：

(1)

式中：初始特征F0為輸入圖像x；函數(shù)conv、rect和pool分別表示卷積網(wǎng)絡(luò)每層的卷積操作、校正操作和池化操作，函數(shù)deconv表示反卷積網(wǎng)絡(luò)每層的反卷積操作。其中，對于卷積網(wǎng)絡(luò)的每層操作，conv將卷積核內(nèi)的多個特征值映射為一個，rect(abs、tanh、sigmoid和ReLU等激活函數(shù))對conv生成的特征作修整，pool則挑選生成特征感知域內(nèi)最敏感的值作為特征值，新生特征尺寸減小，變得抽象；對于反卷積網(wǎng)絡(luò)的每層操作，deconv與conv相反，它將特征的一個值映射為多個，一方面將特征尺寸還原，另一方面補(bǔ)償pool造成的物體細(xì)節(jié)信息損失，新生特征尺寸增大，變得具體。

為了獲取包含多層物體信息的特征，本文分別對FCNN卷積和反卷積網(wǎng)絡(luò)每層提取的特征進(jìn)行上采樣操作，使新生特征尺寸與輸入圖像相同，然后級聯(lián)采樣后的特征，從而得到HVF和HDF：

HVF|HDF=[up(F1),…,up(FLc),…,up(FLc+Ld)];HVF|HDF∈R(Nc+Nd)×H×W,up(Fl)∈RNl×H×W

(2)

其中：Nc和Nd分別表示卷積和反卷積特征的維數(shù)；H和W分別表示特征的高度和寬度；up表示上采樣函數(shù)；Nl表示FCNN第l層提取特征的維數(shù)或者卷積核的個數(shù)。

本文的多維特征不僅包含卷積特征，而且還包括反卷積特征。其中反卷積特征中還原的物體信息能夠彌補(bǔ)卷積特征中由于池化操作丟失的細(xì)節(jié)信息，而卷積特征中提取的物體信息能夠糾正反卷積特征中還原的錯誤信息。本文將兩者相互級聯(lián)，得到的多維特征能夠包含更多有用的物體信息。與此同時，F(xiàn)CNN提取的HHA圖像的特征不僅包含物體的深度信息，而且包括物體的視覺信息，與RGB圖像的卷積特征相級聯(lián)能夠更準(zhǔn)確地表達(dá)物體的視覺外觀。

1.1.2 超像素分割

由于SLIC(Simple Linear Iterative Clustering)超像素分割算法能夠快速而準(zhǔn)確地劃分圖像中物體的邊界，滿足場景解析的要求。因此，本文使用SLIC算法對輸入圖像進(jìn)行超像素分割[21-22]，并計算超像素塊內(nèi)所有像素特征(HVF、HDF和LAB顏色特征等)的均值，從而以超像素作為訓(xùn)練預(yù)測的基本單位。這樣不僅可以避免像素特征中噪聲導(dǎo)致的分類預(yù)測錯誤，而且能夠提升整個網(wǎng)絡(luò)的訓(xùn)練和預(yù)測速度。

假設(shè)輸入圖像x內(nèi)像素p，p的特征向量為Fp，那么對于x內(nèi)超像素S，共包含NS個像素，則S的特征向量FS可以定義為超像素S內(nèi)所有像素特征的L2-范數(shù)：

(3)

其中:N表示特征向量的維數(shù)，當(dāng)Fp表示HVF和HDF時，N=Nc+Nd；當(dāng)Fp表示LAB顏色特征時，N=3。

1.2 結(jié)構(gòu)化學(xué)習(xí)層

雖然FCNN能夠提取包含多層物體信息的視覺和深度特征，但是這些特征缺少空間結(jié)構(gòu)化信息，可能會出現(xiàn)分類預(yù)測錯誤。為了彌補(bǔ)FCNN的不足，本文在3D-SSEDN中內(nèi)嵌結(jié)構(gòu)化學(xué)習(xí)層，該層有機(jī)地結(jié)合了CRF和空間結(jié)構(gòu)化編碼算法SSEA，從而更為全面地學(xué)習(xí)超像素所處3D空間的物體分布。結(jié)構(gòu)化學(xué)習(xí)層的原理如圖3所示。

圖3 結(jié)構(gòu)化學(xué)習(xí)層Fig. 3 Structural learning layer

1.2.1 條件隨機(jī)場

假設(shè)輸入圖像為x，圖像的標(biāo)簽為y，經(jīng)超像素分割可以得到適合構(gòu)建x的CRF圖模型G=(V,E)，其中:V表示超像素節(jié)點vi的集合，E表示相鄰超像素對(邊)eij的集合。由于圖G中存在相關(guān)性較弱的邊，因此本文以相鄰超像素對3D質(zhì)心的2-范數(shù)作為圖G中邊的權(quán)值，并通過最小生成樹算法生成樹型結(jié)構(gòu)G′= (V,E′)，從而去除圖G中相關(guān)性較弱的邊[13]。這樣，圖像x在樹型結(jié)構(gòu)G′上的CRF能量函數(shù)定義為：

(4)

其中：w=[wN,wE]表示CRF的模型參數(shù)；U表示一元項，V表示二元項，具體表達(dá)式分別如式(5)、(6)。

U(yi,xi)=exp(-αuci)

(5)

V(yi,yj,xij)=

(6)

其中：一元項U的參數(shù)ci表示利用SoftMax生成的基于HVF和HDF的超像素分類概率；二元項V中的2-范式表示LAB[23]顏色空間內(nèi)相鄰超像素對顏色特征的2-范數(shù)，若2-范數(shù)的值越接近0，則超像素vi和vj屬于同一類別的概率越大，反之，則概率越小。

在CRF的訓(xùn)練階段，本文使用置信傳播算法和L-BFGS(Limited-memory Broyden Fletcher Goldfarb Shanno)優(yōu)化算法求解CRF的參數(shù)w[13]。在CRF的預(yù)測階段，對于一張新的圖像x，它的后驗概率為：

(7)

那么圖像x中超像素vi的分類概率可以表示為bi∈RK，其中K表示類別數(shù)。

1.2.2 空間結(jié)構(gòu)化編碼算法

雖然CRF能夠根據(jù)相鄰超像素對LAB顏色特征的相似度來全局最優(yōu)化分類概率，但是它僅能實現(xiàn)物體輪廓的一致性和平滑性優(yōu)化，依然缺乏較強(qiáng)的空間結(jié)構(gòu)化學(xué)習(xí)能力。為此，本文設(shè)計空間結(jié)構(gòu)化編碼算法，SSEA通過CRF的分類概率快速地推理超像素所處3D空間的物體分布，從而生成超像素的空間關(guān)系特征。

假設(shè)超像素vi，以vi為中心的3D鄰域空間定義為Gu′=(Vu,Eu′ )，則vi的節(jié)點空間關(guān)系特征(Node Spatial structure Feature, NSF),NSFi可以表示為：

NSFi= [NSFi(∧·),NSFi(∧×),NSFi(∨·),NSFi(∨×),NSFi(<·),NSFi(<×),NSFi(>·),NSFi(>×)]∈R8×K

(8)

其中，NSFi(∧·)、NSFi(∧×)、NSFi(∨·)、NSFi(∨×)、NSFi(<·)、NSFi(<×)、NSFi(>·)、NSFi(>×)分別表示超像素vi上-前、上-后、下-前、下-后、左-前、左-后、右-前、右-后8個空間區(qū)域內(nèi)各類別的超像素出現(xiàn)的頻率，它們可以統(tǒng)一表示成如下的形式：

d1∈[∧,∨,<,>],d2∈[·,×]

(9)

其中：Vu(d1d2)表示超像素vi在水平d1和深度d2共同決定方向上的3D空間區(qū)域；vj表示區(qū)域Vu(d1d2)內(nèi)的超像素，向量aj表示超像素vj相對于vi的分類概率，其定義如下：

aj(k)=bj(k)×exp(-αdd(vi,vj)/σd);

k=1,2,…,K

(10)

其中:bj表示CRF生成的超像素vj的分類概率;K表示類別數(shù);d(vi,vj)表示超像素vi和vj間的距離;σd表示區(qū)域Vu(d1d2)內(nèi)超像素vj和vi間距離的最大值;αd表示距離衰減率。

這樣，NSFi(d1d2)就能夠表示超像素vi在水平d1和深度d2共同決定方向上的空間區(qū)域內(nèi)各類別出現(xiàn)的頻率，從而近似描述該空間區(qū)域的物體分布。若NSFi(d1d2)(k)的值越大，則說明該空間區(qū)域內(nèi)k類別的超像素出現(xiàn)的次數(shù)越多，k類別物體所占空間區(qū)域面積越大；反之，則說明k類別的超像素出現(xiàn)次數(shù)越少，k類別物體所占空間區(qū)域面積越小。在此基礎(chǔ)上，本文將各空間區(qū)域的物體分布級聯(lián)，從而得到整個空間區(qū)域的物體分布。

實際中，假設(shè)輸入圖像x的短邊長為l，本文定義vi的空間Gu′為以vi為中心的正方形3D空間鄰域，其鄰域的邊長為0.4 ×l。在此基礎(chǔ)上，本文定義vi的區(qū)域Vu(d1d2)為Gu′空間內(nèi)超像素vi在水平d1和深度d2共同決定方向上的長方形3D空間區(qū)域，如圖3所示。

與單一視覺特征不同，當(dāng)兩個超像素具有相似的視覺特征時，3D-SSEDN就可以根據(jù)超像素所處3D空間物體分布的差異區(qū)分兩個超像素的類別。

1.3 特征融合層

經(jīng)過特征提取層和結(jié)構(gòu)化學(xué)習(xí)層的學(xué)習(xí)，3D-SSEDN可以分別生成超像素的分層視覺特征HVF、分層深度特征HDF以及節(jié)點空間關(guān)系特征NSF。為了進(jìn)一步挖掘上述3類特征之間復(fù)雜的非線性關(guān)系，本文使用DBN對上述特征作融合。同時，特征融合能夠?qū)旌咸卣?級聯(lián)的HVF、HDF和NSF)進(jìn)行數(shù)據(jù)壓縮，降低特征的維度，從而去除混合特征中存在的冗余信息，更準(zhǔn)確地表達(dá)超像素的語義信息。特征融合層的流程如圖4所示。

1.3.1 深度置信網(wǎng)絡(luò)

研究表明，利用DBN[24]融合不同特征之間的非線性關(guān)系來提升物體的分類概率效果顯著。DBN由一組受限的波爾茲曼機(jī)[25]自下而上堆疊而成，它以級聯(lián)的多模態(tài)特征作為輸入，按照低層RBM輸出作為高層RBM輸入的順序逐層抽象，最終輸出高度抽象的混合特征。

圖4 特征融合層Fig. 4 Feature fusion layer

本文采用對比散度算法對RBM作快速訓(xùn)練[26]。在此基礎(chǔ)上，訓(xùn)練DBN[27]可以分為預(yù)訓(xùn)練和微調(diào)兩個階段：在預(yù)訓(xùn)練階段，本文采用無監(jiān)督的貪心算法自底向上逐層訓(xùn)練DBN中的RBM，得到初始DBN參數(shù)；在微調(diào)階段，本文采用無監(jiān)督的wake-sleep算法對參數(shù)調(diào)優(yōu)。為了使得DBN具有分類功能，本文在DBN的頂層添加SoftMax分類器，此時，DBN與標(biāo)準(zhǔn)的前饋神經(jīng)網(wǎng)絡(luò)相同，本文采用有監(jiān)督的反向傳播算法進(jìn)一步調(diào)優(yōu)DBN參數(shù)。

1.3.2 特征融合學(xué)習(xí)

本文通過級聯(lián)超像素的HVF、HDF和NSF得到超像素的節(jié)點混合特征(Node Hybrid Feature, NHF)。假設(shè)超像素為vi，則vi節(jié)點混合特征NHFi可以表示為：

NHFi=[HVFi,HDFi,NSFi]∈R2×(Nc+Nd)+8×K

(11)

在此基礎(chǔ)上，節(jié)點混合特征的DBN融合過程可以表示為：

θi=fusion(NHFi)∈RK

(12)

其中:fusion表示DBN的特征融合操作;θi表示DBN生成的超像素vi的分類概率，即場景解析結(jié)果。

2 實驗結(jié)果與分析

為了評價3D-SSEDN網(wǎng)絡(luò)的場景解析效果，本文使用標(biāo)準(zhǔn)RGB-D數(shù)據(jù)集NYUDv2[18]和SUNRGBD[19]作訓(xùn)練，并將測試結(jié)果與當(dāng)前的先進(jìn)方法作比較。另外，本文使用平均準(zhǔn)確率(Mean Accuracy)作為場景解析的評價標(biāo)準(zhǔn)[6]。假設(shè)nij表示圖像中第i類別像素預(yù)測為第j類別的數(shù)量，nc表示類別數(shù)，則圖像中第i類別像素的數(shù)量ti可以表示為：

(13)

那么，平均準(zhǔn)確率定義為：

(14)

2.1 實驗設(shè)置

本文提出的3D-SSEDN由3個子網(wǎng)絡(luò)組成：全卷積神經(jīng)網(wǎng)絡(luò)FCNN、條件隨機(jī)場CRF和深度置信網(wǎng)絡(luò)DBN。由于各網(wǎng)絡(luò)間相互獨立，可以分別獨立訓(xùn)練，因此整個網(wǎng)絡(luò)框架的訓(xùn)練簡單而快速。

在特征提取階段，首先，將深度圖像編碼為HHA圖像[20]。然后，以BVLC FCN[6]提供的FCN-32s為框架，一方面設(shè)置訓(xùn)練參數(shù)：mini-batch size=20、learning rate=10-4、momentum=0.99、weight decay=5-4和iterations=105；另一方面通過預(yù)訓(xùn)練的VGG_ILSVRC_16_layers模型[6]初始化FCN- 32s，并采用隨機(jī)梯度下降算法對FCN- 32s進(jìn)行訓(xùn)練。在此基礎(chǔ)上，分別對RGB和HHA圖像進(jìn)行特征提取，并選取FCN- 32s第10、17和24層的卷積特征和第40層的反卷積特征進(jìn)行上采樣操作。最后，通過SLIC算法[21-22]對RGB圖像進(jìn)行超像素分割，并計算超像素的多維特征，本文設(shè)置超像素區(qū)域尺寸的值為15。

在結(jié)構(gòu)化學(xué)習(xí)階段，首先，本文使用UGM工具包[28]構(gòu)建CRF圖模型G，并通過最小生成樹算法[13]生成稠密圖G對應(yīng)的樹型結(jié)構(gòu)G′，進(jìn)而采用置信傳播算法和L-BFGS優(yōu)化算法求解CRF的參數(shù)w[13]，這樣CRF就能夠通過相鄰超像素對在LAB顏色空間[23]的特征相似度來全局最優(yōu)化分類概率；然后本文應(yīng)用空間結(jié)構(gòu)化編碼算法推理超像素的節(jié)點空間關(guān)系特征，設(shè)置距離衰減率為αd=0.5。

在特征融合階段，本文使用DBN工具包[29]搭建DBN網(wǎng)絡(luò)，一方面設(shè)置DBN的層數(shù)(RBM的個數(shù))以及每層節(jié)點的個數(shù)(RBM隱藏層節(jié)點的個數(shù))，如圖4所示；另一方面設(shè)置DBN的訓(xùn)練參數(shù)：mini-batch size=100、learning rate=0.05、momentum=0.5和maximum epoch=10 000。然后，本文通過貪心算法和反向傳播算法完成DBN的訓(xùn)練[24-27]。

本研究在2.3 GHz Xeon CPU、8 GB NVIDIA GeForce GTX 1 080 GPU、128 GB內(nèi)存的計算機(jī)上進(jìn)行數(shù)據(jù)集的訓(xùn)練和測試。

2.2 NYUDv2

NYUDv2[18]數(shù)據(jù)集通過Microsoft Kinect采集深度圖像，由795張訓(xùn)練圖像和654張測試圖像組成，共包含40類室內(nèi)場景的物體。本文關(guān)于該數(shù)據(jù)集的實驗結(jié)果如表1～3所示，其中:表1表示3D-SSEND訓(xùn)練時間和測試時間(每張圖像)的統(tǒng)計結(jié)果;表2表示3D-SSEND自身對比實驗的平均準(zhǔn)確率結(jié)果;表3表示本文方法與現(xiàn)有先進(jìn)的場景解析方法的平均準(zhǔn)確率對比實驗結(jié)果。場景解析的視覺效果如圖5所示。

表2中，F(xiàn)CNN-RGB表示利用SoftMax生成的基于分層視覺特征的場景解析結(jié)果，F(xiàn)CNN-HHA表示利用SoftMax生成的基于分層深度特征的結(jié)果，F(xiàn)CNN表示利用SoftMax生成的基于分層視覺特征和分層深度特征的結(jié)果，F(xiàn)CNN+CRF表示CRF調(diào)優(yōu)FCNN后的結(jié)果，3D-SSEDN表示本文提出的深度網(wǎng)絡(luò)的結(jié)果。從表2可以看出：首先，F(xiàn)CNN的結(jié)果優(yōu)于FCNN-RGB和FCNN-HHA，說明分層視覺特征級聯(lián)分層深度特征能夠包含更加豐富的物體形狀信息，從而提升場景解析的結(jié)果；然后，F(xiàn)CNN+CRF的結(jié)果雖然優(yōu)于FCNN，但是結(jié)果提升得并不顯著，說明CRF的空間結(jié)構(gòu)化學(xué)習(xí)能力不強(qiáng)，雖然它能夠根據(jù)相鄰物體間LAB顏色特征的相似度來全局最優(yōu)化分類概率，但是它僅能實現(xiàn)物體輪廓的一致性和平滑性優(yōu)化，無法較為充分地學(xué)習(xí)物體所處空間的物體分布；最后，3D-SSEDN的結(jié)果較FCNN+CRF有較為明顯的提升，說明本文提出的3D-SSEDN具有較強(qiáng)的空間結(jié)構(gòu)化學(xué)習(xí)能力，它通過SSEA較為全面地學(xué)習(xí)RGB-D圖像中物體所處3D空間的物體分布，當(dāng)兩個物體具有相似的視覺特征時，3D-SSEDN就可以根據(jù)物體所處3D空間物體分布的差異區(qū)分兩個物體的類別。

表1 NYUDv2數(shù)據(jù)集上3D-SSEND訓(xùn)練和測試時間Tab. 1 Training and testing time of 3D-SSEND on dataset NYUDv2

表2 NYUDv2數(shù)據(jù)集上自身對比實驗結(jié)果 %Tab. 2 Self-comparison experimental results on dataset NYUDv2 %

表3為本文方法與文獻(xiàn)[7-8, 10-12]的比較結(jié)果。3D-SSEDN在場景解析的評價標(biāo)準(zhǔn)中總體上取得較優(yōu)的結(jié)果，其原因歸納如下：1)本文使用FCNN提取RGB-D圖像中物體不同抽象級別的視覺和深度特征，級聯(lián)分層視覺特征和分層深度特征能夠包含更加豐富的物體形狀信息。2)本文通過空間結(jié)構(gòu)化編碼算法生成包含物體所處3D空間物體分布信息的空間關(guān)系特征。這樣，3D-SSEDN不僅能夠根據(jù)物體本身的視覺特征和深度特征作分類，而且能夠利用物體的空間關(guān)系特征調(diào)優(yōu)分類結(jié)果。3)本文通過DBN融合視覺特征、深度特征以及空間關(guān)系特征，從而能夠充分地挖掘3類特征之間的非線性關(guān)系，融合生成的混合特征能夠更全面地表達(dá)物體的語義信息。另外，對于絕大多數(shù)物體類別，3D-SSEDN的結(jié)果較現(xiàn)有方法有一定程度的提升或基本保持，但是，對于少數(shù)物體類別(例如：fridge、shower和nightstand)，3D-SSEDN和現(xiàn)有方法的場景解析結(jié)果都很不理想，這主要是由于NYUDv2數(shù)據(jù)集中各類別物體出現(xiàn)的頻率不均衡造成的，而與網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計無關(guān)。

表3 NYUDv2數(shù)據(jù)集上本文方法與當(dāng)前各方法不同物體類別實驗結(jié)果對比 %Tab. 3 Experimental result comparison of the proposed method and the current methods for different object categories on NYUDv2 dataset %

不同方法NYUDv2場景解析視覺效果如圖5所示。

圖5 NYUDv2場景解析視覺效果Fig. 5 Scene parsing visual results on dataset NYUDv2

從圖5視覺效果圖中可以看出：首先，由圖5(b)～(d)可知，3D-SSEDN場景解析后物體的輪廓比FCNN和FCNN+CRF更接近Ground Truth，從而進(jìn)一步驗證了表2的實驗結(jié)果；然后，無論物體的輪廓是簡單(door、bed、sofa等)還是復(fù)雜(person、clothes、chair等)，場景解析的結(jié)果均與Ground Truth接近，表明3D-SSEDN提取的特征能夠比較全面地表達(dá)圖像的語義信息；最后，對于尺寸小于超像素的物體，3D-SSEDN會出現(xiàn)解析錯誤，其原因可能是超像素替代像素完成解析任務(wù)造成的，這樣雖然能夠加速整個網(wǎng)絡(luò)的訓(xùn)練和預(yù)測，但是網(wǎng)絡(luò)卻可能丟失尺寸很小物體的細(xì)節(jié)信息。

2.3 SUNRGBD

SUNRGBD[19]是目前最大的RGB-D圖像數(shù)據(jù)集，由5 285張訓(xùn)練圖像和5 050張測試圖像組成，其圖像分別來自4個不同的數(shù)據(jù)集：NYUDv2[18]、Berkeley B3DO[30]、SUN3D[31]和SUNRGBD[19]，共包含40類室內(nèi)場景的物體。本文方法在該數(shù)據(jù)集上的訓(xùn)練時間和測試時間如表4所示，關(guān)于該數(shù)據(jù)集的實驗結(jié)果如表5～6所示，場景解析視覺效果如圖6所示。

表4 SUNRGBD數(shù)據(jù)集上3D-SSEND訓(xùn)練和測試時間Tab. 4 Training and testing time of 3D-SSEND on dataset SUNRGBD

表5 SUNRGBD數(shù)據(jù)集上自身對比實驗結(jié)果 %Tab. 5 Self-comparison experimental results on dataset SUNRGBD %

從表5中可以看出：3D-SSEDN的場景解析結(jié)果明顯優(yōu)于FCNN和FCNN+CRF，進(jìn)一步證明3D-SSEDN具有較強(qiáng)的空間結(jié)構(gòu)化學(xué)習(xí)能力。表6中，將3D-SSEDN與現(xiàn)有先進(jìn)方法[9-10,12]作比較，總體上也均取得較優(yōu)的結(jié)果，從而再次驗證了本文提出的SSEA算法性能，通過該算法生成的空間關(guān)系特征能夠更準(zhǔn)確地描述物體所處3D空間的物體分布，在此基礎(chǔ)上3D-SSEDN將視覺特征、深度特征和空間關(guān)系特征相互融合，生成的混合特征能夠更準(zhǔn)確地表達(dá)物體的語義信息，從而彌補(bǔ)了單一視覺特征的不足，顯著地提升了場景解析的結(jié)果。

表6 SUNRGBD數(shù)據(jù)集上本文方法與當(dāng)前各方法不同物體類別實驗結(jié)果對比 %Tab. 6 Experimental result comparison of the proposed method and the current methods for different object categories on dataset SUNRGBD %

圖6 SUNRGBD場景解析視覺效果Fig. 6 Scene parsing visual results on SUNRGBD dataset

3 結(jié)語

本文針對RGB-D場景解析提出三維空間結(jié)構(gòu)化編碼深度網(wǎng)絡(luò)3D-SSEDN，該網(wǎng)絡(luò)主要包含3個部分：特征提取層、結(jié)構(gòu)化學(xué)習(xí)層和特征融合層。與其他方法不同，3D-SSEDN內(nèi)嵌的結(jié)構(gòu)化學(xué)習(xí)層有機(jī)地結(jié)合了CRF和空間結(jié)構(gòu)化編碼算法，SSEA能夠比較準(zhǔn)確地學(xué)習(xí)物體所處3D空間的物體分布。在此基礎(chǔ)上，3D-SSEDN通過DBN對視覺特征、深度特征和空間關(guān)系特征進(jìn)行融合。這樣，3D-SSEDN網(wǎng)絡(luò)不僅能夠提取不同抽象級別的視覺特征和深度特征，而且可以生成包含空間結(jié)構(gòu)化信息的空間關(guān)系特征，進(jìn)而得到更為準(zhǔn)確表達(dá)圖像語義信息的混合特征。實驗結(jié)果表明，在標(biāo)準(zhǔn)數(shù)據(jù)集上，本文提出的3D-SSEDN的場景解析結(jié)果能夠達(dá)到較高的準(zhǔn)確率。因此，該網(wǎng)絡(luò)可以應(yīng)用于實際的視覺任務(wù)中。

本文設(shè)計的3D-SSEDN網(wǎng)絡(luò)被劃分為3個獨立的部分，這樣雖然能夠縮短網(wǎng)絡(luò)訓(xùn)練和測試時間，但是可能無法充分利用結(jié)構(gòu)化學(xué)習(xí)層的優(yōu)勢。因此，后續(xù)將研究構(gòu)建網(wǎng)絡(luò)3個部分的新架構(gòu)，從而適合利用反向傳播算法聯(lián)合優(yōu)化整個網(wǎng)絡(luò)，進(jìn)一步挖掘結(jié)構(gòu)化學(xué)習(xí)層的空間結(jié)構(gòu)化學(xué)習(xí)能力。

References)

[1] 徐超,閆勝業(yè).改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)行人檢測方法[J].計算機(jī)應(yīng)用,2017,37(6):1708-1715.(XU C, YAN S Y. Improved pedestrian detection method based on convolutional neural network [J]. Journal of Computer Applications, 2017, 37(6): 1708-1715.)

[2] HINTERSTOISSER S, LEPETIT V, ILIC S, et al. Model based training, detection and pose estimation of texture-less 3D objects in heavily cluttered scenes [C]// ACCV 2012: Proceedings of the 11th Asian Conference on Computer Vision. Berlin: Springer, 2012: 548-562.

[3] SCHUSTER S, KRISHNA R, CHANG A, et al. Generating semantically precise scene graphs from textual descriptions for improved image retrieval [C]// Proceedings of the 2015 Fourth Workshop on Vision and Language. Stroudsburg, PA: ACL, 2015: 70-80.

[4] SHOTTON J, WINN J, ROTHER C, et al. Textonboost for image understanding: multi-class object recognition and segmentation by jointly modeling texture, layout, and context [J]. International Journal of Computer Vision, 2009, 81(1): 2-23.

[5] FARABET C, COUPRIE C, NAJMAN L, et al. Learning hierarchical features for scene labeling [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1915-1929.

[6] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 3431-3440.

[7] KHAN S H, BENNAMOUN M, SOHEL F, et al. Integrating geometrical context for semantic labeling of indoor scenes using RGBD images [J]. International Journal of Computer Vision, 2016, 117(1): 1-20.

[8] GUPTA S, ARBELEZ P, GIRSHICK R, et al. Indoor scene understanding with RGB-D images: bottom-up segmentation, object detection and semantic segmentation [J]. International Journal of Computer Vision, 2015, 112(2): 133-149.

[9] KENDALL A, BADRINARAYANAN V, CIPOLLA R. Bayesian SegNet: model uncertainty in deep convolutional encoder-decoder architectures for scene understanding [EB/OL]. [2017- 04- 10]. http://pdfs.semanticscholar.org/9694/c4d214a59979ee182136e9dfb

2975dfebaa2.pdf.

[10] REN X F, BO L F, FOX D. RGB-(D) scene labeling: features and algorithms [C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2012: 2759-2766.

[11] WANG A, LU J, CAI J, et al. Unsupervised joint feature learning and encoding for RGB-D scene labeling [J]. IEEE Transactions on Image Processing, 2015, 24(11): 4459-4473.

[12] LI Z, GAN Y K, LIANG X D, et al. LSTM-CF: unifying context modeling and fusion with LSTMs for RGB-D scene labeling [C]// Proceedings of the 2016 European Conference on Computer Vision, LNCS 9906. Berlin: Springer, 2016: 541-557.

[13] CADENA C, KOECKJ. Semantic segmentation with heterogeneous sensor coverages [C]// Proceedings of the 2014 IEEE Conference on Robotics and Automation, Washington, DC: IEEE Computer Society, 2014: 2639-2645.

[14] ZHENG S, JAYASUMANA S, ROMERA-PAREDES B, et al. Conditional random fields as recurrent neural networks [EB/OL]. [2017- 04- 10]. http://www.robots.ox.ac.uk/～szheng/papers/CRFasRNN.pdf.

[15] LIN G S, SHEN C H, VAN DEN HENGEL A, et al. Efficient piecewise training of deep structured models for semantic segmentation [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 3194-3203.

[16] 李艷麗,周忠,吳威.一種雙層條件隨機(jī)場的場景解析方法[J].計算機(jī)學(xué)報,2013,36(9):1898-1907.(LI Y L, ZHOU Z, WU W. Scene parsing based on a two-level conditional random field [J]. Chinese Journal of Computers, 2013, 36(9): 1898-1907.)

[17] LIANG X D, SHEN X H, FENG J S, et al. Semantic object parsing with graph LSTM [C]// Proceedings of the 2016 European Conference on Computer Vision, LNCS 9905. Berlin: Springer, 2016: 125-143.

[18] SILBERMAN N, HOIEM D, KOHLI P, et al. Indoor segmentation and support inference from RGBD images [C]// Proceedings of the 2012 12th European Conference on Computer Vision, LNCS 7576. Berlin: Springer, 2012: 746-760.

[19] SONG S, LICHTENBERG S P, XIAO J X. SUN RGB-D: a RGB-D scene understanding benchmark suite [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 567-576.

[20] GUPTA S, GIRSHICK R, ARBELEZ P, et al. Learning rich features from RGB-D images for object detection and segmentation [C]// Proceedings of the 2014 European Conference on Computer Vision, LNCS 8695. Berlin: Springer, 2014: 345-360.

[21] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

[22] 王春波,董紅斌,印桂生,等.基于Hadoop的超像素分割算法[J].計算機(jī)應(yīng)用,2016,36(11):2985-2992.(WANG C B, DONG H B, YIN G S, et al. Super pixel segmentation algorithm based on Hadoop [J]. Journal of Computer Applications, 2016, 36(11): 2985-2992.)

[23] SMITH T, GUILD J. The CIE colorimetric standards and their use [J]. Transactions of the Optical Society, 1931, 33(3): 73-134.

[24] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 313(5786): 504-507.

[25] FREUND Y, HAUSSLER D. Unsupervised learning of distributions on binary vectors using two layer networks, Technical Report UCSC-CRL- 94- 25 [R]. Santa Cruz, CA: University of California at Santa Cruz, 1994.

[26] HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets [J]. Neural Computation, 2006, 18(7): 1527-1554.

[27] HINTON G E. Training products of experts by minimizing contrastive divergence [J]. Neural Computation, 2002, 14(8): 1771-1800.

[28] SCHMIDT M. UGM: a matlab toolbox for probabilistic undirected graphical models [EB/OL]. [2017- 04- 10]. http://www.cs.ubc.ca/～schmidtm/Software/UGM.html.

[29] PERCEPTRON M. DeepLearning 0.1 documentation [EB/OL]. [2017- 04- 10]. http://deeplearning.net/tutorial/.

[30] JANOCH A, KARAYEV S, JIA Y Q, et al. A category-level 3D object dataset: putting the kinect to work [M]// Consumer Depth Cameras for Computer Vision. London: Springer, 2013: 141-165.

[31] XIAO J X, OWENS A, TORRALBA A. SUN3D: a database of big spaces reconstructed using sfm and object labels [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2013: 1625-1632.

This work is partially supported by the National Key Research and Development Program (2016YFB1000400), the National Natural Science Foundation of China (60903098), the Central University Free Exploration Fund (HEUCF100606).

WANGZeyu, born in 1989, Ph. D. candidate. His research interests include machine learning, deep learning, computer vision.

WUYanxia, born in 1979, Ph. D., associate professor. Her research interests include machine learning, computer vision.

ZHANGGuoyin, born in 1962, Ph. D., professor. His research interests include machine learning, computer vision.

BUShuhui, born in 1978, Ph. D., professor. His research interests include machine learning, deep learning, computer vision.

Three-dimensionalspatialstructuredencodingdeepnetworkforRGB-Dsceneparsing

WANG Zeyu1, WU Yanxia1*, ZHANG Guoyin1, BU Shuhui2

(1.CollegeofComputerScienceandTechnology,HarbinEngineeringUniversity,HarbinHeilongjiang150001,China;2.SchoolofAeronautics,NorthwesternPolytechnicalUniversity,Xi’anShaanxi710072,China)

Efficient feature extraction from RGB-D images and accurate 3D spatial structure learning are two key points for improving the performance of RGB-D scene parsing. Recently, Fully Convolutional Neural Network (FCNN) has powerful ability of feature extraction, however, FCNN can not learn 3D spatial structure information sufficiently. In order to solve the problem, a new neural network architecture called Three-dimensional Spatial Structured Encoding Deep Network (3D-SSEDN) was proposed. The graphical model network and spatial structured encoding algorithm were organically combined by the embedded structural learning layer, the 3D spatial distribution of objects could be precisely learned and described. Through the proposed 3D-SSEDN, not only the Hierarchical Visual Feature (HVF) and Hierarchical Depth Feature (HDF) containing hierarchical shape and depth information could be extracted, but also the spatial structure feature containing 3D structural information could be generated. Furthermore, the hybrid feature could be obtained by fusing the above three kinds of features, thus the semantic information of RGB-D images could be accurately expressed. The experimental results on the standard RGB-D datasets of NYUDv2 and SUNRGBD show that, compared with the most previous state-of-the-art scene parsing methods , the proposed 3D-SSEDN can significantly improve the performance of RGB-D scene parsing.

Fully Convolutional Neural Network (FCNN); graphical model; spatial structured encoding algorithm; Hierarchical Visual Feature (HVF); Hierarchical Depth Feature (HDF); spatial structure feature; hybrid feature

2017- 05- 15;

2017- 07- 24。

國家重點研發(fā)計劃項目(2016YFB1000400);國家自然科學(xué)基金資助項目(60903098);中央高校自由探索基金資助項目(HEUCF100606)。

王澤宇(1989—)，男，河南鄭州人，博士研究生，主要研究方向：機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、計算機(jī)視覺； 吳艷霞(1979—)，女，黑龍江哈爾濱人，副教授，博士，CCF會員，主要研究方向：機(jī)器學(xué)習(xí)、計算機(jī)視覺； 張國印(1962—)，男，黑龍江哈爾濱人，教授，博士，CCF會員，主要研究方向：機(jī)器學(xué)習(xí)、計算機(jī)視覺； 布樹輝(1978—)，男，河南洛陽人，教授，博士，CCF會員，主要研究方向：機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、計算機(jī)視覺。

1001- 9081(2017)12- 3458- 09

10.11772/j.issn.1001- 9081.2017.12.3458

(*通信作者電子郵箱wuyanxia@hrbeu.edu.cn)

TP391.413; TP18

A