路 強(qiáng)，張春元，陳 超，余 燁，YUAN Xiao-hui

?

基于體素特征重組網(wǎng)絡(luò)的三維物體識(shí)別

路 強(qiáng)1,2，張春元1，陳 超1，余 燁1,2，YUAN Xiao-hui3

(1. 合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院VCC研究室，安徽 合肥 230601； 2. 工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室(合肥工業(yè)大學(xué))，安徽 合肥 230009； 3. 北德克薩斯大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，德克薩斯 丹頓 76201)

三維物體識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域近年來(lái)的研究熱點(diǎn)，其在自動(dòng)駕駛、醫(yī)學(xué)影像處理等方面具有重要的應(yīng)用前景。針對(duì)三維物體的體素表達(dá)形式，特征重組卷積神經(jīng)網(wǎng)絡(luò)VFRN使用了直接連接同一單元中不相鄰的卷積層的短連接結(jié)構(gòu)。網(wǎng)絡(luò)通過(guò)獨(dú)特的特征重組方式，復(fù)用并融合多維特征，提高特征表達(dá)能力，以充分提取物體結(jié)構(gòu)特征。同時(shí)，網(wǎng)絡(luò)的短連接結(jié)構(gòu)有利于梯度信息的傳播，加之小卷積核和全局均值池化的使用，進(jìn)一步提高了網(wǎng)絡(luò)的泛化能力，降低了網(wǎng)絡(luò)模型的參數(shù)量和訓(xùn)練難度。ModelNet數(shù)據(jù)集上的實(shí)驗(yàn)表明，VFRN克服了體素?cái)?shù)據(jù)分辨率低和紋理缺失的問(wèn)題，使用較少的參數(shù)取得了優(yōu)于現(xiàn)有方法的識(shí)別準(zhǔn)確率。

物體識(shí)別；體素；卷積神經(jīng)網(wǎng)絡(luò)；特征重組；短連接

三維數(shù)據(jù)采集設(shè)備的普及和建模工具的簡(jiǎn)易化，使得三維模型的數(shù)量一直在快速增長(zhǎng)。如何快速有效的識(shí)別這些三維形狀，成為了計(jì)算機(jī)視覺(jué)和圖形學(xué)領(lǐng)域，尤其是在醫(yī)學(xué)影像、自動(dòng)駕駛及CAD等應(yīng)用場(chǎng)景下的一個(gè)重要問(wèn)題。常見(jiàn)的三維物體描述方式，包括點(diǎn)云[1]、流形網(wǎng)格[2]、體素[3]和深度圖[4]等。點(diǎn)云和流形網(wǎng)格作為一種不規(guī)則的數(shù)據(jù)組織形式，難以利用高性能的學(xué)習(xí)方法進(jìn)行處理。深度圖作為一種間接表現(xiàn)三維物體的形式，難以直觀展現(xiàn)物體的三維結(jié)構(gòu)，同時(shí)也由于遮擋問(wèn)題缺失了很多信息。而體素?cái)?shù)據(jù)能夠完整地描述物體的空間占用情況，其以體素作為基本單位，數(shù)據(jù)組織形式規(guī)則，可以很好地適用現(xiàn)有的學(xué)習(xí)方法。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)被廣泛地應(yīng)用在分析和理解二維圖像的任務(wù)中，包括圖像分類[5]、物體檢測(cè)[6]、語(yǔ)義分割[7]等。其獨(dú)特的設(shè)計(jì)結(jié)構(gòu)可以很好地提取圖像的特征，在復(fù)雜的任務(wù)場(chǎng)景中具有良好的魯棒性，表現(xiàn)出相較于傳統(tǒng)方法的獨(dú)特優(yōu)勢(shì)。鑒于體素與圖像在數(shù)據(jù)組織形式上的相似性，使用CNN處理三維體素?cái)?shù)據(jù)成為研究熱點(diǎn)。相較于二維圖像數(shù)據(jù)，三維體素?cái)?shù)據(jù)由于增加了一個(gè)維度，空間開(kāi)銷更大，容易導(dǎo)致維度災(zāi)難(curse of dimensionality)[8]，其限制了體素模型的分辨率。而且體素的表現(xiàn)方式拋棄了物體本身的紋理信息。低分辨率和紋理缺失是使用三維體素?cái)?shù)據(jù)訓(xùn)練CNN必然要面對(duì)的問(wèn)題，要求網(wǎng)絡(luò)能夠從有限的信息中，充分提取具有代表性的物體特征。

本文針對(duì)三維體素模型識(shí)別問(wèn)題，設(shè)計(jì)并搭建了一個(gè)三維CNN VFRN(voxel features reorganization networks)。VFRN針對(duì)現(xiàn)有三維體素CNN難以充分學(xué)習(xí)物體結(jié)構(gòu)信息、參數(shù)量大、訓(xùn)練困難等問(wèn)題，采用多維特征重組方法，融合復(fù)用多維特征提取物體特征，并通過(guò)大小為1的卷積核降維以減少網(wǎng)絡(luò)參數(shù)。VFRN使用短連接方式，減少參數(shù)量，縮短特征傳遞路徑，降低訓(xùn)練難度，并加入全局均值池化[9]的方法，進(jìn)一步減少了網(wǎng)絡(luò)參數(shù)并降低了過(guò)擬合的風(fēng)險(xiǎn)。

1 相關(guān)工作

在二維圖像領(lǐng)域，CNN的應(yīng)用已經(jīng)較為成熟。2012年AlexNet[10]提出了ReLU和Dropout的概念，有效抑制了過(guò)擬合現(xiàn)象。之后，CNN的架構(gòu)逐步更新，如VGG Net[11]，GoogLeNet[12]，Res-Net[13]等。這些網(wǎng)絡(luò)在增加網(wǎng)絡(luò)深度的同時(shí)，使用了不同的方法提高網(wǎng)絡(luò)泛化能力，減小過(guò)擬合，如GoogLeNet中的Inception結(jié)構(gòu)，ResNet中的殘差結(jié)構(gòu)等。文獻(xiàn)[14]提出了DenseNet，通過(guò)密集連接方式，復(fù)用了低維特征，在增加網(wǎng)絡(luò)深度的同時(shí)，保證了參數(shù)量的線性增長(zhǎng)，取得了很好的效果。

目前，CNN是提取二維圖像特征最有效的方法之一。而三維形狀領(lǐng)域發(fā)展較晚，主要進(jìn)展大多在近三年內(nèi)。最先使用三維數(shù)據(jù)進(jìn)行深度學(xué)習(xí)實(shí)驗(yàn)的，WU等[15]提出的3D ShapeNet。該網(wǎng)絡(luò)是一個(gè)5層卷積深度置信網(wǎng)絡(luò)(convolution depth confidence network，CDCN)，輸入為303分辨率的體素?cái)?shù)據(jù)，完成識(shí)別三維物體的任務(wù)。為了進(jìn)行實(shí)驗(yàn)，該研究構(gòu)建了一個(gè)標(biāo)簽好的公開(kāi)三維模型數(shù)據(jù)集ModelNet[15]，此后，大量研究都在該數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。作為三維工作的開(kāi)端，3D ShapeNet模型簡(jiǎn)單，識(shí)別準(zhǔn)確率較低。鑒于CNN在圖像應(yīng)用上的優(yōu)良表現(xiàn)以及體素與圖像在數(shù)據(jù)組織形式上的相似性，文獻(xiàn)[16]提出了VoxNet[16]，將基本的二維CNN架構(gòu)拓展到三維，該網(wǎng)絡(luò)輸入的是分辨率為323的體素，采用了三維卷積層和池化層，最后使用全連接層生成特征向量。雖然相較于3D ShapeNet，VoxNet識(shí)別效果有了較大的提升，證明了CNN同樣適合處理三維數(shù)據(jù)，但該網(wǎng)絡(luò)僅僅使用了普通的卷積和池化操作，并沒(méi)有在分辨率限制和紋理缺失的前提下，更加充分的提取物體的三維結(jié)構(gòu)特征?？紤]到二維CNN使用的許多新結(jié)構(gòu)能夠提高網(wǎng)絡(luò)表現(xiàn)，BROCK等[17]提出了VRN，該網(wǎng)絡(luò)借鑒GoogLeNet中的Inception結(jié)構(gòu)和ResNet中的殘差結(jié)構(gòu)，設(shè)計(jì)了針對(duì)三維數(shù)據(jù)的Voxception結(jié)構(gòu)和VRB結(jié)構(gòu)，以替換傳統(tǒng)的卷積層和池化層。這兩種結(jié)構(gòu)增加了網(wǎng)絡(luò)的支路，并融合了多尺度特征。VRN通過(guò)對(duì)體素?cái)?shù)據(jù)的增廣和預(yù)處理，以及多個(gè)網(wǎng)絡(luò)的聯(lián)合使用，大大提高了識(shí)別準(zhǔn)確率，但結(jié)構(gòu)的復(fù)雜和多網(wǎng)絡(luò)的聯(lián)合使用，造成整個(gè)模型參數(shù)量巨大，訓(xùn)練困難。文獻(xiàn)[18]構(gòu)建了3個(gè)不同的結(jié)構(gòu)網(wǎng)絡(luò)，兩個(gè)基于體素的網(wǎng)絡(luò)和一個(gè)基于多視圖的網(wǎng)絡(luò)，通過(guò)加權(quán)綜合3個(gè)網(wǎng)絡(luò)的特征向量構(gòu)成FusionNet，也獲得了較好的識(shí)別效果。但通過(guò)分析FusionNet各子網(wǎng)絡(luò)的效果發(fā)現(xiàn)，兩個(gè)V-CNN網(wǎng)絡(luò)準(zhǔn)確率并不高，對(duì)于提升兩個(gè)網(wǎng)絡(luò)的準(zhǔn)確率的作用有限。而且同VRN一樣，多網(wǎng)絡(luò)的聯(lián)合使用在訓(xùn)練和部署方面開(kāi)銷巨大，實(shí)時(shí)性較差。針對(duì)三維體素?cái)?shù)據(jù)識(shí)別問(wèn)題，SU等[19]在分析比較了基于體素的方法(3D ShapeNet)和基于多視圖的方法(MVCNN)后，提出了SubVolume和AniProbing兩種網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)[20]認(rèn)為現(xiàn)有的三維卷積網(wǎng)絡(luò)未能充分挖掘三維形狀信息，所以在SubVolume網(wǎng)絡(luò)中引入了使用局部數(shù)據(jù)來(lái)預(yù)測(cè)整體的子任務(wù)，減少過(guò)擬合的同時(shí)，也能更好地提取細(xì)節(jié)特征。AniProbing網(wǎng)絡(luò)則是另一種思路，使用長(zhǎng)各向異性卷積核(long anisotropic kernels)來(lái)提取長(zhǎng)距離特征。在網(wǎng)絡(luò)的具體實(shí)現(xiàn)上，長(zhǎng)各向異性卷積核將三維體素?cái)?shù)據(jù)處理成二維特征圖，之后使用NIN[9]進(jìn)行識(shí)別，兩種網(wǎng)絡(luò)均取得了很好的效果。由于三維CNN相較二維增加了一個(gè)維度，網(wǎng)絡(luò)參數(shù)的數(shù)量也成倍增長(zhǎng)，過(guò)多的參數(shù)量導(dǎo)致網(wǎng)絡(luò)模型具有很高的計(jì)算成本，難以應(yīng)用在實(shí)時(shí)領(lǐng)域。ZHI等[21]提出LightNet，使用單一模型，通過(guò)精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)，大大減少了參數(shù)量，以滿足實(shí)時(shí)任務(wù)的需要，缺點(diǎn)是犧牲了識(shí)別的準(zhǔn)確率。

除體素?cái)?shù)據(jù)以外，近年來(lái)也出現(xiàn)了一些使用點(diǎn)云和視圖進(jìn)行三維物體識(shí)別的研究。點(diǎn)云方面，QI等[22]提出的PointNet和PointNet++[23]，在點(diǎn)云數(shù)據(jù)上使用多層感知器學(xué)習(xí)一個(gè)描述點(diǎn)云的全局特征向量，用于識(shí)別等任務(wù)。但這兩種網(wǎng)絡(luò)受限于點(diǎn)云數(shù)據(jù)無(wú)序、不規(guī)則的特點(diǎn)，并沒(méi)有考慮到一個(gè)鄰域范圍內(nèi)的物體結(jié)構(gòu)特征信息。針對(duì)上述問(wèn)題，LI 等[24]搭建了PointCNN，使用X-Conv操作對(duì)點(diǎn)云進(jìn)行X變換，在變換后的特征上進(jìn)行典型的卷積操作，一定程度上解決了將無(wú)序、不規(guī)則的數(shù)據(jù)形式映射成有序、規(guī)則形式的問(wèn)題。然而LI等[24]也指出了網(wǎng)絡(luò)所學(xué)習(xí)到的X變換遠(yuǎn)不理想，無(wú)法保證變換結(jié)果與原始點(diǎn)云分布的等價(jià)性。視圖方面，SU等[19]提出的MVCNN將三維模型數(shù)據(jù)在多個(gè)視角下渲染成一組二維圖像，作為二維CNN的訓(xùn)練數(shù)據(jù)。網(wǎng)絡(luò)中間添加View Pooling層用于綜合多角度視圖信息，得到了很好的識(shí)別效果。相似地，馮元力等[25]將三維物體繪制成多角度球面全景深度圖，代替普通的多視角圖像，采用同樣的網(wǎng)絡(luò)結(jié)構(gòu)完成識(shí)別任務(wù)。但多視圖的方式不僅需要對(duì)三維數(shù)據(jù)進(jìn)行二次處理，而且對(duì)于視圖的視角較為敏感。由于采用了圖像作為網(wǎng)絡(luò)輸入，三維圖形識(shí)別問(wèn)題通過(guò)轉(zhuǎn)換簡(jiǎn)化為了二維圖像識(shí)別問(wèn)題。

此外，還有許多針對(duì)其他三維物體表現(xiàn)形式的研究。如O-CNN[26]使用八叉樹(shù)方式組織三維數(shù)據(jù)并進(jìn)行卷積操作，F(xiàn)PNN[27]使用3D距離場(chǎng)描述三維數(shù)據(jù)，3D-A-NET[28]使用三維深度形狀描述符，聯(lián)合訓(xùn)練CNN、RNN和敵對(duì)鑒別器。這些工作也給三維視覺(jué)領(lǐng)域的研究帶來(lái)了新思路，但相對(duì)的，在當(dāng)前環(huán)境下通用性不強(qiáng)。

綜上，本文重點(diǎn)研究使用CNN進(jìn)行三維體素?cái)?shù)據(jù)的識(shí)別任務(wù)。目前，三維體素?cái)?shù)據(jù)存在分辨率低，紋理缺失等問(wèn)題。簡(jiǎn)單的卷積結(jié)構(gòu)難以充分捕捉物體的特征信息，需要增加卷積核數(shù)量和網(wǎng)絡(luò)深度來(lái)提取更多的高維特征，然而這會(huì)導(dǎo)致網(wǎng)絡(luò)參數(shù)過(guò)多，造成網(wǎng)絡(luò)訓(xùn)練困難并且容易過(guò)擬合。當(dāng)前針對(duì)三維體素的CNN，往往難以兼顧充分提取三維體素特征和控制參數(shù)數(shù)量避免過(guò)擬合這兩方面的問(wèn)題。本文提出了一種新的三維CNN，用于提取三維體素?cái)?shù)據(jù)結(jié)構(gòu)特征，該網(wǎng)絡(luò)在增加網(wǎng)絡(luò)深度的同時(shí)，控制了參數(shù)的數(shù)量，并融合多維度特征進(jìn)行卷積操作，以充分提取三維結(jié)構(gòu)信息。此外，網(wǎng)絡(luò)的短連接結(jié)構(gòu)有利于梯度的反向傳播，加快了訓(xùn)練速度，相對(duì)較少的參數(shù)有效抑制了過(guò)擬合，在三維物體識(shí)別任務(wù)上取得了很好的效果。

2 本文方法

針對(duì)三維體素識(shí)別問(wèn)題，本文借鑒DenseNet的設(shè)計(jì)思想，提出一種全新的三維CNN VFRN。該網(wǎng)絡(luò)通過(guò)密集連接結(jié)構(gòu)綜合復(fù)用多維特征，網(wǎng)絡(luò)參數(shù)量隨深度增加線性增長(zhǎng)，避免了參數(shù)過(guò)多導(dǎo)致顯存不夠的問(wèn)題，也大大降低了訓(xùn)練難度。此外，網(wǎng)絡(luò)使用了殘差結(jié)構(gòu)[13]，在不增加參數(shù)的前提下，進(jìn)一步融合相鄰維度的特征。這兩種短連接的結(jié)構(gòu)，有效避免了增加網(wǎng)絡(luò)深度時(shí)可能出現(xiàn)的梯度消失問(wèn)題。網(wǎng)絡(luò)中對(duì)于特征通道的復(fù)用較多，考慮到卷積層對(duì)于每個(gè)特征通道的關(guān)注度會(huì)隨著層數(shù)的加深而有所變化，本文使用特征重標(biāo)定技術(shù)[29]對(duì)每個(gè)特征通道賦予一個(gè)權(quán)值，將加權(quán)處理后的特征通道輸入卷積層進(jìn)行特征提取，降低冗余特征對(duì)卷積操作的影響。本文網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，包含兩個(gè)主要模塊，特征重組模塊(features reorganization module，F(xiàn)RM)和下采樣(downsample)模塊。

2.1 特征重組模塊(FRM)

FRM是基于DenseNet的網(wǎng)絡(luò)結(jié)構(gòu)，針對(duì)三維體素識(shí)別任務(wù)的需要所設(shè)計(jì)的三維網(wǎng)絡(luò)模塊，如圖2所示，每個(gè)FRM內(nèi)部的特征尺寸大小保持不變。FRM是一個(gè)多層結(jié)構(gòu)，每層都包含一個(gè)連接層(Link)和一個(gè)卷積層(Conv)，輸出與后面層直接相連。每層的輸入都由上層的輸入和輸出組成，可以表示為

圖2 FRM結(jié)構(gòu)

其中，()為一個(gè)非線性變換；為層的編號(hào)；x為第層中卷積層的輸入；(0)為0，0為空。這樣每一層與損失函數(shù)都有一條短路徑相連，在反向傳播過(guò)程中梯度信息能夠輕松地傳遞到每個(gè)卷積層，從而構(gòu)建更深的網(wǎng)絡(luò)以獲得更好的效果。此外，F(xiàn)RM的另一個(gè)特點(diǎn)是在同樣深度下，相比其他卷積結(jié)構(gòu)，參數(shù)更少。因?yàn)镕RM中超參數(shù)限定了第個(gè)FRM中每一個(gè)卷積層輸出的特征數(shù)量。并且卷積層的輸入先通過(guò)一個(gè)1×1×1的卷積操作降維，減少特征通道的數(shù)量，并融合多個(gè)通道的信息。FRM的特征復(fù)用方式，能夠充分提取目標(biāo)的結(jié)構(gòu)特征，并保證隨著深度增加，參數(shù)量線性增長(zhǎng)。

2.1.1 連接層

連接層用于組合上層網(wǎng)絡(luò)的輸出和輸入，并賦予特征通道權(quán)值。連接層的設(shè)計(jì)結(jié)構(gòu)如圖2所示，其中表示連接層的序號(hào)，(x1)是前一層的輸出，input–1是前一層的輸入。本層輸入input分為(x1)和input1兩部分，首先通過(guò)1進(jìn)行矩陣間對(duì)應(yīng)元素相加的操作。由于FRM的跨層連接結(jié)構(gòu)，隨著的增大，input–1的特征通道數(shù)c–1會(huì)越來(lái)越大，即

但(x–1)的通道數(shù)量受超參數(shù)K的限制，固定為K。鑒于兩個(gè)輸入input–1和(x–1)的特征通道數(shù)不同，本文選擇在(x–1)與input–1中的最后K個(gè)通道間進(jìn)行對(duì)應(yīng)元素求和操作，得到新的特征1。之后，(x–1)與融合后的特征1，由2完成通道維度的連接操作，即將(x–1)連接到1的最后，得到特征2。根據(jù)式(1)，input–1最后K個(gè)通道實(shí)際上就是(x–2)，求和操作實(shí)際上是在相鄰兩層的輸出上進(jìn)行的，因此1實(shí)現(xiàn)了相鄰層間特征的融合。而2的通道連接操作，復(fù)用了前層的低維特征，保證本層能夠全局感知多維特征信息。1和2兩種連接結(jié)構(gòu)，滿足了本文在網(wǎng)絡(luò)設(shè)計(jì)思路中，對(duì)于充分提取三維體素?cái)?shù)據(jù)特征和融合多維度特征進(jìn)行學(xué)習(xí)的要求。而且此結(jié)構(gòu)也能在參數(shù)量開(kāi)銷較少的前提下，進(jìn)一步提高網(wǎng)絡(luò)的泛化能力。

上層網(wǎng)絡(luò)的輸入和輸出組合而成的特征2，包含著多個(gè)維度的特征通道，為了保證卷積層盡可能的集中注意力在其更關(guān)心的通道上，本文對(duì)各通道進(jìn)行了加權(quán)操作。如圖3所示，一個(gè)全局均值池化層將融合連接后的特征2，映射為一個(gè)維度等同于2通道數(shù)的向量。以該向量作為輸入，通過(guò)兩個(gè)全連接層來(lái)學(xué)習(xí)一個(gè)權(quán)重向量，中間添加Dropout層，Dropout率為0.5。第一個(gè)全連接層的神經(jīng)元數(shù)量設(shè)置為2通道數(shù)的1/8，第二個(gè)全連接層的神經(jīng)元數(shù)量與2的通道數(shù)相同。3使用學(xué)習(xí)到的權(quán)重向量來(lái)重標(biāo)定2的各個(gè)通道，即將每個(gè)特征通道乘以其對(duì)應(yīng)的權(quán)重，以此來(lái)增強(qiáng)卷積層感興趣的特征，抑制冗余特征，綜上，連接層的輸出x為

圖3 連接層結(jié)構(gòu)

之后，卷積層以x作為輸入，進(jìn)行特征提取。

2.1.2 卷積層

輸入x經(jīng)過(guò)卷積層，得到輸出(x)。如圖4所示，卷積層由兩個(gè)卷積操作和兩個(gè)dropout操作構(gòu)成。1×1×1卷積作為一個(gè)通道數(shù)限制瓶頸，根據(jù)超參數(shù)K將通道數(shù)超過(guò)2K的輸入x降維到2K，避免隨著層數(shù)加深，參數(shù)量爆炸式增長(zhǎng)，同時(shí)也能起到融合多通道特征的作用。三維卷積操作的參數(shù)量為

其中，np為參數(shù)量；ci為輸入的特征通道數(shù)；co為輸出的特征通道數(shù)；kernel_size為卷積核的大小。在相同的輸入、輸出通道下，卷積參數(shù)量正比于卷積核大小的三次方。本文網(wǎng)絡(luò)對(duì)于特征的復(fù)用重組，使得輸入的通道數(shù)隨著深度增加也在快速增長(zhǎng)，所以先使用大小為1的卷積核降低通道數(shù)，再使用大小為3的卷積核，可以有效減少參數(shù)量。3×3×3卷積用于提取鄰域結(jié)構(gòu)特征，輸出Ki個(gè)特征通道。考慮到特征的復(fù)用，本文并沒(méi)有使用更大的卷積核，因?yàn)槲墨I(xiàn)[11]中證明多個(gè)小卷積核連接使用，可以得到等同于大卷積核的效果。而且相較大卷積核，小卷積核能夠減小參數(shù)量和計(jì)算開(kāi)銷。在兩個(gè)卷積之后，均使用了Dropout來(lái)保證網(wǎng)絡(luò)的泛化能力，避免過(guò)擬合。此外，卷積操作的步長(zhǎng)均為1，以保持同一模塊內(nèi)特征的尺寸不變，便于連接層融合多維度特征。

2.2 下采樣模塊

下采樣模塊用于連接相鄰的FRM，由卷積和池化兩步操作完成。雖然池化操作并不需要額外的參數(shù)，但考慮到輸入包含多個(gè)維度的特征通道，需要同卷積層一樣進(jìn)行多通道特征的融合。同卷積層一樣，使用了1×1×1的卷積來(lái)融合多通道特征并降低輸入特征通道數(shù)到原先的一半。不同于通常的CNN中池化層的輸入是同一維度的不同特征，本文網(wǎng)絡(luò)中池化層的輸入融合了多個(gè)維度的不同特征，常用的最大池化操作不能較好地采樣出可以代表局部特征的信息，本文采用了平均池化操作來(lái)綜合鄰域信息進(jìn)行下采樣。

2.3 三維體素特征重組網(wǎng)絡(luò)結(jié)構(gòu)

本文網(wǎng)絡(luò)總體結(jié)構(gòu)如圖1所示，輸入為323分辨率的體素?cái)?shù)據(jù)。網(wǎng)絡(luò)先對(duì)輸入進(jìn)行步長(zhǎng)為1，卷積核大小為5的卷積操作，和步長(zhǎng)為2，窗口大小為3的最大池化操作。5×5×5的卷積輸出32個(gè)特征，配合最大重疊池化，初步提取目標(biāo)的基本結(jié)構(gòu)特征，并將體素尺寸從323降低到163。之后，4個(gè)FRM通過(guò)3個(gè)下采樣層連接，用于充分提取目標(biāo)特征。最后使用全局均值池化得到一個(gè)維度等同于目標(biāo)類別數(shù)量的特征向量，輸入Softmax層獲得識(shí)別結(jié)果。由于網(wǎng)絡(luò)特征通道數(shù)量一般遠(yuǎn)大于目標(biāo)類別數(shù)量，所以在最后一個(gè)FRM和全局均值池化之間，加入一個(gè)1×1×1的卷積操作，輸出數(shù)目等同于類別數(shù)量的特征。

網(wǎng)絡(luò)中每次卷積操作前都使用Batch Normalize[30]對(duì)輸入進(jìn)行規(guī)范化處理，并采用ReLU激活函數(shù)完成特征映射。

3 實(shí)驗(yàn)及結(jié)果分析

相比于傳統(tǒng)面向三維體素的CNN，本文網(wǎng)絡(luò)不再嚴(yán)格按照從低維到高維的順序進(jìn)行卷積操作，而是連接重組前層多維特征，通過(guò)卷積操作提取特征，多次復(fù)用低維特征，更充分地捕捉結(jié)構(gòu)特征。與二維卷積網(wǎng)絡(luò)結(jié)構(gòu)相似，高維的特征更加豐富，需要增加卷積核的數(shù)量來(lái)提取不同特征，所以FRM中的超參數(shù)K，隨著的增加而增大，使得網(wǎng)絡(luò)能夠捕捉到更多高維特征，得到更高的識(shí)別精度。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

ModelNet是一個(gè)大型三維數(shù)據(jù)集，其中包括662類共127 915個(gè)三維模型。通常使用其中的兩個(gè)子集，ModelNet10和ModelNet40進(jìn)行實(shí)驗(yàn)。ModelNet10包含10類共4 899個(gè)三維模型，其中908個(gè)作為測(cè)試集，剩余3 991個(gè)作為訓(xùn)練集。ModelNet40包含40類共12 311個(gè)三維模型，其中2 468個(gè)作為測(cè)試集，剩余9 843個(gè)作為訓(xùn)練集。數(shù)據(jù)集部分模型如圖5上半部分所示。

本文將ModelNet數(shù)據(jù)集轉(zhuǎn)換為分辨率為323的二值體素?cái)?shù)據(jù)，部分轉(zhuǎn)換實(shí)例如圖5下半部分所示?？梢钥闯觯?23的分辨率下，對(duì)于形狀特征較為突出的物體，如飛機(jī)、桌子等，體素轉(zhuǎn)換可以較好地還原物體的三維輪廓結(jié)構(gòu)，而對(duì)于汽車這類結(jié)構(gòu)較為簡(jiǎn)單的物體，體素轉(zhuǎn)換對(duì)于輪廓的還原較為模糊?；谏鲜銮闆r，且求網(wǎng)絡(luò)對(duì)于物體的細(xì)微特征的敏感程度要更高，要能夠充分提取具有代表性的物體特征。通常二值體素?cái)?shù)據(jù)以1代表該位置的空間被物體占據(jù)，0表示沒(méi)有占據(jù)。為鼓勵(lì)網(wǎng)絡(luò)更關(guān)注物體占據(jù)的部分，本文使用{0，5}二值數(shù)據(jù)代替{0，1}二值數(shù)據(jù)。實(shí)驗(yàn)證明，加大非0值有利于提高識(shí)別準(zhǔn)確率[17]。此外，為進(jìn)一步提高網(wǎng)絡(luò)的泛化能力，本文將體素?cái)?shù)據(jù)在垂直方向上旋轉(zhuǎn)12個(gè)角度來(lái)增廣數(shù)據(jù)集，訓(xùn)練及測(cè)試時(shí)分別使用未增廣的單角度數(shù)據(jù)和增廣后的多角度數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。

圖5 ModelNet部分模型(上)及體素轉(zhuǎn)換實(shí)例(下)

3.2 實(shí)驗(yàn)環(huán)境及設(shè)置

本文網(wǎng)絡(luò)模型使用Tensorflow 1.2實(shí)現(xiàn)，cuda版本為8.0。硬件配置為Intel Core i7-7700K處理器和Nvidia GTX1080顯卡，搭配16 G內(nèi)存。

網(wǎng)絡(luò)的訓(xùn)練階段設(shè)置batch size為32，Dropout率為0.2，采用交叉熵?fù)p失函數(shù)，優(yōu)化策略選用Adam算法。初始學(xué)習(xí)率設(shè)置為1e-4，每30次迭代降低為當(dāng)前學(xué)習(xí)率的20%，整個(gè)訓(xùn)練過(guò)程迭代90次，故學(xué)習(xí)率降低2次。

3.3 VFRN在ModelNet上的性能評(píng)估

表1中展示了本文提出的VFRN與現(xiàn)有面向三維物體的深度學(xué)習(xí)方法在ModelNet40數(shù)據(jù)集上的相關(guān)性能指標(biāo)?？梢钥闯觯疚奶岢龅腣FRN在僅使用單角度數(shù)據(jù)的情況下，就達(dá)到了較高的識(shí)別準(zhǔn)確率，與使用多視圖的MVCNN和使用深度全景圖的全景識(shí)別網(wǎng)絡(luò)相比，仍有明顯優(yōu)勢(shì)，證明了VFRN能夠充分提取物體結(jié)構(gòu)特征，并且具有良好的泛化能力。相對(duì)于最早的3D ShapeNet，VFRN識(shí)別準(zhǔn)確率提高了18%，且參數(shù)量大大減少。VoxNet由基本的CNN結(jié)構(gòu)組成，參數(shù)較少，對(duì)于三維物體難以充分提取其特征，識(shí)別準(zhǔn)確率較低。識(shí)別準(zhǔn)確率較高的FusionNet，采用的是3個(gè)網(wǎng)絡(luò)組合的方式完成識(shí)別任務(wù)，其中的多視圖子網(wǎng)絡(luò)使用了ImageNet進(jìn)行預(yù)訓(xùn)練。多網(wǎng)絡(luò)組合導(dǎo)致整個(gè)模型參數(shù)量巨大，達(dá)到了118 M，而單網(wǎng)絡(luò)的VFRN相較FusionNet參數(shù)減少了90%，并且在識(shí)別結(jié)果上有明顯的提升。LightNet的參數(shù)量最少，但識(shí)別準(zhǔn)確率并不突出。文獻(xiàn)[20]中提出的SubVolume和AniProbing網(wǎng)絡(luò)，采用了比較特殊的網(wǎng)絡(luò)結(jié)構(gòu)，但在參數(shù)量和識(shí)別準(zhǔn)確率兩方面并沒(méi)有明顯優(yōu)勢(shì)。VFRN相比于使用點(diǎn)云數(shù)據(jù)的PointNet和PointNet++，在識(shí)別準(zhǔn)確率上也有明顯的提升。另與目前使用體素達(dá)到最好識(shí)別效果的VRN對(duì)比，VFRN的參數(shù)量減少了一半，并且在單網(wǎng)絡(luò)的前提下，另識(shí)別效果要比VRN略好。

表1 ModelNet上多種方法識(shí)別性能比較

VRN Ensemble訓(xùn)練了5個(gè)網(wǎng)絡(luò)進(jìn)行識(shí)別任務(wù)，然后依據(jù)這5個(gè)網(wǎng)絡(luò)的結(jié)果進(jìn)行投票，按照少數(shù)服從多數(shù)的規(guī)則確定識(shí)別結(jié)果。多網(wǎng)絡(luò)投票的方式使得準(zhǔn)確率得到了顯著提升，因?yàn)槌跏紶顟B(tài)的隨機(jī)性，每個(gè)網(wǎng)絡(luò)的擬合結(jié)果并不完全相同，結(jié)合使用彌補(bǔ)了單個(gè)網(wǎng)絡(luò)識(shí)別效果的不足，但模型的參數(shù)量也成倍增長(zhǎng)。由于策略的較大差異，VRN Ensemble和VFRN之間并不具有可比性。而且針對(duì)單一數(shù)據(jù)集訓(xùn)練的多網(wǎng)絡(luò)集合，很容易導(dǎo)致模型泛用性較差，文獻(xiàn)[17]也指出這一結(jié)果不具有普適性。

針對(duì)數(shù)據(jù)增廣方式，相比于VRN在垂直方向上24個(gè)角度的旋轉(zhuǎn)，以及FusionNet等在垂直和水平方向上60個(gè)角度的旋轉(zhuǎn)，本文僅做了垂直方向12個(gè)角度的旋轉(zhuǎn)。通常數(shù)據(jù)集的增廣可以帶來(lái)網(wǎng)絡(luò)泛化能力的提升，尤其是在網(wǎng)絡(luò)參數(shù)過(guò)多的情況下，增大數(shù)據(jù)集有助于抑制過(guò)擬合現(xiàn)象，從而提高網(wǎng)絡(luò)效果。表1中VFRN和VRN在多角度數(shù)據(jù)集上識(shí)別準(zhǔn)確率相較于單角度數(shù)據(jù)集的提升，也進(jìn)一步說(shuō)明了數(shù)據(jù)增廣對(duì)于網(wǎng)絡(luò)效果的正面作用。但考慮到更大的數(shù)據(jù)集容易造成訓(xùn)練困難，對(duì)于學(xué)習(xí)率等參數(shù)的調(diào)整也更為敏感，并且VFRN的目標(biāo)在于精簡(jiǎn)參數(shù)以降低訓(xùn)練難度的同時(shí)提高網(wǎng)絡(luò)的性能，因此本文并沒(méi)有選擇更多角度旋轉(zhuǎn)的方式增廣數(shù)據(jù)集。得益于參數(shù)量的控制，相比VRN，本文在其規(guī)模一半大小的數(shù)據(jù)集上訓(xùn)練VFRN仍然得到了更好的識(shí)別準(zhǔn)確率。此外，圖6是VFRN在ModelNet40上進(jìn)行測(cè)試的混淆矩陣和PR曲線，反映出VFRN網(wǎng)絡(luò)的穩(wěn)定性和可靠性，進(jìn)一步佐證了VFRN在提取特征和抑制過(guò)擬合方面的優(yōu)勢(shì)。

圖6 混淆矩陣和PR曲線

表2為部分網(wǎng)絡(luò)在ModelNet40上的訓(xùn)練用時(shí)及硬件設(shè)備情況。由于網(wǎng)絡(luò)參數(shù)量過(guò)大，模型復(fù)雜，VRN的訓(xùn)練需要約6天，遠(yuǎn)遠(yuǎn)大于其他網(wǎng)絡(luò)模型。而VFRN在保證識(shí)別效果的情況下，訓(xùn)練時(shí)間僅需8 h左右，與參數(shù)較少的LightNet和VoxNet相近。說(shuō)明VFRN的短連接結(jié)構(gòu)，使得梯度能夠更好地傳遞到各層，有效加快了網(wǎng)絡(luò)的訓(xùn)練速度。

表2 4種方法訓(xùn)練參數(shù)對(duì)比

綜合上述分析，本文提出的VFRN能夠從體素?cái)?shù)據(jù)中，充分提取三維物體的結(jié)構(gòu)特征，并表現(xiàn)出良好的泛化能力。VFRN較好地平衡了參數(shù)量和識(shí)別準(zhǔn)確率，獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)降低了訓(xùn)練難度，與現(xiàn)有前沿方法相比具有明顯的優(yōu)勢(shì)。

4 結(jié)束語(yǔ)

針對(duì)計(jì)算機(jī)視覺(jué)領(lǐng)域中三維物體的識(shí)別任務(wù)，本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于體素?cái)?shù)據(jù)的三維CNN VFRN，以充分提取物體的結(jié)構(gòu)特征，提高目標(biāo)識(shí)別的準(zhǔn)確率。VFRN通過(guò)短連接結(jié)構(gòu)，實(shí)現(xiàn)了多維特征的復(fù)用和重組，彌補(bǔ)了傳統(tǒng)三維體素CNN中特征利用率低的缺陷。同時(shí)特征復(fù)用的特性保證網(wǎng)絡(luò)中參數(shù)量隨深度增加線性增長(zhǎng)，相比現(xiàn)有網(wǎng)絡(luò)參數(shù)更少，較好地解決了三維數(shù)據(jù)空間開(kāi)銷過(guò)大的問(wèn)題，一定程度上抑制了過(guò)擬合的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，VFRN的識(shí)別準(zhǔn)確率高于其他方法，并且在識(shí)別效果和參數(shù)開(kāi)銷兩方面達(dá)成了很好的平衡?？紤]到多角度數(shù)據(jù)對(duì)于識(shí)別結(jié)果的提升，后續(xù)研究將針對(duì)網(wǎng)絡(luò)自適應(yīng)變換對(duì)齊體素?cái)?shù)據(jù)，在不添加額外訓(xùn)練數(shù)據(jù)的情況下進(jìn)一步提升網(wǎng)絡(luò)效果來(lái)進(jìn)行。

[1] 張愛(ài)武, 李文寧, 段乙好, 等. 結(jié)合點(diǎn)特征直方圖的點(diǎn)云分類方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2016, 28(5): 795-801.

[2] 徐敬華, 盛紅升, 張樹(shù)有, 等. 基于鄰接拓?fù)涞牧餍尉W(wǎng)格模型層切多連通域構(gòu)建方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2018, 30(1): 180-190.

[3] 吳曉軍, 劉偉軍, 王天然, 等. 改進(jìn)的基于歐氏距離測(cè)度網(wǎng)格模型體素化算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2004, 16(4): 592-597.

[4] 范涵奇, 孔德星, 李晉宏, 等. 從含噪采樣重建稀疏表達(dá)的高分辨率深度圖[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2016, 28(2): 260-270.

[5] 呂剛, 郝平, 盛建榮. 一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)在小圖像分類中的應(yīng)用研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2014, 31(4): 182-184, 213.

[6] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[7] 李琳輝, 錢波, 連靜, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的交通場(chǎng)景語(yǔ)義分割方法研究[J]. 通信學(xué)報(bào), 2018, 39(4): 123-130.

[8] BELLMAN R E. Dynamic programming [M]. Princeton: Princeton University Press, 1957.

[9] LIN M, CHEN Q, YAN S. Network in network [EB/OL]. (2013-12-16). [2014-03-04]. http://arvix.org/abs/1312. 4400.

[10] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [C]//Proceedings of International Conference on Neural Information Processing Systems. New York: CAM Press, 2012: 1097-1105.

[11] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2014-09-04). [2015-04-10]. https://arxiv.org/abs/1409.1556.

[12] SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Tokyo: IEEE Computer Society Press, 2015: 1-9.

[13] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2016: 770-778.

[14] HUANG G, LIU Z, WEINBERGER K Q, et al. Densely connected convolutional networks [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2017: 243.

[15] WU Z, SONG S, KHOSLA A, et al. 3D shapenets: A deep representation for volumetric shapes [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2015: 1912-1920.

[16] MATURANA D, SCHERER S. Voxnet: A 3D convolutional neural network for real-time object recognition [C]//Proceedings of the Intelligent Robots and Systems (IROS), 2015 IEEE/RSJ International Conference on. Los Alamitos: IEEE Computer Society Press, 2015: 922-928.

[17] BROCK A, LIM T, RITCHIE J M, et al. Generative and discriminative voxel modeling with convolutional neural networks [EB/OL]. (2016-08-15). [2016-08-16]. https://arxiv.org/abs/1608.04236.

[18] HEGDE V, ZADEH R. Fusionnet: 3D object classification using multiple data representations [EB/OL]. (2016-07-19). [2016-11-27]. https://arxiv.org/abs/1607. 05695.

[19] SU H, MAJI S, KALOGERAKIS E, et al. Multi-view convolutional neural networks for 3D shape recognition [C]//Proceedings of the IEEE International Conference on Computer Vision. New York: IEEE Press, 2015: 945-953.

[20] QI C R, SU H, NIESSNER M, et al. Volumetric and multi-view cnns for object classification on 3d data [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2016: 5648-5656.

[21] ZHI S F, LIU Y X, LI X, et al. Lightnet: A lightweight 3D convolutional neural network for real-time 3D object recognition [C]//Proceedings of Eurographics Workshop on 3D Object Retrieval. Goslar: Eurographics Association Press, 2017: 9-16.

[22] QI C R, SU H, MO K, et al. Pointnet: Deep learning on point sets for 3d classification and segmentation [J]. ProcEedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society Press, 2017: 77-85.

[23] QI C R, YI L, SU H, et al. Pointnet++: Deep hierarchical feature learning on point sets in a metric space [C]//Proceedings of Advances in Neural Information Processing Systems. Heidelberg: Springer, 2017: 5105-5114.

[24] LI Y, BU R, SUN M, et al. PointCNN [EB/OL]. (2018-06-23). [2018-11-05]. https://arxiv.org/abs/1801. 07791.

[25] 馮元力, 夏夢(mèng), 季鵬磊, 等. 球面深度全景圖表示下的三維形狀識(shí)別[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2017, 29(9): 1689-1695.

[26] WANG P S, LIU Y, GUO Y X, et al. O-cnn: Octree-based convolutional neural networks for 3d shape analysis [J]. ACM Transactions on Graphics (TOG), 2017, 36(4): 72.

[27] LI Y Y, PIRK S, SU H, et al. Fpnn: Field probing neural networks for 3d data [C]//Proceedings of Advances in Neural Information Processing Systems. New York: Curran Associates Inc. 2016: 307-315.

[28] REN M, NIU L, FANG Y. 3D-A-Nets: 3D deep dense descriptor for volumetric shapes with adversarial networks [EB/OL]. (2017-11-28). [2017-11-28]. https://arxiv.org/abs/1711.10108.

[29] HU J, SHEN L, SUN G. Squeeze-and-excitation networks [EB/OL]. (2017-09-05). [2018-10-25]. https:// arxiv.org/abs/1709.01507.

[30] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift [EB/OL]. (2015-02-11). [2015-03-02]. https://arxiv.org/abs/1502.03167.

3D Object Recognition Based on Voxel Features Reorganization Network

LU Qiang1,2, ZHANG Chun-yuan1, CHEN Chao1, YU Ye1,2, YUAN Xiao-hui3

(1. VCC Division, School of Computer and Information, Hefei University of Technology, Hefei Anhui 230601, China; 2. Anhui Province Key Laboratory of Industry Safety and Emergency Technology (Hefei University of Technology), Hefei Anhui 230009, China; 3. Department of Computer Science and Engineering, University of North Texas, Denton TX 76201, United States)

3D object recognition is a research focus in the field of computer vision and has significant application prospect in automatic driving, medical image processing, etc. Aiming at voxel expression form of 3D object, VFRN (voxel features reorganization network), using short connection structure, directly connects non-adjacent convolutional layers in the same unit. Through unique feature recombination, the network reuses and integrates multi-dimensional features to improve the feature expression ability to fully extract the structural features of objects. At the same time, the short connection structure of the network is conducive to the spread of gradient information. Additionally, employing small convolution kernel and global average pooling not only enhances generalization capacity of network, but also reduces the parameters in network models and the training difficulty. The experiment on ModelNet data set indicates that VFRN overcomes problems including low resolution ratio in voxel data and texture deletion, and achieves better recognition accuracy rate using less parameter.

object recognition; voxel; convolution neural network; feature reorganization; short connection

TP 391

10.11996/JG.j.2095-302X.2019020240

A

2095-302X(2019)02-0240-08

2018-09-03；

2018-09-12

安徽省自然科學(xué)基金項(xiàng)目(1708085MF158)；國(guó)家自然科學(xué)基金項(xiàng)目(61602146)；國(guó)家留學(xué)基金項(xiàng)目(201706695044)；合肥工業(yè)大學(xué)智能制造技術(shù)研究院科技成果轉(zhuǎn)化及產(chǎn)業(yè)化重點(diǎn)項(xiàng)目(IMICZ2017010)

路 強(qiáng)(1978-)，男，安徽合肥人，副教授，博士，碩士生導(dǎo)師。主要研究方向?yàn)樾畔⒖梢暬?、可視分析。E-mail：luqiang@hfut.edu.cn