白 靜,相 瀟,司慶龍,劉振剛,秦飛巍

(1.北方民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,銀川 750021; 2.杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院,杭州 310018)

0 概述

隨著三維建模技術(shù)及計(jì)算機(jī)視覺(jué)等領(lǐng)域的不斷發(fā)展,目前三維模型已被廣泛應(yīng)用于虛擬現(xiàn)實(shí)、工業(yè)設(shè)計(jì)、影視動(dòng)畫(huà)和分子生物學(xué)等各個(gè)領(lǐng)域,其數(shù)量呈指數(shù)級(jí)增長(zhǎng)。合理組織和高效檢索三維模型是有效利用這些寶貴數(shù)據(jù)資源的首要前提,成為相關(guān)領(lǐng)域的研究焦點(diǎn)。

傳統(tǒng)的三維模型分類(lèi)方法通過(guò)人工預(yù)設(shè)方式獲取三維模型的描述符[1],進(jìn)而實(shí)現(xiàn)分類(lèi)和檢索。隨著三維模型復(fù)雜度及數(shù)量的不斷增長(zhǎng),學(xué)者們發(fā)現(xiàn)這種傳統(tǒng)的三維模型分類(lèi)方法存在無(wú)法客觀、合理捕捉模型本質(zhì)特征的天然缺陷,難以滿足不斷增長(zhǎng)的分類(lèi)需求。深度學(xué)習(xí)技術(shù)也稱(chēng)為特征學(xué)習(xí)技術(shù)[2],其能通過(guò)學(xué)習(xí)獲得復(fù)雜數(shù)據(jù)的多抽象層表示,在語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)等多類(lèi)應(yīng)用中取得了突破性進(jìn)展,也為三維模型檢索工作帶來(lái)了新的思路。

由于三維模型表征的非結(jié)構(gòu)化,輸入數(shù)據(jù)的構(gòu)建是基于深度學(xué)習(xí)三維模型檢索首要解決的問(wèn)題。部分研究人員將三維模型表征為體素模型實(shí)現(xiàn)三維模型表征的結(jié)構(gòu)化,進(jìn)而利用三維深度學(xué)習(xí)模型,如3D ShapeNets[3]、三維卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[4]、VoxNet[5]、引入方向信息的VoxNet[6]、PointNet[7]、變分自編碼VAE-深度卷積神經(jīng)網(wǎng)絡(luò)模型[8]、卷積-自動(dòng)編碼機(jī)[9]實(shí)現(xiàn)特征的自動(dòng)提取和三維模型的分類(lèi),取得了非常好的分類(lèi)效果。但是這類(lèi)表征方式存在高維、稀疏的特點(diǎn),一定程度上影響了對(duì)應(yīng)網(wǎng)絡(luò)的分類(lèi)性能。此后,有學(xué)者針對(duì)性地提出了基于多分辨率的緊致表征和深度學(xué)習(xí)網(wǎng)絡(luò)[10-11],分類(lèi)效果有所改善,但是仍有較大的增長(zhǎng)空間。于此同時(shí),部分學(xué)者利用二維卷積神經(jīng)網(wǎng)絡(luò)的突出表征和分類(lèi)能力,提出了基于視圖的三維模型表征方法,如基于單視圖的DeepPano[12]、基于多視圖的MVCNN[13]、Pairwise[14]、卷積結(jié)合詞袋模型[15]等一系列研究工作,并取得更加優(yōu)異的分類(lèi)和檢索性能[16]。

本文以視圖為三維模型的表征,提出一種基于多局部顯著視圖和卷積神經(jīng)網(wǎng)絡(luò)的三維模型分類(lèi)算法。該算法利用局部顯著視圖集表征原始三維模型,通過(guò)集成CNN模型完成三維模型分類(lèi)。

1 本文算法框架

本文算法分為2個(gè)部分:首先選取不同視角建立表征三維模型的局部顯著視圖集;然后建立集成CNN模型完成三維模型分類(lèi)。算法框架如圖1所示。在局部顯著視圖集的構(gòu)建中,通過(guò)候選局部視圖提取模塊確保視圖數(shù)據(jù)的有效性、視圖間信息的互補(bǔ)性和多樣性,利用局部顯著視圖集確定模塊進(jìn)一步確保單個(gè)視圖的顯著性和視圖集的完整性;在集成CNN模型的構(gòu)建中,首先構(gòu)建面向單個(gè)視圖分類(lèi)的弱深度學(xué)習(xí)模型,然后利用bagging策略,通過(guò)投票法完成三維模型分類(lèi),提高深度學(xué)習(xí)模型的泛化能力。

圖1 算法框架

2 局部顯著視圖集的構(gòu)建

三維模型的局部顯著視圖集是指模型所對(duì)應(yīng)的那些具有明確代表性和顯著區(qū)別性的局部視圖集合。給定三維模型M,本節(jié)旨在構(gòu)建三維模型的局部顯著視圖集SV={SVi,1≤i≤n},形成對(duì)三維模型的原始表征,構(gòu)成深度學(xué)習(xí)模型的輸入,實(shí)現(xiàn)三維模型分類(lèi)。

通過(guò)分析三維模型視圖的特點(diǎn)可知,通常情況下,當(dāng)一組局部視圖滿足以下4點(diǎn)時(shí),它就對(duì)應(yīng)了一個(gè)局部顯著視圖集:1)視圖集內(nèi)的每個(gè)視圖都是有效的;2)視圖集內(nèi)的每個(gè)視圖都具有足夠的顯著性;3)視圖集內(nèi)的視圖間具有較強(qiáng)的互補(bǔ)性和較低的相關(guān)性;4)視圖集內(nèi)的視圖共同構(gòu)成原始三維模型較為完整的描述。為此,本文將局部顯著視圖集的構(gòu)建分為以下兩步:1)提取候選局部視圖;2)確定局部顯著視圖集。

2.1 候選局部視圖的提取

分析基于視圖的各類(lèi)三維模型分類(lèi)算法[12-16],綜合比較視圖數(shù)目、分類(lèi)結(jié)果可知,12個(gè)視圖的表征方式是最為高效的。因此,給定三維模型M。本文沿用MVCNN的視圖獲取方式[13],構(gòu)建基于12個(gè)視角的視圖集作為表征三維模型的初始視圖集IV={IVi,1≤i≤12}。由于這12個(gè)視角每隔30°均勻地位于三維模型不同視點(diǎn),相互之間具有較強(qiáng)的互補(bǔ)性和較低的相關(guān)性,因此構(gòu)成三維模型較為完整的描述。

為保證候選局部視圖的有效性,本文以1/2為最小尺度,以1為最大尺度,從中選取合適的尺度scale構(gòu)建局部視圖。給定三維模型的每一個(gè)視圖IVi,分別采用如圖2所示的窗口滑動(dòng)方式,獲取其占據(jù)全局1/2、9/16、3/5、16/25、2/3、3/4、4/5、9/10不同尺度下的局部視圖SIVij,形成對(duì)應(yīng)尺度的候選局部視圖數(shù)據(jù)集SIVi={SIVij,1≤j≤m},其中m為給定尺度下每個(gè)原始視圖所對(duì)應(yīng)的局部視圖的數(shù)目。至此,給定一個(gè)三維模型M和局部尺度scale,本文構(gòu)建并獲取了其對(duì)應(yīng)的候選局部視圖集SIV={SIVi,1≤i≤12}。

圖2 不同尺度局部視圖的建立方式

2.2 局部顯著視圖集的確定

局部顯著視圖集的確定原則為:只有當(dāng)一個(gè)局部視圖具有足夠的顯著性時(shí)才能構(gòu)成最終的局部顯著視圖集。因此,針對(duì)候選局部視圖集每個(gè)視角下的局部視圖數(shù)據(jù)集SIVi={SIVij,1≤j≤m},本文將進(jìn)一步計(jì)算各個(gè)局部視圖SIVij的顯著性s(SIVij),并選取其中顯著性最高的局部視圖構(gòu)成該視角下的局部顯著視圖,形成三維模型的局部顯著視圖集SV,計(jì)算公式如下:

SV={SVi,1≤i≤12}

(1)

由于對(duì)三維模型而言,形狀是決定其分類(lèi)的主要屬性;相應(yīng)對(duì)三維模型的視圖而言,方向特征就成為決定其顯著與否的關(guān)鍵要素。因此,本文中局部視圖的顯著性由該視圖方向特征的顯著性決定。計(jì)算過(guò)程如下:

步驟1高斯金字塔的構(gòu)建。給定視圖V,基于高斯濾波器下采樣構(gòu)建其高斯金字塔g(V,σ),σ為尺度參數(shù),其中σ∈[1,7]。

步驟2計(jì)算高斯特征圖各尺度的方向特征。利用Gabor濾波器計(jì)算g(V,σ)在0°、45°、90°、135°方向上的方向特征o(V,σ,θ),其中θ∈{0°,45°,90°,135°}。

步驟3計(jì)算σ∈[1,3]各尺度視圖對(duì)應(yīng)方向特征的顯著圖。

步驟3.1針對(duì)每個(gè)方向,以o(V,σ,θ),σ∈[1,3]為中心層,以o(V,σ+?,θ),?∈{3,4}為圍繞層,通過(guò)最近鄰插值法實(shí)現(xiàn)圍繞層的上采樣,使之與中心層對(duì)齊,逐像素求差。計(jì)算公式如下:

sd(V,σ,?,θ)=o(V,σ,θ)-

upSamp(o(V,σ+?,θ),2?)

σ∈[1,3],?∈{3,4},θ∈{0°,45°,90°,135°}

(2)

其中,sd(V,σ,?,θ)表示視圖V以σ為中心層、以σ+?為圍繞層、在方向θ上計(jì)算所得的分方向特征顯著圖;upSamp(img,2?)為上采樣函數(shù),表示對(duì)圖像img上采樣2?倍。

步驟3.2綜合各個(gè)尺度下的分方向特征圖,計(jì)算獲得該尺度下的方向特征圖d(V,σ)。計(jì)算公式如下:

(3)

步驟4計(jì)算視圖的方向特征顯著圖。通過(guò)下采樣,將σ=1,2尺度下的方向特征d(V,σ)統(tǒng)一至尺度σ=3,逐像素相加,獲得視圖的方向特征顯著圖。計(jì)算公式如下:

d(V)=d(V,3)+downSamp(d(V,1),22)+

downSamp(d(V,2),21)

(4)

其中,downSamp(img,2?),?∈{1,2}為下采樣函數(shù),表示對(duì)圖像img下采樣2?倍。

步驟5計(jì)算視圖的顯著性。取視圖方向特征圖中各個(gè)像素的平均值作為視圖的顯著性,計(jì)算公式如下:

s(V)=mean(d(V))

(5)

需要特別說(shuō)明的是,在本文中,視圖顯著性的計(jì)算旨在比較同一視角下各個(gè)局部視圖的顯著性,是否進(jìn)行歸一化并不影響其相對(duì)大小,因此,本文中并未引入歸一化操作。

至此,給定一個(gè)三維模型,通過(guò)候選局部視圖的提取、局部顯著視圖集的確定,本文將一個(gè)三維模型表征為多個(gè)局部顯著視圖的集合SV。該局部顯著視圖集相對(duì)完整的表征了原始三維模型,并可作深度學(xué)習(xí)模型的輸入用以分類(lèi)。

3 基于集成學(xué)習(xí)的三維模型分類(lèi)

給定三維模型M及其對(duì)應(yīng)的局部顯著視圖集SV={SVi,1≤i≤12},本節(jié)旨在以其為輸入,構(gòu)建集成CNN模型,完成三維模型的分類(lèi)。由于局部顯著視圖集中的每個(gè)視圖對(duì)應(yīng)三維模型不同視角下的視圖信息,彼此之間具有相對(duì)獨(dú)立性,視圖間的最大池化、平均池化等其他類(lèi)型的合成操作均無(wú)直接物理意義,且可能造成信息的丟失和混淆,因此本文首先利用卷積神經(jīng)網(wǎng)絡(luò)完成基于單視圖的三維模型分類(lèi);然后將每一個(gè)基于單視圖的深度學(xué)習(xí)模型作為弱分類(lèi)器,利用bagging集成策略構(gòu)建強(qiáng)分類(lèi)器,通過(guò)投票完成三維模型的最終分類(lèi)。上述過(guò)程如圖3所示。

圖3 集成CNN模型

4 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)過(guò)程:使用MATLAB實(shí)現(xiàn)局部候選視圖的提取和局部候選視圖顯著值的計(jì)算;使用Python實(shí)現(xiàn)局部顯著視圖集選取;以Caffe框架為基礎(chǔ),使用CaffeNet網(wǎng)絡(luò)完成基于多局部視圖和深度學(xué)習(xí)的三維模型初步分類(lèi);再使用Python實(shí)現(xiàn)對(duì)初步分類(lèi)結(jié)果的投票,實(shí)現(xiàn)最終的分類(lèi)。

數(shù)據(jù)集:本文選用Princeton ModelNet[17]的子集ModeNet10作為訓(xùn)練及測(cè)試數(shù)據(jù)集對(duì)本文算法進(jìn)行測(cè)試和驗(yàn)證。具體的,ModelNet10包含4 899個(gè)三維模型,分屬10個(gè)類(lèi),每個(gè)類(lèi)分為測(cè)試集和訓(xùn)練集。針對(duì)ModelNet庫(kù),同MVCNN[13],每個(gè)類(lèi)選取測(cè)試集的前20個(gè)和訓(xùn)練集的前80個(gè)模型,進(jìn)行一次實(shí)驗(yàn),獲得實(shí)驗(yàn)結(jié)果。其中,具體數(shù)據(jù)集信息如表1所示。

表1 實(shí)驗(yàn)中ModelNet10數(shù)據(jù)集信息

網(wǎng)絡(luò)訓(xùn)練:在基于集成學(xué)習(xí)的三維模型分類(lèi)中,本文選用CaffeNet作為集成學(xué)習(xí)中的個(gè)體學(xué)習(xí)器,其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,其網(wǎng)絡(luò)參數(shù)設(shè)置如表2所示。在網(wǎng)絡(luò)訓(xùn)練時(shí),初始學(xué)習(xí)率設(shè)置為0.000 1,每迭代50 000次時(shí),學(xué)習(xí)率降低為原來(lái)學(xué)習(xí)率的1/10,重復(fù)此過(guò)程。為防止過(guò)擬合,在全連接層引入DropOut層,dropoutratio均設(shè)置為0.5。

圖4 CaffeNet網(wǎng)絡(luò)結(jié)構(gòu)

層類(lèi)型濾波器尺寸步長(zhǎng)輸出規(guī)模參數(shù)數(shù)量卷積層(C1)11×11496×5×55 34 944池化層(S1)3×3296×27×27 —卷積層(C2)5×51256×27×27307 456池化層(S2)3×32256×13×13 —卷積層(C3)3×31384×13×13885 120卷積層(C4)3×31384×13×13663 936卷積層(C5)3×31256×13×13442 624池化層(S5)3×32256×6×6 —全連接層(FC6)——4 09637 752 832全連接層(FC7)——4 09616 781 312全連接層(FC8)——cc×4 096+c

在表2中,c為輸出類(lèi)的數(shù)目。本文算法的所有實(shí)驗(yàn)均是在此參數(shù)的CaffeNet網(wǎng)絡(luò)上進(jìn)行訓(xùn)練和測(cè)試。

4.1 模型參數(shù)取值實(shí)驗(yàn)及分析

模型參數(shù)的設(shè)定會(huì)對(duì)算法產(chǎn)生不同的影響。經(jīng)過(guò)分析,對(duì)本文算法產(chǎn)生決定影響的模型參數(shù)主要包括高斯金字塔尺度參數(shù)、視圖尺度參數(shù)和多尺度視圖集成參數(shù),本小節(jié)主要從這3個(gè)方面對(duì)模型參數(shù)的選擇進(jìn)行討論。

4.1.1 高斯金字塔尺度參數(shù)選取實(shí)驗(yàn)及分析

高斯金字塔的尺度決定了視圖的顯著性計(jì)算結(jié)果,影響多局部顯著視圖集的生成,進(jìn)而影響三維模型的分類(lèi)。本文實(shí)驗(yàn)旨在驗(yàn)證不同高斯金字塔尺度的選取對(duì)算法的影響。

表3給出了在ModelNet10數(shù)據(jù)集上,根據(jù)尺度為5、7、8的高斯金字塔在不同尺度視圖對(duì)應(yīng)的三維模型分類(lèi)準(zhǔn)確率。

表3 不同高斯金字塔尺度分類(lèi)結(jié)果對(duì)比 %

由表3可見(jiàn):對(duì)于9/10局部,尺度為5和7的高斯金字塔結(jié)構(gòu)對(duì)應(yīng)的三維模型分類(lèi)準(zhǔn)確率相等;對(duì)于其他局部,尺度為7的高斯金字塔結(jié)構(gòu)對(duì)應(yīng)的三維模型分類(lèi)準(zhǔn)確率均高于尺度為5的高斯金字塔結(jié)構(gòu)對(duì)應(yīng)的三維模型分類(lèi)準(zhǔn)確率;對(duì)于9/16局部,尺度為7的高斯金字塔結(jié)構(gòu)對(duì)應(yīng)的三維模型分類(lèi)準(zhǔn)確率低于尺度為8的高斯金字塔結(jié)構(gòu)對(duì)應(yīng)的三維模型分類(lèi)準(zhǔn)確率;對(duì)于3/4局部,尺度為7和8的高斯金字塔結(jié)構(gòu)對(duì)應(yīng)的三維模型分類(lèi)準(zhǔn)確率相等;其余尺度為7的高斯金字塔結(jié)構(gòu)對(duì)應(yīng)的三維模型分類(lèi)準(zhǔn)確率均高于尺度為8的高斯金字塔結(jié)構(gòu)對(duì)應(yīng)的三維模型分類(lèi)準(zhǔn)確率。綜合實(shí)驗(yàn)結(jié)果對(duì)比可知,尺度為7的高斯金字塔結(jié)構(gòu)對(duì)應(yīng)的三維模型分類(lèi)準(zhǔn)確率最好。實(shí)驗(yàn)結(jié)果表明:高斯金字塔尺度參數(shù)是決定三維模型分類(lèi)結(jié)果的一個(gè)主要因素;選擇合適的高斯金字塔尺度可能進(jìn)一步提高三維模型分類(lèi)的準(zhǔn)確率。所以,在本文所有多局部顯著視圖集確定的實(shí)驗(yàn)中,本文均選用尺度為7的高斯金字塔結(jié)構(gòu)。

4.1.2 視圖尺度參數(shù)選取實(shí)驗(yàn)及分析

視圖尺寸的選取既影響視圖集的代表性,也影響對(duì)應(yīng)深度學(xué)習(xí)網(wǎng)絡(luò)的泛化能力。本實(shí)驗(yàn)旨在驗(yàn)證不同尺度視圖的選取對(duì)算法的影響。

依據(jù)圖2給出的特定視角下不同尺度局部視圖的建立方式,建立候選局部視圖;通過(guò)顯著性評(píng)價(jià),確定局部顯著視圖集,并以此為基礎(chǔ)完成三維模型分類(lèi)。

表4給出了在不同尺度的局部視圖下本文算法所得三維模型分類(lèi)準(zhǔn)確率。

表4 不同尺度視圖分類(lèi)結(jié)果對(duì)比 %

由表4可見(jiàn):從1/2到全局視圖,不同尺度的視圖對(duì)應(yīng)了不同的分類(lèi)準(zhǔn)確率,其中,當(dāng)視圖尺寸由1/2到4/5不斷增加時(shí),其分類(lèi)準(zhǔn)確率不斷提升,4/5時(shí)達(dá)到最大值94%;此后,隨著視圖尺寸的增加,三維模型的分類(lèi)準(zhǔn)確率不再增加。同時(shí)比較局部視圖和全局視圖分類(lèi)準(zhǔn)確率發(fā)現(xiàn),當(dāng)局部視圖的尺度達(dá)到3/5及以上時(shí),其對(duì)應(yīng)算法的分類(lèi)準(zhǔn)確率已經(jīng)超過(guò)全局視圖的分類(lèi)準(zhǔn)確率92%。實(shí)驗(yàn)結(jié)果表明:1)局部視圖的選取增加了三維模型視圖的多樣性,改善了對(duì)應(yīng)深度學(xué)習(xí)網(wǎng)絡(luò)的泛化能力,因而一定程度的提高了三維模型分類(lèi)的準(zhǔn)確率;2)局部視圖尺寸的選取影響三維模型分類(lèi)準(zhǔn)確率,過(guò)小的局部視圖無(wú)法有效捕捉三維模型的關(guān)鍵信息,不具有足夠的代表性,影響三維模型的分類(lèi)準(zhǔn)確率;過(guò)大的局部視圖難以體現(xiàn)多樣性,不能充分激活網(wǎng)絡(luò)的泛化能力,也會(huì)影響三維模型的分類(lèi)準(zhǔn)確率。

4.1.3 多尺度視圖集成參數(shù)實(shí)驗(yàn)及分析

不同尺度的視圖集成可以進(jìn)一步增加視圖的多樣性,激活深度學(xué)習(xí)網(wǎng)絡(luò)的泛化能力。本實(shí)驗(yàn)初步測(cè)試了基于多尺度局部顯著視圖完成三維模型分類(lèi)的效果。實(shí)驗(yàn)中不區(qū)分視圖尺度大小,針對(duì)每個(gè)特定視角仍然選取1個(gè)顯著性最大的視圖構(gòu)成局部顯著視圖集,并以此為基礎(chǔ)完成三維模型分類(lèi),得到如表5所示的實(shí)驗(yàn)結(jié)果。

表5 多尺度視圖分類(lèi)結(jié)果對(duì)比 %

由表5可見(jiàn):綜合考慮16/25和4/5的局部視圖集合時(shí),其分類(lèi)準(zhǔn)確率為92.5%,較16/25局部的92%高,較4/5局部的94%低;綜合考慮1/2和4/5的局部視圖集合時(shí),其分類(lèi)準(zhǔn)確率為94.5%,較1/2局部的89%和4/5局部的94%高。實(shí)驗(yàn)結(jié)果表明:在多尺度視圖集成中,視圖尺度間的差異性是決定其分類(lèi)結(jié)果的一個(gè)主要因素;合適的多尺度視圖集成,可進(jìn)一步增加視圖的多樣性,因而可能進(jìn)一步提高三維模型分類(lèi)的準(zhǔn)確率。

4.2 集成CNN對(duì)比實(shí)驗(yàn)及分析

本實(shí)驗(yàn)旨在驗(yàn)證集成CNN算法是否能有效提高三維模型分類(lèi)器的泛化能力,并改善分類(lèi)效果的有效性。分別以2/3局部、4/5局部、全局視圖為輸入,采用基于單視圖的、基于MVCNN合成視圖的[13],以及本文所提出的集成CNN算法對(duì)三維模型進(jìn)行分類(lèi),得到如表6所示的實(shí)驗(yàn)結(jié)果。

表6 3種不同算法的分類(lèi)實(shí)驗(yàn)效果對(duì)比 %

由表6可見(jiàn):無(wú)論是對(duì)于局部視圖還是全局視圖,本文所提出的集成CNN算法的分類(lèi)準(zhǔn)確率均優(yōu)于其他2種算法。另一方面,對(duì)于4/5局部,無(wú)論采用哪種深度學(xué)習(xí)模型,分類(lèi)準(zhǔn)確率均為同類(lèi)方法中最高;2/3局部分類(lèi)準(zhǔn)確率在單視圖和合成視圖上低于全局視圖,在集成CNN模型上高于全局視圖。實(shí)驗(yàn)結(jié)果表明:1)本文所提出的深度學(xué)習(xí)模型確實(shí)可以一定程度提高學(xué)習(xí)器的泛化能力,改善分類(lèi)準(zhǔn)確率;2)合適尺度局部視圖的引入可增加三維模型視圖的多樣性,改善對(duì)應(yīng)深度學(xué)習(xí)網(wǎng)絡(luò)的泛化能力,進(jìn)而提高了三維模型的分類(lèi)準(zhǔn)確率。

4.3 各個(gè)類(lèi)的分類(lèi)準(zhǔn)確率分析

以4/5局部為輸入,本文算法在ModelNet10各個(gè)類(lèi)上的分類(lèi)分布情況如圖5所示。由圖5可見(jiàn):本文算法在bathtub、bed、chair、monitor和toliet這五個(gè)類(lèi)上的分類(lèi)準(zhǔn)確率均為100%;在dresser、night_stand和sofa這三個(gè)類(lèi)上的分類(lèi)準(zhǔn)確率均為95%,即只有1個(gè)實(shí)例被錯(cuò)分在其他類(lèi);在desk類(lèi)上的分類(lèi)準(zhǔn)確率為90%,存在2個(gè)實(shí)例被錯(cuò)分;在table類(lèi)上的分類(lèi)準(zhǔn)確率最低,為65%,有7個(gè)模型錯(cuò)分至desk類(lèi)中。如圖6所示,通過(guò)比較desk和table類(lèi)內(nèi)的測(cè)試實(shí)例會(huì)發(fā)現(xiàn),這兩個(gè)類(lèi)內(nèi)的模型在整體形狀上極其相似,而本文算法在區(qū)別模型細(xì)節(jié)特征方面仍然存在不足,因而無(wú)法有效區(qū)分這些模型所屬類(lèi)別。

圖5 本文算法在ModelNet10各個(gè)類(lèi)上的分類(lèi)結(jié)果

為進(jìn)一步說(shuō)明本文算法的特點(diǎn),圖7給出了ModelNet10數(shù)據(jù)集中bathtub、desk和table 3個(gè)類(lèi)內(nèi)9個(gè)不同三維模型某一個(gè)局部顯著視圖所對(duì)應(yīng)的4 096維特征的可視化結(jié)果。

由圖7可知,基于視圖提取的剛性三維模型特征具有以下特點(diǎn):1)類(lèi)間三維模型的特征整體相似;2)相似類(lèi)之間的特征相似度比非相似類(lèi)之間的特征相似度要高,如desk和table兩個(gè)類(lèi)特征相似度要比desk和bathtub、table和desk相似度要高;3)一定程度上,對(duì)于相似的三維模型,如desk1和table3、desk3和table2,其三維模型特征相似度也很高。這一可視化結(jié)果進(jìn)一步說(shuō)明了本文算法能夠有效區(qū)分非相似類(lèi),但在區(qū)別模型細(xì)節(jié)特征方面仍然存在不足,因而無(wú)法完全正確區(qū)分desk和table等相似模型所屬類(lèi)別。

4.4 基于視圖的三維模型分類(lèi)實(shí)驗(yàn)對(duì)比

表7給出了本文算法和其他基于視圖的分類(lèi)算法在ModelNet10數(shù)據(jù)集上的分類(lèi)性能比較。其中,由于MVCNN工作中未給出其在ModelNet10數(shù)據(jù)集上的分類(lèi)準(zhǔn)確率[13],其實(shí)驗(yàn)結(jié)果由本文實(shí)現(xiàn)并獲取,其他方法的準(zhǔn)確率均為官方數(shù)據(jù)。由表7可知,就目前的各種基于視圖和深度學(xué)習(xí)的分類(lèi)算法而言,本文算法的分類(lèi)準(zhǔn)確率最高,這也再次驗(yàn)證了本文算法的有效性。

表7 基于視圖的三維模型分類(lèi)結(jié)果對(duì)比 %

5 結(jié)束語(yǔ)

本文提出一種基于多局部視圖和CNN的三維模型分類(lèi)算法。首先給出局部顯著視圖的提取方法,然后設(shè)計(jì)并實(shí)現(xiàn)集成CNN模型,最后基于ModelNet10數(shù)據(jù)集驗(yàn)證本文算法的有效性。實(shí)驗(yàn)結(jié)果表明:合適尺度的局部顯著視圖可以有效捕捉三維模型代表性信息,同時(shí)進(jìn)一步增加視圖的多樣性和學(xué)習(xí)網(wǎng)絡(luò)的泛化能力;而集成CNN模型則可以進(jìn)一步集成單個(gè)視圖的分類(lèi)結(jié)果,取得較單個(gè)深度學(xué)習(xí)模型更優(yōu)的分類(lèi)效果。相對(duì)于已有的三維模型分類(lèi)方法,本文算法具有兼顧表征數(shù)據(jù)的完整性和多樣性、學(xué)習(xí)模型的泛化能力強(qiáng)和分類(lèi)準(zhǔn)確率高的特點(diǎn)。下一步將研究基于多尺度局部顯著視圖的三維模型分類(lèi)算法,同時(shí)設(shè)計(jì)并實(shí)現(xiàn)端到端的集成深度學(xué)習(xí)模型。