黨吉圣，楊 軍

蘭州交通大學(xué)電子與信息工程學(xué)院，蘭州730070

近年來，隨著三維建模技術(shù)以及深度傳感器的廣泛應(yīng)用，三維模型的種類和數(shù)量呈現(xiàn)出爆炸式增長，如何有效提高大規(guī)模多種類復(fù)雜三維模型識別準(zhǔn)確率成為一個(gè)亟待解決的問題。三維模型識別已成為機(jī)器視覺和計(jì)算機(jī)圖形學(xué)領(lǐng)域的一個(gè)熱點(diǎn)和難點(diǎn)問題。為了提高三維模型識別準(zhǔn)確率，大量研究工作應(yīng)運(yùn)而生，主要方法分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。其中傳統(tǒng)方法[1-2]是研究者利用已有領(lǐng)域知識手工設(shè)計(jì)特征描述符對三維模型類別進(jìn)行預(yù)測，如熱核描述符[3]、三角區(qū)域描述符[4]等。雖然此類方法在小數(shù)據(jù)集上識別效果好，但是無法有效提取三維模型的高層語義特征，泛化能力較弱。

深度學(xué)習(xí)方法在二維圖像的特征學(xué)習(xí)上取得了突飛猛進(jìn)的進(jìn)步，極大地促進(jìn)了機(jī)器視覺領(lǐng)域的飛速發(fā)展。但由于三維模型內(nèi)在結(jié)構(gòu)的復(fù)雜性，基于深度學(xué)習(xí)的三維模型識別還面臨著極大的挑戰(zhàn)。目前基于深度學(xué)習(xí)的三維模型識別方法主要分為三類：基于體素化的方法、基于多視圖的方法和基于幾何深度學(xué)習(xí)的方法。基于二維視圖的方法[5-6]可以直接利用經(jīng)典的二維深度學(xué)習(xí)框架并融合多方向投影的視角信息來提取三維模型的類別特征用于識別分類，但該方法存在視圖特征冗余和三維模型幾何結(jié)構(gòu)信息丟失的問題?；隗w素化的方法[7-10]是把不規(guī)則的原始點(diǎn)云數(shù)據(jù)體素化為規(guī)則的三維體素?cái)?shù)據(jù)，然后在三維體素?cái)?shù)據(jù)上設(shè)計(jì)三維卷積神經(jīng)網(wǎng)絡(luò)提取特征，但三維體素模型的低分辨率導(dǎo)致了三維模型局部細(xì)節(jié)信息的丟失，同時(shí)三維卷積操作相比于二維卷積操作內(nèi)存成本更高。基于幾何深度學(xué)習(xí)方法已成為三維模型識別的主流研究方法。幾何深度學(xué)習(xí)[11-19]是通過深度神經(jīng)網(wǎng)絡(luò)來處理非歐幾里德結(jié)構(gòu)數(shù)據(jù)（如點(diǎn)云）的算法。文獻(xiàn)[20]提出的圖卷積神經(jīng)網(wǎng)絡(luò)可以直接處理點(diǎn)云等不規(guī)則結(jié)構(gòu)數(shù)據(jù)，證明了圖表示方法在非歐幾里德數(shù)據(jù)處理任務(wù)中的優(yōu)勢。文獻(xiàn)[21]提出PointNet 模型采用多層感知機(jī)（multilayer perceptron，MLP）提取每個(gè)獨(dú)立點(diǎn)的特征，然后通過最大池化層把所有點(diǎn)的特征聚合得到全局特征描述符用于三維模型識別。

由于點(diǎn)云在非歐幾里德空間中的不規(guī)則性，挖掘點(diǎn)云的上下文細(xì)粒度局部特征仍然面臨著很大的挑戰(zhàn)。現(xiàn)有方法對全局幾何結(jié)構(gòu)極其相似，只有局部細(xì)粒度細(xì)節(jié)不同的類容易識別混淆。鑒于此，本文旨在探究一種深度圖注意力卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，充分挖掘三維點(diǎn)云模型的空間上下文細(xì)粒度局部特征，增強(qiáng)網(wǎng)絡(luò)細(xì)分類能力，總體上提高三維模型的識別準(zhǔn)確率。細(xì)粒度局部特征有助于增強(qiáng)網(wǎng)絡(luò)的細(xì)粒度細(xì)節(jié)捕捉能力，空間上下文特征對三維模型的空間上下文結(jié)構(gòu)信息更加敏感，二者各有優(yōu)勢，有很強(qiáng)的互補(bǔ)性，相互補(bǔ)償可以增強(qiáng)特征的完備性。本文的主要貢獻(xiàn)和創(chuàng)新點(diǎn)有：（1）構(gòu)建圖注意力卷積層。通過在卷積層中引入鄰域選擇機(jī)制來學(xué)習(xí)每個(gè)點(diǎn)的細(xì)粒度局部特征，并融合空間上下文編碼機(jī)制學(xué)習(xí)到的空間上下文特征以獲取點(diǎn)云的更具鑒別力的空間上下文細(xì)粒度局部特征。（2）采用多頭部機(jī)制。單頭部圖注意力卷積（graph attention convolution，GAC）層從表示空間中并行獲取不同特征，并進(jìn)一步聚合到一起，增強(qiáng)特征的豐富性。（3）在網(wǎng)絡(luò)中引入殘差連接加深網(wǎng)絡(luò)深度以充分挖掘三維模型更抽象的深層隱含特征。（4）提出選擇性丟棄（selectable dropout）算法對重要性不同的權(quán)重進(jìn)行選擇性的丟棄，防止過擬合，增強(qiáng)網(wǎng)絡(luò)的魯棒性。

1 深度圖注意力卷積神經(jīng)網(wǎng)絡(luò)

三維點(diǎn)云模型可以表示為空間中的一組無序點(diǎn)集X={xi∈RF,i=1,2,…,N}作為網(wǎng)絡(luò)的輸入，其中N為點(diǎn)的數(shù)目，xi為任意采樣點(diǎn)，F(xiàn)為特征維度，取值為3，即表示x、y、z三維坐標(biāo)。把整個(gè)點(diǎn)云中的每個(gè)點(diǎn)和其他所有點(diǎn)連接會(huì)造成很高的計(jì)算成本。因此，本文構(gòu)建一個(gè)k近鄰圖G=(V,E)表示點(diǎn)云的一個(gè)局部區(qū)域。其中，V={1,2,…,k+1}為點(diǎn)的數(shù)目，E?V×D表示xi與鄰域內(nèi)相鄰點(diǎn)的連接邊，D為點(diǎn)xi的k鄰域內(nèi)其他點(diǎn)的集合。

1.1 圖注意力卷積層

一個(gè)理想的三維模型識別算法，既要捕捉其全局空間上下文信息，也要充分挖掘局部細(xì)粒度信息，二者具有很強(qiáng)的互補(bǔ)性，缺一不可。為此，本文構(gòu)建一個(gè)特征提取器GAC 層，分別采用鄰域選擇機(jī)制和空間上下文編碼機(jī)制分別學(xué)習(xí)點(diǎn)云的局部細(xì)節(jié)信息和全局空間上下文信息，網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。其中，N為點(diǎn)的數(shù)目，MLP{}表示多層感知機(jī)，大括號中的數(shù)字表示卷積核的數(shù)目。

鄰域選擇機(jī)制首先對每個(gè)點(diǎn)的三維坐標(biāo)信息進(jìn)行自編碼，即采用一個(gè)具有F1個(gè)卷積核的MLP 將點(diǎn)云原始特征映射到高維特征空間，計(jì)算公式如下：

式中，χ為參數(shù)化的非線性激活函數(shù)，θ為可學(xué)習(xí)的參數(shù)集合，B為批歸一化操作，C表示卷積操作，其下標(biāo)F×1 為卷積核大小。

此外，為了加強(qiáng)網(wǎng)絡(luò)對局部特征的表征能力，對點(diǎn)云中的描述點(diǎn)xi采用k最近鄰算法搜索距離最近的k個(gè)點(diǎn)構(gòu)建k鄰域圖，然后采用具有F1個(gè)卷積核的MLP 提取k鄰域高維圖特征得到N×k×F1維特征，計(jì)算公式為：

式中，xij為xi的鄰近點(diǎn)。對ui′和vij′分別采用一個(gè)MLP 計(jì)算出描述點(diǎn)xi的自注意力系數(shù)和鄰域注意力系數(shù)。將自注意力系數(shù)和鄰域注意力系數(shù)進(jìn)一步融合得到描述點(diǎn)xi到其鄰域內(nèi)k個(gè)鄰近點(diǎn)的鄰域選擇系數(shù)，計(jì)算公式為：

式中，LR()為非線性激活函數(shù)LeakyReLU。同時(shí)采用Softmax 函數(shù)進(jìn)行規(guī)范化處理：

將歸一化后的鄰域選擇系數(shù)aij與其k鄰域圖特征vij′相乘得到大小為N×F1′的細(xì)粒度局部特征，即：

Fig.1 GAC layer圖1 GAC 層

鄰域選擇系數(shù)通過賦予不同的鄰域權(quán)重來學(xué)習(xí)為無意義的鄰域特征分配相對較低的權(quán)重，而為更具鑒別力的鄰域特征分配較高的權(quán)重。因此，鄰域選擇系數(shù)就像特征選擇器一樣，可以增強(qiáng)有意義的鄰域結(jié)構(gòu)特征，拋棄無用的鄰域特征，比如噪聲，避免鄰域之間的特征污染。鄰域選擇機(jī)制有針對性地抑制冗余的鄰域特征，因此不會(huì)損害有效信息的完整性。由于局部區(qū)域內(nèi)有效信息有限，設(shè)置F1為14，k為20。

鄰域選擇機(jī)制主要關(guān)注局部細(xì)節(jié)信息的捕捉，忽略了空間上下文結(jié)構(gòu)信息。為此，GAC 層同時(shí)采用空間上下文編碼來增強(qiáng)特征的完備性。為了減少計(jì)算量，首先從三維點(diǎn)云中選取R(R＜N)個(gè)采樣點(diǎn)，對每個(gè)采樣點(diǎn)采用k最近鄰算法搜索距離最近的k1個(gè)點(diǎn)構(gòu)成采樣點(diǎn)xi的k1鄰域區(qū)域，在采樣點(diǎn)xi通過k最近鄰算法構(gòu)建k鄰域時(shí)，按從小到大取T個(gè)不同的k值，可以得到采樣點(diǎn)xi的T個(gè)不同尺度的鄰域區(qū)域；然后分別采用三個(gè)MLP 依次對每個(gè)鄰域提取局部特征，得到采樣點(diǎn)xi的T個(gè)有序特征向量構(gòu)成的特征向量序列把采樣點(diǎn)xi的特征向量序列輸入RNN（recurrent neural network）編碼器，用一個(gè)隱藏層依次進(jìn)行編碼，提取采樣點(diǎn)xi的空間上下文高層特征。RNN編碼器由一個(gè)隱藏層l和一個(gè)Φ構(gòu)成，當(dāng)RNN 編碼采樣點(diǎn)xi的每個(gè)鄰域的特征向量時(shí)，RNN 編碼器的隱藏層狀態(tài)lt都要被更新，該過程如式（7）所示：

式中，f為一個(gè)非線性激活函數(shù)，實(shí)驗(yàn)中采用LSTM 單元。為采樣點(diǎn)xi的kt鄰域的幾何特征向量，lt-1為編碼上一個(gè)鄰域的特征向量時(shí)的隱藏層狀態(tài)。

在RNN 編碼采樣點(diǎn)xi的第t個(gè)鄰域的特征向量時(shí)，編碼器的輸出Φt為：

式中，Wa是一個(gè)可學(xué)習(xí)的權(quán)重矩陣。當(dāng)RNN 編碼采樣點(diǎn)xi的最后一個(gè)鄰域特征向量時(shí)，網(wǎng)絡(luò)已學(xué)習(xí)完成所有輸入特征向量，編碼器的最后一步隱藏層狀態(tài)lT被更新，lT和Wa相乘得到包含了整個(gè)特征序列的上下文高層幾何特征ΦT?？臻g上下文編碼機(jī)制通過依次編碼采樣點(diǎn)xi的所有不同尺度的k鄰域區(qū)域，可以獲取不同尺度鄰域區(qū)域之間的相關(guān)性，提取到采樣點(diǎn)xi的上下文高層幾何特征。

由于在計(jì)算細(xì)粒度局部特征時(shí)，雖然引入鄰域選擇機(jī)制增強(qiáng)了網(wǎng)絡(luò)在局部區(qū)域內(nèi)細(xì)節(jié)捕捉的能力，但是忽略了三維模型的全局空間上下文結(jié)構(gòu)信息，而空間上下文編碼機(jī)制通過結(jié)合局部區(qū)域之間上下文信息可以有效捕捉三維點(diǎn)云的全局空間上下文結(jié)構(gòu)信息，因此細(xì)粒度局部特征和全局空間上下文特征有很強(qiáng)的互補(bǔ)性，將鄰域選擇機(jī)制和空間上下文編碼機(jī)制結(jié)合來構(gòu)建GAC 層具有一定的合理性。因此，將采樣點(diǎn)的空間上下文特征通過插值層[12]上采樣后，采用LeakyReLU 非線性激活函數(shù)將采樣點(diǎn)xi的空間上下文特征和細(xì)粒度局部特征融合，可以得到采樣點(diǎn)xi的更具鑒別力的上下文細(xì)粒度局部特征。計(jì)算公式如下：

式中，ΦT為采樣點(diǎn)xi的空間上下文特征，為采樣點(diǎn)xi的細(xì)粒度局部特征。本文構(gòu)建的GAC 層可以同時(shí)兼顧局部細(xì)節(jié)挖掘能力和全局空間上下文信息捕捉能力，能夠作為一個(gè)通用的點(diǎn)云特征提取器推廣到其他應(yīng)用中。

1.2 多頭部圖注意力卷積層

為了獲得豐富的特征信息以增強(qiáng)網(wǎng)絡(luò)的泛化能力，在計(jì)算GAC 層的上下文細(xì)粒度局部特征和圖特征時(shí)，對歸一化后的鄰域選擇系數(shù)引入隨機(jī)丟棄（Dropout）算法，通過隨機(jī)丟棄一些權(quán)重得到M個(gè)不同的單頭部（Single-head）GAC 層，其中權(quán)重保留率設(shè)為0.7。把M個(gè)單頭部GAC 層連接到一起得到特征信息更加豐富的多頭部（Multi-head）GAC 層，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，特征聚合公式為：

Fig.2 Multi-head GAC layer圖2 多頭部GAC 層

式中，是采樣點(diǎn)xi的第m個(gè)頭部的上下文細(xì)粒度局部特征，M是頭部數(shù)，||是特征通道的連接操作。

1.3 深度圖注意力卷積神經(jīng)網(wǎng)絡(luò)

本文構(gòu)建的深度圖注意力卷積神經(jīng)網(wǎng)絡(luò)（deep graph attention convolution neural network，DGACNN)結(jié)構(gòu)如圖3 所示。圖中Attention-aware spatial transform為一個(gè)3×3 的矩陣，矩陣中的每一個(gè)元素都是網(wǎng)絡(luò)通過學(xué)習(xí)得到的。MLP{512,256,C}表示神經(jīng)元個(gè)數(shù)分別為512、256、C的三個(gè)全連接層，其中C為類別數(shù)目，本實(shí)驗(yàn)中設(shè)為40。藍(lán)色箭頭表示殘差連接。除最后一層外，所有層都包含批處理規(guī)范化操作。

DGACNN 的輸入為N×3 維度的點(diǎn)云矩陣，首先為了使輸入點(diǎn)云對縮放、旋轉(zhuǎn)、平移等幾何變換具有不變性，采用注意力感知空間轉(zhuǎn)換網(wǎng)絡(luò)對不同姿態(tài)的點(diǎn)云進(jìn)行規(guī)范化，然后采用GAC 層提取點(diǎn)云模型的多頭部上下文細(xì)粒度局部特征。為了充分挖掘點(diǎn)云更為抽象的深層隱含語義特征，采用殘差連接避免梯度消失問題的同時(shí)加深了網(wǎng)絡(luò)深度，各卷積層的具體參數(shù)如表1 所示。同時(shí)，把GAC層輸出的圖特征進(jìn)行最大池化，并和Layer5輸出的特征融合后得到大小為N×1 024 的特征矩陣，通過最大池化層進(jìn)行聚合，得到表征整個(gè)點(diǎn)云模型的全局特征描述符，輸入到三個(gè)全連接層進(jìn)行降維轉(zhuǎn)換。最后，通過Softmax分類器對模型類別進(jìn)行預(yù)測，得到最終的分類分?jǐn)?shù)。

Table 1 Parameters of each convolution layer表1 卷積層各層參數(shù)

2 選擇性丟棄

由于本文構(gòu)建的DGACNN 網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，參數(shù)較多，有較高的過擬合風(fēng)險(xiǎn)。傳統(tǒng)方法使用Dropout正則化算法隨機(jī)丟棄一部分權(quán)重來增強(qiáng)網(wǎng)絡(luò)的泛化能力。然而，隨機(jī)丟棄算法可能會(huì)丟棄一些重要性高的權(quán)重而保留一些值接近于0 的權(quán)重。為了減少模型冗余性的同時(shí)增強(qiáng)網(wǎng)絡(luò)的魯棒性，設(shè)計(jì)一種Selectable Dropout 算法，將剪枝策略應(yīng)用到神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，在網(wǎng)絡(luò)參數(shù)每次更新時(shí)，通過排序剪枝選擇一個(gè)候選丟棄組，把Dropout 算法應(yīng)用于該候選組進(jìn)行部分權(quán)重的隨機(jī)丟棄。

2.1 排序剪枝

針對于網(wǎng)絡(luò)過擬合問題，文獻(xiàn)[22]提出了權(quán)重丟棄算法，在每一次網(wǎng)絡(luò)訓(xùn)練時(shí)會(huì)隨機(jī)丟棄一部分權(quán)重，提高了神經(jīng)網(wǎng)絡(luò)的泛化性。該操作如式（11）所示：

式中，X為輸入張量，W為權(quán)重矩陣，φ為修剪矩陣，Y為輸出張量，⊙為矩陣點(diǎn)乘操作。排序剪枝的核心思想是將前k個(gè)最大的權(quán)重視為最重要的權(quán)重將其保留下來。即對每層所有權(quán)重按照神經(jīng)元權(quán)重的L1均值進(jìn)行從大到小排序，采用argmax-k返回權(quán)重值最大的k個(gè)權(quán)重，計(jì)算公式為：

Fig.3 DGACNN network structure圖3 DGACNN 網(wǎng)絡(luò)結(jié)構(gòu)

式中，Wi為第i個(gè)卷積核中的權(quán)重值，η為全連接層中神經(jīng)元的個(gè)數(shù)，即權(quán)重的個(gè)數(shù)。將前k個(gè)最大權(quán)重的最小值作為閾值，小于閾值的權(quán)重歸入候選丟棄組，采用Dropout 算法對候選丟棄組中每個(gè)元素進(jìn)行隨機(jī)丟棄以實(shí)現(xiàn)排序剪枝。

2.2 Selectable Dropout算法

對于神經(jīng)網(wǎng)絡(luò)中具有η個(gè)權(quán)重參數(shù)的一個(gè)全連接層，使用式（12）的排序剪枝策略進(jìn)行修剪，Selectable Dropout 的目標(biāo)是得到最優(yōu)參數(shù)η*使得損失函數(shù)ε(w(η*))最小。排序剪枝機(jī)制的任務(wù)是保留全連接層中值最大的k個(gè)權(quán)重，通過丟棄值最小的η-k個(gè)權(quán)重來實(shí)現(xiàn)。但由于值較小的權(quán)重在網(wǎng)絡(luò)訓(xùn)練的過程中有可能變大，因此在網(wǎng)絡(luò)中引入兩個(gè)變量以實(shí)現(xiàn)時(shí)變性，能夠適時(shí)地根據(jù)迭代更新的權(quán)值進(jìn)行排序剪枝。一個(gè)變量為靶向比例λ，另一個(gè)變量為丟棄概率σ。靶向比例λ是選擇權(quán)重值最低的λη個(gè)權(quán)重作為候選丟棄組，然后對候選丟棄組中的每個(gè)元素以丟棄概率σ進(jìn)行丟棄，因此每一次參數(shù)更新后網(wǎng)絡(luò)中保留的權(quán)重?cái)?shù)為(1-λ×σ)η。神經(jīng)網(wǎng)絡(luò)80%以上的參數(shù)都來自于全連接層，本文將Selectable Dropout 算法嵌入到DGACNN 的前兩個(gè)全連接層來降低網(wǎng)絡(luò)的過擬合風(fēng)險(xiǎn)。通過在訓(xùn)練過程中迭代地使用剪枝和再訓(xùn)練這一循環(huán)來實(shí)現(xiàn)排序剪枝，在保證模型識別準(zhǔn)確率的基礎(chǔ)上降低模型復(fù)雜度。與傳統(tǒng)的Dropout 正則化方案相比，Selectable Dropout 算法使網(wǎng)絡(luò)學(xué)習(xí)保留重要性高的權(quán)重，在權(quán)重值較小的分組內(nèi)隨機(jī)丟棄權(quán)重，有效地防止了網(wǎng)絡(luò)的過擬合，增強(qiáng)了網(wǎng)絡(luò)的魯棒性，減少了網(wǎng)絡(luò)的冗余性。

3 實(shí)驗(yàn)結(jié)果與分析

本文算法實(shí)驗(yàn)環(huán)境基于Linux Ubuntu 16.04 操作系統(tǒng)，硬件為英特爾i7 8700k CPU 和GeForce RTX 2080 GPU（8 GB 內(nèi)存），運(yùn)算平臺為CUDA-Toolkit 9.0，采用Cudnn 7.13 作為網(wǎng)絡(luò)的GPU 加速庫，深度學(xué)習(xí)框架為Tensorflow-gpu，版本號為1.9.0。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)采用由Princeton University 公開的用于三維模型識別的標(biāo)準(zhǔn)數(shù)據(jù)集ModelNet40[23]。該數(shù)據(jù)集包含40 個(gè)類別的12 311 個(gè)CAD（computer-aided design）模型，實(shí)驗(yàn)中將9 843 個(gè)模型用于訓(xùn)練，2 468個(gè)模型用于測試。

3.2 網(wǎng)絡(luò)參數(shù)設(shè)置

實(shí)驗(yàn)中采用基于動(dòng)量的隨機(jī)梯度下降算法（stochastic gradient descent，SGD）來優(yōu)化網(wǎng)絡(luò)，設(shè)置動(dòng)量因子為0.9，權(quán)重衰減為0.000 5，初始學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減指數(shù)為0.7，衰減速度為200 000，采用Adam 算法來更新SGD 的步長，網(wǎng)絡(luò)參數(shù)初始化采用Xavier 優(yōu)化器，Selectable Dropout 算法的靶向比例為0.5，丟棄概率為0.5。

3.3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的優(yōu)越性，在相同的實(shí)驗(yàn)條件下分別與目前主流算法在ModelNet40 數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)，采用三維模型識別準(zhǔn)確率和模型復(fù)雜度兩個(gè)評估準(zhǔn)則，實(shí)驗(yàn)結(jié)果如表2 所示?？梢钥闯觯疚乃惴ㄗR別準(zhǔn)確率明顯優(yōu)于其他算法，相比于PointNet 識別準(zhǔn)確率提高3.4 個(gè)百分點(diǎn)，相比于最先進(jìn)的SpiderCNN 識別準(zhǔn)確率提高0.2 個(gè)百分點(diǎn)。原因在于DGACNN 既能挖掘局部區(qū)域內(nèi)細(xì)粒度特征，又能通過結(jié)合局部區(qū)域之間的相關(guān)性捕獲全局結(jié)構(gòu)信息，增強(qiáng)了網(wǎng)絡(luò)對于幾何形狀相似的類的區(qū)分能力。模型復(fù)雜度用訓(xùn)練完保存的模型大小進(jìn)行評估，本文算法的參數(shù)存儲(chǔ)量僅大于PointNet++和DGCNN，但識別準(zhǔn)確率比PointNet++和DGCNN 分別提高2.4 個(gè)百分點(diǎn)和0.4 個(gè)百分點(diǎn)。其他幾種算法的模型復(fù)雜度明顯高于本文算法，因?yàn)镾electable Dropout 算法可以有選擇地對網(wǎng)絡(luò)冗余參數(shù)進(jìn)行丟棄，相比于現(xiàn)有方法，既增強(qiáng)了網(wǎng)絡(luò)的魯棒性，有利于識別準(zhǔn)確率的提升，也減少了網(wǎng)絡(luò)的冗余性，降低了模型復(fù)雜度。綜上所述，本文算法在三維模型識別準(zhǔn)確率和模型復(fù)雜度兩方面均有一定優(yōu)勢，達(dá)到最佳平衡。

Table 2 Network performance comparison of different algorithms on ModelNet40表2 ModelNet40 上不同算法的網(wǎng)絡(luò)性能比較

為了進(jìn)一步證明DGACNN 算法的細(xì)分類能力，在ModelNet40 測試集上對實(shí)驗(yàn)結(jié)果中每一類的識別準(zhǔn)確率與PointNet 算法進(jìn)行了對比分析，如表3 所示?？傮w來看，對于測試集中絕大多數(shù)類，本文算法識別準(zhǔn)確率相對于PointNet算法都有了明顯的提高，尤其改善了全局幾何結(jié)構(gòu)極其相似，只有局部空間細(xì)節(jié)信息有所差別的類容易混淆的問題，如table 類和desk 類、chair 類和stool 類等。因?yàn)楸疚乃惴艹浞痔崛〉近c(diǎn)云模型的更具鑒別力的空間上下文細(xì)粒度局部特征，所以才能有效區(qū)分易混淆的三維模型的類別信息。此外，為了對預(yù)測結(jié)果進(jìn)行定性分析，圖4 給出了在ModelNet40 數(shù)據(jù)集上幾種典型的誤分類模型的可視化結(jié)果。圖中從左往右依次為真實(shí)標(biāo)簽、本文算法預(yù)測結(jié)果、錯(cuò)誤預(yù)測結(jié)果和真實(shí)標(biāo)簽的共同結(jié)構(gòu)、標(biāo)簽說明Label。從實(shí)例中可以看出，真實(shí)三維模型和誤分類模型的一些共同局部結(jié)構(gòu)導(dǎo)致了本文算法識別混淆，如flower_pot類和plant類的共同結(jié)構(gòu)plant 導(dǎo)致本文算法把flower_pot 類預(yù)測為plant類。由此可見本文算法在如何忽略干擾特征，只關(guān)注顯著特征方面能力不足。未來可以考慮如何對不同尺度的局部區(qū)域引入注意力機(jī)制來排除局部干擾特征。

Table 3 Classification results for each class on ModelNet40 dataset表3 ModelNet40 數(shù)據(jù)集上每一類的分類結(jié)果

Fig.4 Visualization of misclassification models圖4 誤分類模型可視化

此外，實(shí)驗(yàn)還探究了GAC 層、多頭部GAC 層和殘差連接對網(wǎng)絡(luò)性能的影響。通過構(gòu)建不同的網(wǎng)絡(luò)進(jìn)行訓(xùn)練并測試，實(shí)驗(yàn)結(jié)果如表4 所示。其中NC 表示鄰域選擇機(jī)制，SC 表示空間上下文編碼?？梢钥闯觯谠季W(wǎng)絡(luò)PointNet 中引入鄰域選擇機(jī)制后識別準(zhǔn)確率比PointNet 提高了2.3 個(gè)百分點(diǎn)，原因在于鄰域選擇注意力機(jī)制使每個(gè)描述點(diǎn)聚合了更具鑒別力的細(xì)粒度局部特征，在此基礎(chǔ)上繼續(xù)引入空間上下文編碼機(jī)制后識別準(zhǔn)確率又提高了0.8 個(gè)百分點(diǎn)，總體識別準(zhǔn)確率達(dá)到了92.3%。因?yàn)榭臻g上下文編碼機(jī)制能夠有效獲取全局的空間上下文特征信息，并與細(xì)粒度局部特征進(jìn)行相互補(bǔ)償，增強(qiáng)了特征的完備性。通過引入多頭部機(jī)制，識別準(zhǔn)確率提高了0.2個(gè)百分點(diǎn)，因?yàn)槎囝^部圖注意力卷積層聚合了更豐富的特征信息，提高了網(wǎng)絡(luò)的泛化能力。最后引入殘差連接，識別準(zhǔn)確率提高0.1 個(gè)百分點(diǎn)，因?yàn)橥ㄟ^殘差連接使特征重組可以加深網(wǎng)絡(luò)容量，能夠充分挖掘深層隱含語義信息。

Table 4 Effectiveness analysis of different components表4 不同組件的有效性分析

與此同時(shí)，本文繼續(xù)探究了不同的頭部數(shù)和編碼特征通道數(shù)對識別準(zhǔn)確率的影響，結(jié)果如表5 所示。可以看出，適當(dāng)增加頭部數(shù)和編碼特征通道數(shù)能夠提高模型識別準(zhǔn)確率，原因在于頭部數(shù)和編碼特征通道數(shù)的增加使網(wǎng)絡(luò)提取到的特征更加充足。當(dāng)頭部數(shù)為3，編碼特征通道數(shù)為14 時(shí)識別準(zhǔn)確率達(dá)到最佳，再增加頭部數(shù)目或編碼特征通道數(shù)都會(huì)使網(wǎng)絡(luò)性能降低，因?yàn)榇藭r(shí)網(wǎng)絡(luò)提取到的特征已趨于飽和，再增加頭部數(shù)或編碼特征通道數(shù)不會(huì)提升網(wǎng)絡(luò)的學(xué)習(xí)能力，反而會(huì)增加過多的冗余參數(shù)，降低網(wǎng)絡(luò)性能。

Table 5 Different combinations of the number of headers and the number of coding feature channels表5 頭數(shù)目和編碼特征通道數(shù)目的不同組合

為了驗(yàn)證本文設(shè)計(jì)的Selectable Dropout 正則化算法對網(wǎng)絡(luò)性能的影響，實(shí)驗(yàn)選取不同的靶向比例λ、丟棄概率σ與傳統(tǒng)Dropout 正則化算法進(jìn)行對比實(shí)驗(yàn)，結(jié)果如表6 所示?？梢钥闯?，采用Selectable Dropout 算法在靶向比例λ取0.50，丟棄概率σ取0.50 時(shí)識別準(zhǔn)確率比傳統(tǒng)Dropout算法提高0.57 個(gè)百分點(diǎn)。原因在于Selectable Dropout 算法通過對權(quán)重值大小進(jìn)行排序，能夠有選擇地保留重要性高的權(quán)重，增強(qiáng)網(wǎng)絡(luò)的魯棒性。

Table 6 Impact of Selectable Dropout on recognition accuracy表6 Selectable Dropout對識別準(zhǔn)確率的影響

4 結(jié)束語

本文構(gòu)建了一種基于深度圖注意力卷積神經(jīng)網(wǎng)絡(luò)的三維模型識別方法。通過構(gòu)建GAC 層捕捉點(diǎn)云的更具鑒別力的細(xì)粒度空間上下文特征，增強(qiáng)了網(wǎng)絡(luò)的細(xì)分類能力。同時(shí)引入多頭部機(jī)制和殘差連接進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。此外，設(shè)計(jì)Selectable Dropout算法對模型進(jìn)行排序剪枝，增強(qiáng)網(wǎng)絡(luò)魯棒性，減少網(wǎng)絡(luò)的冗余性。在ModelNet40 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文算法對三維模型識別準(zhǔn)確率達(dá)到了92.6%，與目前主流方法相比，在識別準(zhǔn)確率和模型復(fù)雜度方面都具有較強(qiáng)優(yōu)勢。實(shí)驗(yàn)中發(fā)現(xiàn)，本文算法對如何忽略局部干擾特征，只關(guān)注顯著特征還存在進(jìn)一步改進(jìn)的空間，這是未來需要繼續(xù)研究的方向。