白瑜穎，劉寧鐘，姜曉通

(南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 211106)

0 引 言

近年來(lái)，基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)迅猛發(fā)展，研究人員也不再局限于將目光放在通用物體分類(lèi)如車(chē)和貓，轉(zhuǎn)而向細(xì)粒度圖像分類(lèi)發(fā)起了挑戰(zhàn)。細(xì)粒度圖像分類(lèi)旨在區(qū)分同屬某一大類(lèi)的物體的更加精細(xì)的子類(lèi)，因而具有更高的識(shí)別難度[1]。對(duì)于細(xì)粒度圖像分類(lèi)而言，首先，類(lèi)間差距大類(lèi)內(nèi)差距小，如何發(fā)掘圖像中具有判別性的局部區(qū)域進(jìn)行分類(lèi)成為了關(guān)鍵問(wèn)題；其次，細(xì)粒度數(shù)據(jù)集常常存在類(lèi)別多，而數(shù)據(jù)量較少的問(wèn)題，容易產(chǎn)生訓(xùn)練時(shí)的過(guò)擬合；最后，為了降低標(biāo)注成本，易于實(shí)際應(yīng)用，如何利用圖片級(jí)別的弱監(jiān)督方法進(jìn)行細(xì)粒度分類(lèi)，也是需要解決的問(wèn)題。

針對(duì)上述問(wèn)題，文中提出一種結(jié)合改進(jìn)混合裁剪的弱監(jiān)督注意力數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)。通過(guò)基于弱監(jiān)督注意力機(jī)制的混合裁剪數(shù)據(jù)增強(qiáng)解決過(guò)分?jǐn)M合背景的問(wèn)題，通過(guò)改進(jìn)混合裁剪解決混合背景的問(wèn)題。一方面避免網(wǎng)絡(luò)過(guò)分?jǐn)M合背景，另一方面增強(qiáng)網(wǎng)絡(luò)對(duì)局部特征的學(xué)習(xí)。該方法僅需圖像級(jí)別標(biāo)注信息，同時(shí)可進(jìn)行端到端訓(xùn)練。為驗(yàn)證方法的有效性，在四個(gè)細(xì)粒度公開(kāi)數(shù)據(jù)集上進(jìn)行了驗(yàn)證。

1 相關(guān)工作

(1)細(xì)粒度圖像識(shí)別。目前主流的基于深度學(xué)習(xí)的細(xì)粒度圖像識(shí)別方法大致分為四類(lèi)：基于部件級(jí)別標(biāo)注信息的強(qiáng)監(jiān)督方法如借鑒了目標(biāo)檢測(cè)領(lǐng)域的R-CNN[2]方法的Part-based R-CNN[3]方法通過(guò)強(qiáng)監(jiān)督信息提升性能；基于端到端特征編碼的方法如雙線性卷積神經(jīng)網(wǎng)絡(luò)B-CNN[4]、kernel pooling[5]、hierarchical bilinear pooling[6]和MC_Loss[7]等方法通過(guò)獲取高階特征或者設(shè)計(jì)新的損失函數(shù)進(jìn)行細(xì)粒度識(shí)別；基于弱監(jiān)督局部定位的方法如NTS-net[8]以及結(jié)合非局部和多區(qū)域注意力的改進(jìn)方法，它結(jié)合了目標(biāo)檢測(cè)領(lǐng)域的RPN方法[9]進(jìn)行值得關(guān)注區(qū)域的定位和MA-CNN[10]方法通過(guò)通道聚類(lèi)進(jìn)行部件檢測(cè)從而進(jìn)行細(xì)粒度特征提??；基于注意力機(jī)制的方法如循環(huán)注意力卷積神經(jīng)網(wǎng)絡(luò)RA-CNN[11]和基于多尺度特征融合與反復(fù)注意力機(jī)制的細(xì)粒度圖像分類(lèi)算法[12]。

(2)混合裁剪數(shù)據(jù)增強(qiáng)。Sangdoo Yun等人提出了一種訓(xùn)練具有局部特征的強(qiáng)分類(lèi)器正則化策略[13]，稱之為混合裁剪。具體做法是在A圖片中隨機(jī)裁剪出一個(gè)矩形，之后在數(shù)據(jù)集中隨機(jī)選擇B圖片，并將B圖片對(duì)應(yīng)位置的像素填充到A圖片裁剪掉的區(qū)域。而新圖片的標(biāo)記由加權(quán)求和得到。這個(gè)策略可以顯著地增強(qiáng)網(wǎng)絡(luò)對(duì)局部特征的學(xué)習(xí)，同時(shí)豐富背景，增強(qiáng)模型的泛化性能。但在細(xì)粒度圖片中容易混合到背景。

(3)弱監(jiān)督注意力數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)WS-DAN[14]。該方法借鑒了端到端特征編碼方法中的雙線性池化操作，先通過(guò)多個(gè)1*1卷積操作獲取注意力特征圖，之后再將特征圖和注意力特征圖進(jìn)行雙線性池化獲取特征矩陣，同時(shí)進(jìn)一步利用注意力的位置信息進(jìn)行裁剪和丟棄進(jìn)行數(shù)據(jù)增強(qiáng)。但是雙線性操作在帶來(lái)高維特征的同時(shí)會(huì)有過(guò)擬合風(fēng)險(xiǎn)，同時(shí)基于注意力的丟棄操作雖然能使網(wǎng)絡(luò)關(guān)注次要特征，同樣的也可能使得網(wǎng)絡(luò)過(guò)分?jǐn)M合背景。

文中結(jié)合弱監(jiān)督數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)(WS-DAN)和混合裁剪數(shù)據(jù)增強(qiáng)，針對(duì)細(xì)粒度數(shù)據(jù)集種類(lèi)多數(shù)據(jù)量少的特點(diǎn)，提出了基于注意力圖的混合裁剪數(shù)據(jù)增強(qiáng)，避免網(wǎng)絡(luò)過(guò)分?jǐn)M合圖片中的背景等干擾信息。

2 文中算法

2.1 模型概述

算法流程如圖1所示。首先將圖片預(yù)處理為448*448大小，然后通過(guò)ResNet-50對(duì)輸入圖像進(jìn)行特征提取，獲得2 048*14*14的特征圖；其次，利用M個(gè)1*1卷積得到M個(gè)帶有位置信息的注意力圖，之后一方面利用雙線性注意力池化對(duì)注意力圖與原來(lái)的特征圖進(jìn)行融合，再通過(guò)全連接層并計(jì)算交叉熵?fù)p失；另一方面利用注意力圖中的位置信息，對(duì)圖像進(jìn)行改進(jìn)的混合裁剪數(shù)據(jù)增強(qiáng)，并重新送入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。同時(shí)利用類(lèi)似中心損失的注意力正則化來(lái)對(duì)注意力圖進(jìn)行規(guī)范。

圖1 算法模型

2.2 弱監(jiān)督注意力數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)

2.2.1 雙線性注意力池化

首先，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取到輸入圖像I的特征圖F∈RH*W*C，其中H、W表示特征圖的長(zhǎng)和寬，C表示特征圖的通道數(shù)。之后通過(guò)M個(gè)1*1卷積核將F轉(zhuǎn)化為注意力圖A∈RH*W*M。M的值為超參數(shù)，代表注意力圖的數(shù)量。公式如下：

(1)

其中，f(·)即指代1*1卷積操作。

在獲取到注意力圖集合A之后，利用雙線性池化操作將注意力圖集合A與原本的特征圖F進(jìn)行匯合。對(duì)于每一個(gè)注意力圖Ak，將其逐元素乘到原本的特征圖F之上，得到M個(gè)強(qiáng)化局部特征的雙線性特征圖F∈R1*N，達(dá)到增強(qiáng)細(xì)粒度識(shí)別的效果。同時(shí)為了降低特征維度，利用全局平均池化或者全局最大值池化對(duì)M個(gè)fk進(jìn)行判別性局部特征提取，獲得M個(gè)局部特征向量。最后將這些局部特征拼接起來(lái)得到最后的特征矩陣。該步驟如公式(2)：

(2)

其中，P表示最后拼接得到的特征矩陣P∈RM*N，⊙符號(hào)表示逐元素乘積，g(·)指代全局池化操作，Γ(A,F)表示對(duì)注意力圖A的原特征圖F的雙線性池化操作。

2.2.2 弱監(jiān)督注意力學(xué)習(xí)

借鑒中心損失思想，引入弱監(jiān)督注意力學(xué)習(xí)正則化方式。具體做法是，對(duì)于每次通過(guò)模型得到的特征圖fk，都與該類(lèi)別的特征中心CK∈R1*N計(jì)算均方誤差作為中心損失，見(jiàn)式(3)。模型即會(huì)傾向于對(duì)每一個(gè)類(lèi)別學(xué)習(xí)到相似的特征，對(duì)于注意力圖的每個(gè)通道亦會(huì)傾向于響應(yīng)各自固定的部件。

(3)

而特征中心C在最初被初始化為全零，之后在訓(xùn)練過(guò)程中不斷地根據(jù)訓(xùn)練中的特征圖fk來(lái)更新其標(biāo)記所屬類(lèi)的特征中心，如式(4)。

ck=ck+β(fk-ck)

(4)

其中，β為超參數(shù)，文中按照原文建議設(shè)置為0.05。

2.3 注意力引導(dǎo)混合裁剪

對(duì)于細(xì)粒度識(shí)別而言，采用隨機(jī)混合裁剪的方式進(jìn)行數(shù)據(jù)增強(qiáng)，往往會(huì)裁剪到背景，無(wú)法帶來(lái)正向的收益，因此提出改進(jìn)的基于注意力的混合裁剪算法。詳細(xì)算法介紹如下。

令x1,x2∈RH*W*C分別為兩張圖片，y1,y2分別對(duì)應(yīng)兩張圖片的標(biāo)記。x1,x2在經(jīng)過(guò)弱監(jiān)督注意力網(wǎng)絡(luò)之后，會(huì)得到各自的注意力圖A1,A2∈RH*W*M。

(5)

(6)

其中，(m,n)表示特征熱力圖或者掩膜的橫縱坐標(biāo)值。

(7)

而對(duì)應(yīng)的，不同于原本的混合裁剪數(shù)據(jù)增強(qiáng)采用根據(jù)面積比值求加權(quán)和的方式，筆者認(rèn)為根據(jù)注意力引導(dǎo)的混合裁剪會(huì)將圖片最主要最具判別性的特征全部裁剪掉，并進(jìn)行交換，因此將兩張圖片的真實(shí)標(biāo)記y1,y2進(jìn)行交換，如式(8)：

(8)

圖2 改進(jìn)的注意力混合裁剪算法流程

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集

實(shí)驗(yàn)在四個(gè)公開(kāi)細(xì)粒度數(shù)據(jù)集CUB200-2011、Stanford Dogs，Stanford Cars，F(xiàn)GVC Aircraft上進(jìn)行，數(shù)據(jù)集詳細(xì)信息見(jiàn)表1，數(shù)據(jù)集部分圖片示例見(jiàn)圖3。

表1 四個(gè)常見(jiàn)公開(kāi)細(xì)粒度數(shù)據(jù)集

圖3 常用數(shù)據(jù)集圖片示意

3.1.2 實(shí)驗(yàn)細(xì)節(jié)

在接下來(lái)的實(shí)驗(yàn)中，使用去除全連接層的殘差網(wǎng)絡(luò)Resnet-50[15]作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行特征提取，注意力圖的數(shù)量M設(shè)置為32，即使用32個(gè)1*1大小的卷積進(jìn)行注意力圖的獲取。對(duì)于裁剪閾值θ，選取了(0.4，0.6)之間的一個(gè)隨機(jī)實(shí)數(shù)。

對(duì)于模型優(yōu)化方法選擇隨機(jī)梯度下降SGD，動(dòng)量參數(shù)設(shè)置為0.9，最大迭代次數(shù)設(shè)置為80，權(quán)重衰減設(shè)置為0.000 01，同時(shí)將每個(gè)批次的大小設(shè)置為12。初始學(xué)習(xí)率設(shè)置為0.001，每?jī)纱蔚鷮W(xué)習(xí)率縮放為0.9倍。實(shí)驗(yàn)在RTX2080Ti 11G顯存上進(jìn)行，實(shí)現(xiàn)框架為pytorch。

3.2 對(duì)比實(shí)驗(yàn)

首先在四個(gè)數(shù)據(jù)集上與現(xiàn)有的先進(jìn)算法進(jìn)行了實(shí)驗(yàn)對(duì)比，對(duì)于基準(zhǔn)算法WS-DAN，使用了pytorch的復(fù)現(xiàn)版本，在表格中同時(shí)將原文結(jié)果與復(fù)現(xiàn)結(jié)果進(jìn)行展示。評(píng)價(jià)指標(biāo)使用Top-1準(zhǔn)確率(表2中將同一數(shù)據(jù)集下最好的結(jié)果進(jìn)行加黑，將第二好的結(jié)果添加下劃線以便查閱)。

表2 對(duì)比實(shí)驗(yàn)結(jié)果 %

可以看到，文中方法在CUB200-2011鳥(niǎo)類(lèi)數(shù)據(jù)集，Stanford Cars車(chē)輛數(shù)據(jù)集和FGVC Aircraft飛機(jī)數(shù)據(jù)集上，均取得了最好的效果，分別達(dá)到了89.7%,94.8%和93.1%，優(yōu)于近年來(lái)的先進(jìn)方法；同時(shí)相較于基準(zhǔn)方法WS-DAN(ResNet-50)，在使用相同的基礎(chǔ)骨架網(wǎng)絡(luò)的基礎(chǔ)上，在四個(gè)數(shù)據(jù)集上的精度分別提升了0.5%，0.4%，0.6%，0.4%，同時(shí)與隨機(jī)混合裁剪方法相比，也有較為明顯的提升，證明了文中方法的有效性。

3.3 可視化

為了進(jìn)一步對(duì)比與隨機(jī)混合裁剪的效果，在cub200-2011數(shù)據(jù)集上進(jìn)行了可視化實(shí)驗(yàn)，直觀展示了基于改進(jìn)的注意力混合裁剪算法的效果。

如圖4所示，可以看到利用注意力機(jī)制引導(dǎo)的混合裁剪避免了混合到背景的問(wèn)題，同時(shí)，將具有判別性的特征混合裁剪到其他圖片的背景中，大大豐富了訓(xùn)練數(shù)據(jù)的背景，降低了網(wǎng)絡(luò)對(duì)于背景的過(guò)擬合的可能性，同時(shí)強(qiáng)化了網(wǎng)絡(luò)對(duì)局部特征的學(xué)習(xí)。

圖4 可視化效果

4 結(jié)束語(yǔ)

文中創(chuàng)新性地提出了基于注意力機(jī)制的混合裁剪數(shù)據(jù)增強(qiáng)方法。利用注意力網(wǎng)絡(luò)在弱監(jiān)督學(xué)習(xí)到的位置信息引導(dǎo)混合裁剪數(shù)據(jù)增強(qiáng)，一方面利用混合裁剪豐富訓(xùn)練數(shù)據(jù)背景，同時(shí)避免隨機(jī)混合裁剪混合到背景的問(wèn)題；另一方面增強(qiáng)網(wǎng)絡(luò)對(duì)局部特征的學(xué)習(xí)，避免網(wǎng)絡(luò)對(duì)背景的過(guò)擬合。實(shí)驗(yàn)結(jié)果表明，該方法相對(duì)于基準(zhǔn)方法WS-DAN在四個(gè)細(xì)粒度數(shù)據(jù)集上的精度均有明顯提升，并且在其中的鳥(niǎo)類(lèi)、車(chē)型和飛機(jī)數(shù)據(jù)集上展現(xiàn)了很強(qiáng)的競(jìng)爭(zhēng)力。該方法簡(jiǎn)單高效，僅需圖像級(jí)別標(biāo)注信息，可端到端訓(xùn)練，有著良好的應(yīng)用價(jià)值。但目前方法的耗時(shí)較高，在今后工作中將把工作中心放在提升識(shí)別速度和提升精度上。