侯向?qū)?劉華春,侯宛貞

1(成都理工大學(xué)工程技術(shù)學(xué)院,樂(lè)山 614000)

2(西華大學(xué) 計(jì)算機(jī)與軟件工程學(xué)院,成都 610039)

步入全面小康社會(huì),人們?cè)谙硎芪镔|(zhì)生活的同時(shí),也在不斷追求高品質(zhì)的精神生活,比如對(duì)美的欣賞及追求.花卉觀賞可使人心情愉悅,給人恬美的視覺(jué)體驗(yàn); 然而人們對(duì)花卉的分類卻較為迷惑,究其原因主要有兩點(diǎn): 首先是花卉具有較高的類間相似性,即不同種類的花卉之間存在著難以分辨的相似的顏色及形狀等; 其次是花卉具有較大的類內(nèi)差異性,即同類花卉之間受氣候和光照等因素的影響,存在著顏色、形狀等方面的不同之處.

我國(guó)幅員遼闊,已知的花卉種類約3 萬(wàn)種. 在植物研究領(lǐng)域,基于人工提取特征的傳統(tǒng)花卉分類方式分類準(zhǔn)確率低且耗費(fèi)人力; 而具有自動(dòng)提取特征的基于深度學(xué)習(xí)的花卉分類方法逐漸受到人們的關(guān)注. 文獻(xiàn)[1]設(shè)計(jì)了一個(gè)8 層的卷積神經(jīng)網(wǎng)絡(luò),并在Oxford-102花卉數(shù)據(jù)集上進(jìn)行了測(cè)試,由于模型的深度較淺,分類效果并不理想. 文獻(xiàn)[2]通過(guò)遷移學(xué)習(xí),對(duì)Inception-v3網(wǎng)絡(luò)模型在花卉數(shù)據(jù)集上進(jìn)行微調(diào),對(duì)分類準(zhǔn)確率有少量的提升. 文獻(xiàn)[3]將AlexNet 和VGG16 模型的特征進(jìn)行串聯(lián),利用mRMR 算法選擇有效特征,最后采用SVM 分類器進(jìn)行分類,該方法稍顯繁瑣且分類準(zhǔn)確率不高. 文獻(xiàn)[4]在VGG16 模型的基礎(chǔ)上將多層深度卷積特征進(jìn)行融合,并在 Oxford-102 花卉數(shù)據(jù)集進(jìn)行了測(cè)試,但分類的準(zhǔn)確率并不理想. 文獻(xiàn)[5]對(duì)LeNet-5 模型進(jìn)行了適當(dāng)改造,取得了較好的分類效果,但其對(duì)花卉圖像進(jìn)行了灰度預(yù)處理,并未考慮到顏色對(duì)識(shí)別精度的影響. 文獻(xiàn)[6]采用多層特征融合及提取興趣區(qū)域的方法對(duì)花卉進(jìn)行分類,模型較為復(fù)雜.

文獻(xiàn)[7]將SE 視覺(jué)注意力模塊引入VGG16 網(wǎng)絡(luò)模型,用于對(duì)行人進(jìn)行檢測(cè),取得了較好的檢測(cè)效果.本文在VGG16-BN 模型的基礎(chǔ)上,引入視覺(jué)注意力機(jī)制,將SE 視覺(jué)注意力模塊嵌入VGG16-BN 網(wǎng)絡(luò)模型,對(duì)花卉圖片的顯著性區(qū)域進(jìn)行特征提取,充分利用VGG16-BN 模型的寬度和深度優(yōu)勢(shì),以進(jìn)一步提高花卉分類的準(zhǔn)確率.

1 相關(guān)工作

1.1 SENet 網(wǎng)絡(luò)

SENet 是最后一屆ImageNet 分類任務(wù)的冠軍.SENet[8]的本質(zhì)是采用通道注意力機(jī)制,通過(guò)深度學(xué)習(xí)的方式自動(dòng)獲取圖像各個(gè)特征通道的權(quán)重,以增強(qiáng)有用特征并抑制無(wú)用特征. SENet 的核心模塊是squeezeand-excitation (SE),主要分3 個(gè)步驟對(duì)特征進(jìn)行重標(biāo)定,如圖1 所示.

圖1 SE 模塊

在對(duì)特征進(jìn)行重標(biāo)定之前先進(jìn)行一個(gè)標(biāo)準(zhǔn)的卷積操作Ftr,如式(1)所示:

其中,輸入特征X∈RH'×W'×C',輸出特征U∈RH×W×C,卷積核V={v1,v2,…,vc},其中vc代表第c個(gè)卷積核. *代表卷積操作,vcs表示第s個(gè)通道的卷積核,xs表示第s個(gè)通道的輸入特征,uc表示第c個(gè)卷積核所對(duì)應(yīng)的輸出特征.

(1)Squeeze[9]即Fsq操作,該操作較為簡(jiǎn)單,主要是對(duì)特征圖進(jìn)行一個(gè)全局平均池化,從而獲取各通道的全局特征,如式(2)所示:Fsq操作將H×W×C的輸入轉(zhuǎn)換成1×1×C的輸出,也就是將每個(gè)二維的特征通道變成一個(gè)實(shí)數(shù),這個(gè)實(shí)數(shù)某種程度上具有全局的感受野,它表征著在特征通道上響應(yīng)的全局分布.

(2)Excitation[10]即Fex操作,通過(guò)兩個(gè)全連接層先降維后升維對(duì)squeeze 操作的結(jié)果進(jìn)行非線性變換,來(lái)為每個(gè)特征通道生成權(quán)值,該權(quán)值表示特征通道之間的相關(guān)性,如式(3)所示:

其中,W1z是第一個(gè)全連接層操作,W1的維度是C/r×C,z的維度是1×1×C,因此W1z的輸出維度是1×1×C/r,即通過(guò)r(維度的縮放因子)進(jìn)行了降維,然后采用ReLU 激活. 第2 個(gè)全連接層是將上個(gè)全連接層的輸出乘以W2,其中W2的維度是C×C/r,因此最終輸出的維度為1×1×C,即同squeeze 操作輸出的維度相同,最后再經(jīng)過(guò)Sigmoid 函數(shù)用于獲取各通道歸一化后的權(quán)重,得到維度為1×1×C的s,s用來(lái)表示通過(guò)之前兩個(gè)全連接層的非線性變換學(xué)習(xí)到的第C個(gè)特征圖的權(quán)值. Excitation 這種先降維后升維的操作一方面降低模型復(fù)雜度,使網(wǎng)絡(luò)具有更好的非線性,另一方面更好的擬合通道間復(fù)雜的相關(guān)性,提升了模型泛化能力.

(3)Reweight[11]即Fscale操作,將上一步excitation 操作得到的權(quán)值s通過(guò)乘法逐通道加權(quán)到原始的特征上,完成在通道維度上的對(duì)原始特征的重標(biāo)定,如式(4)所示:

總之,SE 模塊通過(guò)自動(dòng)學(xué)習(xí),以獲取每個(gè)特征通道的重要程度,然后根據(jù)各個(gè)通道的重要程度,一方面去提升有用的特征,另一方面抑制對(duì)當(dāng)前任務(wù)不相關(guān)或作用不大的特征.

1.2 VGG16 網(wǎng)絡(luò)

VGGNet[12]榮膺2014 年ImageNet 圖像分類第2名的好成績(jī),其中VGG16 是VGGNet 中分類性能最好的網(wǎng)絡(luò)之一,其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示.

圖2 VGG16 網(wǎng)絡(luò)結(jié)構(gòu)

(1)VGG16 網(wǎng)絡(luò)可分為6 段,即5 段卷積加1 段全連接,其中5 段卷積包含13 個(gè)卷積層,1 段全連接指網(wǎng)絡(luò)最后的3 個(gè)全連接層,因此VGG16 網(wǎng)絡(luò)總共有13+3=16 層.

(2)5 段卷積用以提取低、中、高各層的圖像特征,每一段有2 或3 個(gè)卷積層. 為了增加網(wǎng)絡(luò)的非線性、防止梯度消失、減少過(guò)擬合以及提高網(wǎng)絡(luò)訓(xùn)練的速度,各卷積層后均采用ReLU 激活函數(shù). 為利于捕捉細(xì)節(jié)變化,獲得更好的非線性效果并減少參數(shù)數(shù)量,每個(gè)卷積層均采用3×3 的卷積核,使得網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)潔,在必要時(shí)3×3 卷積核的堆疊還可以替代5×5、7×7 等較大的卷積核.

(3)5 段卷積的尾部均接有一個(gè)最大池化層,該池化層采用2×2 的池化核,能夠減小卷積層參數(shù)誤差造成估計(jì)值均值的偏移,更容易捕捉圖像和梯度的變化,有利于保留紋理等細(xì)節(jié)信息.

(4)VGG16 網(wǎng)絡(luò)的最后一段是3 個(gè)全連接層,全連接層中的每一個(gè)節(jié)點(diǎn)都與上一層每個(gè)節(jié)點(diǎn)連接,把前一層的輸出特征綜合起來(lái),起到分類器的作用.

總之,VGG16 網(wǎng)絡(luò)的深度為16 層,這種較深的網(wǎng)絡(luò)通過(guò)逐層的抽象,能夠不斷學(xué)習(xí)由低到高各層的特征,具有更強(qiáng)的非線性表達(dá)能力,能表達(dá)更為豐富的特征,擬合更為復(fù)雜的輸入特征. 另外,VGG16 網(wǎng)絡(luò)最開(kāi)始采用64 個(gè)3×3 卷積核,隨著網(wǎng)絡(luò)的加深,卷積核數(shù)量逐漸從64,增加到128、256、512,因此使其具有較大的網(wǎng)絡(luò)寬度,寬度的增加能使網(wǎng)絡(luò)各層學(xué)習(xí)到更為豐富的顏色、紋理等特征.

2 改進(jìn)后的VGG16 網(wǎng)絡(luò)

2.1 SE-VGGConv 模塊

SE 模塊的最大特點(diǎn)在于其內(nèi)部采用常見(jiàn)的池化及全連接層,因此具有很強(qiáng)的通用性,可以方便的嵌入到其他常見(jiàn)的網(wǎng)絡(luò)模型中. 在VGG 網(wǎng)絡(luò)模型的卷積層之后加入SE 視覺(jué)注意力單元,如圖3 所示.

圖3 SE-VGGConv 模塊

如前所述,在VGG 網(wǎng)絡(luò)的卷積層后,首先經(jīng)過(guò)一個(gè)GAP 全局平均池化層,即圖1 中的squeeze 操作,用于獲取通道級(jí)的全局特征. 然后進(jìn)入第一個(gè)FC 層進(jìn)行降維操作,用ReLU 函數(shù)激活后進(jìn)入第2 個(gè)FC 層進(jìn)行升維操作,Sigmoid 函數(shù)用于獲取各通道歸一化后的權(quán)重. Scale[8,13](即reweight 操作)將歸一化后的權(quán)重加權(quán)到每個(gè)原始通道的特征之上,實(shí)現(xiàn)了在通道維度上的對(duì)原始特征的重標(biāo)定.

2.2 SE-VGG16-BN 網(wǎng)絡(luò)模型

VGG16 因其具有較好的深度及寬度,在圖像分類的應(yīng)用具有一定的優(yōu)勢(shì),但對(duì)具有類間相似性高,類內(nèi)差異性大以及存在復(fù)雜背景干擾的花卉分類,其準(zhǔn)確率還有待提高. 因此,在VGG16 的基礎(chǔ)上引入BN 層及SE 視覺(jué)注意力單元,可以充分提取花卉分類任務(wù)中類間相似性高、類內(nèi)差異較大的敏感特征,從而提高花卉分類的準(zhǔn)確率.

在VGG16 加入BN 層及SE 視覺(jué)注意力單元后的網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示.

圖4 SE-VGG16-BN 網(wǎng)絡(luò)結(jié)構(gòu)

2.3 多損失函數(shù)融合

為擴(kuò)大花卉的類間距離,減少類內(nèi)距離,以進(jìn)一步提高花卉分類的準(zhǔn)確率,采用多損失函數(shù)融合的方式,具體如下:

交叉熵?fù)p失函數(shù)(cross-entropy cost function)經(jīng)常用于分類任務(wù)中,起著控制模型的總體走勢(shì)的作用,交叉熵?fù)p失函數(shù)的定義如下:

其中,n是批處理樣本數(shù),x為輸入,y為標(biāo)簽值,?表示實(shí)際輸出.

中心損失函數(shù)(center loss)優(yōu)勢(shì)是可以學(xué)習(xí)類內(nèi)距離更小的特征,從而減小類內(nèi)的差異,并能在一定程度上增大類間差異性,從而提高分類的準(zhǔn)確率,中心損失函數(shù)的定義如下:

其中,n是批處理樣本數(shù),xi表示yi類別的第i個(gè)特征,Cyi表示i類特征的中心值.

將交叉熵?fù)p失函數(shù)和中心損失函數(shù)進(jìn)行融合,并將其推廣至多層神經(jīng)網(wǎng)絡(luò),假設(shè)輸出神經(jīng)元的期望值是y={y1,y2,y3,…},,則融合后的計(jì)算公式如下:其中,融合系數(shù)λ的取值范圍是0–1,通過(guò)多損失函數(shù)的融合,放大了花卉的類間距離,縮小了類內(nèi)距離,加快了網(wǎng)絡(luò)的收斂速度,進(jìn)一步提高了分類的效率和準(zhǔn)確率.

“一日之計(jì)在于晨”，早晨是人們精力最充沛的時(shí)刻，此時(shí)讀書(shū)，利于記憶，吟詠背誦，往往事半功倍。學(xué)校安排學(xué)生晨讀，從時(shí)間分配與人體生理方面而言，是合理的，就晨讀內(nèi)容而言，據(jù)本人了解，各校有各校的安排、部署，而我院，則以傳統(tǒng)文化為主要朗讀、背誦的對(duì)象。

3 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)的軟硬件環(huán)境如下: 操作系統(tǒng)為Ubuntu 16.04.1 LTS,顯卡為NVIDIA GeForce GTX 1080Ti,CPU是Intel Core i7-9700K,32 GB 內(nèi)存. 采用PyTorch 1.6.0深度學(xué)習(xí)框架,Python 3.6 編程環(huán)境以及Pycharm 開(kāi)發(fā)工具.

3.1 數(shù)據(jù)集

選用牛津大學(xué)公開(kāi)的Oxford-102 花卉數(shù)據(jù)集,該數(shù)據(jù)集包括102 類花卉,每類由40–258 張圖片組成,共計(jì)8189 張花卉圖片. 由于Oxford-102 花卉數(shù)據(jù)集的數(shù)據(jù)量較小,為了防止過(guò)擬合,提高網(wǎng)絡(luò)模型的性能,對(duì)該數(shù)據(jù)集進(jìn)行了隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)、平移、裁剪、放縮等操作,通過(guò)數(shù)據(jù)增強(qiáng),將Oxford-102 數(shù)據(jù)集擴(kuò)充至8189+8189×5=49134 張.

3.2 模型訓(xùn)練及參數(shù)設(shè)置

(1)為提高訓(xùn)練的效果,加快網(wǎng)絡(luò)模型的收斂,對(duì)兩個(gè)數(shù)據(jù)集的花卉圖片按照保持長(zhǎng)寬比的方式歸一化,歸一化后的尺寸為224×224×3.

(2)將數(shù)據(jù)增強(qiáng)后的每類花卉圖片數(shù)的70%劃分為訓(xùn)練集,剩余30%作為測(cè)試集.

(3)訓(xùn)練時(shí)保留VGG16 經(jīng)ImageNet 預(yù)訓(xùn)練產(chǎn)生的用于特征提取的參數(shù),SE 單元模塊中用于放縮參數(shù)r設(shè)置為文獻(xiàn)[8]的作者所推薦的16,其余參數(shù)均使用正態(tài)分布隨機(jī)值進(jìn)行初始化.

(4)采用隨機(jī)梯度下降法來(lái)優(yōu)化模型,batchsize 設(shè)置為32,epoch 設(shè)為3000,學(xué)習(xí)率設(shè)為0.001,動(dòng)量因子設(shè)為0.9,權(quán)重衰減設(shè)為0.0005.

(5)為了防止過(guò)擬合,SE-VGG16 網(wǎng)絡(luò)模型第6 段的兩個(gè)全連接層的dropout 設(shè)置為0.5.

(6)多損失函數(shù)融合公式中λ參數(shù)的值設(shè)置為0.5.

3.3 實(shí)驗(yàn)對(duì)比與分析

(1)數(shù)據(jù)可視化

VGG16 網(wǎng)絡(luò)卷積層前36 個(gè)通道特征圖可視化如圖5 所示.

圖5 原圖及特征圖

圖5 中網(wǎng)絡(luò)底層conv1_2 主要提取的是花卉的顏色及邊緣特征,網(wǎng)絡(luò)中間層conv3_3 主要提取的是花卉的簡(jiǎn)單紋理特征,網(wǎng)絡(luò)高層conv5_3 主要提取的是花瓣、花蕊等細(xì)微的抽象特征.

本文與其他網(wǎng)絡(luò)的可視化類激活圖的效果對(duì)比如圖6 所示.

從圖6 中可以看出,與其他模型相比,本文模型的可視化類激活圖所覆蓋的范圍較大,溫度也較高,表明加入SE 視覺(jué)注意力單元后,網(wǎng)絡(luò)能夠有效提取花卉的花蕊、花瓣等顯著性區(qū)域.

圖6 可視化類激活圖

(2)分類準(zhǔn)確率對(duì)比

本文與常見(jiàn)網(wǎng)絡(luò)模型及引用文獻(xiàn)中的網(wǎng)絡(luò)模型,在Oxford-102 花卉數(shù)據(jù)集上做了比較,準(zhǔn)確率對(duì)比結(jié)果如表1 所示.

表1 Oxford-102 上不同網(wǎng)絡(luò)模型分類準(zhǔn)確率對(duì)比(%)

本文的模型比所引文獻(xiàn)中在Oxford-102 花卉數(shù)據(jù)集上平均高出近6.2 個(gè)百分點(diǎn),本文的模型比未添加SE 視覺(jué)注意力單元的VGG16 高出近15.85 個(gè)百分點(diǎn).這一方面緣于本文對(duì)數(shù)據(jù)進(jìn)行了增強(qiáng),提高了模型的泛化能力和魯棒性,另一方面本文模型中嵌入了SE 視覺(jué)注意力單元,能夠有效學(xué)習(xí)花瓣、花蕊等部分的細(xì)節(jié)的信息,從而提高了模型分類的準(zhǔn)確率.

(3)損失函數(shù)效果對(duì)比

多損失函數(shù)融合在Oxford-102 花卉數(shù)據(jù)集上,與常用的交叉熵及中心損失函數(shù)對(duì)分類準(zhǔn)確率影響的對(duì)比,實(shí)驗(yàn)的結(jié)果如表2 所示.

表2 Oxford-102 上各損失函數(shù)分類準(zhǔn)確率的對(duì)比(%)

對(duì)比的結(jié)果顯示,采用多損失函數(shù)融合的方法比單獨(dú)使用交叉熵及中心損失函數(shù)在Oxford-102 花卉數(shù)據(jù)集上的分類準(zhǔn)確率分別高出0.85 及1.11 個(gè)百分點(diǎn).結(jié)果表明通過(guò)多損失函數(shù)的融合,放大了花卉的類間距離,縮小了類內(nèi)距離,進(jìn)一步提高了分類的準(zhǔn)確率.

(4)融合系數(shù)效果對(duì)比

多損失函數(shù)融合公式中融合系數(shù)λ取值對(duì)花卉分類準(zhǔn)確率影響的對(duì)比,實(shí)驗(yàn)的結(jié)果如表3 所示.

表3 Oxford-102 上融合系數(shù)λ 對(duì)分類準(zhǔn)確率的影響

實(shí)驗(yàn)結(jié)果顯示隨著融合系數(shù)λ的增長(zhǎng),在Oxford-102花卉數(shù)據(jù)集上,分類的準(zhǔn)確率逐漸提高,當(dāng)λ=0.5 時(shí),準(zhǔn)確率達(dá)到最高,之后又逐漸下降. 實(shí)驗(yàn)表明交叉熵?fù)p失函數(shù)在總體上控制著模型的走勢(shì),中心損失函數(shù)能夠捕捉并學(xué)習(xí)類內(nèi)距離更小的特征,兩者的適度融合,可以有效提高花卉分類的準(zhǔn)確率.

(5)BN 層效果對(duì)比

當(dāng)λ=0.5 時(shí),未加入BN 層及加入BN 層后的分類準(zhǔn)確率效果對(duì)比分別如圖7、圖8 所示.

圖7 未加入BN 層的分類準(zhǔn)確率效果

圖8 加入BN 層后的分類準(zhǔn)確率效果

實(shí)驗(yàn)結(jié)果顯示,未加入BN 層的曲線收斂較慢,在2400 個(gè)epoch 時(shí)才逐漸趨于穩(wěn)定,而加入BN 層的模型曲線收斂的較快,在1200 個(gè)epoch 時(shí)已經(jīng)基本趨于穩(wěn)定. 實(shí)驗(yàn)表明,在模型中加入BN 層后,能夠利用小批量上的均值和標(biāo)準(zhǔn)差,使網(wǎng)絡(luò)中間層參數(shù)服從于相同的分布,加快了網(wǎng)絡(luò)的訓(xùn)練和收斂的速度,防止梯度爆炸及梯度消失,使模型變得更加穩(wěn)定.

4 結(jié)論與展望

本文在VGG16 網(wǎng)絡(luò)模型的基礎(chǔ)上,引入視覺(jué)注意力機(jī)制. 通過(guò)將SE 視覺(jué)注意力模塊嵌入到VGG16 網(wǎng)絡(luò)模型的各卷積層之后,以提取花卉顯著性區(qū)域的圖像特征; 各卷積層之后分別加入BN 層,有效防止了梯度爆炸及梯度消失,加快了網(wǎng)絡(luò)的訓(xùn)練和收斂的速度;采用多損失函數(shù)融合的方式對(duì)新模型進(jìn)行訓(xùn)練,放大了花卉的類間距離,縮小了類內(nèi)距離,進(jìn)一步提高了花卉分類的準(zhǔn)確率. 實(shí)驗(yàn)結(jié)果表明,新模型在Oxford 102數(shù)據(jù)集上的準(zhǔn)確率比未引入注意力前有較大的提升.