周文進(jìn)， 李 凡， 薛 峰

(昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500)

0 引言

蝴蝶(錘角亞目)，隸屬于昆蟲綱第二大目(鱗翅目)，全世界已知鱗翅目昆蟲數(shù)量多達(dá)20余萬種，其中蝶類約占十分之一[1]。蝴蝶與人類關(guān)系密切，不同種類的蝴蝶品種會對人類生產(chǎn)生活產(chǎn)生有益或有害的影響。由于其對環(huán)境變化的敏感，近年來，珍稀品種的蝴蝶數(shù)量急劇減少，因此，探索一種環(huán)保、智能的蝴蝶分類鑒定方法具有十分重要的實際意義，也是保護(hù)眾多珍稀蝴蝶品種的重要基礎(chǔ)。

近年來，隨著人工智能領(lǐng)域的突破與發(fā)展，越來越多的研究者投入到蝴蝶的識別研究中。傳統(tǒng)的研究方法通過提取蝴蝶的顏色、紋理、形狀等局部特征[2]并結(jié)合不同類型的分類器，在部分品種的蝴蝶標(biāo)本自動識別研究中取得了一些成果。Li等[3]通過多尺度曲率直方圖(HoMSC)和圖像塊的灰度共生矩陣(GLCMoIB)特征提取方法的設(shè)計，結(jié)合KNN分類器實現(xiàn)了50種蝴蝶標(biāo)本圖像的自動識別。Chen等[4]提出了一種新的特征描述方法(高斯卷積角)來描述蝴蝶標(biāo)本圖像中復(fù)雜的靜脈特征和紋理特征，在公開數(shù)據(jù)集上對10種蝴蝶進(jìn)行了有效識別。然而，蝴蝶翅面的自然形態(tài)、紋理特征十分復(fù)雜，很難通過函數(shù)表達(dá)或統(tǒng)計描述的方式進(jìn)行精準(zhǔn)表達(dá)，同時，這類算法復(fù)雜度大，當(dāng)待識別種類數(shù)量增加時，模型運(yùn)算量急劇增加，識別效率受到很大影響。

謝娟英等[5]制作了中國蝴蝶數(shù)據(jù)集，在Faster R-CNN基礎(chǔ)上對94種蝴蝶進(jìn)行了識別，其模型的mAP最低值接近60%；之后Xie等[6]又在其數(shù)據(jù)集的基礎(chǔ)上提出新的數(shù)據(jù)劃分方式與數(shù)據(jù)擴(kuò)充技術(shù)，在RetinaNet模型上實現(xiàn)了最好mAP為79.7%的識別效果。魏宏彬等[7]在YOLOv3的基礎(chǔ)上，結(jié)合新的邊界框回歸損失函數(shù)DIoU實現(xiàn)了蔬菜的自動識別。然而蝴蝶物種分類粒度極為細(xì)致，同一屬中種類多且形態(tài)差異小，簡單采用針對其他對象識別問題研發(fā)的網(wǎng)絡(luò)模型，很難取得較好的特征學(xué)習(xí)效果，尤其針對親緣關(guān)系較近的蝴蝶種類，有區(qū)分效果的細(xì)微局部差異更是無法獲取。此外，現(xiàn)有的基于深度學(xué)習(xí)模型性能的提升主要通過增加網(wǎng)絡(luò)層數(shù)實現(xiàn)，這將帶來模型參數(shù)激增、訓(xùn)練過程冗長、不易收斂等問題。

綜上，本文針對野外蝴蝶圖像自動識別性能的提升問題，通過構(gòu)建一個包含200種蝴蝶的混合數(shù)據(jù)集(其中包含野外拍攝的蝴蝶圖像及室內(nèi)拍攝的蝴蝶標(biāo)本圖像)的方式解決現(xiàn)有研究中高質(zhì)量樣本數(shù)據(jù)缺乏的情況，并在此基礎(chǔ)上通過改進(jìn)YOLOv3主干網(wǎng)絡(luò)的方式，得到內(nèi)嵌通道注意力MultiSE1D的識別網(wǎng)絡(luò)，通過多尺度的方式提取高維特征，使網(wǎng)絡(luò)具有多種感受野，并通過一維卷積代替壓縮激勵層的方式，在避免通道特征降維的同時，能有效降低模型參數(shù)量，提升模型總體效率。

1 實驗對象及方法

1.1 數(shù)據(jù)集構(gòu)成

本文構(gòu)建的蝴蝶數(shù)據(jù)集收集自美國標(biāo)本蝴蝶網(wǎng)站(http://www.butterfliesofamerica.com)，蝴蝶分類層級為科、亞科、族、屬、種，包含4科、96屬、200種蝴蝶，每種蝴蝶均包含野外拍攝的圖像和標(biāo)本圖像，共計5 374張圖像。

數(shù)據(jù)集包含野外拍攝的自然狀態(tài)蝴蝶圖像3 612張，部分圖像如圖1所示。自然狀態(tài)下的蝴蝶擬態(tài)性強(qiáng)，容易與周邊的植物等環(huán)境發(fā)生混淆。這類蝴蝶圖像數(shù)據(jù)會造成特征提取時涉及的蝴蝶主體信息太少，因此本文在為數(shù)據(jù)集選取野外圖像時擯棄了只有一張圖像的種類。野外蝴蝶各種類圖像數(shù)量最少的有2張，最多的有117張，大多數(shù)蝴蝶種類圖像在50張以內(nèi)。

圖1 6種野外蝴蝶圖像Figure 1 6 kinds of wild butterfly images

蝴蝶數(shù)據(jù)集中的標(biāo)本圖像共有1 762張，部分標(biāo)本圖像如圖2所示，圖像呈現(xiàn)的是蝴蝶的正面與背面，背景統(tǒng)一為白色，紋理顏色都比較清晰，且每張標(biāo)本圖像只包含一只蝴蝶，與野外圖像相比，標(biāo)本圖像包含了蝴蝶身體部位的全部信息。為了在實驗中不制造額外的變量，本文在為數(shù)據(jù)集選取標(biāo)本圖像時擯棄了破損、褪色嚴(yán)重的標(biāo)本。標(biāo)本蝴蝶各種類圖像中，絕大多數(shù)蝴蝶種類有10張圖像，每個種類至少有正背面2張圖像。

圖2 標(biāo)本圖像中蝴蝶的正面與背面Figure 2 Front and back of butterfly in specimen image

1.2 數(shù)據(jù)集標(biāo)注與劃分

1.2.1 數(shù)據(jù)集標(biāo)注

本文使用Labellmg標(biāo)注工具對數(shù)據(jù)集圖像進(jìn)行位置標(biāo)注，標(biāo)注方式如圖3所示，種類標(biāo)注采用二名法(學(xué)名由屬名與種名組成)，如：Papilio indra。標(biāo)注野外圖像蝴蝶位置時盡量使標(biāo)注區(qū)域包含觸角，為了不引入太多不必要的背景，會擯棄過長的觸角；標(biāo)注標(biāo)本圖像蝴蝶位置時，只標(biāo)注蝴蝶的主體位置，擯棄多余的白色背景，一方面與野外蝴蝶位置標(biāo)注保持一致，另一方面提高蝴蝶主體特征提取效果。

圖3 蝴蝶圖像中蝴蝶主體標(biāo)注方式Figure 3 Annotation method of butterfly body in butterfly image

1.2.2 數(shù)據(jù)集劃分

本文將蝴蝶數(shù)據(jù)集中野外圖像按照訓(xùn)練集、測試集各80%、20%的比例進(jìn)行劃分。根據(jù)訓(xùn)練集的不同制作了3種數(shù)據(jù)集：數(shù)據(jù)集1中訓(xùn)練集包含2 806張野外圖像，0張標(biāo)本圖像；數(shù)據(jù)集2中訓(xùn)練集包含0張野外圖像，1 762張標(biāo)本圖像；數(shù)據(jù)集3中訓(xùn)練集包含2 806張野外圖像與1 762張標(biāo)本圖像。本文的目標(biāo)是野外蝴蝶的識別，因此上述3種數(shù)據(jù)集的測試集均為相同的野外蝴蝶圖像，有806張圖像。選擇上述劃分?jǐn)?shù)據(jù)集的方式是因為通過分析野外圖像與標(biāo)本圖像的特點，發(fā)現(xiàn)野外圖像中的蝴蝶由于姿態(tài)、拍攝角度、遮擋、聚集等生物習(xí)性缺失了很多蝴蝶主體信息，而且有的種類野外圖像資源非常少，特別是10張樣本以內(nèi)的，更加劇了蝴蝶主體信息的缺失，這樣提取出來的特征不足以識別測試集中的樣本，而且蝴蝶物種粒度極為細(xì)致，一個屬下的種相似度非常高，甚至可能無法識別，而標(biāo)本蝴蝶圖像正反面提供了完整的蝴蝶主體信息，可以彌補(bǔ)野外蝴蝶圖像缺失的特征。

1.3 模型網(wǎng)絡(luò)結(jié)構(gòu)

本文采用YOLOv3[8]作為所有提出的網(wǎng)絡(luò)模型的基線架構(gòu)，模型網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，ConvBlock1～ConvBlock5為各階段卷積塊，括號內(nèi)給出了每個卷積塊的特征圖邊長、通道數(shù)，Conv2D為二維卷積，Pool表示最大池化。Backbone(主干網(wǎng)絡(luò))選用輕量高效的特征提取網(wǎng)絡(luò)Tiny-darknet，特征提取網(wǎng)絡(luò)共7個卷積層，相鄰卷積層間夾雜最大池化層進(jìn)行下采樣，整個網(wǎng)絡(luò)結(jié)構(gòu)中沒有全連接層，并在主干網(wǎng)絡(luò)中加入了改進(jìn)的基于SENet[9]通道注意力網(wǎng)絡(luò)MultiSE1D。Neck(檢測頸)為兩級的特征金字塔結(jié)構(gòu)。Detection head(檢測頭)接收Neck中輸出的兩種尺度的特征圖對不同大小的目標(biāo)進(jìn)行檢測：第一個尺度特征圖下采樣比較高，達(dá)到了32倍，適合于檢測圖像中等和大目標(biāo)；另一個尺度特征圖通過拼接得到，下采樣倍數(shù)為16，此處的特征圖感受視野一般，適用于較小目標(biāo)檢測。每種尺寸特征圖的通道數(shù)C計算如下：

C=3(N+5)。

(1)

式中：3表示該尺度下每個網(wǎng)格中先驗框的數(shù)量； 5表示預(yù)測框的5個參數(shù)，分別為坐標(biāo)、寬高、置信度；N表示要預(yù)測的種類個數(shù)，在本文中N為200。

將改進(jìn)SENet后的注意力網(wǎng)絡(luò)(MultiSE1D)放置在主干網(wǎng)絡(luò)的第7個卷積后，使得兩個尺度的特征圖都能共享到注意力網(wǎng)絡(luò)的參數(shù)，同時高維特征經(jīng)過注意力網(wǎng)絡(luò)后的特征維度并沒有發(fā)生改變，使其可以十分方便地移植到任何主干網(wǎng)絡(luò)中。

圖4 模型網(wǎng)絡(luò)結(jié)構(gòu)Figure 4 Structure diagram of model network

1.4 MultiSE1D通道注意力網(wǎng)絡(luò)

本文嵌入主干網(wǎng)絡(luò)的MultiSE1D注意力網(wǎng)絡(luò)如圖5所示，Block1～Block6為各階段卷積塊，括號內(nèi)給出了每個卷積塊的特征圖邊長、通道數(shù)，Conv1D為一維卷積。卷積塊Block1經(jīng)過兩種尺度的卷積提取得到2個卷積塊Block2、Block3，為后面生成的通道注意力權(quán)重具有兩種感受野信息提供依據(jù)，Block4由2個卷積塊相加得到，具有兩種感受野，可以更好地反映圖像中局部信息與不同尺度的主體信息。Block4經(jīng)池化后每個通道特征圖邊長變?yōu)?×1，由于一維卷積輸入為三維，并且本文是對Block5通道作一維卷積，所以在Block5進(jìn)入一維卷積之前要進(jìn)行降維與轉(zhuǎn)置操作，并在一維卷積之后進(jìn)行轉(zhuǎn)置與升維恢復(fù)原來形式，再通過Sigmoid函數(shù)得到通道注意力權(quán)重Block6，在這個過程中沒有使用全連接層，并且Block5的通道進(jìn)行一維卷積時沒有發(fā)生降維，始終為1 024。網(wǎng)絡(luò)最后得到的MultiSE1D與原始Block1的特征圖相比獲得了局部跨通道聯(lián)系。

圖5 MultiSE1D網(wǎng)絡(luò)結(jié)構(gòu)圖Figure 5 Structure diagram of MultiSE1D network

1.4.1 多尺度通道注意力網(wǎng)絡(luò)構(gòu)建

由于壓縮激勵網(wǎng)絡(luò)原始模型[9]可以有效地利用圖像全局信息，因此本文首先對高維特征的每個獨(dú)立通道采取了全局平均池化，并通過兩個全連接層(壓縮激勵層)的結(jié)合，實現(xiàn)了非線性通道間的相互作用，最后經(jīng)過一個Sigmoid函數(shù)生成了通道權(quán)重XSE：

XSE=σ(FC1RELUFC2(φ(X)))。

(2)

原始的通道注意力[9]在高維特征中提取通道相關(guān)性是通過單一支路用固定的卷積核卷積實現(xiàn)的，這意味著網(wǎng)絡(luò)在提取特征時只能擁有單一的感受野，實際上可以用5×5、7×7等其他奇數(shù)卷積核來提取特征，參考Li等[11]使用不同的卷積核來獲取不同的感受野方法，對通道注意力提取高維特征的方法作出調(diào)整，圖5中Block2、Block3分別為使用兩種卷積核的卷積提取特征得到的卷積塊，這樣網(wǎng)絡(luò)獲取了多種感受野，可以更好地反映圖像中局部信息與不同尺度的主體信息，然后把多種感受野特征相加在一起作為通道注意力網(wǎng)絡(luò)的輸入，得到多尺度通道特征權(quán)重XMultiSE：

(3)

式中：n表示不同的卷積核尺度；fConv2D(·)表示二維卷積操作，為了不增加模型復(fù)雜度，在實驗中直接選取了3×3、5×5的兩種奇數(shù)卷積核。

1.4.2 非壓縮-激勵的通道注意力網(wǎng)絡(luò)構(gòu)建

通道注意力網(wǎng)絡(luò)幾乎都是通過壓縮激勵層(FC1RELUFC2)、Sigmoid函數(shù)來獲得通道權(quán)重，然而網(wǎng)絡(luò)中存在全連接層會導(dǎo)致模型參數(shù)大幅增加。空間注意力(CBAM)[10]將全連接層換成了卷積層來減少參數(shù)也取得了同樣的檢測效果。壓縮激勵層通常為了減少模型復(fù)雜度而進(jìn)行降維，然而其通道特征首先被投影到低維空間，再將其映射回來，使得通道特征與其權(quán)重之間的對應(yīng)是間接的，破壞了二者的直接對應(yīng)關(guān)系，同時全連接層考慮了所有通道間的影響。本文更注重圖像局部變化，而一維卷積操作具有局部性，充分考慮了相鄰?fù)ǖ篱g的影響?？紤]到以上問題，參考文獻(xiàn)[12]方法，本文對多尺度通道注意力作出調(diào)整，圖5中的Conv1D與原始通道注意力的區(qū)別主要體現(xiàn)在壓縮激勵層被自適應(yīng)卷積核的一維卷積代替，因此式(2)中XSE調(diào)整為

(4)

(5)

t=0.5log2C。

(6)

2 實驗

本文使用Pytorch構(gòu)建識別網(wǎng)絡(luò)，在構(gòu)建的3類數(shù)據(jù)集上實驗。實驗中的硬件條件為CPU：Inter CORE i5 9th Gen，8 GB RAM；GPU：NVIDA GeForce GTX 1050 (3G)。為加快模型收斂速度，實驗中使用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練過的權(quán)重并在本文數(shù)據(jù)集上進(jìn)行微調(diào)，總共訓(xùn)練300個epoch，batch-size設(shè)為4，其他超參數(shù)使用默認(rèn)值。模型初始學(xué)習(xí)率設(shè)置為0.01，學(xué)習(xí)率的調(diào)整策略采用余弦退火衰減[13]，學(xué)習(xí)率隨著epoch的增加而遞減，剛開始學(xué)習(xí)率下降比較緩慢，當(dāng)訓(xùn)練到一半時學(xué)習(xí)率下降速度變快，最終接近0.000 5，整個學(xué)習(xí)率變化類似于余弦曲線。

2.1 評價指標(biāo)

本文采用交并比 (IoU)作為蝴蝶的定位指標(biāo)，在本文中取IoU的閾值為0.5，真實框與其對應(yīng)網(wǎng)格所有的先驗框都產(chǎn)生IoU，取最大值為正例，正例產(chǎn)生置信度損失、檢測框損失、類別損失，小于IoU閾值的預(yù)測框作為負(fù)例，只產(chǎn)生置信度損失；大于IoU閾值的預(yù)測框(正例除外)將作為忽略樣例，不產(chǎn)生任何損失。本文采用平均精度均值mAP來評價野外蝴蝶的分類情況。mAP是一種衡量模型在所有類別上平均精度的指標(biāo)，計算如下：

(7)

式中：N為測試集中的野外蝴蝶種數(shù)，在本文中N為200；AP為平均精度，為PR曲線的積分，即精度與召回率曲線下方的面積，可由式(8)～(10)計算

(8)

(9)

(10)

式中：P為PR曲線的縱坐標(biāo)；R為PR曲線的橫坐標(biāo)；TP為被正確劃分為正例的個數(shù)；FP為被錯誤劃分為正例的個數(shù)；FN為被錯誤劃分為負(fù)例的個數(shù)。

2.2 實驗結(jié)果與分析

為了從本文提出的3個數(shù)據(jù)集中確定最佳數(shù)據(jù)集，使用原始的YOLOv3模型(實驗中稱為Baseline)分別在3種數(shù)據(jù)集上進(jìn)行實驗，實驗結(jié)果如表1所示，在數(shù)據(jù)集1上的mAP達(dá)到了67.1%，在數(shù)據(jù)集2上的mAP只有18.1%，最后在數(shù)據(jù)集3上進(jìn)行實驗得到了80.7%的mAP，比在數(shù)據(jù)集1的結(jié)果提升了13.6百分點，提升幅度接近于在數(shù)據(jù)集2上的mAP，說明在訓(xùn)練集中加入標(biāo)本圖像可以很好地補(bǔ)充野外蝴蝶圖像各種不可避免的特征損失，為野外蝴蝶的分類補(bǔ)充了關(guān)鍵因素。

表1 Baseline在不同數(shù)據(jù)集上的性能Table 1 Performance of Baseline on different datasets

確定好最佳數(shù)據(jù)集后，為Baseline添加通道注意力以進(jìn)一步提升模型分類能力，實驗結(jié)果如表2所示。表2中SENet為文獻(xiàn)[9]原始的壓縮激勵網(wǎng)絡(luò)，添加到Baseline后在數(shù)據(jù)集1上mAP提升了2.3百分點，然而在數(shù)據(jù)集3上的mAP沒有提升，反降了1.2百分點，說明原始的通道注意力并不能很好地適應(yīng)含有標(biāo)本圖像的數(shù)據(jù)集。

表2 SENet、MultiSE、MultiSE1D分別加入Baseline在數(shù)據(jù)集上的性能Table 2 Performance of SENet, MultiSE and MultiSE1D on dataset 3 after adding Baseline

分析數(shù)據(jù)集3中同一物種的野外圖像與標(biāo)本圖像，野外照中蝴蝶主體大致占據(jù)整張圖像的1/3，而標(biāo)本照中蝴蝶主體基本占據(jù)了整張圖像，這樣訓(xùn)練集中就有兩種截然不同的蝴蝶主體尺寸，SENet中提取高維特征直接對每個通道進(jìn)行全局平均池化，這樣顯然不符合數(shù)據(jù)集3的情況，沒有多尺度的特征提取與之對應(yīng)。MultiSE為采用多尺度提取特征的注意力網(wǎng)絡(luò)，在數(shù)據(jù)集3上的mAP達(dá)到了82.2%，相較SENet提升了2.7百分點，說明多尺度提取的方法可以更好地提取圖像特征，更適合標(biāo)本與野外蝴蝶圖像混合的數(shù)據(jù)集。

然而性能的提升卻帶來模型參數(shù)的增加，如表2參數(shù)量所示，MultiSE比SENet參數(shù)增加了近4倍，為了減少模型參數(shù)，同時避免注意力網(wǎng)絡(luò)中的壓縮激勵層的降維，調(diào)整MultiSE得到?jīng)]有全連接層同時不需要降維的MultiSE1D，在數(shù)據(jù)集3上的mAP達(dá)到了83.2%，較調(diào)整前提升了1百分點，參數(shù)量減少了1.6×106，說明一維卷積和避免降維的方法是有效的。

為了進(jìn)一步驗證本文注意力網(wǎng)絡(luò)MultiSE1D的有效性，在Baseline中加入其他注意力網(wǎng)絡(luò)：SESADRN[14]、GCNet[15]，在本文數(shù)據(jù)集3上的實驗結(jié)果如表3所示，加入SESADRN、GCNet 之后模型的mAP出現(xiàn)不同程度的小幅下降，MultiSE1D的mAP比二者都高了近3百分點。由于采用的數(shù)據(jù)集不同，本文只使用兩種注意力網(wǎng)絡(luò)的核心方法，其他實驗因素?zé)o法保證一致，表3中實驗數(shù)據(jù)只說明其方法在本文數(shù)據(jù)集上的一般性，MultiSE1D更適用于標(biāo)本與野外圖像混合的數(shù)據(jù)集。

表3 SESADRN、GCNet、MultiSE1D加入Baseline在數(shù)據(jù)集3上的性能Table 3 Performance of SESADRN, GCNetand MultiSE1D on dataset 3 after adding Baseline

最后分別選取目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN[16]、SSD[17]、YOLOv3[8]、EfficientDet[18]、YOLOv4[19]在數(shù)據(jù)集3上進(jìn)行實驗，實驗時控制上述網(wǎng)絡(luò)輸入圖像尺寸、學(xué)習(xí)率、epoch、batch-size與本文實驗保持一致，實驗的硬件環(huán)境也一致，均沒有使用數(shù)據(jù)在線擴(kuò)增策略，不同點在于網(wǎng)絡(luò)模型使用的主干網(wǎng)絡(luò)不同，不同網(wǎng)絡(luò)的Neck與Detection head也不同，實驗結(jié)果以及每個檢測模型使用的主干網(wǎng)絡(luò)如表4所示。結(jié)果表明，本文內(nèi)嵌通道注意力MultiSE1D的識別網(wǎng)絡(luò)對野外蝴蝶的識別是有效的。

表4 不同目標(biāo)檢測網(wǎng)絡(luò)模型在數(shù)據(jù)集3上的性能Table 4 Performance of different target detection network models on dataset 3

3 結(jié)論

針對野外蝴蝶數(shù)字圖像分類粒度細(xì)致、同屬間分類特征差異小、與周邊環(huán)境容易混淆等特點，本文提出了一種改進(jìn)YOLOv3主干網(wǎng)絡(luò)的方案，實現(xiàn)了內(nèi)嵌通道注意力的MultiSE1D識別網(wǎng)絡(luò)模型。該模型通過多尺度提取特征使網(wǎng)絡(luò)具有多種感受野，能更好地學(xué)習(xí)圖像中各種尺度的蝴蝶主體特征及局部分類特征；通過將全連接層替換為一維卷積的方式，有效避免了通道特征的降維，在獲得通道特征與通道權(quán)重直接聯(lián)系的同時，有效降低了模型參數(shù)量。該模型通過在本文自建混合數(shù)據(jù)集上的訓(xùn)練及參數(shù)優(yōu)化，獲得了分辨親緣關(guān)系較近的不同蝴蝶種類野外圖像的能力。從本文對比實驗結(jié)果可以看出，該方法可實現(xiàn)200種蝴蝶的野外圖像自動識別，取得了mAP最高為83.2%的識別效果。相較于現(xiàn)有方法，本文改進(jìn)的識別網(wǎng)絡(luò)可以有效提升原模型提取蝴蝶圖像特征的準(zhǔn)確性及細(xì)節(jié)特征的學(xué)習(xí)能力，能為野外蝴蝶數(shù)字圖像的種類識別問題提供有效的解決方案。