李國瑞 何小海 吳曉紅 卿粼波 滕奇志

(四川大學(xué) 四川 成都 610065)

0 引 言

細(xì)粒度圖像識(shí)別是深度學(xué)習(xí)領(lǐng)域的重要研究方向，其目的是對(duì)屬于同一基礎(chǔ)類別的圖像進(jìn)行更加細(xì)致的從屬類別劃分，由于從屬類別內(nèi)部之間差別細(xì)微，細(xì)粒度圖像識(shí)別任務(wù)相較于傳統(tǒng)通用圖像識(shí)別任務(wù)難度更高。近年來，隨著我國生態(tài)保護(hù)事業(yè)的蓬勃發(fā)展，物種監(jiān)控圖像視頻數(shù)量劇增，生物種類識(shí)別的需求也劇增。細(xì)粒度鳥類識(shí)別成為其中重要的任務(wù)之一，其識(shí)別結(jié)果可以幫助生物學(xué)家有效監(jiān)控鳥類種群分布及生態(tài)環(huán)境的變遷。目前，針對(duì)細(xì)粒度圖像識(shí)別任務(wù)，大多數(shù)研究都以卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural networks，CNN)為基礎(chǔ)，主要分為基于強(qiáng)監(jiān)督學(xué)習(xí)的細(xì)粒度圖像識(shí)別和基于弱監(jiān)督學(xué)習(xí)的細(xì)粒度圖像識(shí)別兩大類[1]。

基于強(qiáng)監(jiān)督學(xué)習(xí)的細(xì)粒度圖像識(shí)別，除了使用圖像真實(shí)類別標(biāo)簽以外，還使用了目標(biāo)標(biāo)注框坐標(biāo)等局部語義標(biāo)注信息。Wei等[2]提出的Mask-CNN，是首個(gè)端到端地將深度卷積特征運(yùn)用到物體檢測(cè)的細(xì)粒度圖像識(shí)別模型。基于強(qiáng)監(jiān)督學(xué)習(xí)的細(xì)粒度圖像識(shí)別方法使用了局部語義標(biāo)注信息，相較于傳統(tǒng)CNN方法，檢測(cè)精度和模型泛化性能均有明顯提升。但由于人工標(biāo)注成本昂貴，且不能確保局部語義的有效性，此類算法在實(shí)際應(yīng)用中受到限制。因此，目前主流的研究方法基于弱監(jiān)督學(xué)習(xí)的思想，其優(yōu)點(diǎn)在于，模型僅使用圖像真實(shí)類別標(biāo)簽，不再使用局部語義標(biāo)注，也能準(zhǔn)確定位到局部關(guān)鍵區(qū)域，得到與基于強(qiáng)監(jiān)督學(xué)習(xí)相當(dāng)?shù)臏?zhǔn)確率。Yu等[3]提出HBP模型，開發(fā)了一種簡(jiǎn)單有效的跨層雙線性池化技術(shù)，以一種相互增強(qiáng)的方式學(xué)習(xí)圖像的細(xì)粒度表征。Yang等[4]首次提出一種新穎的自監(jiān)督機(jī)制網(wǎng)絡(luò)NTS-Net，可以有效定位出關(guān)鍵區(qū)域而無需局部語義標(biāo)注信息，在廣泛的基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能。

盡管對(duì)細(xì)粒度圖像識(shí)別的研究已經(jīng)取得了不少成果，但仍有諸多問題亟待解決。本文工作基于弱監(jiān)督學(xué)習(xí)的思想，主要解決細(xì)粒度鳥類識(shí)別的兩大難點(diǎn)：第一是在沒有局部語義標(biāo)注的情況下，自動(dòng)定位到具有有效信息的關(guān)鍵區(qū)域；第二是提出一種有效的特征融合方式以提高最終分類性能。

1 相關(guān)基礎(chǔ)網(wǎng)絡(luò)

1.1 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)(ResNet)[5]首次提出殘差塊結(jié)構(gòu)，其基本結(jié)構(gòu)如圖1所示。該結(jié)構(gòu)在增加網(wǎng)絡(luò)深度的同時(shí)，能有效減少網(wǎng)絡(luò)參數(shù)量，防止過擬合現(xiàn)象發(fā)生，一定程度上避免網(wǎng)絡(luò)性能隨深度增加而降低。

圖1 ResNet網(wǎng)絡(luò)殘差塊結(jié)構(gòu)

ResNet有不同的網(wǎng)絡(luò)層數(shù)，其中ResNet-50共有50層網(wǎng)絡(luò)層，分為Conv_1層、Conv_2層、Conv_3層、Conv_4層和Conv_5層，Conv_1層為1個(gè)單獨(dú)卷積層，Conv_2層到Conv_5層分別包含3、4、6、3個(gè)殘差塊結(jié)構(gòu)，Conv_5層后為全局均值池化層(Global Average Pooling，GAP)，GAP層后為全連接層(Fully Connected Layers，F(xiàn)C)。

1.2 區(qū)域建議網(wǎng)絡(luò)

Ren等[6]在多目標(biāo)檢測(cè)中提出區(qū)域建議網(wǎng)絡(luò)(Region Proposal Networks，RPN)，利用CNN卷積操作后的特征圖譜生成具有有效信息的區(qū)域，代替了選擇性搜索等方法，在檢測(cè)速度上提升明顯。

RPN是一種全卷積神經(jīng)網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)沒有全連接層，所以該網(wǎng)絡(luò)能接受任意尺寸的圖像輸入，輸出一系列圖像局部矩形區(qū)域坐標(biāo)及每個(gè)區(qū)域是目標(biāo)和背景的概率得分，原理如圖2所示。錨點(diǎn)是特征圖譜上的一個(gè)像素映射到原圖像上的像素位置，對(duì)應(yīng)于一組預(yù)先設(shè)定的k1個(gè)不同尺度和k2個(gè)寬高，以相應(yīng)錨點(diǎn)為中心，生成k=k1×k2錨點(diǎn)框。對(duì)于m×m大小的特征圖譜，采用3×3×256卷積核進(jìn)行卷積，得到m×m×256維向量，再用大小為1×1×2k卷積核對(duì)每個(gè)256維向量進(jìn)行卷積，從而得到對(duì)應(yīng)的2k個(gè)置信度，代表特征圖譜上相應(yīng)像素對(duì)應(yīng)原圖像上的錨點(diǎn)對(duì)應(yīng)的錨點(diǎn)框前景和背景的概率。同時(shí)，用1×1×4大小卷積核對(duì)256維向量進(jìn)行卷積操作，得到4k個(gè)錨點(diǎn)框的位置信息，每個(gè)錨點(diǎn)框的位置信息由矩形框的左上角點(diǎn)的橫坐標(biāo)偏移量、縱坐標(biāo)偏移量和矩形框的長度偏移量、寬度偏移量共4個(gè)數(shù)據(jù)組成。

圖2 RPN核心原理圖

RPN網(wǎng)絡(luò)會(huì)產(chǎn)生大量的候選框坐標(biāo)，因此存在對(duì)同一目標(biāo)產(chǎn)生多個(gè)近似的候選框。Neubeck等[7]提出的非極大值抑制(Non-MaximumSuppression，NMS)算法，能有效去除同一目標(biāo)冗余的候選框，保留信息含量最豐富的候選框。首先，對(duì)同一類別的候選框按RPN網(wǎng)絡(luò)得分高低排序，選出得分最高的候選框；其次，遍歷剩余得分候選框，計(jì)算與當(dāng)前最高得分候選框的重疊面積(Intersection over Union，IoU)，設(shè)為S，如果S大于一定閾值，將該遍歷的候選框刪除；重復(fù)前面步驟，直到所有的剩余候選框都和得分最高的候選框比較過，留下非冗余候選框。S的計(jì)算方法如下：

(1)

式中：A代表得分最高的候選框區(qū)域，B代表每次遍歷的候選框區(qū)域，A∩B表示區(qū)域A、B交集部分的面積，A∪B表示區(qū)域A、B并集部分的面積。

2 細(xì)粒度鳥類識(shí)別網(wǎng)絡(luò)模型

針對(duì)細(xì)粒度鳥類識(shí)別的兩大難點(diǎn)，本文提出如圖3所示的細(xì)粒度鳥類識(shí)別網(wǎng)絡(luò)模型。該模型由3種網(wǎng)絡(luò)組成，分為區(qū)域定位網(wǎng)絡(luò)、特征提取網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)CFF-Net。其中，特征提取網(wǎng)絡(luò)用于提取全局和局部圖像特征，且所有特征提取網(wǎng)絡(luò)共享網(wǎng)絡(luò)訓(xùn)練參數(shù)；區(qū)域定位網(wǎng)絡(luò)用于在沒有局部語義標(biāo)注信息的情況下，自動(dòng)定位出圖像中信息含量最豐富的Top-n個(gè)局部區(qū)域，且對(duì)每一個(gè)區(qū)域信息量含量打分，按大小分別排序?yàn)椋篒0，I1，I2，…，In；CFF-Net網(wǎng)絡(luò)對(duì)多個(gè)局部和全局特征進(jìn)行融合，有效結(jié)合局部與全局特征信息，提高最終分類性能。

圖3 細(xì)粒度鳥類識(shí)別網(wǎng)絡(luò)模型

2.1 特征提取網(wǎng)絡(luò)

基本特征提取網(wǎng)絡(luò)既要保證能提取有效圖像特征及較快的損失收斂速度，還要避免過擬合現(xiàn)象的發(fā)生。本文采用ResNet-50作為特征提取網(wǎng)絡(luò)，由于訓(xùn)練集圖片與測(cè)試集圖片數(shù)量相當(dāng)，在ResNet-50的GAP層后增加一個(gè)dropout層，dropout radio設(shè)為0.5，防止過擬合現(xiàn)象發(fā)生。同時(shí)修改FC層輸出參數(shù)，使其最終輸出為200維，滿足數(shù)據(jù)集類別總數(shù)。特征提取網(wǎng)絡(luò)在訓(xùn)練時(shí)加載在ImageNet圖像庫預(yù)訓(xùn)練好的模型參數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)。

2.2 區(qū)域定位網(wǎng)絡(luò)

基于弱監(jiān)督學(xué)習(xí)的細(xì)粒度圖像識(shí)別，其難點(diǎn)是在沒有局部語義標(biāo)注信息的情況下，自動(dòng)定位出具有有效信息的關(guān)鍵區(qū)域。由于圖2中原始RPN網(wǎng)絡(luò)需要局部語義標(biāo)注信息為監(jiān)督對(duì)位置進(jìn)行精細(xì)修正，因此對(duì)原始RPN網(wǎng)絡(luò)做如下精簡(jiǎn)：

(1) 刪除圖2中RPN網(wǎng)絡(luò)回歸層，直接得出對(duì)應(yīng)于原圖的局部區(qū)域坐標(biāo)，不做位置的精細(xì)修正；

(2) 修改圖2中分類層卷積核大小為1×1×256×k，只得到k個(gè)置信度，將其定義為每個(gè)錨點(diǎn)框內(nèi)所含有效信息的豐富程度，而不再代表每個(gè)錨點(diǎn)框內(nèi)目標(biāo)和背景的概率大小。

本文引入精簡(jiǎn)后的RPN，改進(jìn)提出圖4所示的區(qū)域定位網(wǎng)絡(luò)。

圖4 區(qū)域定位網(wǎng)絡(luò)原理圖

區(qū)域定位網(wǎng)絡(luò)共享特征提取網(wǎng)絡(luò)的前Conv_5層，然后引入連續(xù)的3個(gè)卷積網(wǎng)絡(luò)，在每層卷積網(wǎng)絡(luò)輸出的特征圖譜上使用精簡(jiǎn)后的RPN網(wǎng)絡(luò)。原始RPN網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)時(shí)，以最后一層卷積作為輸入，該方法在大目標(biāo)定位時(shí)性能優(yōu)異，但對(duì)于小目標(biāo)，卷積池化到最后一層時(shí)，語義信息已經(jīng)基本消失，不能很好地定位出小目標(biāo)。因此，借鑒FPN[8]網(wǎng)絡(luò)的思想，針對(duì)不同的特征圖譜層使用精簡(jiǎn)后的RPN網(wǎng)絡(luò)，較淺的特征圖譜層用于定位更小的目標(biāo)，而較深的特征圖譜層用于定位更大區(qū)域的目標(biāo)。

由于輸入圖片大小為448×448，對(duì)每一層特征圖譜選定的基準(zhǔn)錨點(diǎn)框大小分別設(shè)為64×64、128×128和256×256，單獨(dú)設(shè)置每一層錨點(diǎn)框的面積比和寬高比，共產(chǎn)生1 614個(gè)候選框與對(duì)應(yīng)的信息量得分。經(jīng)NMS算法后，選取Top-n個(gè)得分最高的候選區(qū)域，作為局部區(qū)域，將其上采樣到224×224大小，送入后續(xù)的特征提取網(wǎng)絡(luò)，其中，NMS算法中IoU取0.3。

區(qū)域定位網(wǎng)絡(luò)作為選取局部有效信息區(qū)域的重要手段，在沒有局部語義標(biāo)注信息的前提下，如何保證得分越高的區(qū)域，其所含有效信息越豐富，成為影響定位網(wǎng)絡(luò)性能的核心因素。NTS-Net提出了一種新穎的自監(jiān)督機(jī)制，將整幅圖像的類別標(biāo)簽作為局部區(qū)域圖像的類別標(biāo)簽，局部區(qū)域圖像經(jīng)特征提取網(wǎng)絡(luò)后有圖像類別標(biāo)簽作為監(jiān)督，得到置信度，即為標(biāo)定圖像(ground-truth)的概率大小。置信度越高的局部區(qū)域圖像，其所含有效信息越豐富，對(duì)應(yīng)的通過定位網(wǎng)絡(luò)的打分應(yīng)該更高。基于該思想，定義經(jīng)過區(qū)域定位網(wǎng)絡(luò)得到的前M個(gè)得分最高的區(qū)域?yàn)椋?/p>

R={R1,R2,R3,…,RM}

(2)

其得分為：

(3)

對(duì)應(yīng)的置信度為：

C={C1,C2,C3,…,CM}

(4)

由此可知，若C1>C2>C3>…>CM，則I1>I2>I3>…>IM。其損失函數(shù)定義為：

(5)

上述公式中，函數(shù)應(yīng)為非增函數(shù)，用來確保當(dāng)Cs>Ci時(shí)，Is>Ii。該損失函數(shù)能有效監(jiān)督區(qū)域定位網(wǎng)絡(luò)的打分性能，定位出局部有效信息區(qū)域，結(jié)合全局圖像信息，使最終分類性能提升。

2.3 特征融合網(wǎng)絡(luò)CFF-Net

局部區(qū)域有助于更細(xì)致地表征對(duì)象，因此融合局部區(qū)域特征和全局圖像的特征將獲得更好的分類性能。目前，局部圖像和全局圖像特征融合方式大多采用簡(jiǎn)單的級(jí)聯(lián)，不能充分利用局部區(qū)域所表達(dá)的更細(xì)微的特征信息。本文提出了一種基于跨層技術(shù)的特征融合網(wǎng)絡(luò)CFF-Net，其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 CFF-Net網(wǎng)絡(luò)結(jié)構(gòu)示意圖

區(qū)域定位網(wǎng)絡(luò)定位出前M個(gè)局部區(qū)域，經(jīng)特征提取網(wǎng)絡(luò)后，形成局部特征圖譜A1、A2、A3、…，與全局特征圖譜F分別進(jìn)行點(diǎn)乘操作。該過程可用以下公式表示：

Fk=Ak⊙Fk=1,2,…,M

(6)

點(diǎn)乘操作得到的特征圖譜，經(jīng)GAP層后得到特征向量，該過程可定義為：

fk=(Fk)

(7)

CFF-Net整個(gè)特征融合過程可用如下公式表示：

P=

(8)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文所用數(shù)據(jù)集CUB-200-2011，是一個(gè)鳥類公共圖片數(shù)據(jù)庫，包含200種鳥類，共計(jì)11 788幅圖片。其中5 994幅為訓(xùn)練集，5 794幅為測(cè)試集。圖6展示了數(shù)據(jù)集中兩種不同種類的鳥類，如果觀察者沒有相關(guān)領(lǐng)域的專業(yè)知識(shí)，很難區(qū)分兩種鳥類，而該數(shù)據(jù)集包含很多類似細(xì)微差別的種類。

圖6 數(shù)據(jù)集中兩種鳥類對(duì)比

3.2 模型訓(xùn)練

本文實(shí)驗(yàn)使用GPU為Nvidia GTX1080Ti，顯存11 GB，CPU為Inter Core i5 7500，內(nèi)存為8 GB，使用CUDA 8.0，操作系統(tǒng)為Ubuntu 16.04, 深度學(xué)習(xí)框架使用Pytorch-0.4.1。

本文所提細(xì)粒度鳥類識(shí)別網(wǎng)絡(luò)能實(shí)現(xiàn)端到端地的訓(xùn)練。實(shí)現(xiàn)細(xì)節(jié)中，batch_size設(shè)為10，初始學(xué)習(xí)率設(shè)為0.001，每過60次epoch學(xué)習(xí)率變?yōu)樵瓉硎种?，使用SGD優(yōu)化器。圖7展示了訓(xùn)練時(shí)總損失的收斂情況，可以看出，在40次epoch后總損失不再明顯下降，50次epoch后總損失幾乎不再變化。其原因?yàn)椋簩W(xué)習(xí)率設(shè)置過大，導(dǎo)致梯度來回震蕩。因此60次epoch后將學(xué)習(xí)率降低，可見總損失繼續(xù)收斂。

圖7 訓(xùn)練損失迭代

3.3 區(qū)域定位網(wǎng)絡(luò)性能測(cè)試

圖8展示了本文改進(jìn)的區(qū)域定位網(wǎng)絡(luò)在數(shù)據(jù)集上定位的前4個(gè)得分最高的局部區(qū)域?？梢?，定位的局部信息區(qū)域基本包括了鳥類的頭部、軀干及翅膀等能明顯表征鳥類特點(diǎn)的部位，顯示了區(qū)域定位網(wǎng)絡(luò)在沒有局部語義標(biāo)注信息下優(yōu)異的自動(dòng)定位能力。

圖8 區(qū)域定位網(wǎng)絡(luò)定位的局部區(qū)域

3.4 特征融合網(wǎng)絡(luò)CFF-Net性能測(cè)試

為了驗(yàn)證CFF-Net的性能，本文在實(shí)驗(yàn)時(shí)對(duì)改進(jìn)后的ResNet不同特征圖譜或特征向量分別做特征融合操作。融合方式如表1所示。

表1 特征融合組合方式

局部信息區(qū)域在特征提取前上采樣到224×224大小，全局圖像大小為448×448，因此，對(duì)于同樣的卷積層輸出，特征提取層2、3、4總是比特征提取層1得到的特征圖譜小。方式1將全局圖像輸入的Conv_4層特征圖譜和局部區(qū)域輸入的Conv_3層特征圖譜做特征融合操作，得到的特征圖譜大小為1 048×28×28；方式3和方式4直接對(duì)特征向量做融合操作，得到的也是特征向量。由于NTS-Net中局部區(qū)域個(gè)數(shù)M取4時(shí)表現(xiàn)出最優(yōu)異的分類性能，表2展示了在M=4時(shí)，不同特征融合方式的最終分類準(zhǔn)確率對(duì)比實(shí)驗(yàn)結(jié)果。

表2 不同特征融合方式準(zhǔn)確率

由表2可以看出，特征融合方式1分類性能較低，原因在于方式1將融合后大小為28×28的特征圖譜直接進(jìn)行了全局均值池化，導(dǎo)致語義特征信息的丟失。方式2和方式3使用更深層卷積的特征圖譜進(jìn)行融合，丟失的語義信息變少，分類性能明顯提高，方式4準(zhǔn)確率最高為87.8%，高于目前主流的細(xì)粒度鳥類識(shí)別算法，驗(yàn)證了本文所提CFF-Net網(wǎng)絡(luò)的有效性。

為了進(jìn)一步驗(yàn)證不同局部區(qū)域個(gè)數(shù)對(duì)最終分類性能的影響，本文測(cè)試時(shí)選取分類性能最優(yōu)異的特征融合方式4，加入不同局部區(qū)域個(gè)數(shù)M做對(duì)比實(shí)驗(yàn)，其中M=0,1,2,3,4,5。結(jié)果如表3所示，可以看出，局部信息區(qū)域的加入對(duì)最終分類結(jié)果提升了2.7%，隨著加入?yún)^(qū)域個(gè)數(shù)不斷增多，識(shí)別準(zhǔn)確率不斷增加，當(dāng)M=4時(shí)，準(zhǔn)確率最高為87.8%；當(dāng)M=5時(shí)，識(shí)別率開始下降，表明后續(xù)局部區(qū)域所含有效信息已經(jīng)不能更好地表征圖像全局信息。該結(jié)果驗(yàn)證了局部有效信息區(qū)域的加入對(duì)分類性能的提升，同時(shí)也進(jìn)一步驗(yàn)證了M取4的有效性。

表3 不同M下準(zhǔn)確率對(duì)比

3.5 不同算法分類性能對(duì)比

表4展示了不同方法在CUB-200-2011數(shù)據(jù)集上分類準(zhǔn)確率的比較。由于區(qū)域定位網(wǎng)絡(luò)優(yōu)異的定位性能及CFF-Net有效的特征融合能力，本文方法在CUB-200-2011數(shù)據(jù)集上取得了87.8%的分類準(zhǔn)確率，高于目前主流的細(xì)粒度鳥類識(shí)別方法，表現(xiàn)出優(yōu)異的分類性能。

表4 不同算法分類性能對(duì)比

4 結(jié) 語

本文針對(duì)鳥類圖像的細(xì)粒度識(shí)別，提出了一種基于語義信息跨層特征融合的識(shí)別網(wǎng)絡(luò)。區(qū)域定位網(wǎng)絡(luò)在沒有局部語義標(biāo)注信息的情況下，自動(dòng)定位出局部有效信息區(qū)域；特征提取網(wǎng)絡(luò)提取全局圖像與局部區(qū)域圖像的有效特征；CFF-Net對(duì)多個(gè)特征圖譜或向量融合。本文方法在CUB-200-201數(shù)據(jù)集上表現(xiàn)出良好的自動(dòng)局部區(qū)域定位能力，取得了87.8%的分類準(zhǔn)確率，高于目前主流的細(xì)粒度鳥類識(shí)別算法。