唐鑫鑫， 陸安江， 彭熙瞬， 高海韜

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院， 貴陽 550025）

0 引 言

社會(huì)經(jīng)濟(jì)的快速發(fā)展，對(duì)生態(tài)環(huán)境資源索取使用過度，自然環(huán)境被嚴(yán)重破壞。 鳥類是自然生態(tài)中重要的一員，據(jù)國(guó)際鳥類聯(lián)盟最新調(diào)查研究顯示，全球八分之一的鳥類面臨滅絕的危險(xiǎn)，生存狀況日益惡化，數(shù)量下降呈現(xiàn)恐怖趨勢(shì)，保護(hù)鳥類刻不容緩。目前，鳥類的識(shí)別工作仍主要依靠人工先驗(yàn)知識(shí)，時(shí)間成本過大。 通過人工智能技術(shù)構(gòu)建一個(gè)智能鳥類識(shí)別分類系統(tǒng)，能夠節(jié)約人力成本，為鳥類保護(hù)貢獻(xiàn)一份力量。 鳥類識(shí)別算法主要分為兩類：基于部件的多級(jí)分類算法和基于端到端的分類算法。 基于部件的多級(jí)分類算法代表有Wah最先提出的基于傳統(tǒng)特征的詞包分類模型；Donahue 等人提出的基于CNN 的DeCAF 特征；Zhang 等人提出的自局部檢測(cè)到特征提取均采用CNN 架構(gòu)的Partbased R-CNN 等。 基于端到端的分類算法有Fu 等人提出的RA-CNN 模型，基于遞歸神經(jīng)網(wǎng)絡(luò)增強(qiáng)局部注意力及特征表達(dá)；Li 等人提出冪歸一化協(xié)方差矩陣MPN-COV；魏秀參提出的基于FCN 學(xué)習(xí)分割模型的Mask-CNN 算法等等。

本文使用改進(jìn)過的Resnet50 網(wǎng)絡(luò)（稱作DLResnet50）替換SSD 的前置網(wǎng)絡(luò)VGG，對(duì)自制的鳥類數(shù)據(jù)集進(jìn)行目標(biāo)識(shí)別檢測(cè)分類。

1 SSD 模型的基本原理及結(jié)構(gòu)

Wei Liu 在ECCV 2016 上提出了SSD 模型。 該模型全稱Single Shot MultiBox Detector，意思為單鏡頭多盒檢測(cè)器。 SSD 基于深度學(xué)習(xí)，是人工智能下的一種目標(biāo)檢測(cè)模型，其前置網(wǎng)絡(luò)為VGG-16，是目前流行的目標(biāo)檢測(cè)框架之一。 該算法會(huì)在圖片上均勻地產(chǎn)生若干個(gè)不同大小的候選框，且其長(zhǎng)寬比均不相同，使用卷積層將圖像的特征提取出來，再進(jìn)行回歸和分類。 SSD 模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 SSD 模型網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 1 Network structure diagram of SSD model

SSD 采用VGG-16 為前置網(wǎng)絡(luò)，將VGG-16 的2 個(gè)全連接層FC6 和FC7 替換為3×3 卷積Conv6 和1×1 卷積Conv7，將池化層Pool_5 由2×2 池化修改為3×3 池化，移除Dropout 層和全連接層FC8，并添加4 個(gè)新的卷積層：Conv8、Conv9、Conv10、Conv1l 。其處理過程中如激活函數(shù)全部采用ReLU，且均在卷積操作結(jié)束后使用，池化操作不使用激活函數(shù)，做卷積與池化交替計(jì)算，假設(shè)輸入的圖像尺寸為224×224×3，則每一步的計(jì)算與圖像尺寸見表1。

表1 VGG16 計(jì)算過程圖像變化Tab. 1 Image changes during VGG16 calculation process

最后的輸出圖像與兩層1×1×4 096，一層1×1×1 000進(jìn)行全連接，即共有3 層全連接層，最后再通過ReLU激勵(lì)函數(shù)激活，輸出的預(yù)測(cè)結(jié)果可以有1 000 個(gè)。

不同特征圖的每個(gè)特征點(diǎn)上都有一組默認(rèn)先驗(yàn)框與之對(duì)應(yīng)，因此SSD 模型預(yù)測(cè)的時(shí)候計(jì)算默認(rèn)先驗(yàn)框的位置偏移和置信度。

SSD 的損失函數(shù)值包含兩個(gè)部分： 置信度（L） 和定位（L）， 而損失函數(shù)就是這兩者的加權(quán)和。 置信度損失L的計(jì)算公式（1）如下：

SSD 算法需要計(jì)算兩部分，即相應(yīng)的先驗(yàn)框與目標(biāo)類別的置信度和相應(yīng)的位置回歸。

其中，參數(shù)∈（0，1），表示默認(rèn)框和實(shí)際檢測(cè)框的匹配是否成功；參數(shù)作用類似于權(quán)重，用來平衡置信損失和位置損失；是分類置信度；代表預(yù)測(cè)框；代表真實(shí)標(biāo)簽框；是與該類別的校準(zhǔn)框匹配的默認(rèn)框數(shù)量，當(dāng)0 時(shí)，說明損失為0。

2 SSD 模型改進(jìn)

2.1 SSD 模型存在的問題

SSD 的優(yōu)點(diǎn)在于采取多尺度特征融合策略，利用多個(gè)卷積層的輸出參與預(yù)測(cè)，提升了檢測(cè)精度；直接使用默認(rèn)框進(jìn)行檢測(cè)，沒有候選區(qū)域生成的過程，提升了檢測(cè)速度。 但對(duì)小目標(biāo)的魯棒性差，會(huì)有識(shí)別不出來的問題。 根據(jù)VGG 網(wǎng)絡(luò)的特性，增加網(wǎng)絡(luò)層數(shù)后提升的效果并不明顯，因?yàn)槌霈F(xiàn)了網(wǎng)絡(luò)退化的問題，退化問題阻礙了網(wǎng)絡(luò)收斂，不僅增加了訓(xùn)練誤差，也增加了測(cè)試誤差，降低了網(wǎng)絡(luò)精度。

為了提升網(wǎng)絡(luò)訓(xùn)練的識(shí)別準(zhǔn)確率，最簡(jiǎn)單直接的方式是增加網(wǎng)絡(luò)層數(shù)，以增加對(duì)目標(biāo)特征的學(xué)習(xí)次數(shù)。 但若只是盲目增加網(wǎng)絡(luò)層數(shù)，問題并沒有得到解決；相反地，還會(huì)導(dǎo)致錯(cuò)誤率的突然上升，產(chǎn)生此問題的原因是發(fā)生了梯度消失。

2.2 改進(jìn)ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)

ResNet50 網(wǎng)絡(luò)中提出的殘差結(jié)構(gòu)（Residual Block） 主要目的是解決網(wǎng)絡(luò)退化問題，ResNet50的殘差網(wǎng)絡(luò)學(xué)習(xí)單元如圖2（a）所示。

ResNet50 網(wǎng)絡(luò)由多個(gè)殘差模塊構(gòu)建而成，其函數(shù)表達(dá)式為式（4）：

其中，為輸入；（） 表示殘差映射；（） 表示殘差網(wǎng)絡(luò)的特征輸出。

當(dāng)（）0 時(shí)，表示該卷積層做恒等映射；當(dāng)（）0，表示該卷積層學(xué)習(xí)到新的特征信息，從而保證反向傳播時(shí)的梯度傳遞，有效解決了網(wǎng)絡(luò)訓(xùn)練過程中存在的梯度消失和網(wǎng)絡(luò)退化問題。

本文對(duì)ResNet50 網(wǎng)絡(luò)的改進(jìn)結(jié)構(gòu)如圖2（b）所示，將改進(jìn)后ResNet50 的網(wǎng)絡(luò)稱為DL-ResNet50。

圖2 兩個(gè)殘差學(xué)習(xí)單元對(duì)比Fig. 2 Comparison of two residual learning units

由于ResNet50 網(wǎng)絡(luò)訓(xùn)練過程中易出現(xiàn)過擬合，為了進(jìn)一步提高該網(wǎng)絡(luò)的識(shí)別精度，本文在原網(wǎng)絡(luò)最后一個(gè)卷積層后加入Dropout 層和3 層全連接層，用Leaky-relu 函數(shù)取代原網(wǎng)絡(luò)的ReLU 函數(shù)。

加入Dropout 層和3 層全連接層后，可以讓ResNet50 網(wǎng)絡(luò)過擬合的機(jī)率有效下降，改善增強(qiáng)模型泛化能力。 當(dāng)網(wǎng)絡(luò)輸入0 時(shí)，ReLU 函數(shù)無法更新，從而模型不能訓(xùn)練學(xué)習(xí)特征。 而Leaky-relu函數(shù)在輸入0 時(shí)輸出持續(xù)變化，更新權(quán)重繼續(xù)學(xué)習(xí)。 改進(jìn)的SSD 模型工作流程如圖3 所示。

3 實(shí)驗(yàn)結(jié)果分析

圖3 改進(jìn)SSD 模型工作流程Fig. 3 Improved SSD model workflow

3.1 數(shù)據(jù)預(yù)處理

本次數(shù)據(jù)集從文獻(xiàn)［12］所記錄的鳥類中隨機(jī)選取10 種，分別是黑頸鶴、灰鶴、斑頭雁、黃眉柳鶯、白鷺、大斑啄木鳥、山斑鳩、喜鵲、赤麻鴨以及烏鴉，共計(jì)4 830 張圖片，為了保證模型識(shí)別效果，防止模型過擬合，對(duì)數(shù)據(jù)圖像進(jìn)行鏡像翻轉(zhuǎn)處理，增加數(shù)據(jù)集數(shù)量，將數(shù)據(jù)集按照模型比例6 ∶4 ∶1 分配劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。

為了更好的訓(xùn)練模型，對(duì)收集的圖像數(shù)據(jù)灰度化、均衡化以及歸一化處理，如圖4 所示，其中（a）為原圖，（b）表示經(jīng)過加權(quán)均值灰度化的圖，（c）表示經(jīng)過直方圖均衡化后的灰度圖。 對(duì)比（b）和（c）可以明顯看出圖中的目標(biāo)與背景的差異變大。 再利用labelImg-master 工具在圖中框出目標(biāo)位置及類型，即可獲取目標(biāo)的像素信息。

圖4 圖片處理對(duì)比Fig. 4 Comparison of image processing

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

本文實(shí)驗(yàn)平臺(tái)選取 tensorflow 開源框架，Windows10 系 統(tǒng)，python3. 6 編 程 語 言，cuda9. 0，cudnn7.0， NVIDIIA GTX2060 顯卡。

本文實(shí)驗(yàn)以模型損失值曲線變化、平均交并比（Average Intersection Over Union， Avg IOU）以及AP曲線來作為評(píng)估依據(jù)，分別在SSD、SSD+ResNet50以及SSD+DL-ResNet50 3 個(gè)模型下做實(shí)驗(yàn)對(duì)比。 3個(gè)模型實(shí)驗(yàn)訓(xùn)練參數(shù)一致，訓(xùn)練批次大小為8，迭代300 次，初始學(xué)習(xí)率為0.001，權(quán)值衰減系數(shù)為0.000 5。損失值曲線變化如圖5 所示。

圖5 3 種模型的損失值曲線Fig. 5 Loss value curves of the three models

本文所提算法SSD+DL-ResNet50（紅色線）收斂速度最快且最終損失值最小，穩(wěn)定在1.3 左右。 SSD+ResNet50（綠色線）次之，原SSD 模型最慢損失值也最高，約2.1，本文算法在損失值這一項(xiàng)上降低了約0.8。

在目標(biāo)檢測(cè)中常表示預(yù)測(cè)框和真實(shí)框相交面積與相并面積的比值，比值越接近1 效果越好，公式（5）。

其中，A表示目標(biāo)預(yù)測(cè)框面積，表示目標(biāo)真實(shí)檢測(cè)框的面積。

通過實(shí)驗(yàn)結(jié)果可得3 個(gè)模型的交并比變化曲線，如圖6 所示。 由圖6 可知，隨著迭代次數(shù)的增加，3 種模型的交并比值都逐漸增加，但是由紅色線可知本文改進(jìn)模型DL-ResNet50 SSD 的值均高于綠色線ResNet50 SSD 模型和藍(lán)色線原SSD 模型。

圖6 3 種模型交并比變化曲線Fig. 6 Intersection ratio change curves of the three models

本文選擇準(zhǔn)確率和召回率來作為目標(biāo)檢測(cè)的性能評(píng)估標(biāo)準(zhǔn)，準(zhǔn)確率就是測(cè)試檢測(cè)正確的目標(biāo)在所有樣本中所占的比例，計(jì)算表達(dá)如式（6）。 召回率則表示在所有真實(shí)目標(biāo)中被正確檢測(cè)出來的占比，計(jì)算表達(dá)如式（7）。

其中，表示準(zhǔn)確率；表示召回率；表示模型正確檢測(cè)的目標(biāo)個(gè)數(shù)；表示模型錯(cuò)誤檢測(cè)的目標(biāo)個(gè)數(shù)；表示模型漏檢的正確目標(biāo)個(gè)數(shù)。

實(shí)際上， 準(zhǔn)確率和召回率往往是此消彼長(zhǎng)，難以兼得，因此將計(jì)算得到的、值繪制成曲線圖，綜合考慮曲線下的面積值大小來評(píng)估各類別檢測(cè)性能，值越大表示模型檢測(cè)精度越高，即性能越好，計(jì)算公式（8）。

針對(duì)多個(gè)類別，使用平均值評(píng)估模型整體性能，公式（9）。

斑頭雁和灰鶴兩種類別的鳥在原SSD 模型、用ResNet50 替換VGG 網(wǎng)絡(luò)的SSD 模型還有本文提出的改進(jìn)ResNet50 取代VGG 的SSD 模型下的變化值如圖7 所示。 對(duì)比分析，本文所提算法的值更大，模型精確度更高。

SSD、SSD 中已有的VGG 網(wǎng)絡(luò)替換為ResNet50以及改進(jìn)ResNet50 取代VGG 的SSD 模型下的檢測(cè)精度對(duì)比見表2，可知本文的改進(jìn)算法在總體的檢測(cè)精度上比原SSD 提升5 個(gè)點(diǎn)

表2 3 種模型檢測(cè)精度Tab. 2 Detection accuracy of the three models

檢測(cè)結(jié)果如圖8 所示，其中（a）是原SSD 模型的檢測(cè)結(jié)果，可以看到有些被遮擋的目標(biāo)沒有被檢測(cè)到，（b）圖是改進(jìn)后的SSD 模型檢測(cè)結(jié)果，雖然有的被遮擋目標(biāo)也沒有被檢測(cè)出，但是增加了2 個(gè)目標(biāo)檢測(cè)框。

圖7 3 種網(wǎng)絡(luò)的AP 曲線Fig. 7 AP curves of the three networks

圖8 檢測(cè)結(jié)果Fig. 8 Detection results

4 結(jié)束語

本文提出一種用改進(jìn)ResNet50 網(wǎng)絡(luò)，取代SSD模型的基準(zhǔn)網(wǎng)絡(luò)VGG 的SSD 模型算法對(duì)鳥類目標(biāo)進(jìn)行檢測(cè)研究。 通過實(shí)驗(yàn)對(duì)比可知，本文提出的算法在模型收斂速度、檢測(cè)精度以及多目標(biāo)檢測(cè)方面都有改善提升。 本文數(shù)據(jù)集種類只有10 類，因此下一步的研究工作是增加數(shù)據(jù)集種類以及數(shù)量，將算法融合進(jìn)系統(tǒng)之中，實(shí)現(xiàn)一個(gè)完整的鳥類識(shí)別分類系統(tǒng)。