張 杰

（安徽理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，淮南 232001）

0 引言

伴隨著深度學(xué)習(xí)的快速發(fā)展，小目標(biāo)檢測(cè)技術(shù)在軍事、遙感等領(lǐng)域得到了廣泛的應(yīng)用［1］。計(jì)算機(jī)視覺(jué)領(lǐng)域通常對(duì)小目標(biāo)的定義有兩種：一種是相對(duì)尺寸大小，在256×256 像素圖中目標(biāo)面積小于80 像素（即目標(biāo)面積小于圖像面積的0.12%）定義為小目標(biāo)；二是絕對(duì)尺寸大小，以COCO 數(shù)據(jù)集為例，尺寸小于32×32像素目標(biāo)定義為小目標(biāo)。小目標(biāo)由于其分辨率低，在圖像中占比低，特征信息得不到很好的利用，容易受到信息混淆等因素的影響，相對(duì)于常規(guī)目標(biāo)檢測(cè)任務(wù)來(lái)說(shuō)，目前的主流模型對(duì)小目標(biāo)的檢測(cè)效果往往不佳。因此如何改善小目標(biāo)的檢測(cè)效果，一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的重難點(diǎn)問(wèn)題。

近些年來(lái)，隨著深度學(xué)習(xí)和目標(biāo)檢測(cè)任務(wù)的結(jié)合，讓目標(biāo)檢測(cè)在各個(gè)領(lǐng)域都獲得了很好的發(fā)展前景，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為兩類：第一種是以SSD［2］、YOLO［3］系列為代表的單階段檢測(cè)算法，這類算法的檢測(cè)速度通常比較快，但檢測(cè)精度較低；第二種是以Faster-RCNN［4］、Mask-RCNN［5］等RCNN 系列為代表的雙階段檢測(cè)算法，檢測(cè)精度得到了不錯(cuò)的提升，但網(wǎng)絡(luò)參數(shù)比較大，導(dǎo)致檢測(cè)速度劣于單階段算法的檢測(cè)速度。針對(duì)小目標(biāo)容易被忽略，攜帶的信息有限等特點(diǎn)，提出了許多有效的改進(jìn)模型。Qu 等［6］把膨脹卷積和特征融合一起使用，增強(qiáng)深層特征的語(yǔ)義信息來(lái)加強(qiáng)對(duì)遙感小目標(biāo)的檢測(cè)效果。Li等［7］引入一種特征融合模塊加入到特征金字塔中，改善對(duì)小目標(biāo)的檢測(cè)效果?？簼嵉龋?］提出了新的多尺度融合模塊，通過(guò)通道注意力機(jī)制重新分配通道權(quán)重，增強(qiáng)淺層感受野來(lái)提高小目標(biāo)的檢測(cè)效果。在PANet 當(dāng)中，Liu 等［9］對(duì)特征金字塔網(wǎng)絡(luò)不同特征圖進(jìn)行二次融合，這樣可以使特征金字塔的高層特征圖同時(shí)包含低層的特征信息和高層的特征，從而達(dá)到提高小目標(biāo)檢測(cè)精度的目的；以上的方法通過(guò)不同的改進(jìn)，直接或間接使小目標(biāo)的檢測(cè)效果得到了提高，但仍有一些不足。

本文基于Faster-RCNN 算法，提出了一種改進(jìn)的小目標(biāo)檢測(cè)算法：

（1）采用ResNet 替換傳統(tǒng)的VGG 提取網(wǎng)絡(luò)，減少VGG 池化造成的語(yǔ)義特征丟失等問(wèn)題，加強(qiáng)模型對(duì)小目標(biāo)信息的提取能力。

（2）提出改進(jìn)后的特征金字塔模型MC-FPN，通過(guò)擴(kuò)充上下文特征信息和引入通道注意力機(jī)制來(lái)提高整個(gè)模型對(duì)小目標(biāo)的檢測(cè)精度。

1 基于改進(jìn)Faster-RCNN的小目標(biāo)檢測(cè)算法

本文針對(duì)傳統(tǒng)的Faster-RCNN 算法對(duì)小目標(biāo)檢測(cè)精度不佳的問(wèn)題，提出改進(jìn)Faster-RCNN 的小目標(biāo)檢測(cè)算法，使用ResNet50 替換傳統(tǒng)的VGG16 作為新的特征提取網(wǎng)絡(luò)，其次融合改進(jìn)后的特征金字塔MC-FPN多尺度特征以提高整體模型對(duì)小目標(biāo)的檢測(cè)能力。

1.1 Faster-RCNN架構(gòu)

Faster-RCNN 是一種基于候選區(qū)域的端到端的兩階段目標(biāo)檢測(cè)算法，是以Fast-RCNN 模型作為基礎(chǔ)，加入新的區(qū)域建議網(wǎng)絡(luò)（RPN），通過(guò)滑動(dòng)窗口在相應(yīng)的特征圖上生成所需要的候選區(qū)域，即錨框，緊接著通過(guò)錨框得到輸出類別以及預(yù)測(cè)框，最后在使用非極大抑制算法對(duì)前面的預(yù)測(cè)結(jié)果進(jìn)行分析，最終獲得所需要的候選區(qū)域，總體框架如圖1所示。

圖1 Faster-RCNN總體框架

Faster-RCNN 網(wǎng)絡(luò)架構(gòu)主要是由特征提取模塊、區(qū)域建議網(wǎng)絡(luò)（RPN）、ROI Pooling 層和分類回歸層四部分組成，首先對(duì)輸入的圖片進(jìn)行特征提取，獲得所需特征圖，再將特征圖傳輸?shù)絽^(qū)域建議網(wǎng)絡(luò)從而生成一系列預(yù)選框，同時(shí)再將生成的預(yù)選框與特征圖一起傳輸?shù)絉OI Pooling 層，目的是從一系列預(yù)選框當(dāng)中選出最適合特征圖的候選框，最后將選出的候選框傳送到分類和回歸層，這就是Faster-RCNN 算法的流程。

1.2 ResNet50殘差網(wǎng)絡(luò)

自AlexNet 發(fā)展以來(lái)，網(wǎng)絡(luò)結(jié)構(gòu)一直朝著深度進(jìn)行研究，大家便認(rèn)為隨著網(wǎng)絡(luò)深度的增加，特征提取網(wǎng)絡(luò)的擬合能力也會(huì)不斷變強(qiáng)，從而模型取得一個(gè)較好的結(jié)果。但逐漸發(fā)現(xiàn)，并不是網(wǎng)絡(luò)層數(shù)越深，模型的檢測(cè)效果越好，精度會(huì)一直提升，反而在訓(xùn)練甚至是測(cè)試的時(shí)候誤差都開(kāi)始變大；在這種情況下，ResNet 于2015年被提出，ResNet 網(wǎng)絡(luò)可以在加深網(wǎng)絡(luò)層數(shù)提取更多特征信息的同時(shí)解決之前深度增加所導(dǎo)致的訓(xùn)練精度下降的問(wèn)題。ResNet50 采用的是跳躍連接，其輸入和輸出端直接相連，如圖2所示，其中兩個(gè)1×1 卷積的作用是降維和升維，3×3卷積的作用是提取特征信息。

圖2 ResNet50殘差網(wǎng)絡(luò)

1.3 MC-FPN

特征金字塔（feature pyramid network，F(xiàn)PN）通過(guò)引入自下而上，自頂向下的路徑和橫向連接的方式，將高層特征圖的語(yǔ)義信息和低層特征圖的位置信息相結(jié)合，從而提升小目標(biāo)的檢測(cè)能力，但P5僅通過(guò)C5得到，而特征金字塔的高層主要用于大中目標(biāo)的檢測(cè)，這就導(dǎo)致對(duì)小目標(biāo)的檢測(cè)效果較差。為解決上述問(wèn)題，本文提出一種改進(jìn)后的特征金字塔MC-FPN，如圖3 所示，對(duì)FPN 的改進(jìn)主要有以下兩個(gè)部分：①在C5 和P5直接添加一個(gè)多分支空洞卷積模塊MCCM（multibranch cavity convolution module），如圖4 所示，此模塊是由三個(gè)不同大小空洞率的空洞卷積并聯(lián)而成，其作用是通過(guò)擴(kuò)大感受野來(lái)捕獲更多的小目標(biāo)特征信息，然后注入到特征金字塔當(dāng)中，使上下文信息得到更加充分的利用。②引入CBAM（convolutional block attention module）［10］注意力機(jī)制，如圖5所示，注意力機(jī)制CBAM 是結(jié)合了空間和通道的注意力模塊，由通道注意力模塊和空間注意力模塊組成，通過(guò)融合這兩個(gè)模塊，對(duì)特征圖進(jìn)行細(xì)化處理。CBAM 注意力機(jī)制對(duì)最后輸出的特征圖進(jìn)行處理，是因?yàn)樯顚犹卣鲌D含有較多的小目標(biāo)信息，而特征金字塔信息融合過(guò)程導(dǎo)致的信息混淆對(duì)深層的小目標(biāo)信息不太友好，存在漏檢等問(wèn)題，所以在深層P2和P3處引入注意力機(jī)制，可以使模型更好地關(guān)注小目標(biāo)信息，從而提高整個(gè)模型對(duì)小目標(biāo)的檢測(cè)效果。

圖4 多分支空洞卷積模塊（MCCM）

圖5 CBAM注意力機(jī)制

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)平臺(tái)與數(shù)據(jù)集

本文實(shí)驗(yàn)采用的是基于深度學(xué)習(xí)框架的PyTorch1.7.1，操作系統(tǒng)為Ubuntu18.04，CUDA為11.0，GPU型號(hào)為NVIDIA GeForce RTX 3090，Python 的使用版本為3.7。模型訓(xùn)練時(shí)采用隨機(jī)梯度下降（stochastic gradient descent, SGD）作為優(yōu)化器。

本文選擇中國(guó)科學(xué)院發(fā)布的高分辨率遙感圖像公共數(shù)據(jù)集HRRSD，該數(shù)據(jù)集共含有圖像21761張，13個(gè)類別，分別是飛機(jī)、棒球場(chǎng)、籃球場(chǎng)、橋梁、十字路口、田徑場(chǎng)、港口、停車場(chǎng)、船、存儲(chǔ)罐、丁字路口、網(wǎng)球場(chǎng)和汽車。各個(gè)類別之間樣本的數(shù)量比較均勻，其中大部分類別是以密集排布的小目標(biāo)形式進(jìn)行分布，可以用來(lái)驗(yàn)證算法模型對(duì)小目標(biāo)的檢測(cè)效果。以數(shù)據(jù)集劃分，選用1∶1∶2的方式選取圖像進(jìn)行訓(xùn)練，評(píng)估以及最后的測(cè)試，并對(duì)數(shù)據(jù)集樣本進(jìn)行簡(jiǎn)單地水平、垂直翻轉(zhuǎn)，以提高模型的泛化能力。

2.2 評(píng)價(jià)指標(biāo)

本文的評(píng)價(jià)指標(biāo)是目標(biāo)檢測(cè)領(lǐng)域常用的平均精度（mAP），表示所有類別AP的平均值。AP的定義為

mAP的定義為

2.3 實(shí)驗(yàn)結(jié)果分析

特征提取網(wǎng)絡(luò)的優(yōu)越性對(duì)于一個(gè)模型檢測(cè)性能的好壞和分類結(jié)果有著直接的影響，為了證明改進(jìn)后模型對(duì)于小目標(biāo)的檢測(cè)效果，在參數(shù)相同的情況下做了多組對(duì)比實(shí)驗(yàn)，首先驗(yàn)證了ResNet50 特征提取網(wǎng)絡(luò)與傳統(tǒng)VGG16，實(shí)驗(yàn)結(jié)果見(jiàn)表1。

表1 特征提取網(wǎng)絡(luò)的比較

從表1 可以看出，兩種特征提取網(wǎng)絡(luò)當(dāng)中，ResNet50 表現(xiàn)出來(lái)的性能優(yōu)于VGG16，mAP 達(dá)到82.7%，比VGG16 高出1.2 個(gè)百分點(diǎn)，其中各種類別的檢測(cè)精度也有不同程度的提升，表明在Faster-RCNN 模型當(dāng)中，ResNet50特征提取網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)效果略優(yōu)于VGG16 特征提取網(wǎng)絡(luò)。

單一地替換特征提取網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)效果提升不是很高，因此我們對(duì)FPN 改進(jìn)，提取一種改進(jìn)后的特征金字塔MC-FPN，使之與特征提取網(wǎng)絡(luò)相融合，這對(duì)于小目標(biāo)的檢測(cè)效果有很好的提升，改進(jìn)后的模型對(duì)比實(shí)驗(yàn)見(jiàn)表2。

表2 改進(jìn)模型的比較

從表2 可以看出，本文算法（ResNet50+MCFPN）與傳統(tǒng)的Faster-RCNN 算法和使用ResNet50特征提取網(wǎng)絡(luò)的Faster-RCNN 算法在HRRSD 數(shù)據(jù)集上檢測(cè)結(jié)果的對(duì)比，mAP 較改進(jìn)之前提升了4.7 個(gè)百分點(diǎn)，其中汽車、存儲(chǔ)罐、飛機(jī)、網(wǎng)球場(chǎng)等小目標(biāo)檢測(cè)精度都有顯著的提升，進(jìn)一步驗(yàn)證本文模型的優(yōu)越性。

圖6 展示了Faster-RCNN 算法改進(jìn)前后的檢測(cè)效果圖，可以明顯看出改進(jìn)后的算法對(duì)于小目標(biāo)的檢測(cè)明顯比改進(jìn)前更優(yōu)。

圖6 檢測(cè)效果

3 結(jié)語(yǔ)

本文主要針對(duì)傳統(tǒng)的Faster-RCNN 算法對(duì)小目標(biāo)檢測(cè)效果不佳的問(wèn)題做出改進(jìn)，首先用ResNet50 殘差網(wǎng)絡(luò)替換傳統(tǒng)的VGG16 網(wǎng)絡(luò)，以便提取豐富的特征信息，一定程度上提升了模型對(duì)小目標(biāo)的檢測(cè)精度；緊接著提出MC-FPN模型，減少特征融合過(guò)程帶來(lái)的信息混淆和冗余，從而增強(qiáng)模型對(duì)小目標(biāo)的檢測(cè)效果。通過(guò)前后對(duì)比實(shí)驗(yàn)證明，改進(jìn)后的算法對(duì)于小目標(biāo)的檢測(cè)效果優(yōu)于改進(jìn)前的算法，證明改進(jìn)算法的魯棒性。