張 艷，杜會娟，孫葉美，李現(xiàn)國

（1.天津城建大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，天津 300384；2.天津市光電檢測技術(shù)與系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，天津 300387）

0 概述

近年來，隨著遙感技術(shù)的發(fā)展，遙感圖像目標(biāo)檢測在軍事和民用領(lǐng)域得到廣泛應(yīng)用［1-3］。在實(shí)際環(huán)境中，遙感圖像受光照、目標(biāo)形態(tài)以及復(fù)雜背景的影響，使得其目標(biāo)檢測面臨諸多挑戰(zhàn)。傳統(tǒng)目標(biāo)檢測方法，如基于統(tǒng)計(jì)的目標(biāo)檢測［4］、基于知識的目標(biāo)檢測［5］、基于模型的目標(biāo)檢測［6］等需要手工定義特征，導(dǎo)致該類方法定義的特征魯棒性差，很難取得較好的檢測效果。

隨著深度學(xué)習(xí)的快速發(fā)展，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)在自然圖像目標(biāo)檢測領(lǐng)域取得了較好的效果，目前基于深度學(xué)習(xí)的目標(biāo)檢測方法主要分為兩類：一類是以Fast R-CNN［7］、Faster R-CNN［8］為代表的兩階段目標(biāo)檢測算法，此類算法首先生成候選區(qū)域，然后對候選區(qū)域進(jìn)行進(jìn)一步檢測，檢測精度較高，但是檢測速度較慢；另一類是以YOLO（You Only Look Once）［9］、SSD（Single Shot MultiBox Detector）［10］為代表的一階段目標(biāo)檢測算法，此類算法直接回歸出目標(biāo)類別，檢測精度低于兩階段目標(biāo)檢測算法，但其檢測速度快于兩階段目標(biāo)檢測算法。隨著目標(biāo)檢測框架的改進(jìn)，一階段目標(biāo)檢測算法的檢測精度接近于兩階段目標(biāo)檢測算法，因此，一階段目標(biāo)檢測算法得到更多研究人員的關(guān)注。學(xué)者們通過對YOLO 算 法進(jìn)行改進(jìn)，提出YOLOv2［11］、YOLOv3［12］算法，通過對SSD 算法進(jìn)行改進(jìn)，提出DSSD（Deconvolutional Single Shot Detector）［13］、FFSSD（Feater-Fused SSD）［14］算法。

自然圖像目標(biāo)檢測的發(fā)展也推動了遙感圖像目標(biāo)檢測的優(yōu)化，不少學(xué)者將深度學(xué)習(xí)應(yīng)用于遙感圖像目標(biāo)檢測領(lǐng)域。文獻(xiàn)［15-16］將Faster R-CNN 引入遙感圖像中，相比于傳統(tǒng)算法，F(xiàn)aster R-CNN 大幅提高了目標(biāo)檢測精度，但是其并沒有充分利用卷積層的信息。文獻(xiàn)［17］提出基于ResNet 的遙感圖像飛機(jī)目標(biāo)檢測方法，其能得到魯棒性強(qiáng)的目標(biāo)檢測網(wǎng)絡(luò)模型，但該方法會造成重復(fù)性檢測，影響檢測精度。文獻(xiàn)［18］提出用全卷積網(wǎng)絡(luò)與卷積網(wǎng)絡(luò)進(jìn)行遙感圖像飛機(jī)目標(biāo)檢測的方法，但該方法對參數(shù)敏感。文獻(xiàn)［19］在YOLO 的基礎(chǔ)上提出YOLT，將其應(yīng)用于遙感圖像目標(biāo)檢測，以應(yīng)對遙感圖像中目標(biāo)過小的問題，但該方法會提高網(wǎng)絡(luò)的計(jì)算量。文獻(xiàn)［20］通過采用自上而下和跳躍鏈接的方式利用上下文信息，檢測光學(xué)遙感圖像中的小目標(biāo)，但其只檢測了船只與飛機(jī)，沒有檢測遙感圖像中的其他物體。文獻(xiàn)［21］提出一個統(tǒng)一的自我增強(qiáng)的網(wǎng)絡(luò)，包括Tiny-Net 骨干網(wǎng)、全局注意力塊以及最終的分類器和檢測器，以檢測遙感圖像中的目標(biāo)，該網(wǎng)絡(luò)對假正例具有魯棒性，但最終平均精確度并未有大幅提升。文獻(xiàn)［22］將小模糊圖像上采樣到精細(xì)圖像中，并恢復(fù)詳細(xì)信息進(jìn)行小目標(biāo)檢測，但其RoI 超分辨率無法考慮上下文信息。文獻(xiàn)［23］用Sig-NMS 代替?zhèn)鹘y(tǒng)NMS，以提高小物體的檢測精度，但是由于其進(jìn)行了額外計(jì)算，導(dǎo)致檢測時間較長。文獻(xiàn)［24］提出一種邊緣增強(qiáng)超分辨率GAN 以改善遙感圖像質(zhì)量，同時進(jìn)行超分辨率和目標(biāo)檢測，提高遙感圖像中小目標(biāo)的檢測性能，但其使用高分辨率圖像會增加計(jì)算開銷。文獻(xiàn)［25］通過結(jié)合SSD 算 法和DenseNet［26］網(wǎng)絡(luò)，檢測遙感圖像中的小目標(biāo)，其在無遷移學(xué)習(xí)支持下依然能夠達(dá)到良好的效果，但是檢測速度較低。

本文 結(jié)合FPN（Feature Pyramid Networks）［27］和HRNet（High-Resolution Net）［28］對SSD 算法進(jìn)行改進(jìn)，提出一種多尺度特征融合的遙感圖像目標(biāo)檢測（Multiscale Feature Fuse SSD，MFFSSD）算法。該算法通過融合淺層特征圖的位置信息和深層特征圖的語義信息，豐富上下文信息，并對融合后的特征圖進(jìn)行卷積，以減少混疊效應(yīng)、消除不同特征圖的差異以及增強(qiáng)特征提取能力，從而提升遙感圖像的目標(biāo)檢測精度。

1 相關(guān)工作

1.1 SSD 算法

為了解決Faster R-CNN 檢測速度過慢、YOLO檢測精度不高的問題，文獻(xiàn)［10］提出SSD 目標(biāo)檢測算法。SSD 算法沿用了YOLO 中回歸的思想，直接回歸出目標(biāo)的邊界框和分類概率，同時沿用了Faster R-CNN 中基于候選框的策略，使用大量的anchor 提升檢測精度。

根據(jù)輸入圖片尺寸的不同，SSD 算法分為SSD300 和SSD512 2 種結(jié)構(gòu)，圖1 所示為SSD300 的結(jié)構(gòu)。SSD 算法在特征提取部分使用VGG16 網(wǎng)絡(luò)，并將VGG16 網(wǎng)絡(luò)中的最后2 個全連接層（FC6、FC7）轉(zhuǎn)換成2 個卷積層（Conv6、Conv7），在VGG16 網(wǎng)絡(luò)后又連接了多個卷積層。在目標(biāo)檢測部分，采用多個網(wǎng)絡(luò)層的特征圖進(jìn)行目標(biāo)檢測，使用Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2 和Conv11_2 這6 個網(wǎng)絡(luò)層生成的特征圖進(jìn)行預(yù)測輸出。雖然SSD算法使用不同網(wǎng)絡(luò)層的特征圖進(jìn)行預(yù)測輸出，提升了檢測精度，但是各個特征圖之間相互獨(dú)立，沒有很好地利用淺層特征圖位置信息豐富、深層特征圖語義信息豐富的特點(diǎn)，忽視了上下文之間的聯(lián)系。

圖1 SSD300 結(jié)構(gòu)Fig.1 Structure of SSD300

1.2 FPN 算法

FPN 算法采用SSD 中特征圖金字塔方法，并設(shè)計(jì)自底向上（bottom-up）、自頂向下（top-down）和橫向連接（lateral connection）結(jié)構(gòu)，融合了具有高分辨率的淺層特征圖和具有豐富語義特征的深層特征圖，在沒有大幅降低檢測速度的同時提升了檢測精度，F(xiàn)PN 算法框架如圖2 所示。FPN 算法將語義信息更強(qiáng)的深層特征圖做2 倍上采樣，然后將該特征橫向連接至較淺一層的特征，從而加強(qiáng)深層特征信息并提高檢測精度。

圖2 FPN 算法結(jié)構(gòu)Fig.2 FPN algorithm structure

2 多尺度特征融合的遙感圖像目標(biāo)檢測算法

本文提出的MFFSSD 算法對SSD 算法進(jìn)行了改進(jìn)，設(shè)計(jì)多尺度特征融合模塊，該模塊包含特征圖融合（Add）模塊和冗余信息去除（Re）模塊。Add 模塊對不同網(wǎng)絡(luò)層的多尺度特征圖進(jìn)行融合，Re 模塊對融合后的特征圖進(jìn)行卷積操作。多尺度特征融合模塊結(jié)構(gòu)如圖3 所示。

圖3 多尺度特征融合模塊Fig.3 Multi-scale feature fusion module

2.1 特征圖融合模塊

特征融合方法主要有向量拼接（Concatenate）和特征對應(yīng)元素逐位相加（point-wise add）2 種［29］。向量拼接融合方法將需要融合的特征圖的通道數(shù)合并，該方法會產(chǎn)生大量參數(shù)。特征對應(yīng)元素逐位相加融合方法將需要融合的特征圖的值相加，其參數(shù)量遠(yuǎn)小于向量拼接方式。考慮到實(shí)時性的需要，本文基于特征對應(yīng)元素逐位相加融合方法，設(shè)計(jì)一種特征圖融合模塊。由于不同網(wǎng)絡(luò)層輸出的特征圖尺寸維度不同，當(dāng)在淺層特征圖中引入深層特征時，需要將深層特征圖進(jìn)行反卷積操作，當(dāng)在深層特征圖中引入淺層特征時，需要將淺層特征圖進(jìn)行卷積操作，以保證融合時特征圖的尺寸和通道數(shù)相同。根據(jù)需要融合的特征圖的尺寸與通道數(shù)，本文設(shè)計(jì)3 種不同的融合方式，如圖4所示。

圖4 特征圖融合模塊Fig.4 Feature map fusion module

圖4（a）結(jié)構(gòu)將第i層和第（i+1）層的特征圖經(jīng)過反卷積操作轉(zhuǎn)換成與第（i-1）層特征圖的尺寸維度相同，然后將3 張尺寸維度相同的特征圖進(jìn)行融合；圖4（b）結(jié)構(gòu)將第（i-1）層的特征圖進(jìn)行卷積操作轉(zhuǎn)換成與第i層特征圖的尺寸維度相同，將第（i+1）層的特征圖經(jīng)過反卷積操作轉(zhuǎn)換成與第i層特征圖的尺寸維度相同，然后將3 張尺寸維度相同的特征圖進(jìn)行融合；圖4（c）結(jié)構(gòu)將第（i-1）層和第i層的特征圖經(jīng)過卷積操作轉(zhuǎn)換成與第（i+1）層特征圖的尺寸維度相同，然后將3 張尺寸維度相同的特征圖進(jìn)行融合。

在對不同尺寸的特征圖進(jìn)行融合時，為減少模型的參數(shù)量，較深層網(wǎng)絡(luò)的特征圖通過一次反卷積（Deconv）操作，較淺層網(wǎng)絡(luò)的特征圖通過一次卷積（Conv）操作，以實(shí)現(xiàn)不同網(wǎng)絡(luò)層特征圖尺寸和維度的變換。在進(jìn)行反卷積與卷積操作之前，對每一層進(jìn)行1×1 卷積，保證不同網(wǎng)絡(luò)層的特征圖的通道數(shù)一致。特征圖融合模塊通過融合3 個不同網(wǎng)絡(luò)層的多尺度特征圖，不僅可以將豐富的語義信息從較深的層融合到較淺的層，還可以將豐富的位置信息從較淺的層融合到較深的層，從而豐富了不同網(wǎng)絡(luò)層的特征圖特征，保留了更多的上下文信息。

2.2 冗余信息去除模塊

融合不同網(wǎng)絡(luò)層的特征圖，雖然可以彌補(bǔ)淺層特征語義信息不強(qiáng)、深層特征位置信息不強(qiáng)的問題，但是，在特征圖融合的過程中，不同網(wǎng)絡(luò)層的特征圖疊加會造成特征的不連續(xù)，從而形成混疊效應(yīng)。因此，本文設(shè)計(jì)冗余信息去除模塊，通過卷積操作提取特征圖中的特征，同時對特征信息進(jìn)行篩選，以保證特征的穩(wěn)定性，減少特征圖融合時帶來的混疊效應(yīng)。冗余信息去除模塊結(jié)構(gòu)如圖5 所示。冗余信息去除模塊的輸入為特征圖融合模塊的輸出，冗余信息去除模塊包含1×1 卷積層和3×3 卷積層。第一個1×1卷積層用來減少通道數(shù)，通道數(shù)由N變?yōu)镹/2，從而提升了冗余信息去除模塊的速度。2 個3×3 卷積層用于特征提取。為了保證整個網(wǎng)絡(luò)的特征提取能力，在冗余信息去除模塊的最后添加一個1×1 卷積層，使通道數(shù)由N/2 變?yōu)镹。

圖5 冗余信息去除模塊結(jié)構(gòu)Fig.5 Structure of module for removing redundant information

2.3 損失函數(shù)

本文采用SSD 算法的損失函數(shù)，包含用于分類的損失和用于定位的損失，如式（1）所示：

其中：x為當(dāng)前預(yù)測框的類別信息；c為預(yù)測框類別信息的置信度；l為預(yù)測框的位置信息；g為真實(shí)框的位置信息；N為與真實(shí)目標(biāo)框相匹配的先驗(yàn)框的個數(shù)；α是權(quán)值系數(shù)，α為1，Lconf(x,c)為類別損失，其采用交叉熵?fù)p失函數(shù)；Lloc(x,l,g)為位置損失，其采用SmoothL1損失函數(shù)。

置信度損失Lconf(x,c)是多類別置信度（c）的Softmax loss，采用交叉熵?fù)p失函數(shù)，如式（2）所示：

位置損失Lloc(x,l,g)是預(yù)測框（l）與真實(shí)框（g）之間的SmoothL1損失，如式（4）所示：

3 實(shí)驗(yàn)與結(jié)果分析

本文對所提模型進(jìn)行消融實(shí)驗(yàn)，以驗(yàn)證其檢測性 能。實(shí)驗(yàn)環(huán)境為Intel?Xeon?CPU E5-1650 v4 @3.6 GHz×12，配置Tesla K20c GPU，Linux 操作系統(tǒng)，Pytorch 深度學(xué)習(xí)框架，開發(fā)環(huán)境為Python。利用在Image 數(shù)據(jù)集上預(yù)訓(xùn)練好的VGG16 模型，損失函數(shù)沿用SSD 算法的損失函數(shù)，包含定位損失和分類損失，batch size 為1，動量因子為0.9，權(quán)重衰減系數(shù)為0.000 5，學(xué)習(xí)率為0.000 01。

3.1 數(shù)據(jù)集與評價(jià)指標(biāo)

本文所用數(shù)據(jù)集為NWPU VHR-10［30］數(shù)據(jù)集，NWPU VHR-10 是由西北工業(yè)大學(xué)標(biāo)注的用于遙感圖像目標(biāo)檢測的數(shù)據(jù)集，共有800 張光學(xué)遙感圖像，其中包含目標(biāo)的有650 張，每張照片最少包含一個目標(biāo)，圖像分辨率為0.5 m～2.0 m。該數(shù)據(jù)集共包含10 個類別目標(biāo)，手動注釋了757 個飛機(jī)、302 艘船、655 個油罐、390 個棒球場、524 個網(wǎng)球場、159 個籃球場、163個田徑場、224個港口、124 座橋梁和477 輛車?？紤]到包含目標(biāo)的圖片較少，為了避免過擬合問題，本文采用翻轉(zhuǎn)、圖像尺寸縮放以及隨機(jī)裁剪等操作進(jìn)行數(shù)據(jù)擴(kuò)充以擴(kuò)大樣本數(shù)量?？紤]到遙感圖像較大，將輸入圖像的尺寸都調(diào)整為800像素×800像素。在訓(xùn)練過程中，將數(shù)據(jù)集的60%用來訓(xùn)練，剩下的40%用于測試，將NWPU VHR-10 數(shù)據(jù)集格式統(tǒng)一為pascal_voc。

本文采用平均檢測精度（Mean Average Precision，MAP）作為評價(jià)指標(biāo)。每一個類別都可以根據(jù)準(zhǔn)確率（Precision）和召回率（Recall）得到P-R 曲線，平均精確度（Average Precision，AP）就是P-R 曲線的面積，AP 值越高代表檢測性能越好，MAP 就是所有類AP 的平均值。Precision 和Recall 可以根據(jù)TP、TN、FP、FN 計(jì)算，Precision（P）、Recall（R）、AP（AAP）計(jì)算公式分別如式（6）～式（8）所示：

其中：TTP為真正例；TTN為真反例；FFP為假正例；FFN為假反例。

3.2 消融實(shí)驗(yàn)

為驗(yàn)證MFFSSD 算法的性能，通過融合不同的網(wǎng)絡(luò)層，本文設(shè)計(jì)2 種結(jié)構(gòu)，如表1 所示，結(jié)構(gòu)（a）融合SSD 算法中的conv4_3、conv7 以及conv9_2，結(jié)構(gòu)（b）融合SSD 算法中的conv4_3、conv8_2 以及conv10_2，2 種結(jié)構(gòu)在NWPU VHR-10 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果（檢測精度）如表2 所示，√表示有該層。

表1 2 種融合結(jié)構(gòu)Table 1 Two fusion structures

表2 不同結(jié)構(gòu)模型的實(shí)驗(yàn)結(jié)果對比Table 2 Comparison of experimental results of different structural models

由表2可以看出，結(jié)構(gòu)（a）的檢測精度優(yōu)于結(jié)構(gòu)（b）。在NWPU VHR-10 數(shù)據(jù)集中需要檢測的目標(biāo)相對較小，在較高層中，經(jīng)過多層卷積之后小目標(biāo)的信息丟失較為嚴(yán)重，而較低層中小目標(biāo)的信息相對更加豐富，因此，在進(jìn)行特征融合時，融合較低層的特征比融合較高層特征的檢測效果更好，即本文后續(xù)實(shí)驗(yàn)采用結(jié)構(gòu)（a）。

3.3 算法對比實(shí)驗(yàn)

將本文 算法與Faster R-CNN［8］、YOLOv1［9］、YOLOv2［11］、SSD［10］、Mask R-CNN［31］和Sig-NMS［23］算法進(jìn)行對比，實(shí)驗(yàn)結(jié)果如表3 所示，其中最優(yōu)結(jié)果加粗表示，部分算法的目標(biāo)檢測結(jié)果如圖6 所示，為進(jìn)一步展示本文算法的效果，圖7 給出本文MFFSSD算法的部分檢測結(jié)果。Faster R-CNN 采用VGG 網(wǎng)絡(luò)作為特征提取器，YOLOv1 采用Darknet-24 的檢測網(wǎng)絡(luò)，YOLOv2 采用Darknet-19 的檢測網(wǎng)絡(luò)，SSD 采用VGG16 網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，Mask R-CNN 采用ResNet+FPN 網(wǎng)絡(luò)進(jìn)行特征提取，Sig-NMS 沿用Faster R-CNN 用VGG 網(wǎng)絡(luò)進(jìn)行特征提取，MFFSSD算法沿用SSD 用VGG16 網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)。

圖6 4 種算法的目標(biāo)檢測結(jié)果對比Fig.6 Comparison of target detection results of four algorithms

圖7 本文MFFSSD 算法目標(biāo)檢測結(jié)果Fig.7 Target detection results of MFFSSD algorithm in this paper

表3 7 種算法在NWPU VHR-10 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對比Table 3 Comparison of experimental results of seven algorithms on NWPU VHR-10 dataset

由表3 可以看出，基于候選框的Faster R-CNN的檢測精度高于基于回歸的YOLOv1，與基于回歸的檢測框架相比，基于候選框的檢測框架能更好地區(qū)分正負(fù)樣本，提高檢測精度。YOLOv2 對YOLOv1 進(jìn)行改進(jìn)，檢測精度略高于Faster R-CNN。Mask R-CNN 在Faster R-CNN 的基礎(chǔ)上進(jìn)行改進(jìn)，檢測精度高于YOLOv2。Sig-NMS 算法用Sig-NMS 代替Faster R-CNN 中的NMS，檢測精度與Mask R-CNN相近，高于YOLOv2。相較于YOLO 系列與Faster R-CNN 系列，SSD 網(wǎng)絡(luò)檢測精度大幅提高，證明了多尺度特征金字塔結(jié)構(gòu)能有效提高目標(biāo)檢測精度。本文在多尺度特征金字塔的基礎(chǔ)上設(shè)計(jì)多尺度特征融合模塊，提出了MFFSSD 算法，該算法能夠增強(qiáng)網(wǎng)絡(luò)對多尺度對象特征的提取能力，其對大多數(shù)類別的檢測精度較對比算法均有明顯提升，特別是對小目標(biāo)的檢測精度。相對于SSD 算法，MFFSSD 算法在飛機(jī)目標(biāo)上的檢測精度高0.007，在船只目標(biāo)上檢測精度高0.048，在儲油罐目標(biāo)上檢測精度高0.093，在車輛目標(biāo)上檢測精度高0.139，在NWPU VHR-10 數(shù)據(jù)集上平均檢測精度比SSD 算法高0.045。

從圖6 可以看出，在檢測飛機(jī)目標(biāo)時，4 種算法均可全部檢測出目標(biāo)；在檢測船只目標(biāo)時，F(xiàn)aster RCNN 算法、SSD 算法和Sig-NMS 算法均存在目標(biāo)漏檢的情況，MFFSSD 算法可檢測出全部船只；在檢測儲油罐、車輛這種小又密集的目標(biāo)時，F(xiàn)aster R-CNN算法、SSD 算法和Sig-NMS 算法均存在目標(biāo)漏檢、錯檢較多的情況，MFFSSD 算法雖然也有漏檢、錯檢現(xiàn)象，但整體效果優(yōu)于其他3 種算法。結(jié)合圖6、圖7 可以看出，MFFSSD 算法可以很好地檢測出遙感圖像中的小目標(biāo)。

4 結(jié)束語

針對遙感圖像中的小目標(biāo)檢測問題，本文對傳統(tǒng)SSD 算法進(jìn)行改進(jìn)，提出一種多尺度特征融合的遙感圖像目標(biāo)檢測算法。在SSD 算法的基礎(chǔ)上設(shè)計(jì)特征融合模塊和冗余信息去除模塊，以增強(qiáng)網(wǎng)絡(luò)的特征提取能力并提高小目標(biāo)的檢測精度。實(shí)驗(yàn)結(jié)果表明，該算法在遙感圖像公開數(shù)據(jù)集NWPU VHR-10中取得了93.9% 的平均檢測精度，檢測性能優(yōu)于Faster R-CNN、SSD 等算法。下一步將對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，考慮在其中加入GAN 網(wǎng)絡(luò)以提升檢測精度。