張 菁 吳鑫嘉 趙曉蕾 卓 力② 張 潔

①(北京工業(yè)大學(xué)信息學(xué)部 北京 100124)

②(北京工業(yè)大學(xué)計算智能與智能系統(tǒng)北京市重點實驗室 北京 100124)

③(中國地質(zhì)大學(xué)(武漢)資源信息工程系 武漢 430074)

1 引言

高分辨率遙感影像目標(biāo)檢測技術(shù)對人們提煉地表有用信息，充分發(fā)揮遙感數(shù)據(jù)效用具有重要的研究意義和實際應(yīng)用價值[1]。近年來，以卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network， CNN)為代表的深度學(xué)習(xí)方法，在高分辨率遙感影像目標(biāo)檢測中表現(xiàn)出優(yōu)良的性能[2]。

基于深度學(xué)習(xí)的目標(biāo)檢測方法大致分為兩類[3]，一是以R-CNN， Fast R-CNN， Faster R-CNN為代表基于區(qū)域生成的二階段方法，二是以YOLO， SSD為代表基于回歸的一階段方法。遙感影像具有背景復(fù)雜，目標(biāo)分布密集、方向多變且尺度差異的特點，需要根據(jù)這些特點改進(jìn)深度網(wǎng)絡(luò)以完成遙感影像目標(biāo)檢測任務(wù)。Wang等人[4]提出了一種端到端多尺度視覺注意網(wǎng)絡(luò)，通過關(guān)注目標(biāo)區(qū)域的細(xì)節(jié)信息，改善了遙感影像背景復(fù)雜、目標(biāo)分布密集的問題。Cheng等人[1]基于R-CNN提出了旋轉(zhuǎn)不變的CNN模型，訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)到具有旋轉(zhuǎn)魯棒性的特征。在我們已有的研究工作中[5]提出了一種多尺度特征融合檢測網(wǎng)絡(luò)(Feature fusion and Scalingbased Single Shot Detector， FS-SSD)用于無人機影像的小目標(biāo)檢測，通過加入反卷積層和平均池化層組成特征金字塔，經(jīng)過特征融合完成多尺度特征預(yù)測。此外，我們還提出一種聯(lián)合通道注意力和旋轉(zhuǎn)不變深度特征的高分辨率遙感影像多尺度目標(biāo)檢測方法[6]，在FS-SSD基礎(chǔ)上加入通道注意力和方向響應(yīng)卷積，獲得旋轉(zhuǎn)不變性的深度特征。

高分辨率遙感影像中地物目標(biāo)和所處場景類別息息相關(guān)[7]，而現(xiàn)有的檢測方法較少考慮場景-目標(biāo)的關(guān)聯(lián)關(guān)系和總體認(rèn)知關(guān)系，因而檢測性能仍有提升空間。已有一些學(xué)者利用場景和目標(biāo)的上下文關(guān)系改善目標(biāo)檢測性能，如Liu等人[8]通過融合場景和物體之間關(guān)系信息提出了結(jié)構(gòu)推理網(wǎng)絡(luò)，在提升目標(biāo)檢測任務(wù)的性能上發(fā)揮了很大作用。Zhang等人[9]提出全局關(guān)系注意力模塊(RGA)，通過充分利用圖像中的全局結(jié)構(gòu)信息，來獲得特征的注意力權(quán)重，在行人再識別中取得了優(yōu)異性能。這些研究結(jié)果表明，借助場景信息可以有效提高目標(biāo)檢測性能。

為此，本文提出全局關(guān)系引導(dǎo)場景約束的高分辨率遙感影像目標(biāo)檢測方法。主要貢獻(xiàn)如下：

(1) 與現(xiàn)有的高分辨率遙感影像目標(biāo)檢測方法不同，提出利用全局關(guān)系注意力學(xué)習(xí)全局場景特征作為約束，通過建立場景信息和地物目標(biāo)的關(guān)聯(lián)關(guān)系指導(dǎo)目標(biāo)檢測任務(wù)。

(2) 在場景約束條件下，利用方向響應(yīng)卷積模塊和多尺度特征模塊，生成兼具旋轉(zhuǎn)不變和多尺度的目標(biāo)特性信息，實現(xiàn)更準(zhǔn)確的目標(biāo)定位和分類。

(3) 通過交叉熵分類損失和定位損失的加權(quán)和聯(lián)合優(yōu)化目標(biāo)檢測網(wǎng)絡(luò)，達(dá)到更優(yōu)的預(yù)測性能。

2 提出的方法

本文提出的全局關(guān)系引導(dǎo)場景約束的高分辨率遙感影像目標(biāo)檢測方法(OR-FS-SSD+RGA)總體架構(gòu)如圖1所示。以FS-SSD為基礎(chǔ)網(wǎng)絡(luò)，首先將遙感影像圖片輸入VGG16網(wǎng)絡(luò)，在其之后加入全局關(guān)系注意力模塊RGA，捕獲全局的結(jié)構(gòu)化關(guān)系信息；然后將全局場景特征作為約束輸入方向響應(yīng)卷積模塊和多尺度特征模塊，獲得旋轉(zhuǎn)不變的深度特征和多尺度預(yù)測特征圖；最后利用損失函數(shù)優(yōu)化網(wǎng)絡(luò)實現(xiàn)高分辨率遙感影像目標(biāo)檢測。

圖1 全局關(guān)系引導(dǎo)場景約束的高分辨率遙感影像目標(biāo)檢測方法(OR-FS-SSD+RGA)

2.1 全局關(guān)系引導(dǎo)的注意力

注意力機制旨在加強有區(qū)分度的特征和弱化無關(guān)的特征，但現(xiàn)有研究更多關(guān)注圖片局部信息。如前所述，Zhang等人[9]提出全局關(guān)系注意力對行人再識別性能的提升具有很好的推動作用。而高分辨率遙感影像的目標(biāo)檢測方法也較少考慮場景信息和地物目標(biāo)之間的關(guān)聯(lián)關(guān)系，忽略了圖像中有價值的全局上下文信息。此外，遙感影像目標(biāo)往往具有多個尺度，文獻(xiàn)[5]提出的FS-SSD目標(biāo)檢測網(wǎng)絡(luò)對多尺度目標(biāo)預(yù)測效果尤為突出。為此，本文在FSSSD目標(biāo)檢測網(wǎng)絡(luò)中加入全局關(guān)系注意力模塊，包括全局空間關(guān)系注意力/全局通道關(guān)系注意力，通過提取全局場景特征作為約束獲得全局場景上下文信息。

全局關(guān)系注意力結(jié)構(gòu)如圖2所示，輸入圖像由前端網(wǎng)絡(luò)處理后得到特征圖，特征圖中的特征向量作為原始特征表示為特征節(jié)點xi∈RL，其中i=1，2，···，N，N為特征數(shù)量，當(dāng)前特征節(jié)點與其他所有特征節(jié)點之間的成對關(guān)系用r表示，將原始特征與成對關(guān)系拼接組合得到全局關(guān)系特征y。以特征節(jié)點x1舉例來說，圖中x1與其他特征節(jié)點之間的成對關(guān)系表示為r1=(r1，1，r1，2，···，r1，N)，將x1與成對關(guān)系r1拼接組合得到全局關(guān)系特征y1=[x1，r1]。同理，全部特征節(jié)點可以產(chǎn)生所有全局關(guān)系特征y(y1，y2，···，yN)，y作為全局注意力的特征向量用于計算全局關(guān)系注意力權(quán)重值(a1，a2，···，aN)。

圖2 全局關(guān)系注意力結(jié)構(gòu)

這種成對特征關(guān)系的學(xué)習(xí)由于結(jié)合了所有特征位置的關(guān)系，可以很好地表示整張圖片的全局場景特征，為此本文將依此建立全局關(guān)系來引導(dǎo)場景注意力的實施。下面將重點介紹全局空間關(guān)系注意力和全局通道關(guān)系注意力。

2.1.1 全局空間關(guān)系注意力

全局空間關(guān)系注意力是在特征圖的空間維度上學(xué)習(xí)各個特征節(jié)點，對所有特征節(jié)點之間的成對關(guān)系進(jìn)行緊湊的表示，得到在空間上具有全局化的結(jié)構(gòu)信息。本文方法就是在目標(biāo)檢測網(wǎng)絡(luò)中加入全局空間關(guān)系注意力(RGA-S)，以獲得整張遙感影像在空間上的全局場景信息作為場景約束。全局空間關(guān)系注意力的結(jié)構(gòu)如圖3所示，具體實現(xiàn)過程為：

圖3 全局空間關(guān)系注意力

步驟1 輸入特征圖S∈RL×H×W，將特征圖中每個空間位置的L維特征向量作為特征節(jié)點si∈RL(i=1，2， ···，N， N=H×W)，形成一個節(jié)點圖GS。

圖4 全局通道關(guān)系注意力

步驟4 連接原始特征和通道關(guān)系矩陣，使通道關(guān)系注意力同時獲得全局結(jié)構(gòu)信息和局部原始信息：

2.2 場景約束的高分辨率遙感影像目標(biāo)檢測

將全局場景特征送入方向響應(yīng)卷積和多尺度特征模塊，生成兼具旋轉(zhuǎn)不變和多尺度的目標(biāo)特性信息，實現(xiàn)更準(zhǔn)確定位和分類。最后通過交叉熵分類損失和定位損失的加權(quán)和聯(lián)合優(yōu)化目標(biāo)檢測網(wǎng)絡(luò)。

2.2.1 方向響應(yīng)卷積模塊和多尺度特征模塊

方向響應(yīng)卷積模塊包括4層大小為3×3的方向響應(yīng)卷積(ORConv6_1， ORConv6_2， ORConv7_1，ORConv7_2)和Alignment特征編碼(ORAlign)。方向響應(yīng)卷積由主動旋轉(zhuǎn)濾波器ARF構(gòu)成，產(chǎn)生具有方向通道的特征圖，使用ORAlign編碼方式將具有方向性的特征圖編碼，使獲得的特征具有旋轉(zhuǎn)不變性。將遙感影像全局關(guān)系結(jié)構(gòu)特征輸入方向響應(yīng)卷積后，得到在場景約束條件下旋轉(zhuǎn)不變的深度特征。

多尺度特征模塊包括反卷積層、平均池化層和特征融合3個部分。反卷積層包括3個卷積核大小為2×2的反卷積層和1個3×3的卷積層，用于提高特征圖的空間分辨率，使得經(jīng)過多層卷積的遙感影像特征圖信息得到有效保留，之后加入平均池化層可以得到更加緊湊的特征信息。特征融合中將Conv4_3，F(xiàn)C7和ORConv6_2融合在一起，這樣獲得的遙感影像目標(biāo)特征同時具備低層視覺信息和高層語義信息。在獲得場景約束下的遙感影像目標(biāo)特征之后，使用平均池化層和多尺度特征融合中最后的6個卷積層，共7個特征圖作為預(yù)測特征圖，特征圖尺寸大小如表1所示。

表1 OR-FS-SSD+RGA最終預(yù)測特征圖尺寸

2.2.2 網(wǎng)絡(luò)目標(biāo)損失函數(shù)

由目標(biāo)檢測網(wǎng)絡(luò)得到目標(biāo)的深度特征后，比較網(wǎng)絡(luò)輸出和實際標(biāo)注框的目標(biāo)類別、位置信息，計算分類損失和定位損失的加權(quán)和來聯(lián)合優(yōu)化網(wǎng)絡(luò)。本文分別使用交叉熵?fù)p失Lconf和Smooth L1損失Lloc作為分類損失函數(shù)和定位損失函數(shù)，對于任意目標(biāo)u，交叉熵?fù)p失函數(shù)Lconf可以表示為其中，N為匹配的候選框的數(shù)量，α用于調(diào)整分類損失和定位損失之間的比例，默認(rèn)設(shè)為1。

3 實驗結(jié)果與分析

3.1 實驗步驟

3.1.1 數(shù)據(jù)集

本文實驗采用西北工業(yè)大學(xué)標(biāo)注的NWPU VHR-10[10]數(shù)據(jù)集。數(shù)據(jù)集包含10類目標(biāo)，2934個實例，共800張圖片(650張包含目標(biāo)，150張為不包含目標(biāo)的背景圖片)，其中715張通過Google地圖獲得，空間分辨率在0.5～2 m，其余85張圖像是銳化的彩色紅外圖像，空間分辨率為0.08 m。輸入網(wǎng)絡(luò)圖片大小為512×512，由于原始數(shù)據(jù)集數(shù)據(jù)量較小，容易產(chǎn)生過擬合現(xiàn)象，考慮到高分辨率數(shù)據(jù)特點，本文采用水平和垂直的鏡像以及亮度調(diào)節(jié)的數(shù)據(jù)擴充策略，擴充為原來的6倍，60%作為訓(xùn)練集，20%驗證集，20%測試集。

3.1.2 實驗設(shè)置

實驗使用Ubuntu16.04操作系統(tǒng)，NVIDIATITAN XP加速處理器進(jìn)行加速，Pytorch作為深度框架，SGD優(yōu)化算法進(jìn)行優(yōu)化，VOC07+12預(yù)訓(xùn)練模型作為初始化，超參數(shù)設(shè)置如表2所示。

表2 網(wǎng)絡(luò)超參數(shù)設(shè)置

性能評價指標(biāo)使用平均檢測準(zhǔn)確率(mean Average Precision， mAP)和檢測速度(frames per second， fps)。

3.2 實驗1：不同注意力模塊對目標(biāo)檢測性能影響

本實驗以O(shè)R-FS-SSD網(wǎng)絡(luò)為基礎(chǔ)，測試了分別加入不同注意力模塊對目標(biāo)檢測準(zhǔn)確率和速度的影響。為了簡化表示，加入不同模塊的網(wǎng)絡(luò)記為“+模塊名”，結(jié)果如圖5所示。OR-FS-SSD是在FS-SSD中加入方向響應(yīng)卷積的檢測網(wǎng)絡(luò)，獲得93.86%mAP和29.50fps；+SE采用SENet[11]中的SE模塊，使用經(jīng)過空間全局平均池和兩個非線性的全連接層的特征計算通道注意力，獲得92.93%mAP和26.93fps；+CA采用DANet[12]中的通道注意力模塊CAM，在局部特征建立豐富的上下文依賴關(guān)系，獲得94.74%的mAP和29.57fps；CBAM[13]是從通道和空間兩個維度獲取注意力的模塊，該模塊和+ CBAM-C(僅通道)，+CBAM-S(僅空間) 的mAP分別為92.78%， 93.53%和93.77%，檢測速度分別為25.81fps， 27.77fps和27.88fps；本文方法通過關(guān)注全局場景信息檢測目標(biāo)，+RGA， +RGA-C(僅通道)和+RGA-S(僅空間)的mAP分別達(dá)到93.90%， 94.74%和95.59%，檢測速度則為28.80fps，28.18fps和30.07fps。

圖5 不同注意力模塊的檢測結(jié)果

分析上述結(jié)果，在OR-FS-SSD網(wǎng)絡(luò)基礎(chǔ)上，各模塊檢測效果表現(xiàn)為RGA-S優(yōu)于RGA-C優(yōu)于RGA， CBAM-S優(yōu)于CBAM-C優(yōu)于CBAM，即CBAM和RGA均在僅使用空間注意力模塊時效果最好。一般來說，遙感影像場景往往比較復(fù)雜，具有較強的空間分布規(guī)律，空間信息會顯得更為重要，而空間注意力表達(dá)的是同一通道上不同位置的結(jié)構(gòu)信息，可以使場景特征不受通道維度的影響。若同時使用空間和通道注意力，會使得空間特征和通道特征相互影響反而降低了檢測效果。

3.3 實驗2：每類目標(biāo)檢測準(zhǔn)確率對比

本實驗選取實驗1中檢測準(zhǔn)確率較高的+SE，+CA， +CBAM-S和本文的+RGA-S共4個網(wǎng)絡(luò)進(jìn)行比較，每類目標(biāo)準(zhǔn)確率對比結(jié)果如圖6所示?？梢钥闯觯疚姆椒?RGA-S在飛機檢測上和其他方法相比有明顯的提升，達(dá)到99.32%的檢測準(zhǔn)確率，這是因為在檢測過程中加入場景信息作為約束，有效捕獲了圖像中的全局結(jié)構(gòu)信息，而其他3種方法僅在局部范圍內(nèi)獲取特征圖的注意力權(quán)重值。對于棒球場、網(wǎng)球場、籃球場和田徑場這些類目標(biāo)，4個網(wǎng)絡(luò)的檢測準(zhǔn)確率均達(dá)到99%以上，因為這些目標(biāo)所在的場景類似，場景約束對其檢測性能的提升并不明顯。由于海港所在的場景較明顯，+RGA-S很好地學(xué)習(xí)到了海港的場景特征，獲得99.45%AP，相比+SE和+CBAM-S的網(wǎng)絡(luò)準(zhǔn)確率提高了8.57%和8.84%。4種方法在船舶、儲油罐、橋和車輛的檢測中準(zhǔn)確率普遍較低，只有90%左右，尤其是車輛檢測，這是由于其形態(tài)多變且所處的場景較復(fù)雜。綜合來看，本文方法在目標(biāo)檢測中加入場景信息作為約束，對一些典型場景的目標(biāo)檢測性能是有作用的。

圖6 4個網(wǎng)絡(luò)中每類目標(biāo)檢測準(zhǔn)確率

3.4 實驗3：目標(biāo)檢測的主觀檢測結(jié)果

為更直觀展示所提方法的檢測性能，圖7示出了FSSD， FS-SSD， Faster-RCNN， +CA和+RGA-S的主觀結(jié)果。由于FSSD， FS-SSD， Faster-RCNN是用于常規(guī)圖片的目標(biāo)檢測方法，對飛機、儲油罐、橋和車輛等遙感影像目標(biāo)存在漏檢現(xiàn)象，檢測準(zhǔn)確率不高，F(xiàn)aster-RCNN對儲油罐和車輛等分布密集的目標(biāo)存在大量檢測重疊框。+CA可以學(xué)習(xí)遙感影像目標(biāo)方向不變性和尺度不變性的特征，在檢測飛機上取得了較好的性能。本文+RGA-S方法利用場景信息作為約束對飛機實現(xiàn)了更精確的檢測，檢測出了所有的飛機目標(biāo)，獲得比其他方法更高的分類置信度。

圖7 FSSD， FS-SSD， Faster-RCNN， OR-FS-SSD+CA和OR-FS-SSD+RGA-S的主觀結(jié)果對比

3.5 實驗4：和其他主流網(wǎng)絡(luò)的檢測性能對比

本實驗選取表現(xiàn)最好的+RGA-S方法與其他主流網(wǎng)絡(luò)的目標(biāo)檢測方法進(jìn)行了性能比較，如表3所示，本文方法達(dá)到最高的95.59%mAP和30.07fps，F(xiàn)aster-RCNN檢測精度高但速度較低，YOLOv3相對較好地權(quán)衡了檢測速度與精度，兩種方法分別獲得mAP為93.10%和91.04%，檢測速度為0.09FPS和14.68FPS。+CA[6]通過挖掘各個通道之間的相互依賴關(guān)系獲得更具區(qū)分度的目標(biāo)特征，獲得mAP為94.74%和29.57%fps，已經(jīng)取得了很好的性能，但沒有利用場景類別和地物目標(biāo)的關(guān)聯(lián)關(guān)系。相比YOLOv3， Faster-RCNN和+CA，本文方法的mAP分別提高了4.55%， 2.49%和0.85%，檢測速度提高了15.39fps， 29.98fps和0.5fps。LCFFN[14]， GBD[15]，CBD-E[16]和ORSIm[17]是專門用于遙感影像目標(biāo)檢測的網(wǎng)絡(luò)，盡管mAP均在90+%，但是算法復(fù)雜度都比較高，fps僅為0.35， 2.2， 2和4.72。本文網(wǎng)絡(luò)相比這4種方法檢測準(zhǔn)確率分別提高了1.92%， 1.64%，0.61%和0.2%，檢測速度大幅超過了這4種方法。

表3 和主流網(wǎng)絡(luò)的檢測準(zhǔn)確率對比

經(jīng)過綜合比較，本文方法利用方向響應(yīng)卷積和多尺度融合策略，獲得了目標(biāo)旋轉(zhuǎn)不變和多尺度特征，采用RGA-S在空間上提取遙感影像的全局場景信息，獲得更好的目標(biāo)檢測性能。

4 結(jié)束語

本文提出了一種全局關(guān)系注意力引導(dǎo)場景約束的高分辨率遙感影像目標(biāo)檢測方法。以FS-SSD目標(biāo)檢測網(wǎng)絡(luò)為基礎(chǔ)，加入全局關(guān)系注意力模塊，獲得遙感影像的全局結(jié)構(gòu)化信息；然后以全局關(guān)系引導(dǎo)場景約束，結(jié)合方向響應(yīng)卷積模塊和多尺度特征模塊進(jìn)行目標(biāo)預(yù)測；最后利用兩個損失函數(shù)聯(lián)合優(yōu)化網(wǎng)絡(luò)實現(xiàn)目標(biāo)檢測，提升了目標(biāo)檢測性能。在NWPU VHR-10數(shù)據(jù)集上，和現(xiàn)有的深度學(xué)習(xí)方法相比取得了更好的檢測性能，mAP達(dá)到95.59%，檢測速度30.07fps，說明在場景約束下可以有效提升目標(biāo)檢測的整體性能。然而在一些所處場景復(fù)雜且變化較大的目標(biāo)，檢測性能提升并不明顯，說明利用全局注意力來學(xué)習(xí)場景上下文信息仍有改進(jìn)空間，之后將考慮在目標(biāo)檢測網(wǎng)絡(luò)中加入門控機制來強化捕獲全局上下文信息的能力，產(chǎn)生更魯棒的場景特征表達(dá)，進(jìn)一步提高目標(biāo)檢測性能。