尹法林，王天一

(貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴州 貴陽 550025)

0 引言

近年來衛(wèi)星遙感技術(shù)在自然災(zāi)害救助和高空目標(biāo)偵察等方面得到廣泛的應(yīng)用，成為軍事偵察、海洋勘測(cè)等領(lǐng)域不可缺少的工具[1-3]。氣候、光照等自然條件的影響，使得識(shí)別遙感圖像中的目標(biāo)有很多困難。因此，對(duì)復(fù)雜場(chǎng)景下的遙感圖像目標(biāo)檢測(cè)識(shí)別的研究具有重要的價(jià)值[4-5]。

隨著深度學(xué)習(xí)[6]在計(jì)算機(jī)視覺領(lǐng)域的發(fā)展，使用卷積神經(jīng)網(wǎng)絡(luò)[7-8]對(duì)圖像中的目標(biāo)進(jìn)行識(shí)別已經(jīng)成為研究的熱門課題。2012年AlexNet[8]網(wǎng)絡(luò)在ImageNet圖像分類比賽中成績突出，從此出現(xiàn)了以深度卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的目標(biāo)檢測(cè)算法。之后出現(xiàn)的雙階段目標(biāo)檢測(cè)算法Fast R-CNN[9]、Faster R-CNN[10]等進(jìn)一步提高了檢測(cè)的精度，但是檢測(cè)速度很慢。2016年Redmon等在CVPR會(huì)議上提出統(tǒng)一實(shí)時(shí)目標(biāo)檢測(cè)算法YOLO[11]，該算法利用回歸得到邊界框和類別概率，在檢測(cè)速度上有明顯的提升，但是檢測(cè)精度偏低。同年，Liu等在ECCV會(huì)議上提出了多尺度單發(fā)射擊檢測(cè)算法SSD[12]，該算法通過用不同尺度的特征圖來提取特征，在滿足實(shí)時(shí)性的同時(shí)，提高了檢測(cè)精度。

針對(duì)小目標(biāo)檢測(cè)的準(zhǔn)確率不高，文獻(xiàn)[13]提出了自注意力特征融合模塊。遙感數(shù)據(jù)集中基本都是小目標(biāo)物體，而小目標(biāo)物體主要以淺層特征圖來檢測(cè)[14]，因此對(duì)SSD算法網(wǎng)絡(luò)中的淺層特征圖進(jìn)行融合，可提高目標(biāo)檢測(cè)的準(zhǔn)確性；針對(duì)訓(xùn)練過程中正負(fù)樣本失衡導(dǎo)致的模型退化問題，采用聚焦分類損失函數(shù)(focal classification loss)[15-16]對(duì)原始的損失函數(shù)進(jìn)行優(yōu)化。本文在原始SSD算法的基礎(chǔ)上，提出了注意力特征融合SSD(Attention Feature Fusion SSD，AFF-SSD)算法，以提升對(duì)遙感圖像目標(biāo)檢測(cè)的平均準(zhǔn)確率。

1 AFF-SSD算法

如圖1所示，AFF-SSD算法網(wǎng)絡(luò)結(jié)構(gòu)是基于VGG16[17]網(wǎng)絡(luò)修改而來的，將VGG16網(wǎng)絡(luò)的FC6、FC7全連接層改為Conv6、FC7卷積層，并在后面添加了4個(gè) 卷 積 層(Conv8、Conv9、Conv10、Conv11)，然 后 將Conv4_3層和FC7層特征融合組成新的Conv4_3層，將FC7層和Conv6_2層特征融合組成新的FC7層。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)有6個(gè)特征圖，這6個(gè)特征圖有不同的感受野，會(huì)產(chǎn)生不同尺寸的候選框，預(yù)測(cè)不同大小的目標(biāo)物體。在網(wǎng)絡(luò)結(jié)構(gòu)中，由于淺層特征圖感受野小、分辨率高，用來預(yù)測(cè)小目標(biāo)物體；深層特征圖感受野較大，用來預(yù)測(cè)較大的物體目標(biāo)。

圖1 AFF-SSD算法網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)以300×300圖片作為輸入，通過池化下采樣使得圖片尺寸逐漸減小，6個(gè)特征圖尺寸分別為38×38，19×19，10×10，5×5，3×3，1×1，每個(gè)特征圖生成候選框的數(shù)量分別為4，6，6，6，4，4，整個(gè)網(wǎng)絡(luò)會(huì)產(chǎn)生8 732個(gè)候選框來預(yù)測(cè)目標(biāo)物體。最后通過非極大值抑制(Non-Maximum Suppression，NMS)算法[18]過濾掉多余邊界框并產(chǎn)生最終檢測(cè)結(jié)果。

1.1 注意力模塊

注意力模塊本質(zhì)上是通過矩陣轉(zhuǎn)置相乘進(jìn)行相關(guān)性計(jì)算，增加依賴性較強(qiáng)的特征權(quán)重，降低噪聲干擾，提高對(duì)有效信息的利用率。在卷積神經(jīng)網(wǎng)絡(luò)模型中，由于卷積核選擇一般都比較小，導(dǎo)致每次卷積操作只能提取部分的特征信息，對(duì)于距離卷積核較遠(yuǎn)的特征信息不容易被提取。為了捕捉數(shù)據(jù)和特征的內(nèi)部相關(guān)性，使得遠(yuǎn)距離的特征存在依賴關(guān)系，本文提出了通道注意力模塊和空間注意力模塊，結(jié)構(gòu)如圖2、圖3所示。

圖3 空間注意力模塊

通道注意力模塊如圖2所示，其作用為建立通道之間的依賴關(guān)系，增強(qiáng)語義信息的表達(dá)。輸入特征圖A維度為W×H×C，通過對(duì)特征圖A卷積得到特征圖B、C，維度均為W×H×C1，將特征圖B進(jìn)行維度重排和矩陣轉(zhuǎn)置得到矩陣D，維度為C1×(W×H)，將特征圖C進(jìn)行維度重排得到矩陣E，維度為(W×H)×C1。然后矩陣D和矩陣E相乘，得到特征圖矩陣H，維度為C1×C1，將矩陣H在列方向上使用softmax進(jìn)行歸一化，得到通道注意力矩陣，具體操作如下：

圖2 通道注意力模塊

式中Bji為第i個(gè)像素和第j個(gè)像素之間的相關(guān)性，二者特征越相似，則轉(zhuǎn)置相乘得到的相關(guān)性越大，在注意力特征圖像上具有更高的特征值。Hij為矩陣H中的各元素。最后將矩陣H維度重排得到通道注意力特征圖G，維度為C2×C2×C1，其中C2=C1/2。

空間注意力模塊如圖3所示，其作用為降低噪聲，加強(qiáng)對(duì)重要特征信息的提取。輸入特征圖A維度為W×H×C，通過對(duì)特征圖A卷積得到特征圖B、C，維度為W×H×1，將特征圖B進(jìn)行維度重排得到矩陣D，維度為W×H×1，將特征圖C進(jìn)行維度重排和矩陣轉(zhuǎn)置得到矩陣E，維度為1×(W×H)，然后矩陣D和矩陣E相乘，得到特征圖矩陣F，維度為W×H×W×H，將矩陣F在列方向上使用softmax進(jìn)行歸一化，得到空間注意力矩陣。最后將矩陣F維度重排得到空間注意力特征圖G，維度為W×H×(W×H)。

1.2 注意力特征融合模塊

在SSD算法中，不同特征圖的特征信息沒有融合，使得用于檢測(cè)小目標(biāo)物體的淺層特征圖缺乏足夠的語義信息，因此對(duì)小目標(biāo)物體的檢測(cè)效果不好。傳統(tǒng)的特征融合方法都要進(jìn)行上采樣操作，而上采樣會(huì)引入大量噪聲，對(duì)小物體目標(biāo)識(shí)別會(huì)有影響。同時(shí)在卷積神經(jīng)網(wǎng)絡(luò)中，由于卷積核尺寸一般設(shè)置都比較小，導(dǎo)致每次卷積操作只能覆蓋卷積核附近的像素點(diǎn)區(qū)域。對(duì)于圖片上距離較遠(yuǎn)的相關(guān)特征信息不容易被卷積核捕獲。針對(duì)以上問題，結(jié)合通道注意力模塊和空間注意力模塊，本文提出了注意力特征融合模塊，對(duì)SSD算法卷積神經(jīng)網(wǎng)絡(luò)淺層特征圖特征融合。

圖4所示為注意力特征融合模塊，在模塊中有兩個(gè)輸入：第n個(gè)特征圖和第n+1個(gè)特征圖。

圖4 注意力特征融合模塊

第n個(gè)特征圖，輸入維度為W1×H1×C1，其中W1為輸入 寬，H1為輸入高，C1為輸 入通 道數(shù)。首先，通過2個(gè)1×1卷積降低通道數(shù)，使得通道數(shù)變?yōu)?，維度變?yōu)閃1×H1×1。然后，合并寬和高得到矩陣A和矩陣B，矩陣A維度為W1×H1；矩陣B維度為W1×H1。將矩陣A與矩陣B相乘，得到矩陣C，維度W=W1×H1，將矩陣C在列方向上使用softmax歸一化，得到特征圖上所有特征點(diǎn)與某一特征點(diǎn)的相關(guān)性。將矩陣C的維度展開得到第n個(gè)特征圖的空間注意力圖。

第n+1個(gè)特征圖，輸入維度為W2×H2×C2，其中W2為輸入寬，H2為輸入高，C2為輸入通道數(shù)。首先，通過2個(gè)1×1卷積改變通道數(shù)，使得通道數(shù)C2=W1×H1。然后合并寬和高，得到矩陣D和E。矩陣D維度為(W，N；W=W1×H1，N=W2×H2)，矩陣E維度為(N，W；N=W2×H2，W=W1×H1)，將矩陣D與矩陣E相乘，得到矩陣F，其維度W=W1×H1，將矩陣F在列方向上使用softmax歸一化，得到特征圖上所有特征點(diǎn)與某一特征點(diǎn)的相關(guān)性。將矩陣F的維度展開得到第n+1個(gè)特征圖的通道注意力圖。將第n個(gè)特征圖的空間注意力圖與第n+1個(gè)特征圖的通道注意力圖使用特征增強(qiáng)方法特征融合。最后，為了增加特征多樣性，采用通道拼接的特征融合方法與第n個(gè)特征圖特征融合，得到注意力特征融合圖。

在SSD網(wǎng) 絡(luò) 中，主 要 由Conv4_3層、FC7層、Conv8_2層來檢測(cè)小目標(biāo)物體，相比于Conv4_3層，F(xiàn)C7層擁有更多的語義信息，而Conv4_3層擁有更多的特征信息；與FC7層相比，Conv8_2層擁有更多的語義信息，而FC7層擁有更多的特征信息。因此，在FC7層增加通道注意力模塊，可以提取更多的語義信息，在Conv4_3層增加空間注意力模塊，可以加強(qiáng)對(duì)重要信息的提取，降低噪聲的影響，增強(qiáng)對(duì)小物體目標(biāo)的檢測(cè)能力。

1.3 損失函數(shù)優(yōu)化

為避免因正負(fù)樣本分布不均導(dǎo)致模型訓(xùn)練退化的問題，結(jié)合聚焦分類損失函數(shù)，對(duì)SSD算法的損失函數(shù)進(jìn)行優(yōu)化，優(yōu)化后的損失函數(shù)由聚焦分類損失和位置回歸損失加權(quán)求和獲得，公式如下：

聚焦分類損失公式如下：

位置回歸損失公式如下：

其中，cx，cy是中心點(diǎn)坐標(biāo)；w，h分別為默認(rèn)框的寬和高；為候選框的值，表示真實(shí)框相對(duì)于候選框編碼。

1.4 遷移學(xué)習(xí)

遷移學(xué)習(xí)是解決小樣本數(shù)據(jù)集相關(guān)問題的一個(gè)很好方法，其將一個(gè)任務(wù)上訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型遷移到另一個(gè)任務(wù)中，然后通過簡單的調(diào)整使其適用于一個(gè)新的任務(wù)。通過模型參數(shù)共享，將在大規(guī)模數(shù)據(jù)集中預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型運(yùn)用到其他任務(wù)中，作為其他任務(wù)的特征提取器。圖5為AFFSSD算法遷移過程，該算法網(wǎng)絡(luò)中包含有大量要訓(xùn)練的參數(shù)，而訓(xùn)練這些參數(shù)需要大量的訓(xùn)練數(shù)據(jù)，由于本文使用的遙感數(shù)據(jù)集較少，因此在訓(xùn)練網(wǎng)絡(luò)時(shí)容易過擬合，為解決該問題，本文采用遷移學(xué)習(xí)方法訓(xùn)練網(wǎng)絡(luò)。

圖5 遷移學(xué)習(xí)過程

2 數(shù)據(jù)集

本文使用的遙感數(shù)據(jù)集較小，訓(xùn)練時(shí)比較困難，因此在訓(xùn)練時(shí)進(jìn)行數(shù)據(jù)增強(qiáng)。圖像變換方式包括隨機(jī)亮度變化(-30%～30%)、隨機(jī)平移(-20%～20%)、隨機(jī)旋轉(zhuǎn)(30°～180°)、隨機(jī)翻轉(zhuǎn)(水平或垂直翻轉(zhuǎn))、尺寸變化(-20%～100%)、隨機(jī)裁剪等。

首先，在VOC2012數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，將預(yù)訓(xùn)練模型的特征提取層和相應(yīng)權(quán)重遷移到本文的訓(xùn)練任務(wù)；然后，根據(jù)本文訓(xùn)練任務(wù)重新設(shè)計(jì)一個(gè)分類層，和遷移過來的特征提取層重新組建一個(gè)新的卷積神經(jīng)網(wǎng)絡(luò)，用于本文數(shù)據(jù)集的訓(xùn)練。實(shí)驗(yàn)中采用兩種方法進(jìn)行訓(xùn)練：(1)凍結(jié)特征提取層，只訓(xùn)練分類層；(2)所有層都訓(xùn)練。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及訓(xùn)練方式

在Python3.7、TensorFlow2.0環(huán)境下進(jìn)行實(shí)驗(yàn)，應(yīng)用labelimg標(biāo)注數(shù)據(jù)集；用RTX 2080Ti加速訓(xùn)練，CPU為i7-9700 3.6k@3.60 GHz*8。實(shí)驗(yàn)使用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)為0.000 4，batch_size設(shè)置為8，Dropout為0。

3.2 實(shí)驗(yàn)結(jié)果與分析

表1為不同融合方式在測(cè)試集上的實(shí)驗(yàn)結(jié)果。本文采用平均精度(Average Precision，AP)、平均檢測(cè)精度(mean Average Precision，mAP)、平均檢測(cè)時(shí)間三個(gè)評(píng)價(jià)指標(biāo)對(duì)不同融合方式進(jìn)行檢驗(yàn)。AP是評(píng)價(jià)目標(biāo)檢測(cè)精度的最重要的指標(biāo)之一，其大小可是以查全率為橫軸、召回率為縱軸所圍成的面積大小，所圍成面積越大，AP值越高，對(duì)目標(biāo)檢測(cè)越準(zhǔn)確。mAP用來判別對(duì)多目標(biāo)物體的檢測(cè)精度，對(duì)每個(gè)類別求出AP再求和，然后除以類別數(shù)便得到mAP的值，mAP的取值范圍是[0，1]，其值越高檢測(cè)精度越好。除了檢測(cè)精度，目標(biāo)檢測(cè)的另一個(gè)檢測(cè)指標(biāo)是平均檢測(cè)時(shí)間，只有平均檢測(cè)時(shí)間足夠短，才能實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。

表1 不同融合方式在測(cè)試集上的實(shí)驗(yàn)結(jié)果

為了檢測(cè)注意力特征融合方法的效果，實(shí)驗(yàn)中與傳統(tǒng)的融合方法做了比較。由實(shí)驗(yàn)結(jié)果可知，與傳統(tǒng)SSD算法相比，經(jīng)過注意力特征融合后的SSD算法，雖然平均檢測(cè)時(shí)間增加了7.42 ms，但是平均準(zhǔn)確率均值提高了8.09%；與特征增強(qiáng)、通道拼接等傳統(tǒng)融合方法相比，無論平均檢測(cè)時(shí)間還是平均準(zhǔn)確率均值，都有大幅度的提高。

圖6為不同融合方式下的PR曲線。在圖6中，垂直直線部分不在PR曲線內(nèi)，只是一條輔助線，為了顯示出不同PR曲線與坐標(biāo)軸圍成面積的差異，從而體現(xiàn)不同融合方式下AP值的差異。以垂直直線為區(qū)分條件，從左向右第一條為沒有融合的PR曲線，第二條為add(特征增強(qiáng))融合方式的PR曲線，第三條為concat(通道拼接)特征融合方式的PR曲線，第四條為本文注意力特征融合方式的PR曲線。由圖6可知注意力特征融合方式的PR曲線所圍成的面積最大，即該方式的AP值最高。

圖6 不同類別在不同融合方式下的PR曲線

在圖7中，灰色框(上面一層)為SSD算法的檢測(cè)效果，白色框(下面一層)為AFF-SSD算法的檢測(cè)效果，可以看出，AFF-SSD算法對(duì)小目標(biāo)物體的檢測(cè)效果好于SSD算法。

圖7 SSD算法與AFF-SSD算法檢測(cè)效果對(duì)比

表2為不同訓(xùn)練方式在測(cè)試集上的實(shí)驗(yàn)結(jié)果，由實(shí)驗(yàn)結(jié)果可知，平均準(zhǔn)確率均值最低為遷移學(xué)習(xí)只訓(xùn)練分類層的訓(xùn)練方式，平均準(zhǔn)確率均值為57.27%。原因是本文使用的數(shù)據(jù)集與VOC2012數(shù)據(jù)集存在差異，只訓(xùn)練分類層，特征提取層參數(shù)無法得到更新。而遷移學(xué)習(xí)訓(xùn)練全部層的平均準(zhǔn)確率均值最高，達(dá)到75.19%，與遷移學(xué)習(xí)只訓(xùn)練分類層相比，平均準(zhǔn)確率均值提高17.92%，與全新訓(xùn)練方式相比，平均準(zhǔn)確率均值提高3.47%，因此，本文使用遷移學(xué)習(xí)訓(xùn)練全部層作為遷移學(xué)習(xí)實(shí)驗(yàn)結(jié)果。

表2 不同訓(xùn)練方式在測(cè)試集上的實(shí)驗(yàn)結(jié)果

圖8為AFF-SSD算法遷移學(xué)習(xí)后的PR曲線。在圖8中，垂直直線部分不在PR曲線內(nèi)，只是一條輔助線，為了顯示出PR曲線與坐標(biāo)軸圍成面積，從而體現(xiàn)出AP值。由圖8可知經(jīng)過遷移學(xué)習(xí)后，飛機(jī)類別和油桶類別PR曲線所圍成的面積比未經(jīng)過遷移學(xué)習(xí)所圍成的面積大，即經(jīng)過遷移學(xué)習(xí)后，對(duì)目標(biāo)檢測(cè)的AP有了進(jìn)一步的提高。

圖8 不同類別在遷移學(xué)習(xí)后的PR曲線

4 結(jié)論

針對(duì)SSD算法對(duì)遙感圖像小目標(biāo)物體檢測(cè)效果不佳的缺陷，本文提出了一種特征融合增強(qiáng)的SSD小目標(biāo)檢測(cè)算法——AFF-SSD算法。該算法的核心思想是加強(qiáng)SSD算法淺層特征圖之間的信息交流，使用注意力特征融合模塊對(duì)SSD算法網(wǎng)絡(luò)結(jié)構(gòu)的淺層特征圖進(jìn)行特征融合，增強(qiáng)淺層特征圖的語義信息，從而提高小目標(biāo)的檢測(cè)準(zhǔn)確率。此外，針對(duì)訓(xùn)練過程中正負(fù)樣本失衡導(dǎo)致模型退化的問題，對(duì)原始的損失函數(shù)進(jìn)行優(yōu)化。最后，使用遷移學(xué)習(xí)的方法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，進(jìn)一步提升檢測(cè)精度。由實(shí)驗(yàn)結(jié)果可知，該算法對(duì)小目標(biāo)具有良好的檢測(cè)效果。