劉 敏，樊永生

（中北大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030051）

0 引言

遙感圖像目標(biāo)檢測(cè)廣泛應(yīng)用于智能監(jiān)控、城市規(guī)劃、港口管理和軍事偵察等。與自然場(chǎng)景圖像不同，遙感圖像通常是從鳥(niǎo)瞰圖中捕獲，這給檢測(cè)任務(wù)帶來(lái)了額外的挑戰(zhàn)：如圖像由復(fù)雜的背景和許多密集的物體組成、位置分布不平衡、范圍廣而目標(biāo)較小等問(wèn)題，使遙感圖像難以檢測(cè)識(shí)別。

早期的目標(biāo)檢測(cè)模型是由人工制作的特征提取器組成，如Viola-Jones 檢測(cè)器［1］、方向梯度直方 圖（Histogram of Oriented Gradient，HOG）［2］等，這些模型速度慢、準(zhǔn)確率低，應(yīng)用環(huán)境改變后效果不佳。卷積神經(jīng)網(wǎng)絡(luò)（CNNs）的提出改變了視覺(jué)感知。AlexNet 在2012 年ImageNet 大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽（ILSVRC）中的應(yīng)用［3］，激發(fā)了CNNs在計(jì)算機(jī)視覺(jué)中應(yīng)用的進(jìn)一步研究。如今，目標(biāo)檢測(cè)應(yīng)用在自動(dòng)駕駛、人臉識(shí)別等多領(lǐng)域［4］。

長(zhǎng)期以來(lái)，各行各業(yè)的技術(shù)人員都試圖通過(guò)計(jì)算機(jī)模擬遙感專(zhuān)家，進(jìn)行遙感圖像識(shí)別的復(fù)雜過(guò)程［5］。然而，他們未能實(shí)現(xiàn)足夠高的信息提取精度和準(zhǔn)確性。由于遙感圖像的復(fù)雜性，最成功的遙感圖像識(shí)別方法為視覺(jué)判讀，而海量遙感數(shù)據(jù)與人類(lèi)有限的識(shí)別能力之間的矛盾，制約了目前遙感服務(wù)于發(fā)展中社會(huì)潛力的發(fā)揮。

YOLOv4 算法由于其準(zhǔn)確性和速度優(yōu)勢(shì)被廣泛用于目標(biāo)檢測(cè)，有數(shù)據(jù)顯示，YOLOv4 是YOLO 系列中最佳的目標(biāo)檢測(cè)框架。檢測(cè)遙感圖像的困難在于目標(biāo)較小、背景復(fù)雜、分布密集，所以應(yīng)該考慮其檢測(cè)速度和泛用性，本文將基于深度學(xué)習(xí)的YOLOv4 檢測(cè)算法應(yīng)用于遙感目標(biāo)的檢測(cè)，通過(guò)對(duì)數(shù)據(jù)集進(jìn)行重新聚類(lèi)、重新選擇激活函數(shù)并且對(duì)PANet 結(jié)構(gòu)進(jìn)行優(yōu)化，改進(jìn)對(duì)遙感圖像中小目標(biāo)的識(shí)別準(zhǔn)確率和識(shí)別效率。

1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)分析

1.1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4 算法主要由三部分組成：用于特征提取的Backbone 結(jié)構(gòu)、用于提取特征語(yǔ)義表示的Neck 結(jié)構(gòu)和用于預(yù)測(cè)的Head 結(jié)構(gòu)，如圖1 所示。主干采用CSPDarknet53 結(jié)構(gòu)，并且應(yīng)用SPP 的思想增加感受野，采用PANet 中的路徑聚合模塊作為Neck 部分。在主干網(wǎng)絡(luò)中使用Mish 激活函數(shù)，之后的網(wǎng)絡(luò)中使用的激活函數(shù)都是Leaky_relu激活函數(shù)。

圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of YOLOv4

1.2 YOLOv4檢測(cè)過(guò)程

YOLOv4 算法將輸入圖像大小調(diào)整為608×608×3，然后放入主干網(wǎng)絡(luò)CSPDarknet53 結(jié)構(gòu)中訓(xùn)練進(jìn)行特征提取，得到3 個(gè)有效特征層，大小分別為76×76，38×38，19×19，再進(jìn)入Neck進(jìn)行處理，在SPP 模塊中進(jìn)行多尺度融合，3 張?zhí)卣鲌D就是YOLOv4算法的輸出檢測(cè)結(jié)果。

YOLOv4使用K-means聚類(lèi)得到的先驗(yàn)框適用于自然界中一般圖像的目標(biāo)檢測(cè)，但對(duì)遙感圖像小目標(biāo)的檢測(cè)效果不佳，因此，本文對(duì)數(shù)據(jù)集重新聚類(lèi)；遙感圖像的背景復(fù)雜、分布密集，而YOLOv4在主干中使用的Mish函數(shù)屬于靜態(tài)激活函數(shù)，不能自適應(yīng)不同的輸入特征，所以本文把Mish函數(shù)改換為動(dòng)態(tài)激活函數(shù)，自適應(yīng)地學(xué)習(xí)激活函數(shù)的結(jié)構(gòu)，決定是否激活神經(jīng)元；遙感圖像的目標(biāo)較小，所以特征融合方法對(duì)本文至為重要。因此，本文對(duì)YOLOv4算法中的PANet進(jìn)行改進(jìn)，以加強(qiáng)淺層特征提取，提高對(duì)小目標(biāo)的檢測(cè)精度。

2 改進(jìn)的YOLOv4

YOLOv4 算法是在Microsoft Common Objects in Context（MS COCO）數(shù)據(jù)集上訓(xùn)練來(lái)的，并不適用于遙感圖像目標(biāo)檢測(cè)［6］。所以，根據(jù)遙感圖像目標(biāo)的特點(diǎn)，對(duì)YOLOv4 算法進(jìn)行了以下改進(jìn)，以提高遙感圖像目標(biāo)檢測(cè)的能力。

1）采用K-means 方法對(duì)錨框數(shù)量和尺寸進(jìn)行優(yōu)化，以提升檢測(cè)精度和速度；

2）將YOLOv4 算法干網(wǎng)絡(luò)中的Mish 激活函數(shù)改為動(dòng)態(tài)激活函數(shù)，自適應(yīng)網(wǎng)絡(luò)輸入特征，以提高模型的泛化能力；

3）對(duì)YOLOv4的Neck部分的PANet結(jié)構(gòu)進(jìn)行改進(jìn)，豐富淺層網(wǎng)絡(luò)，提高對(duì)小目標(biāo)的檢測(cè)能力。

2.1 優(yōu)化錨框

YOLOv4 使用的K-means 聚類(lèi)算法，將所有樣本分成K個(gè)聚類(lèi)，以歐幾里得距離計(jì)算，產(chǎn)生有效的數(shù)據(jù)挖掘結(jié)果［7］。距離計(jì)算為

式中：xn為邊界框中心的標(biāo)準(zhǔn)水平軸；yn為邊界框中心的標(biāo)準(zhǔn)數(shù)軸。不同的數(shù)據(jù)集和錨機(jī)制可能會(huì)對(duì)檢測(cè)器性能產(chǎn)生很大影響。YOLOv4 算法中使用的錨框（anchor box）尺寸主要適用于大自然中一般目標(biāo)，不適用于遙感圖像目標(biāo)檢測(cè)。因此，本文對(duì)遙感圖像目標(biāo)重新聚類(lèi)出合適的參數(shù)，提升檢測(cè)精度和速度。

IoU（Intersection over Union）值是指先驗(yàn)框和真實(shí)框的重合區(qū)域［8］，定義為

從式（2）中可以看出，當(dāng)先驗(yàn)框和預(yù)測(cè)框重合度越高時(shí)，IoU值越大，說(shuō)明模型預(yù)測(cè)越準(zhǔn)確；當(dāng)重合度越低時(shí)，模型性能越差。如圖2 所示，將K的區(qū)間設(shè)置為1～9，錨框數(shù)目為3時(shí)是K的拐點(diǎn)，平衡了avg IoU和模型復(fù)雜度，因此，聚類(lèi)中心的數(shù)量設(shè)置為3，并且在此基礎(chǔ)上獲得的增強(qiáng)邊界框的大小分別為（11，11）、（10，51）、（56，10）。

圖2 不同錨框數(shù)目所對(duì)應(yīng)的Avg IoUFig.2 Avg IoU for different number of anchor frames

原始YOLOv4 算法為 3 個(gè)特征圖分別分配3 個(gè)邊界框，用于預(yù)測(cè)的尺度分別為52×52、26×26 和13×13。26×26 和13×13 是語(yǔ)義豐富信息的深層特征，具有更大的感受野。研究表明，有限的感受野很難檢測(cè)到小目標(biāo)［9］。因此，本研究丟棄了小尺度特征圖，保留了52×52的特征圖，這也降低了網(wǎng)絡(luò)的復(fù)雜性。

2.2 設(shè)計(jì)激活函數(shù)

原YOLOv4 算法中使用的激活函數(shù)是Mish函數(shù)，屬于靜態(tài)激活函數(shù)，無(wú)法通過(guò)調(diào)整激活函數(shù)以適應(yīng)不同輸入特征來(lái)改善對(duì)復(fù)雜數(shù)據(jù)的處理。為了解決這個(gè)問(wèn)題，本文引入了一個(gè)動(dòng)態(tài)激活函數(shù)，通過(guò)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)激活函數(shù)結(jié)構(gòu)，決定是否激活神經(jīng)元。

網(wǎng)絡(luò)可以通過(guò)學(xué)習(xí)ε1和ε2自適應(yīng)調(diào)整激活函數(shù)。平滑因子α控制是否激活神經(jīng)元。

式中：W1和W2為2 個(gè)卷積層的參數(shù)。通過(guò)此方式形成新的激活層，替換原YOLOv4 算法主干網(wǎng)絡(luò)中的激活層，可以自適應(yīng)不同的輸入特征，使在面對(duì)背景復(fù)雜、分布密集的遙感小目標(biāo)時(shí)，可以更好分開(kāi)正負(fù)樣本，提高了模型泛化能力［10］。

2.3 PANet結(jié)構(gòu)優(yōu)化

缺乏淺層特征提取會(huì)導(dǎo)致小目標(biāo)漏檢并降低檢測(cè)精度，因此，改進(jìn)YOLOv4 算法中的PANet以保留淺層特征信息。深度語(yǔ)義豐富的特征可以增強(qiáng)淺層特征信息［11］。特征融合是多個(gè)不同特征信息的融合，既可以獲得深層特征信息，也可以獲得淺層特征信息。所以，特征融合方法在本文研究中至為重要。

圖3 為YOLOv4算法中的PANet結(jié)構(gòu)，包含了淺層特征信息和深層特征信息。然而，該結(jié)構(gòu)對(duì)于小目標(biāo)檢測(cè)有一些缺陷，例如，26×26直接向上采樣到104×104可能會(huì)丟失用于預(yù)測(cè)的信息，信道數(shù)量從256減少到128也可能丟失信息。

圖3 YOLOv4的PANet結(jié)構(gòu)Fig.3 PANet structure for YOLOv4

改進(jìn)的PANet結(jié)構(gòu)如圖4 所示。直接將26×26上采樣到104×104，在SPP之后，分別對(duì)具有512個(gè)通道的26×26、具有128 個(gè)通道的52×52 和具有128個(gè)通道的104×104的每個(gè)特征圖進(jìn)行特征融合。

圖4 改進(jìn)的PANet結(jié)構(gòu)Fig.4 Improved PANet structure

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境設(shè)置

本實(shí)驗(yàn)所使用的實(shí)驗(yàn)環(huán)境如表1 所示。

表1 實(shí)驗(yàn)環(huán)境Tab.1 Experimental setting

3.2 數(shù)據(jù)集

為評(píng)估實(shí)驗(yàn)方法的有效性，本文使用2 個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

1）DOTA 數(shù)據(jù)集：用于目標(biāo)檢測(cè)的大規(guī)模數(shù)據(jù)集，每個(gè)圖像的大小約為4 k×4 k 像素，包含不同尺度、方向和形狀的目標(biāo)。完全注釋的DOTA 數(shù)據(jù)集包含188 282 個(gè)實(shí)例，涉及15 個(gè)常見(jiàn)目標(biāo)類(lèi)別：飛機(jī)、棒球場(chǎng)（BD）、橋梁、場(chǎng)地跑道（GFT）、小型車(chē)輛（SV）、大型車(chē)輛（LV）、網(wǎng)球場(chǎng)（TC）、籃球場(chǎng)（BC）、儲(chǔ)罐（ST）、足球場(chǎng)（SBF）、環(huán)形交叉路口（RA）、游泳池（SP）、以及港口和直升機(jī)（HC）。數(shù)據(jù)集隨機(jī)選擇一半的原始圖像作為訓(xùn)練集，1/6作為驗(yàn)證集，1/3作為測(cè)試集［10］。根據(jù)高度將所有目標(biāo)分為3 個(gè)部分：10～50 像素范圍為小，50～300 像素范圍為中，300 像素以上為大。因此，將高度范圍為10～50 像素的目標(biāo)定義為小對(duì)象。圖5 為訓(xùn)練集和驗(yàn)證集中不同類(lèi)別的小目標(biāo)的占比。

圖5 DATO數(shù)據(jù)集中不同類(lèi)別的小目標(biāo)占比Fig.5 Percentage of small targets in different categories in the DATO dataset

2）DIOR-R：它包含192 518個(gè)實(shí)例和23 463個(gè)圖像，分辨率從0.5～30 m不等。DIOR-R共有20個(gè)常見(jiàn)類(lèi)別，包括飛機(jī)、機(jī)場(chǎng)、棒球場(chǎng)、籃球場(chǎng)等。圖像被分成訓(xùn)練和測(cè)試數(shù)據(jù)集，比例為9∶1。原始數(shù)據(jù)集使用數(shù)據(jù)增強(qiáng)方法進(jìn)行了擴(kuò)展，包括幾何變換和馬賽克方法。馬賽克數(shù)據(jù)增強(qiáng)基于Cut-Mix理論。不同的是，在Cut-Mix中拼接了2幅圖像，但馬賽克使用了4幅圖像。使用馬賽克的優(yōu)點(diǎn)是它豐富了圖像數(shù)據(jù)集的背景［12］。首先，使用鏡像和旋轉(zhuǎn)將數(shù)據(jù)集擴(kuò)展到原始大小的8倍；然后，使用馬賽克方法合并圖像。

為降低CO2在合成氣中比例，CaO強(qiáng)化的CO2捕集技術(shù)也在化學(xué)鏈氣化、制氫、重整等工藝中被研究[23-24]。通常利用CaO對(duì)含碳原料氣化的粗燃?xì)膺M(jìn)行CO2捕集，提升H2產(chǎn)率[25-26]。CaO強(qiáng)化的直接固體原料化學(xué)鏈氣化相關(guān)研究較少。

3.3 評(píng)價(jià)指標(biāo)

本文使用真實(shí)數(shù)據(jù)（Ground Truth）和預(yù)測(cè)邊界框（IOU）之間的平均精度（AP）和平均精度均值（mAP）、準(zhǔn)確率（Precision）、召回率（Recall）來(lái)評(píng)估目標(biāo)檢測(cè)性能［13］。計(jì)算公式為

3.4 實(shí)驗(yàn)結(jié)果

根據(jù)上式驗(yàn)證優(yōu)化的特征融合網(wǎng)絡(luò)的結(jié)果，本研究在DIOR-R 數(shù)據(jù)集和DOTA 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。

表2 展示了本文方法和其他方法在DOTA數(shù)據(jù)集上的mAP比較，實(shí)驗(yàn)證明，本文方法在DOTA數(shù)據(jù)集上的mAP較其他方法都有所提高，證明了本文方法對(duì)于遙感小目標(biāo)圖像的有效性。

表2 本文方法和其他方法在DOTA數(shù)據(jù)集上的mAP比較Tab.2 Comparison of the mAP of the method in this paper with other methods on the DOTA dataset

表3 為YOLOv4 和本文方法在DIOR-R 數(shù)據(jù)集的性能比較。

表3 YOLOv4和改進(jìn)YOLOv4比較Tab.3 Comparison of YOLOv4 and improved YOLOv4

如表3 所示，mAP從82.59% 增加到86.76%，根據(jù)之前的錨框的選擇，改進(jìn)的YOLOv4 的IoU 低于YOLOv4。改進(jìn)的YOLOv4具有更好的性能，并且平衡了精度和速度。

表格中數(shù)據(jù)顯示，本文方法在DOTA數(shù)據(jù)集的各個(gè)類(lèi)別上都優(yōu)于其他方法，證明本文方法的有效性。

3.5 消融實(shí)驗(yàn)

表4 消融實(shí)驗(yàn)結(jié)果對(duì)比Tab.4 Comparison of results of ablation experiments

方法1）和方法2）對(duì)比表明，K-means 對(duì)遙感圖像小目標(biāo)重新聚類(lèi)，對(duì)錨框的數(shù)量和尺寸進(jìn)行優(yōu)化，有效提高了實(shí)驗(yàn)的精度和速度；方法1）和方法3）對(duì)比表明，使用動(dòng)態(tài)激活函數(shù)自適應(yīng)不同的輸入特征，提高了YOLOv4 算法的性能；YOLOv4 和本文方法對(duì)比，mAP 提高了3.7%，檢測(cè)速度達(dá)到了23.5 fps，對(duì)比結(jié)果證明了本文改進(jìn)算法的合理性和有效性。

3.6 檢測(cè)結(jié)果對(duì)比

實(shí)際檢測(cè)效果對(duì)比如圖6 所示。其中圖6（a）為原版YOLOv4 的檢測(cè)效果，圖6（b）為本文改進(jìn)后的YOLOv4的檢測(cè)效果。

圖6 改進(jìn)前后的YOLOv4算法檢測(cè)效果對(duì)比Fig.6 Comparison of detection effects before and after improving YOLOv4 algorithm

由圖6 可以直觀看出：原版的YOLOv4 算法對(duì)目標(biāo)的檢測(cè)效果不佳，改進(jìn)后的YOLOv4 算法提高了特征提取能力，檢測(cè)效果有了很大的提高。

4 結(jié)論

針對(duì)遙感圖像小目標(biāo)檢測(cè)效果不佳的問(wèn)題，對(duì)YOLOv4 算法的K-means 重新聚類(lèi)，優(yōu)化了錨框的數(shù)量和尺寸，提升檢測(cè)的精度和速度；將激活函數(shù)改為了動(dòng)態(tài)激活函數(shù)，自適應(yīng)輸入特征，提高了模型的泛化能力；同時(shí)，對(duì)PANet 結(jié)構(gòu)進(jìn)行改進(jìn)，豐富了淺層網(wǎng)絡(luò)，更好地提高對(duì)小目標(biāo)的檢測(cè)能力。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的YOLOv4 在檢測(cè)遙感小目標(biāo)時(shí)，在參數(shù)數(shù)量、檢測(cè)精度方面優(yōu)于原始的YOLOv4模型。