宋建輝，饒 威，于 洋，劉硯菊

（沈陽理工大學自動化與電氣工程學院，沈陽 110159）

0 引言

無人機具有機動性強、制造成本低、拍攝圖像分辨率高［1］等優(yōu)勢，使無人機航拍在農(nóng)作物面積估算、遇險搜救、故障設備檢測等領域得到廣泛應用［2-4］。但在搜救過程中，由于無人機飛行高度高，無人機對地檢測目標是所占整體像素比例不超過0.4%的小目標［5］，并且目標特征不明顯、目標成像有噪點、目標有遮擋，使得一般的檢測算法不適用于無人機影像。同時無人機在飛行過程中的機械抖動，讓航拍影像中的小目標檢測更是難上加難。

目前，以R-CNN［6］、Fast R-CNN［7］、Faster R-CNN［8］為代表的基于分類的目標檢測算法在識別準確率上遠遠超過了傳統(tǒng)算法［9-12］。R-CNN 算法通過選擇性搜索［13］得到了多個候選區(qū)域框，然后對每個候選區(qū)域框進行卷積，最后采用支持向量機（Support Vector Machine，SVM）算法得到每個區(qū)域的分類結果。但R-CNN 對每一個候選區(qū)域分別進行一次卷積，導致運行量巨大，限制了算法的性能。Fast R-CNN 直接對整個圖像進行卷積，讓運算速度大大提高，但Fast R-CNN 依舊采用選擇性搜索（Selective Search）算法產(chǎn)生候選區(qū)域框，這使得網(wǎng)絡產(chǎn)生大量冗余的候選框，同時也增加了網(wǎng)絡的負擔。

Faster R-CNN 用RPN （Region Proposal Network）模塊替代Selective Search 算法，加快候選區(qū)域框產(chǎn)生速度。同時RPN 可在GPU 上運行并與檢測模塊共享參數(shù)，使網(wǎng)絡速度進一步提升。三者在VOC2007 數(shù)據(jù)測試集上檢測速度、精度對比如表1。mAP 是多類樣本的AP 均值。

表1 檢測速度、精度對比表

Faster R-CNN 維持同等精度的同時速度提升了10 倍。但Faster-RCNN 對小目標檢測效果不夠理想，其原因在于對淺層特征的利用不夠充分。對此，Lin［14］提出了FPN 模型（特征金字塔模型），F(xiàn)PN 模型提出自頂向下的路徑與橫向連接，使網(wǎng)絡實現(xiàn)多尺度預測與對淺層特征的有效利用，經(jīng)過實驗測試，在COCO 數(shù)據(jù)集小目標檢測APs 值上提升了5.9 %。

目前，不少學者已利用FPN 模型與其他模型相結合的方式，實現(xiàn)了更高精度的目標檢測。劉云［15］等通過將FPN 與Faster R-CNN 模型相結合，同時通過平衡RPN 錨點實現(xiàn)了對街景行人的有效檢測。劉恩佑［16］將FPN 與SSD［17］相結合，使網(wǎng)絡對行人與車輛的檢測精度提升了4%。

針對航拍圖像中的車輛小目標，在融合FPN 思想的Faster R-CNN 模型（FFRCNN）基礎上，本文提出一種基于特征金字塔的地物車輛小目標檢測方法——FM-FFRCNN 模型。該模型結合多特征融合與Focal Loss 損失函數(shù)，實現(xiàn)對無人機地物車輛小目標的有效檢測。

1 FFRCNN 模型及改進

1.1 FFRCNN 模型

FFRCNN 模型是在Faster R-CNN 的網(wǎng)絡提取特征階段融合了FPN 結構的模型。首先將VGG-16模型替換為Resnet-50 模型；然后在Resnet-50 的基礎上分別提取C2、C3、C4、C5 層后，利用橫向連接構建特征金字塔，得到P2、P3、P4、P5、P6 特征層，使底層網(wǎng)絡具有高度抽象的語義信息；再次，將特征金字塔送入RPN 網(wǎng)絡中，進行初步篩選得到較好的候選框；最終，將篩選出的候選框在Fast R-CNN 模型中進行進一步分類與回歸，得到檢測模型。

1.2 改進的FFRCNN 網(wǎng)絡模型

針對實際無人機對地場景中車輛目標較小、尺度不一、分布不均勻的情況，在網(wǎng)絡結構方面采用多特征融合的方式，構建M-FFRCNN 模型。該模型可有效增加網(wǎng)絡對目標的敏感度和網(wǎng)絡魯棒性。

針對正負樣本不平衡導致無法有效訓練正樣本問題，在損失函數(shù)方面采用Focal Loss 損失函數(shù)，構建F-FFRCNN 模型。該損失函數(shù)提升了模型對目標難例樣本關注度，有效抑制背景樣本損失并提高網(wǎng)絡精度。

最后，將原模型與多特征融合、損失函數(shù)三者結合，得到最終的改進模型——FM-FFRCNN 模型。改進模型對應表如表2 所示?！啊獭北硎驹诖四Ｐ蜕蠎昧嗽摳倪M方法。

表2 改進模型對應表

1.2.1 結構改進——多特征融合

FFRCNN 模型利用頂層特征層與3×3 的卷積核進行卷積后預測目標位置信息。在真實場景中，目標不僅尺寸多樣，而且還存在目標角度多樣及目標遮擋等情況，而單一尺度過濾器盡管通過多尺度預測方式緩解了小目標特征像素特征少的情況，但依然不能很好地適應所有尺寸特征。借鑒Inception［18］模型中多特征融合方式，即在RPN 模塊3×3 的卷積核處并聯(lián)一個1×1 和一個5×5 的卷積核，通過并聯(lián)不同尺度卷積核的方式對P2～P6 特征層進行遍歷，使網(wǎng)絡擴大感受野，得到更多的特征選取方式，最終達到提升對目標尺度與目標位置適應性的目的。多尺度融合模型如圖1 所示。多尺度模型成為M-FFRCNN 模型。

1.2.2 損失函數(shù)改進——Focal Loss

圖1 M-FFRCNN 模型結構圖

FFRCNN 采用標準交叉熵損失函數(shù)［19］（Cross Entropy，CE），CE 具體公式如式（2）、式（3）。式中，pt表示樣本概率，y 為1 表示預測正確的樣本，otherwise 表示預測錯誤的樣本。改進了損失函數(shù)的FFRCNN 模型稱為F-FFRCNN 模型。

FFRCNN 粗篩出正負樣本各128 個，當正樣本數(shù)量不足128 時，用負樣本填充。在這些樣本中存在大量的背景樣本和少量的特征豐富正樣本，它們被正確識別的準確度較高，識別概率pt接近于1，這類樣本被稱為簡單樣本（easy example）。在計算損失函數(shù)時，easy example 中背景樣本占有比例較大，單個背景的交叉熵盡管不大，但背景樣本數(shù)量多，使背景樣本對loss 的累加貢獻超過其他概率稍小的目標樣本，導致正樣本無法被有效學習，降低網(wǎng)絡準確度。

針對正負樣本不均衡問題，本課題在FFRCNN模型基礎上采用Focal Loss［20］損失函數(shù)。Focal Loss具體公式如式（3）所示。式中，γ 為可調(diào)聚焦參數(shù)，1-pt為調(diào)制因子，α 為加權因子。

從表3 可以看出，采用Focal Loss 作為損失函數(shù)的樣本，pt值越高，損失值與損失貢獻度越低，即easy example 的損失值幾乎可以忽略不計，而當pt較低或者偏低時，樣本往往存在錯判且損失值較大。pt較低或偏低的這類樣本，被稱為難例樣本（hard example）。深度學習利用迭代損失函數(shù)與反向傳播進行更新權值，并側(cè)重學習損失值較大的目標。Focal Loss 通過加強hard example 的損失值，削減easy example 的損失值，使網(wǎng)絡側(cè)重對hard example的學習，實現(xiàn)了對hard example 的有效訓練。

表3 CE/Focal Loss 對比圖

2 實驗結果與分析

針對目前空對地車輛小目標數(shù)據(jù)集不夠的情況，采用手工標注的方式進行擴充數(shù)據(jù)集，數(shù)據(jù)集主要來源于2 處：1）對ISPRS_BENCHMAEX 遙感影像數(shù)據(jù)集裁剪不定大小的圖像；2）利用GTA5 游戲?qū)︿浧列畔⑦M行逐幀篩選得到高清航拍車輛圖片。本數(shù)據(jù)共3 041 張圖像，遙感圖像每張平均15個目標，仿真圖像每張平均4 個目標，共約20 832個目標，目標像素大小約24×24～150×150，每個目標都是占整體像素約0.08 %～0.4 %的小目標，數(shù)據(jù)集中共1 類對象：car。

實驗平臺：系統(tǒng)為Ubuntu16.04，運行環(huán)境為Tensorflow1.10，GPU 為NVIDIA GeForce GTX1080，內(nèi)存16 GB。

通過對比無人機航拍圖像檢測結果來衡量改進后的Faster R-CNN 網(wǎng)絡的小目標檢測性能，并給出對應的參數(shù)指標。

2.1 網(wǎng)絡訓練

網(wǎng)絡訓練開始時學習率為0.001，在60 000 步、80 000 步時分別降為0.000 1、0.000 01，F(xiàn)M-FFRCNN 模型準確度與損失變化如圖2 所示。

圖2 FM-FFRCNN 模型準確率與損失變化圖

圖2（a）為FM-FFRCNN 模型訓練準確率曲線圖，圖2（b）為FM-FFRCNN 模型損失曲線。網(wǎng)絡經(jīng)過9 萬次迭代后，訓練準確率、損失曲線波動大致收斂，最終準確率趨近于0.95，網(wǎng)絡損失下降至約0.63。從參數(shù)變化趨勢分析，生成的模型權重結果較為理想。

2.2 評價指標

模型采用平均精度（Average Precision，AP）作為評價指標。AP 值為P-R 曲線所圍面積，P 為準確率（Precision），R 為召回率（Recall）。AP、P 和R 計算公式如式（4）～式（6）所示。其中TP 為被正確分類的正樣本個數(shù)，F(xiàn)P 為被錯誤分類的正樣本個數(shù)，F(xiàn)N 為被錯誤分類的負樣本個數(shù)。

2.3 實驗結果

為測試真實場景中模型對小目標的檢測效果，利用大疆無人機在距地100 m 的高空對地面車輛進行隨機拍攝，采集共64 張圖像，將圖像輸入至FFRCNN 模型、F-FFRCNN 模型、M-FFRCNN 模型與FM-FFRCNN 模型中進行檢測，計算對目標的召回率與準確率。各模型AP 曲線對比圖如圖3 所示。從圖3 看出，改進的三模型較FFRCNN 模型AP 值提升明顯，其中FM-FFRCNN 模型最好，F(xiàn)-FFRCNN模型次之。

圖3 各模型AP 曲線對比圖

各模型在實際場景下檢測效果對比圖如圖4所示。圖4（a）圖像為待檢測圖像，紅色標記框為車輛所在區(qū)域；圖4（b）圖像為FFRCNN 網(wǎng)絡檢測圖像的局部放大圖；圖4（c）圖像為M-FFRCNN 模型檢測圖像的局部放大圖。圖4（d）圖像為F-FFRCNN模型檢測圖像的局部放大圖。圖4（e） 圖像為FM-FFRCNN 模型檢測圖像的局部放大圖。圖中數(shù)字表示該類樣本的信心度，信心度越高，樣本正確識別概率越高。檢測過程將原圖進行統(tǒng)一縮小為800*600，單個目標像素約20*25。

圖4 各模型實際場景下檢測效果圖

從圖4 上看，F(xiàn)FRCNN 盡管采用了FPN 結構，但漏檢情況較嚴重，而改進后的FFRCNN 則對此有很大的改善，提升了小目標檢測性能。通過對比圖4（b）～圖4（e）的4 張圖發(fā)現(xiàn)3 個現(xiàn)象：1）F-FFRCNN能夠降低漏檢率，但同時檢測信心度會有所降低；2）FFRCNN 檢測圖像中卡車未被檢測出來，但M-FFRCNN 能效檢測出圖中的卡車，證明多尺度融合能改善網(wǎng)絡對尺度的適應性；3）FM-FFRCNN 在Focal Loss 的基礎上，融入了多尺度融合，使信心度有所改善，其檢測效果最好。

文中利用FFRCNN 與M-FFRCNN 模型、F-FFRCNN 模型、FM-FFRCNN 模型分別對無人機隨機采集的64 張圖像進行檢測，并計算“car”類的AP 值。AP 越高則表示評價指標越高，檢測綜合性能越好。評價指標對比表如表4 所示。FM-FFRCNN 模型較FFRCNN 模型在召回率上由87.6 %提升為97.0 %，在準確率上由15.5 % 提升為17.6 %，平均精度由73.7 % 提升為93.4 %。

表4 評價指標對比表

從表中可看出，F(xiàn)M-FFRCNN 模型效果最好，與原先FFRCNN 模型相比，對小目標的召回率提升了9.4 %，準確率提升了2.1 %，對小目標檢測的平均精度提高了19.7 %。

3 結論

本文提出一種基于改進FPN 和Faster R-CNN的小目標檢測模型，即FM-FFRCNN 模型，并針對真實情況進行實地檢測。FM-FFRCNN 借鑒了Focal Loss 損失函數(shù)法與Inception 中多特征融合思想，針對車輛目標較小、尺度不一、分布不均勻的問題，利用多特征融合方式有效改進了尺度適應性。針對原算法正負樣本不平衡的問題，將原先CE 損失函法替換為Focal Loss。FM-FFRCNN 模型與原先網(wǎng)絡相比，AP 值提升了19.7 %，效果顯著。