張 瑩，劉子龍，萬 偉

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093)

隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，民用和軍用方面的高精度目標(biāo)檢測研究需求逐漸增多，具有目標(biāo)檢測功能的無人機(jī)巡檢系統(tǒng)逐漸成為新的研究熱點(diǎn)。但是無人機(jī)視角下的車輛目標(biāo)中，小目標(biāo)數(shù)量較大，在車輛密集場景下會出現(xiàn)多重疊目標(biāo)、不完整目標(biāo)，導(dǎo)致無人機(jī)車輛目標(biāo)檢測精度不高。本文以現(xiàn)階段目標(biāo)檢測算法為基礎(chǔ)，提出一種基于無人機(jī)平臺的車輛目標(biāo)檢測解決方案，進(jìn)而實(shí)現(xiàn)多目標(biāo)發(fā)現(xiàn)、處理和檢測。

近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域得到了越來越多的關(guān)注。利用深度學(xué)習(xí)進(jìn)行目標(biāo)檢測與識別已經(jīng)成為主流方法[1]。常見的用于目標(biāo)檢測的算法包括以YOLO(You Only Look Once)[2-4]系列算法、SSD(Single Shot Multi Box Detector)[5]算法為代表的一階段檢測算法和以R-CNN(Regions with Convolutional Neural Network)[6-8]系列為代表的二階段檢測算法。一階段的檢測算法運(yùn)算速度較快，但檢測精度較差，尤其是對于小目標(biāo)的檢測精度較低，因此在小目標(biāo)較多的場景下的無人機(jī)車輛目標(biāo)檢測應(yīng)用中，該系列算法效果欠佳。二階段的檢測算法具有較高的檢測精度，更適于在多場景下的無人機(jī)車輛檢測任務(wù)。

1 無人機(jī)車輛目標(biāo)檢測模型

本文針對無人機(jī)物體檢測任務(wù)，選擇Faster R-CNN(Faster Regions with Convolutional Neural Network)作為基礎(chǔ)檢測算法，并對其進(jìn)行優(yōu)化。本文選擇Faster R-CNN網(wǎng)絡(luò)模型為基礎(chǔ)算法的原因?yàn)椋?1) Faster R-CNN模型是高精度檢測算法的代表；(2)Faster R-CNN模型將Selective Search算法改進(jìn)為RPN(Region Proposal Network)網(wǎng)絡(luò)，提升了檢測速度，且Fast R-CNN網(wǎng)絡(luò)和RPN網(wǎng)絡(luò)共享特征參數(shù)，可進(jìn)一步提升檢測速度。

本文的具體檢測過程為：無人機(jī)到達(dá)指定區(qū)域后進(jìn)行圖像采集，并通過無線網(wǎng)絡(luò)將所拍攝圖像回傳至地面站；之后采用目標(biāo)檢測算法進(jìn)行所需目標(biāo)的檢測工作。旋翼無人機(jī)物體檢測模型框架如圖1所示，旋翼無人機(jī)物體檢測算法流程如圖2所示。

圖1 旋翼無人機(jī)物體檢測模型框架Figure 1. Rotor-wing UAV object detection model framework

圖2 旋翼無人機(jī)物體檢測算法流程圖Figure 2. Rotor-wing UAV object detection algorithm flowchart

2 數(shù)據(jù)準(zhǔn)備

無人機(jī)采集的數(shù)據(jù)集，必須具有多樣性。對于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練來說，圖像越多樣，得到的模型越有效，魯棒性也越高。為了增強(qiáng)圖像的多樣性，本文控制無人機(jī)在不同飛行高度進(jìn)行拍攝，并使無人機(jī)搭載的云臺相機(jī)角度和拍攝姿勢處于不同狀態(tài)，同時(shí)在多種場景下進(jìn)行圖像的采集，例如光線充足和光線較差場景、小區(qū)和道路場景等。由于時(shí)間限制，除了使用無人機(jī)采集到的車輛數(shù)據(jù)之外，本文還挑選了VisDrone數(shù)據(jù)集[9]中約2 000張包含車輛的圖像，并將其按照本文的標(biāo)注規(guī)則重新標(biāo)注，以便擴(kuò)充數(shù)據(jù)。本文采集到的無人機(jī)視角航拍圖像如圖3所示。本文數(shù)據(jù)集與相似類型的公開數(shù)據(jù)集對比如表1所示。

圖3 無人機(jī)視角航拍圖像示例Figure 3. Examples of aerial images from UAV perspective

對已搜集到的數(shù)據(jù)采取隨機(jī)旋轉(zhuǎn)、反轉(zhuǎn)變換、添加顏色抖動等幾種不影響模型檢測結(jié)果的數(shù)據(jù)增強(qiáng)方式來增加數(shù)據(jù)量。以上操作不僅減輕了模型的過擬合問題，還使得數(shù)據(jù)具有較強(qiáng)的抗噪聲能力，進(jìn)而增強(qiáng)了模型的實(shí)用性和魯棒性。數(shù)據(jù)增強(qiáng)前后的效果示意圖如圖4所示。

表1 本文數(shù)據(jù)集與相似類型公開數(shù)據(jù)集對比

數(shù)據(jù)集使用LabelImg來標(biāo)記，標(biāo)注文件格式為XML格式[15]。XML文件主要包含圖像的標(biāo)注信息，例如圖像名稱、圖像大小、object所屬類別以及目標(biāo)框左上頂點(diǎn)和右下頂點(diǎn)在當(dāng)前被標(biāo)注圖像上的像素坐標(biāo)信息。模型則根據(jù)標(biāo)注信息進(jìn)行分類和邊框回歸。

3 遷移學(xué)習(xí)初始化模型

遷移學(xué)習(xí)是將在一項(xiàng)任務(wù)中學(xué)習(xí)到的權(quán)重遷移到新的任務(wù)中，以提高新任務(wù)的泛化性。本文選擇數(shù)據(jù)集較大的PASCAL VOC數(shù)據(jù)集預(yù)訓(xùn)練模型來初始化模型參數(shù)。深度學(xué)習(xí)網(wǎng)絡(luò)淺層提取到的特征較泛化，深層提取到的特征與數(shù)據(jù)集的相關(guān)性更強(qiáng)，因此，深度學(xué)習(xí)模型的訓(xùn)練過程由淺入深。本文在特征提取網(wǎng)絡(luò)初始化時(shí)，不采用隨機(jī)初始化的方案，而是使用預(yù)訓(xùn)練獲得的參數(shù)來初始化模型，并在檢測訓(xùn)練時(shí)對無人機(jī)物體檢測網(wǎng)絡(luò)模型的參數(shù)進(jìn)行微調(diào)。

4 模型評價(jià)指標(biāo)

本文采用IoU來衡量目標(biāo)檢測模型定位的準(zhǔn)確性，定位準(zhǔn)確度越高則IoU值越高。IoU為真實(shí)框和預(yù)測框重疊部分與兩者形成圖形總面積比值，如圖5所示，其中G為Ground truth box，P為Proposal truth box，所以真實(shí)框和預(yù)測框的IoU值為

IoU=(G∩P)/(G∪P)

(1)

圖5 IoU示意圖Figure 5. Schematic diagram of IoU

當(dāng)?shù)玫降腎oU值超過一定閾值時(shí)，說明真實(shí)框被預(yù)測框命中。當(dāng)計(jì)算得到的IoU值小于等于一定閾值時(shí)，提示遺漏了目標(biāo)或者可能并未命中真實(shí)框。可能發(fā)生的事件為如下4種：(1)真陽性事件(TP)。模型在某位置處給出了預(yù)測框，且在該處有正樣本；(2)假陽性事件(FP)。模型在某位置處給出了預(yù)測框，但在該處并沒有正樣本，即預(yù)測框處為背景；(3)真陰性事件(TN)。模型在某位置處沒有給出預(yù)測框，且該位置為背景；(4)假陰性事件(FN)。模型在某位置處沒有給出預(yù)測框，但是該位置處為前景。

在檢測過程中，將上述4個(gè)事件發(fā)生次數(shù)加以統(tǒng)計(jì)，即可計(jì)算模型準(zhǔn)確率P(Precision，表示模型預(yù)測正確的概率)和召回率R(Recall，表示所有目標(biāo)被模型檢測到的概率)，計(jì)算式如下所示。

(2)

(3)

準(zhǔn)確率P和召回率R為負(fù)相關(guān)，即召回率升高準(zhǔn)確率會相應(yīng)下降，反之亦然。只用準(zhǔn)確率和召回率衡量模型整體性能并不科學(xué)，理想情況是準(zhǔn)確率P和召回率R都盡可能高。為了使兩者得到權(quán)衡，引入P-R曲線。AP(Average Precision)值為P-R曲線與x軸和y軸圍成圖形的面積，其取值為0～1，可體現(xiàn)算法模型的綜合性能。AP值越高表明檢測效果越好，所以最終采用AP值來評價(jià)模型性能。

5 模型優(yōu)化

ResNet卷積神經(jīng)網(wǎng)絡(luò)[16]引入殘差學(xué)習(xí)的概念，解決了梯度消失的問題。ResNet卷積神經(jīng)網(wǎng)絡(luò)通過讓卷積層學(xué)習(xí)殘差映射，簡化目標(biāo)檢測問題難度。在深度相同時(shí)，ResNet卷積神經(jīng)網(wǎng)絡(luò)的性能優(yōu)于VGG卷積神經(jīng)網(wǎng)絡(luò)。為了使無人機(jī)目標(biāo)檢測具有更優(yōu)的性能，本文對Faster R-CNN網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)部分加以改進(jìn)，棄用其默認(rèn)的VGG-16卷積神經(jīng)網(wǎng)絡(luò)，選用ResNet卷積神經(jīng)網(wǎng)絡(luò)。

本文分別采用ResNet-34、ResNet-50和ResNet-101作為特征提取網(wǎng)絡(luò)，通過實(shí)驗(yàn)對比性能數(shù)據(jù)，得到的實(shí)驗(yàn)結(jié)果如表2所示。由表2可知，在以上幾種特征提取網(wǎng)絡(luò)中，選擇ResNet-101作為本文的特征提取網(wǎng)絡(luò)效果最佳。

表2 不同特征提取網(wǎng)絡(luò)模型AP值

無人機(jī)飛行高度和角度會導(dǎo)致所要檢測目標(biāo)較小或者存在遮擋的情況。針對這些場景下的目標(biāo)檢測，本文在調(diào)整特征提取網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)一步改進(jìn)，具體做法為：(1)將每個(gè)RPN產(chǎn)生的候選區(qū)域進(jìn)行ROI池化，將池化所得的結(jié)果映射至Conv2和Conv4的特征圖中，從而得到該候選區(qū)域在Conv2和Conv4中的特征信息；(2)將該特征信息進(jìn)行池化處理，得到固定維度的特征圖；(3)將所選擇的需合并的特征信息進(jìn)行歸一化處理，在通道上施行信息融合；(4)使用1×1的卷積進(jìn)行降維，然后將最終得到的特征圖送入全連接層做分類回歸處理，其結(jié)構(gòu)如圖6所示。

圖6 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)示意圖Figure 6. Schematic diagram of the improved network structure

改進(jìn)后網(wǎng)絡(luò)除了使用特征提取網(wǎng)絡(luò)中最高卷積層輸出的特征，還將低層的Conv2輸出的特征和Conv4輸出的特征與高層特征相結(jié)合，達(dá)到填充小目標(biāo)和不完整目標(biāo)細(xì)節(jié)信息的目的，提高了網(wǎng)絡(luò)對小目標(biāo)和不完整目標(biāo)的檢測精度。采取此種措施是因?yàn)槟Ｐ偷蛯拥玫降膱D像特征語義信息較少，但目標(biāo)位置信息較準(zhǔn)確；模型高層得到的語義信息較多，但目標(biāo)位置信息準(zhǔn)確性較低，飛行高度較高時(shí)無人機(jī)目標(biāo)檢測效果欠佳。

Faster R-CNN模型使用的去除重疊檢測框的算法為NMS(Non-Maximum Suppression)算法[17]。NMS在處理過程中存在無法選擇相近框的情況，即在兩個(gè)目標(biāo)距離相近時(shí)存在漏檢問題。為了提高目標(biāo)樣本在高密度情況下的召回率，對Faster R-CNN模型中的NMS進(jìn)行改進(jìn)。本文采用文獻(xiàn)[18]中的方式改進(jìn)Soft-NMS算法。

根據(jù)Soft-NMS算法[19-20]移除檢測框的過程可以看出，如果Soft-NMS算法的閾值選取的恰當(dāng)，F(xiàn)aster R-CNN算法的整體性能也會變好。然而在實(shí)際應(yīng)用中，選取使算法既有較高準(zhǔn)確率又有較高召回率的最優(yōu)閾值較為困難。因此，本文采用加入約束因子的Soft-NMS算法，其算法流程如下

算法1改進(jìn)Soft-NMS算法

Input:B={b1,b2,…,bn} //所有檢測框集合

S={s1,s2,…,sn} //檢測框Score集合

D={} //最優(yōu)檢測框集合，//初始化為空集合

Begin:

whileB≠ empty do

bm=max{B} //Score最高的檢測框

B=B-bm//移除Score最高檢測框bm(最優(yōu)框)

D=D∪bm//將bm加入集合D

forbiinBdo

ci=cif(IoU(bm,bi))

si=sici

ifsi<σ

B=B-bi

end

end

returnD,S

end

其中，bi為第i個(gè)檢測框；si為第i個(gè)檢測框的Score；bm為當(dāng)前迭代Score最高的檢測框。

Soft-NMS算法的計(jì)算式為

(4)

本論文中約束因子的計(jì)算方法為

ci=α(1-IoU(bm,bi)2)[18]

(5)

ci=α(IoU(bm,bi)-1)2

(6)

式中，ci為檢測框i的約束因子；IoU(bm,bi)為最優(yōu)檢測框bm與每一檢測框bi的IoU值；α為權(quán)重因子。根據(jù)檢測框的IoU值計(jì)算檢測框?qū)?yīng)的約束因子大小，且由式(5)和式(6)可以看到檢測框IoU值越大對該框Score的約束因子越大。在對重疊檢測框處理時(shí)加入約束因子的Soft-NMS算法，每次迭代循環(huán)都將約束因子加入，從而不斷衰減檢測框的Score，經(jīng)過數(shù)次循環(huán)之后將分?jǐn)?shù)低于σ的檢測框丟棄。對NMS算法和Soft-NMS算法而言，T值的選取對這兩種算法的性能影響較大，但是改進(jìn)的Soft-NMS算法中參數(shù)σ的選取對算法性能的影響較T的選取要小很多。在時(shí)間復(fù)雜度方面與原算法相同，均為O(n2)。

Faster R-CNN中使用的Anchor共包含3種尺寸{1282,2562,5122}，3種比例1∶1、1∶2和2∶1。但是因?yàn)镕aster R-CNN模型是根據(jù)Anchor所包含區(qū)域的特征來實(shí)現(xiàn)分類和回歸的，因此，如果Anchor的尺寸和比例更加貼近數(shù)據(jù)集目標(biāo)則可提高分類和回歸效果。

改變Faster R-CNN中原始設(shè)定的Anchor尺寸，相應(yīng)增加小尺寸的Anchor，將數(shù)據(jù)集所有目標(biāo)的面積和比例加以匯總統(tǒng)計(jì)，得到圖7和圖8所示分布圖。由面積直方圖可以看到大部分目標(biāo)大小集中在0～340之間，比例集中在0.7左右。根據(jù)直方圖分布，本文擬采用的Anchor比例為{1∶2,1∶7,2∶1}。同時(shí)使用不同組合的Anchor，得到如表3所示結(jié)果。如果基準(zhǔn)Anchor設(shè)置過多則會增加模型計(jì)算量，設(shè)置過少則會使得匹配目標(biāo)的Anchor較少，Anchor和目標(biāo)真實(shí)框間損失值較大，需要較長時(shí)間訓(xùn)練。因此，本文在兼顧計(jì)算量和性能的原則上選擇{162,322,642,962,1282}作為本文Anchor的尺寸。

圖7 數(shù)據(jù)集Ground Truth面積直方圖Figure 7. The area histogram of dataset Ground Truth

圖8 數(shù)據(jù)集Ground Truth比例直方圖Figure 8. The scale histogram of dataset Ground Truth

表3 不同組合的Anchor下模型的性能

6 實(shí)驗(yàn)分析

6.1 基準(zhǔn)實(shí)驗(yàn)

按照Faster R-CNN模型的原始結(jié)構(gòu)，基準(zhǔn)實(shí)驗(yàn)選擇VGG-16作為其特征提取網(wǎng)絡(luò)。訓(xùn)練設(shè)定為60 000步，設(shè)置初始學(xué)習(xí)率為0.001，在模型訓(xùn)練達(dá)到50 000步時(shí)，步進(jìn)式地衰減其學(xué)習(xí)率，將其下降為0.000 1。這樣設(shè)置有利于在模型訓(xùn)練到后期時(shí)尋找最優(yōu)解。在網(wǎng)絡(luò)訓(xùn)練到后期，需要調(diào)整的幅度會越來越小，如果設(shè)置的學(xué)習(xí)率過大，可能會產(chǎn)生震蕩，導(dǎo)致模型不收斂或者收斂的地方不是最優(yōu)解。

模型訓(xùn)練具體操作步驟為：(1)隨機(jī)選取數(shù)據(jù)集中1 000張圖像組成小樣本集，在此小樣本集上驗(yàn)證是否過擬合，以確保代碼正確性。Faster R-CNN模型在小樣本集上的Loss曲線如圖9所示，模型在小樣本集上的損失下降明顯，其在小樣本集上過擬合，確定了代碼正確性；(2)在數(shù)據(jù)集上正式訓(xùn)練網(wǎng)絡(luò)。本文訓(xùn)練集、測試集和驗(yàn)證集的劃分比例為8∶1∶1，即訓(xùn)練集15 622張，測試集1 950張，驗(yàn)證集1 950張。在訓(xùn)練網(wǎng)絡(luò)的同時(shí)步進(jìn)地調(diào)整學(xué)習(xí)速率。若模型Loss曲線下降不明顯，可以通過衰減其學(xué)習(xí)速率調(diào)整，直到Loss基本上維持不變停止網(wǎng)絡(luò)訓(xùn)練；(3)將訓(xùn)練完成的模型在測試集上測試，并記錄測試數(shù)據(jù)及可視化測試結(jié)果。

圖9 在小樣本集上的Loss曲線Figure 9. Loss curve on a small sample set

基礎(chǔ)Faster R-CNN檢測效果如圖10所示，圖10(a)為白天小目標(biāo)檢測效果，個(gè)別小目標(biāo)被漏檢；圖10(b)為白天非小目標(biāo)檢測效果，有些不完整目標(biāo)和被遮擋目標(biāo)被漏檢；圖10(c)為夜晚非小目標(biāo)檢測效果；圖10(d)為夜晚小目標(biāo)檢測效果，也存在小目標(biāo)漏檢和重疊目標(biāo)檢測效果欠佳的現(xiàn)象。圖11～圖13展示了幾種漏檢的情況。實(shí)驗(yàn)AP值為80.57%，AP值表征算法模型的整體綜合性能，也是本文之后優(yōu)化實(shí)驗(yàn)的基準(zhǔn)實(shí)驗(yàn)結(jié)果。

(a)

(b)

(c)

(d)圖10 Faster R-CNN基礎(chǔ)模型的測試效果(a)白天小目標(biāo)檢測效果 (b)白天非小目標(biāo)檢測效果 (c)夜晚非小目標(biāo)檢測效果 (d)夜晚小目標(biāo)檢測效果Figure 10. Test effect of Faster R-CNN basic model(a)Detection effect of daytime small targets(b)Detection effect of daytime non-small targets(c)Detection effect of nighttime non-small targets(d)Detection effect of nighttime small targets

圖11 小目標(biāo)漏檢樣例Figure 11. Example of missed detection of small targets

圖12 不完整目標(biāo)漏檢樣例Figure 12. Example of missed detection of incomplete targets

圖13 檢測框重疊嚴(yán)重的目標(biāo)漏檢樣例Figure 13. Example of missed detection of targets with severe overlapping detection frames

6.2 改進(jìn)模型實(shí)驗(yàn)

為了驗(yàn)證加入約束因子的Soft-NMS算法不依賴于閾值T的選取，實(shí)驗(yàn)參數(shù)設(shè)置和基準(zhǔn)實(shí)驗(yàn)相同。首先，進(jìn)行NMS算法和Soft-NMS算法的測試實(shí)驗(yàn)，以確認(rèn)不同閾值T對算法性能的影響，得到兩種算法在不同閾值T下，模型AP值及其變化，如圖14所示。

圖14 不同閾值T對應(yīng)的NMS算法和Soft-NMS算法的AP值Figure 14. AP values of NMS algorithm and Soft-NMS algorithm corresponding to different thresholds T

不同閾值T所對應(yīng)的模型AP值差值較大，在閾值T上升的過程中，AP值逐漸減小。產(chǎn)生這種現(xiàn)象的主要原因是，當(dāng)閾值T增大時(shí)，一些本應(yīng)被抑制丟棄的檢測框，因閾值T過大沒有得到抑制。雖然閾值T的增加會降低重疊度高的檢測框被抑制的可能，但會導(dǎo)致真正目標(biāo)框的增加幅度低于假陽性目標(biāo)框的增加幅度，進(jìn)而降低整體檢測精度。

對加入約束因子Soft-NMS算法進(jìn)行測試實(shí)驗(yàn)，設(shè)置同上，默認(rèn)σ取值為0.001，得到不同α下模型性能。如表4所示，表中改進(jìn)Soft-NMS算法1代表采用式(5)改進(jìn)算法；改進(jìn)Soft-NMS算法2代表采用式(6)改進(jìn)算法?？梢钥吹讲煌寥≈迪翧P值變化較平穩(wěn)，且精度也滿足需求，AP值在α為0.6時(shí)達(dá)到了91.81%。之后選取α值為0.6，測試不同σ值對模型性能的影響，得到如表5所示的AP值。σ為0.001時(shí)AP最高，且不同σ值對AP值的影響在小范圍內(nèi)平穩(wěn)波動。該結(jié)果證明加入約束因子Soft-NMS算法在達(dá)到一定AP值的基礎(chǔ)上減小了閾值T對模型性能的影響。

表4 不同α取值對應(yīng)的AP值

表5 不同σ取值對應(yīng)的AP值

表6 改進(jìn)NMS算法前后模型AP值

表6為改進(jìn)NMS算法前后模型的評價(jià)指標(biāo)。NMS算法改進(jìn)之后AP值為91.81%，提高了1.17%。主要原因是NMS算法改進(jìn)之前相互重疊的目標(biāo)有一部分會被NMS算法抑制掉，而且閾值T選取不當(dāng)會降低模型整體精度。但是重疊的目標(biāo)在整個(gè)數(shù)據(jù)集中所占的比重相對來說較小，故對于綜合性能的影響幅度較小。

對改進(jìn)前后的Faster R-CNN模型進(jìn)行無人機(jī)車輛目標(biāo)檢測實(shí)驗(yàn)，得到性能數(shù)據(jù)如表7所示。將各步改進(jìn)的Faster R-CNN模型和原Faster R-CNN模型性能指標(biāo)進(jìn)行對比。模型改進(jìn)前的AP值是80.57%，調(diào)整特征提取網(wǎng)絡(luò)后AP值上升了5.61%，改進(jìn)特征提取網(wǎng)絡(luò)后AP值再次上升1.89%。經(jīng)過之后的NMS算法改進(jìn)和Anchor改進(jìn)，進(jìn)一步完善Faster R-CNN對于小目標(biāo)和重疊目標(biāo)的檢測精度。最終，經(jīng)過本文改進(jìn)后，模型的AP值為94.03%，整體提升了13.46%，指標(biāo)總體向好發(fā)展，表現(xiàn)出比原Faster R-CNN模型更佳的綜合性能，尤其在特征提取網(wǎng)絡(luò)改進(jìn)之后，模型AP值上升幅度大于其他改進(jìn)措施的幅度，說明該改進(jìn)方案對于模型全局性能優(yōu)化具有較大的積極作用。特征提取網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)主要針對小目標(biāo)和不完整目標(biāo)比較難以檢測的問題，加之無人機(jī)視角下的車輛目標(biāo)存在小目標(biāo)占比較大、不完整目標(biāo)較多的特征，所以模型性能提升幅度較大。改進(jìn)后的Faster R-CNN模型對無人機(jī)車輛目標(biāo)檢測綜合性能有較顯著的提升。

表7 算法優(yōu)化前后測試指標(biāo)對比

圖15 改進(jìn)前Faster R-CNN網(wǎng)絡(luò)Loss曲線Figure 15. Faster R-CNN network Loss curve before improvement

圖16 改進(jìn)之后Faster R-CNN網(wǎng)絡(luò)Loss曲線Figure 16. Improved Faster R-CNN network Loss curve

改進(jìn)前后模型的損失函數(shù)曲線如圖15和圖16所示。改進(jìn)前的Loss曲線可以看到整體趨勢是逐漸下降的，但是在下降過程中存在較多相較于均值來說的“突變值”。造成這種現(xiàn)象的主要原因是原Faster R-CNN網(wǎng)絡(luò)設(shè)置的Anchor值相較于本文所檢測的車輛目標(biāo)來說過大，當(dāng)Anchor映射至原圖時(shí)，對于那些不完整目標(biāo)或小目標(biāo)來說，用于訓(xùn)練的圖像對這類目標(biāo)的標(biāo)記框與Faster R-CNN網(wǎng)絡(luò)模型生成的目標(biāo)框之間差異過大，導(dǎo)致模型損失函數(shù)值過大，所以出現(xiàn)“突變值”。在改進(jìn)之后的模型Loss曲線中可以看到，相較于改進(jìn)前，“突變值”明顯減少，原因?yàn)閷nchor的生成加以改進(jìn)之后，Anchor大小和目標(biāo)真實(shí)框之間的差異減小。雖然還是會有一些“突變值”，但是這些“突變值”大小明顯小于改進(jìn)之前“突變值”的大小，這是因?yàn)楦倪M(jìn)后Anchor和真實(shí)目標(biāo)標(biāo)記框之間的差異減小。

選取測試圖像，使用改進(jìn)后的Faster R-CNN模型進(jìn)行無人機(jī)車輛目標(biāo)檢測效果測試，效果如圖17所示。圖17(a)為白天小目標(biāo)檢測效果，相比較原Faster R-CNN模型檢測出了更多的目標(biāo)，重疊目標(biāo)也可以被準(zhǔn)確地檢測出。圖17 (b)為白天非小目標(biāo)檢測效果，相比原Faster R-CNN模型檢測定位更加精確。圖17(c)為夜晚非小目標(biāo)檢測效果，在光線不足的情況下，也能大部分被正確檢測。圖17 (d)為夜晚小目標(biāo)檢測效果，在光線不足場景下小目標(biāo)檢測也較精準(zhǔn)。

(a)

(b)

(c)

(d)圖17 本文改進(jìn)Faster R-CNN模型在不同環(huán)境下的檢測效果圖(a)白天小目標(biāo)檢測效果 (b)白天非小目標(biāo)檢測效果 (c)夜晚非小目標(biāo)檢測效果 (d)夜晚小目標(biāo)檢測效果Figure 17. Detection effect diagrams of improved Faster R-CNN model in different environments(a)Detection effect of daytime small targets(b)Detection effect of daytime non-small targets(c)Detection effect of nighttime non-small targets(d)Detection effect of nighttime small targets

6.3 與其他算法對比

在公開數(shù)據(jù)集VEDAI上進(jìn)行各算法的對比試驗(yàn)，得到如圖18所示的各算法在數(shù)據(jù)集VEDAI上的實(shí)測效果和如表8所示的測試指標(biāo)對比。由于VEDAI數(shù)據(jù)集為衛(wèi)星拍攝圖像，目標(biāo)相較于本文的數(shù)據(jù)集在分辨率和尺度上會有一定的差距，所以一定程度上降低了檢測精度。但是由圖18和表8可知，本文算法的AP值最高、精度最好，實(shí)測效果中本文算法檢測框置信度較高，且誤檢的情況較其他算法也較少，所以本文算法在VEDAI數(shù)據(jù)集上的表現(xiàn)相較其他算法仍較優(yōu)。

(a)

(b)

(c)

(d)

(e)圖18 各算法在VEDAI數(shù)據(jù)集上的實(shí)測效果(a)Faster R-CNN算法實(shí)測示例 (b)R-FCN算法實(shí)測示例 (c)YOLOv3算法實(shí)測示例 (d)SSD算法實(shí)測示例 (e)本文算法實(shí)測示例Figure 18. Measurement effect of each algorithm on the VEDAI dataset(a)Measurement example of Faster R-CNN algorithm(b)Measurement example of R-FCN algorithm(c)Measurement example of YOLOv3 algorithm(d)Measurement example of SSD algorithm(e)Measurement example of algorithm proposed in this study

表8 5種車輛檢測算法在VEDAI數(shù)據(jù)集上的測試指標(biāo)對比

7 結(jié)束語

本文通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)、anchor生成和Soft-NMS算法，使得改進(jìn)后的Faster R-CNN算法的AP值達(dá)到94.03%，較原Faster R-CNN算法提升了13.46%，目標(biāo)檢測效果得到顯著優(yōu)化。與Faster R-CNN模型、YOLOv3模型、SSD模型、R-FCN模型相比，本文改進(jìn)的Faster R-CNN模型的實(shí)際檢測效果和性能數(shù)據(jù)更優(yōu)，具有一定的實(shí)際應(yīng)用價(jià)值。雖然本檢測算法在檢測精度方面有較大提高，但是該算法為二階段檢測算法，檢測速度還有所欠缺，今后將在保證其高檢測精度的同時(shí)進(jìn)一步提高該算法的檢測速度。