楊建秀 謝雪梅 石光明 李甫

（1.西安電子科技大學人工智能學院，陜西西安 710071；2.山西大同大學物理與電子科學學院，山西大同 037009）

1 引言

無人機視角下的車輛實時檢測是車輛跟蹤［1］、實時路況獲取［2］以及安全巡查［3］等許多領域的關鍵技術，具有實際的研究意義和廣泛的應用需求。由于無人機拍攝的高度不定，場景多樣化，加上外部的環(huán)境因素（如惡劣的天氣和建筑物的遮擋等）的影響，使其拍攝的車輛目標存在遮擋、模糊、尺度較小和多樣性以及背景復雜等問題，從而給無人機視角下車輛目標實時檢測帶來了諸多的挑戰(zhàn)［4-5］。

隨著卷積神經網(wǎng)絡（Convolutional Neural Net?work，CNN）的快速發(fā)展，基于深度學習的目標檢測性能［6-8］得到顯著提升。無人機視角下的車輛目標檢測也隨之不斷改善。Sommer 等人［9-10］在兩階段（Two-stage）目標檢測算法Fast RCNN［11］和Faster RCNN［12］的基礎上融合了車輛上下文信息（Context Information）增強弱小目標的特征。Zhang 等人［13］在Mask R-CNN［14］算法上提出多尺度遮擋感知網(wǎng)絡能夠緩解無人機車輛目標尺度多樣性的問題。李等人［15］利用改進的Cascade RCNN［16］為小目標車輛引入更多范圍的周邊信息以此來增強目標的特征，可以較好地檢測遮擋的車輛目標。上述方法都是基于Two-stage 目標檢測算法可以實現(xiàn)高精度的性能，但不能滿足實時的實際應用需求。Ra?dovic，Tang 和孔等人［17-19］分別對單階段（Singlestage）檢測算法YOLO［20］，YOLOv2［21］和YOLOv3［22］進行改進實現(xiàn)無人機交通監(jiān)控車輛的實時檢測。為進一步增強弱小目標車輛特征，Yang 等人［23-24］采用自頂向下（Top-down）多尺度特征融合結構考慮合適的上下文信息提高弱小目標的判別性，提升了無人機視角下弱小車輛的檢測性能。王等人［25］利用Darknet-53［22］作為主干網(wǎng)絡去訓練目標檢測器實現(xiàn)無人機載平臺的多目標檢測與跟蹤。任等人［26］利用多尺度像素特征融合思想完成小交通標志的實時檢測，周等人［27］在YOLOV4-Tiny 的基礎上進行相應的改進提高雨霧道路環(huán)境下的實時弱小目標檢測。這些基于Single-stage 實時算法的車輛檢測僅僅考慮利用卷積網(wǎng)絡中高級語義信息為淺層特征提供了上下文信息。但Wang 等人［28-29］提出中低級信息如輪廓（Delineation）和紋理（Tex?tures）對于目標的精確定位是至關重要的，特別是小目標的檢測。

為此，本文利用能夠精確描述車輛目標的中低級特征信息和能夠區(qū)分其他類別的高級語義信息完成目標特征信息的雙向傳遞，提出一種特征信息增強的多尺度特征融合的無人機車輛目標實時檢測算法。該算法提出一種輕量級多尺度特征網(wǎng)絡去提取有利于車輛目標定位的中低級特征信息，并將其嵌入到主干神經網(wǎng)絡中；同時利用主干卷積神經網(wǎng)絡提取有利于車輛與背景或其他類別分類的高級語義信息，并將其與淺層特征進行融合；因此中低級信息和高級語義信息的不同融合可以增強無人機車輛目標的特征信息。然后，為了保證輕量級特征提取網(wǎng)絡能夠提取到車輛目標更為豐富的中低級特征信息，本文采用多路空洞卷積進行特征提取。最后提出一種有效靈活的特征融合模塊，可以將輕量級特征提取網(wǎng)絡引入的中低級特征信息較好地融入到主干網(wǎng)絡中，從而增強車輛目標的判別性特征。本文所提出的算法能夠實時顯著地提高無人機視角下復雜場景下弱小車輛的檢測效果。

2 特征信息增強的無人機車輛實時檢測模型

本文提出的基于特征信息增強的無人機車輛實時檢測網(wǎng)絡整體結構如圖1 所示，該算法主要包含四個關鍵部分：首先采用具有檢測精度高和測試速度快綜合優(yōu)勢的單階段精細神經網(wǎng)絡Refine?Det［30］作為特征提取的主干網(wǎng)絡；然后利用輕量級多尺度特征提取網(wǎng)絡（Light-weight Multi-scale Fea?ture Network，LMFN）提取車輛目標的中低級特征信息，同時為了保證LMFN 能夠提取到更為豐富的中低級信息，本文采用多路空洞率卷積的特征信息轉換模塊（Feature Information Transformation Mod?ule，F(xiàn)ITM）進行特征提??；最后利用有效靈活的特征融合模塊（Flexible Feature Fusion Module，F(xiàn)FFM）將中低級特征與主干網(wǎng)絡提取的特征較好地融合在一起，增強小目標車輛的特征表示。

2.1 RefineDet主干網(wǎng)絡

RefineDet 網(wǎng)絡結構既擁有單階段Single-stage檢測算法實時的優(yōu)勢，又具有兩階段Two-stage 檢測算法對錨框Anchor 進行二次精細優(yōu)化的特點。該網(wǎng)絡首先利用錨框優(yōu)化模型（Anchor Refined Mod?ule，ARM）實現(xiàn)目標和背景的二分類任務，其作用類似于Two-stage經典目標檢測算法Faster RCNN 中區(qū)域候選框生成網(wǎng)絡RPN，能夠完成目標候選框的初步篩選，濾掉大量負樣本，緩解Single-stage 目標檢測算法中正負樣本不平衡的問題，同時可以對目標位置進行粗略的回歸定位，但不需要對每個目標候選框做類似Faster RCNN 中感興趣池化操作ROI Pooling 過程，這樣可以節(jié)省大量計算時間從而能夠達到實時的檢測速度；然后提出目標檢測模型（Ob?ject Detection Module，ODM），該模型的作用與Single-stage 檢測算法SSD 是類似的，直接進行多尺度特征預測完成最終的多類別分類任務以及對目標進行精確的回歸定位，不同的是ODM的預測層是經過特征融合得到的特征增強的多尺度預測層，具有語義較強的優(yōu)勢，而SSD 的多尺度預測層是沒有特征融合這一過程；最后設計轉換連接模塊（Trans?fer Connection Block，TCB）將ARM 的輸出特征利用自頂向下Top-down 結構轉換成ODM 的輸入特征，同時該模塊的作用與經典特征金字塔FPN 的思想一致，可以實現(xiàn)多尺度特征融合，為淺層目標提供高級語義上下文信息增強其目標特征表示。該網(wǎng)絡最終利用不同預測特征層Conv4_3，Conv5_3，Conv_fc7和Conv6_2對目標完成多尺度預測。

針對無人機視角下的車輛目標大部分都是弱小目標的實際情況，本文在RefineDet 網(wǎng)絡的基礎上，增加卷積層Conv3_3 完成相對更小的車輛目標的預測，同時去掉較深的預測卷積層Conv6_1 以及Conv6_2等，因此本文采用Conv3_3，Conv4_3，Conv5_3和Conv_fc7 作為多尺度特征預測層，后續(xù)實驗結果可以證明該特征預測層的選擇策略能夠取得更好的檢測效果。同時由于不同數(shù)據(jù)集各類目標的尺度大小以及長寬比率的分布都是不一樣的，因此需要根據(jù)數(shù)據(jù)集中各類目標的長寬比分布設置合適默認候選框Anchor，本文根據(jù)無人機車輛的數(shù)據(jù)分布以及車輛目標在不同卷積層實際的感受野［24］設置適合無人機數(shù)據(jù)集的Anchor，從而可以提高車輛檢測的召回率。

2.2 輕量級多尺度特征提取網(wǎng)絡

針對弱小目標的檢測算法，經典的特征金字塔網(wǎng)絡FPN［31］采用將深層語義信息特征和淺層特征進行融合增強小目標特征，主要解決了淺層特征缺少語義信息的問題。但小目標檢測是一個具有挑戰(zhàn)性的問題，它不僅需要能夠區(qū)分目標與背景和其他類別的高級語義信息，也需要能夠精確描述目標的中低級信息。本文利用輕量級多尺度特征提取網(wǎng)絡（Light-weight Multi-scale Feature Network，LMFN）不僅為主干網(wǎng)絡RefineDet提供中低級信息的補充，而且是一個從零開始訓練的輕量級網(wǎng)絡，與經典的利用ImageNet 先進行預訓練后再進行微調（Finetune）的分類檢測網(wǎng)絡相比，He［32］認為從零開始訓練檢測模型更有助于目標的精確定位，因此本文提出的LMFN網(wǎng)絡更有利于小目標車輛的精確定位。

輕量級多尺度特征網(wǎng)絡LMFN 主要由特征信息轉換模塊（Feature Information Transformation Mod?ule，F(xiàn)ITM）和有效靈活的特征融合模塊（Flexible Feature Fusion Module，F(xiàn)FFM）構成。LMFN 是一個從零開始訓練的網(wǎng)絡，這樣可以減少分類和定位之間的任務差距，同時它僅是利用簡單的卷積層（Convolution Layer）和Batch Normalization［33］層組成，不需要消耗大量的訓練時間，然后將該LMFN網(wǎng)絡嵌入到用于提取特征的主干卷積網(wǎng)絡中，與預訓練的主干卷積網(wǎng)絡優(yōu)勢互補，共同構建一個特征信息增強的無人機車輛實時檢測網(wǎng)絡，其整體結構如圖1所示。

其中預訓練的主干卷積網(wǎng)絡是經過多個卷積層（Convolution Layer）和最大池化層（Max Pooling）的重復堆疊進行特征提取，用于產生能夠區(qū)分目標與背景和其他類別的語義信息豐富的特征，如圖2（a）所示，這種提取語義特征的方式對圖像分類十分有利，滿足平移不變性的要求。但目標檢測任務中不僅要滿足目標分類的要求，還需要完成精確的目標定位，因此更需要目標中低層特征中所包含的位置和輪廓信息，本文利用LMFN 網(wǎng)絡提取這些中低級特征信息。首先經過一個較大的下采樣倍數(shù)將輸入圖像的大小調整到主干網(wǎng)絡中第一層預測特征層的尺度大小，然后作為輸入被送到特征信息轉換模塊FITM 中實現(xiàn)特征轉換便于后續(xù)與主干特征進行融合，如圖2（b）所示。從零開始訓練的輕量級多尺度特征網(wǎng)絡LMFN類似于圖像金字塔為標準的預訓練主干卷積網(wǎng)絡的深層特征提供充足的中低層特征信息，更有利于目標車輛的定位。下面重點介紹構成輕量級多尺度特征網(wǎng)絡LMFN的特征信息轉換模塊FITM和有效靈活的特征融合模塊FFFM。

2.3 特征信息轉換模塊

特征信息轉換模塊FITM 主要是實現(xiàn)LMFN 網(wǎng)絡輸入圖像的特征轉換，提取無人機車輛目標的中低層特征信息Fn，其結構如圖3 所示。該模塊由兩部分組成，一是簡單的3×3 的卷積層和BN 層以及1×1 的卷積層和BN 層；二是多路空洞卷積（Dilated Convolution），可以提供更為豐富的中低層特征信息。在卷積神經網(wǎng)絡中，空洞卷積［34］相比普通卷積僅增加了一個名為空洞率r的參數(shù)，而且可以在保持圖像分辨率的情況下能夠增大感受野。不同的空洞率r可以形成不同大小范圍的感受野和不同中心的特征。本文采用的多空洞率并聯(lián)卷積可以保持目標車輛周圍不同范圍的信息，豐富中低層特征信息的多樣性。

首先將LMFN 的輸入圖像分別經過一個3×3 卷積和1×1 的卷積層得到特征sn，然后將此特征完成多路（兩路、三路或者更多）空洞卷積的拼接（Con?cat）操作實現(xiàn)不同范圍感受野的特征融合，這里以三路空洞卷積為例如圖3 所示。將空洞率r分別為1，2，3并聯(lián)的三種3×3卷積特征進行融合后，最后經過一個1×1 的卷積進行通道維數(shù)變化的操作，達到融合不同特征的目的，得到車輛目標的中低層信息Fn，該過程可以用如公式（1）所示：

其中，Cat 表示拼接操作運算，Dk，r(s)表示空洞卷積Dilated Convolution 操作，k表示的是卷積核的大小，本文采用的是3×3的卷積操作，r表示的是空洞率的大小，s表示的是多路空洞卷積的輸入特征，F(xiàn)表示的是多路空洞卷積的輸出特征，即提取到的中低層特征信息。

2.4 有效靈活的特征融合模塊

為了使轉換模塊FITM 提供的中低級特征能夠更好地融合到主干特征提取網(wǎng)絡中，本文設計的特征融合模塊（Flexible Feature Fusion Module，F(xiàn)FFM）是一個較為靈活的模塊，在多尺度中低級特征信息嵌入的無人機車輛檢測的整體結構中的位置如圖1所示，對于每個FFFM 融合模塊都有兩個輸入，轉換模塊FITM 的輸出特征F和相應的主干特征C，因此融合模塊FFFM可以表述為如公式（2）所示：

其中n是主干網(wǎng)絡中預測特征層對應的層級序號，Ln表示對應融合模塊的輸出特征。I0代表主干網(wǎng)絡中的輸入圖像，In是LMFN 網(wǎng)絡的輸入圖像。cn(?)和fn(?)分別表示主干網(wǎng)絡第n個特征層級的輸出和與之相對應融合的LMFN網(wǎng)絡層級特征的輸出。此外，本文采用FFFM 融合模塊的三種不同變體，以證明中低級特征信息傳遞的有效性，則β的對應函數(shù)有三種，分別為點對點相加（Element-wise Sum），拼接（Concat）和殘差式點乘（Residual Product），其不同的融合方式結構如圖4 所示，下面詳細介紹這三種融合方式。

（1）點對點相加（Element-wise Sum）

點對點相加的融合方式是將中低級信息特征Fn與主干網(wǎng)絡提取的特征Cn變換到相同的空間域中并進行點對點相加，其目的是將LMFN 產生的中低級特征視為額外的附加信息去增強小目標車輛的判別性特征。該融合方式需要將兩種特征的通道數(shù)調整為相同的維數(shù)，其對應的公式（3）如下：

其中，CT表示通道維數(shù)的變換（Channel Transform），Wk表示1×1的卷積層，W表示3×3的卷積層和BN層。

（2）拼接（Concatenation）

Concat融合方式是利用拼接操作將中低級信息特征Fn與主干網(wǎng)絡提取的特征Cn融合在一起，與U-Net［35］中的融合方式相似，融合后的特征可以利用不同的卷積核進行特征選擇與整合，本文采用1×1 的卷積核。該融合方式能自主選擇融合有用的背景信息，具有一定的選擇性，從而可以在一定程度上避免背景噪聲的干擾。其對應的公式（4）如下：

其中，Wm表示1×1 的卷積層和BN 層，Cat 表示拼接操作運算。

（3）殘差式點乘（Residual Product）

Residual Product 的融合方式是將LMFN 的中低級信息特征Fn與主干網(wǎng)絡特征Cn進行點對點相乘（Element-wise Product）操作，然后將其結果與Cn實現(xiàn)殘差式相加，即把((Wk?CT(Fn))?(Wp?Cn))視為主干網(wǎng)絡特征Cn中丟失的信息，然后再將該丟失的信息添加到主干網(wǎng)絡，增強車輛目標特征。其對應的公式（5）如下：

其中，Wp表示1×1的卷積層運算。

3 實驗結果與分析

3.1 實驗運行環(huán)境

本文實驗環(huán)境是在Ubuntu16.04 操作系統(tǒng)Caffe 深度學習平臺下進行網(wǎng)絡模型搭建，GPU 采用的是NVIDIA Titan Xp 的顯卡（12 GB 內存），相應的顯卡驅動和加速庫分別采用為CUDA8.0 和cuDNNv6.0，CPU是Intel Core i7-7700K@4.2 GHz。

3.2 實驗數(shù)據(jù)集

本文采用公開數(shù)據(jù)集XDUAV［24］和Stanford Drone［36］分別進行實驗結果分析。

XDUAV 是利用大疆無人機在不同的交通場景下進行多類別車輛采集而構成的車輛小目標數(shù)據(jù)集，該數(shù)據(jù)集包括3475 張訓練圖像和869 張測試圖像。圖像分辨率為1920×1080，其中把六類車輛小汽車、公共汽車、卡車、摩托車、自行車和油罐車作為訓練數(shù)據(jù)，其各類車輛目標數(shù)量如表1所示。

表1 XDUAV數(shù)據(jù)集中各類車輛目標的數(shù)量Tab.1 The number of each category vehicle in XDUAV dataset

Stanford Drone 數(shù)據(jù)集中包括六類目標，行人、騎自行車的人、滑板手、小汽車、公共汽車和高爾夫球車，由于本文旨在研究車輛目標，因此選擇小汽車、公交車和高爾夫球車三類目標作為本文實驗的訓練數(shù)據(jù)。其中訓練圖像為3500 張，測試圖像為831 張，圖像分辨率大約為1409×1916，其各類車輛目標數(shù)量如表2所示。

表2 Stanford Drone數(shù)據(jù)集中各類車輛目標的數(shù)量Tab.2 The number of each category vehicle in Stanford Drone dataset

3.3 性能評估指標

為了評估實驗結果，本文采用了三種典型的評價標準：單類平均準確率（Average Precision，AP），所有類別的平均準確率均值（mean Average Preci?sion，mAP）以及檢測速度（每秒傳輸幀率，F(xiàn)rames Per Second，F(xiàn)PS）。其中這些評價指標對應的計算公式如下所示：

其中，TP 表示的是正確識別正樣本的數(shù)量，F(xiàn)P 表示的是錯把負樣本識別成正樣本的數(shù)量，F(xiàn)N表示的是未能識別正樣本的數(shù)量，TN表示正確識別負樣本的數(shù)量。n對應的是訓練樣本的類別數(shù)量，APi對應第i類目標的平均準確率。mAP 評價標準是檢測網(wǎng)絡對所有目標能夠被正確分類和定位所做出整體性能的衡量，mAP的值越高，說明網(wǎng)絡性能越好。

3.4 訓練參數(shù)

為了使網(wǎng)絡對任意尺度大小的車輛目標都具有魯棒性，本文采用了數(shù)據(jù)增廣策略［37］，包括隨機擴展和裁剪原始訓練圖像，以及水平翻轉等策略。同時網(wǎng)絡訓練的初始值采用的是公開分類網(wǎng)絡VGG ISSVRC［38］的權重，初始學習率為0.001，重量衰減系數(shù)為0.0005，動量設置為0.9，訓練迭代次數(shù)共為120k次，分別在80k次和100k次時學習率降為0.0001和0.00001。訓練圖像大小為320×320，每批次訓練圖像數(shù)量（Batch Size）為16。

3.5 損失函數(shù)

本文用于分類的損失函數(shù)為交叉熵函數(shù)，用于回歸的損失函數(shù)采用SmoothL1函數(shù)，網(wǎng)絡的總損失函數(shù)定義為：

其中，i定義的是Mini-batch 中默認候選框Anchor 的索引。在二分類（車輛vs.背景）ARM 任務中，pi是對應Anchori屬于前景車輛目標的預測概率，xi是對應Anchori屬于車輛目標的粗略位置預測。如果Anchori為正樣本，則真實標簽Ground Truth為1，否則為0，則是Anchori為Ground Truth 的位置和大小。在多分類（車輛vs.車輛）ODM 任務中，ci和ti分別是指Anchori屬于車輛具體類別的預測概率和對應該類別的精細預測位置。Narm和Nodm分別表示ARM 和ODM 中Anchor 被判定為正樣本的總數(shù)量。Lcls-b和Lcls-m分別是對應ARM 和ODM 的二分類交叉熵和多分類交叉熵損失函數(shù)，Lcls-b是Lcls-m的一種特殊形式。Lreg采用的是SmoothL1 回歸損失函數(shù)，公式如下所示：

3.6 XDUAV數(shù)據(jù)集的實驗結果

本文在XDUAV 數(shù)據(jù)集上首先進行消融實驗去驗證本文所提創(chuàng)新點的有效性，然后與Faster RCNN［12］和SSD［37］等一些經典的目標檢測方法進行檢測性能的對比。實驗結果表明，本文所提出的網(wǎng)絡算法能夠達到92.2%的mAP 以及每秒51 幀的實時性，實現(xiàn)了無人機視角下小目標車輛的高精度實時檢測。

（1）RefineDet 主干網(wǎng)絡設置的必要性

針對無人機視角下車輛目標大部分都是弱小目標的實際情況，本文首先對原始RefineDet的多層預測輸出層做出一定的改進，將淺層卷積層Conv3_3增加為預測輸出層（將增加淺層卷積層Conv3_3的模型簡稱為R_Conv3_3），然后在此基礎上去掉深層預測卷積層Conv6_2（將此時模型簡稱為Simple-R）。因此本文設置四層Conv3_3，Conv4_3，Conv5_3 和Conv_fc7 分別作為多尺度預測輸出層。最后，根據(jù)XDUAV 數(shù)據(jù)集的車輛整體分布對四層預測層設置對應默認候選框Anchor 的參數(shù)如表3 所示（將此模型簡稱為Setting-R），然后在Setting-R模型的基礎上對后續(xù)輕量級特征提取網(wǎng)絡LMFN進行詳細具體的分析。

表3 不同預測層中對應Anchor的設置Tab.3 Corresponding Anchor settings in different prediction layers

關于參加預訓練的主干卷積網(wǎng)絡RefineDet 中預測特征層設置以及Anchor 設置的實驗結果對比如表4 所示。首先，表4 中第二行和第三行所示的實驗結果對比證明RefineDet 主干網(wǎng)絡中淺層卷積層Conv3_3對小目標車輛正確分類定位起著至關重要的作用。然后，第三行和第四行所示的結果對比表明，深層卷積Conv6_2 對于小目標車輛的檢測是無用的。其主要原因為：一是小目標在深層卷積層中可能會缺少位置或空間信息導致Anchor 和目標本身卷積特征產生一些偏移，也就是說深層卷積特征中的小目標的位置和初始位置不一致，這對弱小目標的正確定位影響是比較大的；二是在深層卷積特征為小目標車輛帶來了較大的感受野，伴隨著會引入過多的背景干擾，從而影響檢測性能；三是因為小目標容易在較深的卷積層中丟失特征。最后一行是對各預測層進行相應Anchor 設置后的檢測結果，性能得到顯著的提升，主要是因為常規(guī)An?chor 設置（所有預測層的長寬比都設為1，1/2，2）與某些類別車輛的真實值不匹配造成的，容易出現(xiàn)車輛目標如卡車漏檢的情況。因此本文所提的主干網(wǎng)絡能夠更穩(wěn)定地訓練提高小目標車輛的檢測性能。

表4 主干網(wǎng)絡中預測層設置以及Anchor設置的性能對比Tab.4 Performance comparison of the prediction layers and anchor settings in the backbone network

（2）輕量級多尺度特征提取網(wǎng)絡的重要性

本文為保證每一預測層既有能夠精確表示目標的中低層信息，又有能夠區(qū)分目標與背景和其類別的高層語義信息，依次將LMFN 網(wǎng)絡提取的中低級特征融合到主干網(wǎng)絡的預測層Conv3_3，Conv4_3，Conv5_3和Conv_fc7中做對比實驗，如表5所示。實驗結果表明在淺層Conv3_3 和Conv4_3 中添加中低級信息的作用并不大，因為這兩層對于主干網(wǎng)絡而言，自身就是淺層特征，如果增加額外的參數(shù)反而會帶來特征冗余，給網(wǎng)絡造成負擔，致使檢測性能下降。在深層Conv5_3 和Conv_fc7 中添加適當?shù)闹械图壭畔?，正好彌補小目標缺失的信息，有利于目標的精確定位，實現(xiàn)了將中低級信息的傳遞；同時本文將深層高級語義特征與淺層特征進行融合實現(xiàn)了高級語義信息的傳遞，使其淺層卷積層都具有判別性特征，這種做法類似于引入雙向網(wǎng)絡，能夠有效地傳遞不同層次的信息，增強無人機視角下車輛目標的特征表示。因此本文提出的LMFN 網(wǎng)絡既可以保證每一預測層都具有利于定位的中低級信息，又具有利于分類的判別性特征的高級語義信息，在提高無人機視角下車輛弱小目標檢測精度的同時，又不影響網(wǎng)絡的實時檢測。這里需要注意的是，表5 顯示的檢測結果是利用LMFN 網(wǎng)絡中特征信息轉換模塊FITM 中最基本的卷積操作，即只是將LMFN 的輸入圖像依次經過3×3 卷積層、1×1 的卷積層和3×3 卷積層得到中低級特征Fn，并沒有多路空洞卷積的參與；同時在進行特征融合時，也只是將輔助特征Fn和主干特征Cn進行簡單的點對點相加（Element-wise Sum）操作，并沒有用到具體靈活特征融合模塊FFFM 的操作過程。

表5 中低級特征信息嵌入到不同預測層上的性能對比Tab.5 Performance comparison of embedding mid-/low-level feature into different prediction layers

（3）多路空洞卷積的有效性

為了證明特征信息轉換模塊FITM 的有效性，本節(jié)分別采用單一卷積和多路（包括兩路和三路）空洞卷積來進行驗證，如表6 所示。利用空洞率r=1，3或r=2，3的兩路空洞卷積方法相比單一卷積的檢測性能好，檢測精度分別提升了0.2% 和0.1%。這是因為空洞率大的卷積其感受野相應增大，可以提取到目標的輪廓信息。將不同空洞率卷積拼接后提取到的特征更加豐富，特征響應相比于其他特征響應更為強烈。而三路空洞卷積r=1，2，3方法相比于r=1，3或r=2，3兩路卷積更能夠帶來多樣性的感受野，即可以得到更多不同范圍的信息，因此檢測精度又有一定的提升。但針對無人機視角下大多數(shù)車輛是弱小目標，太大的感受野容易帶來更多背景干擾，因此三路空洞卷積r=1，2，3 的檢測性能不如兩路空洞卷積r=1，2 提取的特征更為細膩，能夠保留更為豐富的細節(jié)信息，更利于小目標車輛的精確定位。因此本文利用兩路空洞卷積r=1，2 策略可以獲得不同感受野信息，豐富車輛目標特征，減少了信息的丟失，有利于目標車輛的分類定位。此外，不同空洞率需要對輸入圖像進行不同的Padding 填充，從而會導致網(wǎng)絡的計算量增加，其不同空洞卷積的檢測速度（每張圖像的測試時間）如表6最后一列所示，但不影響網(wǎng)絡檢測的實時性。

表6 多路空洞卷積實驗結果的性能對比Tab.6 Performance comparison of multi-rate dilated convolution

（4）不同特征融合模塊設置的必要性

為了確保LMFN網(wǎng)絡提供的中低級信息較好地融入到主干網(wǎng)絡中，本文采用三種不同的融合策略進行實驗對比。Concat 融合方式是通道數(shù)Channel的合并，表示目標本身的特征增加，但每一特征中的信息并沒有增加。殘差式點乘（Residual Prod?uct）的融合方式可以認為表示目標本身特征的信息增加，該方式顯然是有利于分類的，所以性能要優(yōu)于Concat 融合方式。然而點對點相加（Elementwise Sum）融合方式能夠提供更多的表示目標本身的信息，其檢測性能更好。為了比較它們的有效性及區(qū)別，我們在相同的條件下執(zhí)行不同的融合方式，并分別計算出不同車輛類別的準確率AP 值，如表7 所示，實驗對比結果表明點對點相加（Elementwise Sum）的融合方式在所有性能指標上都展現(xiàn)了更好的性能。

表7 FFFM模塊三種融合方式的性能對比Tab.7 Performance comparison of the three fusion methods for FFFM module

（5）整體性能的對比結果

在XDUAV 數(shù)據(jù)集上，本文提出的無人機視角下弱小目標車輛的檢測算法與一些經典的目標檢測算法Faster RCNN［12］、R-FCN［39］、FPN［31］、YO?LOv2［21］、YOLOv3［22］、RON［40］、SSD［37］、DSSD［41］以及RefineDet［30］進行整體性能對比。如表8 所示，本文提出的方法能夠達到92.2%的檢測精度。同時，本文涉及到的用于增加中低級特征信息的LMFN 網(wǎng)絡、多路空洞卷積以及特征融合模塊FFFM，雖然在一定程度上引入了額外的參數(shù)，但并不影響網(wǎng)絡的實時檢測。本文利用訓練好的網(wǎng)絡進行前向推理，對869 張測試圖像的推理耗時取其平均，得到精確的檢測速度為19.56 ms，大約為51 FPS。此外，為了進一步驗證本文算法能夠在實時的基礎上取得最佳的檢測性能，本文在RefineDet網(wǎng)絡架構上利用不同輕量級網(wǎng)絡MobileNet［42-44］和ShuffleNet［45-46］作為主干網(wǎng)絡完成車輛檢測，表8實驗結果表明，采用輕量級網(wǎng)絡可以大大減少網(wǎng)絡參數(shù)量實現(xiàn)實時的性能，但車輛檢測精度卻大幅度下降，尤其是更為小型車輛目標（如自行車）。圖5顯示了本文算法和只考慮利用卷積網(wǎng)絡中高級語義信息為淺層特征傳遞上下文信息主要解決淺層特征缺少語義信息的算法在不同場景下目標車輛的對比檢測效果，由對比檢測效果圖可以看出，本文設計的車輛檢測算法對于不同交通場景下弱小目標車輛存在錯檢、漏檢以及重框等問題都取得較好的檢測效果，特別是對于尺度變化較大、遮擋車輛以及車輛的精確定位具有很好的魯棒性。

表8 XDUAV數(shù)據(jù)集上不同檢測方法的結果對比Tab.8 Results of different detection methods for XDUAV dataset

3.7 Stanford Drone數(shù)據(jù)集的實驗結果

為進一步證明提出的無人機視角下弱小目標車輛檢測算法的魯棒性，本文同時在Stanford Drone 數(shù)據(jù)集上對其進行評估。在Stanford Drone數(shù)據(jù)集上做了和XDUAV 數(shù)據(jù)集上同樣的消融實驗以及整體性能的對比實驗，如表9 所示。本文提出的方法能夠達到90.8% 的mAP，同時比經典的高性能兩階段目標檢測算法Faster RCNN、R-FCN、FPN 以及實時性單階段目標檢測算法SSD、YO?LOv3、RefineDet 分別高出14.9%，4.2%，2.0%和12.6%，10.8%，4.7%，同時檢測性能更要優(yōu)于輕量級網(wǎng)絡MobileNet 和ShuffleNet 作為主干網(wǎng)絡的檢測算法。圖6 顯示的是本文方法在Stanford Drone數(shù)據(jù)集上的一些檢測結果。Stanford Drone 數(shù)據(jù)集的實驗結果同樣可以證明本文所提方法的魯棒性。

表9 Stanford Drone數(shù)據(jù)集上不同檢測方法的結果對比Tab.9 Results of different detection methods for Stanford Drone dataset

4 結論

本文提出的基于特征信息增強的無人機車輛實時檢測算法，不僅為淺層特征融入了有利于分類的深層語義信息，更為重要的是為深層卷積特征融入了有利于定位的中低層信息，同時利用有效的特征融合模塊將LMFN網(wǎng)絡產生的多尺度中低級信息更好的融入到深層卷積特征中，并利用多空洞率卷積豐富目標周圍的信息。實驗結果表明，本文算法能夠實現(xiàn)各種復雜交通場景下的弱小目標車輛的實時檢測，并達到很高的檢測精度。但在視頻車輛檢測中容易出現(xiàn)丟幀現(xiàn)象，因此后續(xù)將利用視頻間的幀間關系對無人機視角下車輛目標進行更加準確的特征表示，可以利用幀間相關性對遮擋車輛實現(xiàn)進一步推理完成目標的精確檢測。