黃俊潔 陳念年 范 勇

(西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院 四川綿陽 621010)

近幾年，隨著我國交通逐漸發(fā)達，交通車輛種類繁多，其數(shù)量也在高速增長，對智能交通系統(tǒng)建設(shè)的需求日益增多。車輛目標檢測是智能交通系統(tǒng)中的關(guān)鍵技術(shù)，也是計算機視覺領(lǐng)域的熱點之一。由于在實際場景中車輛通常處于復(fù)雜環(huán)境里，如背景變化、目標遮擋、陰影以及拍攝角度和高度不同導(dǎo)致的車輛自身形變和尺度變化等問題，都是目前車輛目標檢測技術(shù)面臨的主要難題。

車輛目標檢測技術(shù)是先通過特征提取方法獲得圖像中的特征，然后利用分類器對特征進行分類，從而實現(xiàn)圖像中車輛的定位與識別。經(jīng)典的特征提取算法有HOG(Histrogram of Gradient)和SIFT(Scale-invariant Feature Transform)等，這些手工定義的特征被提取后，輸入到分類器進行識別，常用的分類器有支持向量機(Support Vector Machine，SVM)和迭代器(AdaBoost)等?；诙喑叨茸冃尾考Ｐ退惴?Deformable Part Model，DPM)[1]是傳統(tǒng)檢測算法的代表，該算法將物體劃分成多部件，利用部件之間的聯(lián)系來描述物體，在目標檢測上取得了良好的效果?？但槴樀萚2]對可變性部件模型進行了改進，減少模型參數(shù)，提升了檢測速度，但是在遮擋情況下效果較差。傳統(tǒng)檢測算法主要是適應(yīng)某種特定的識別任務(wù)，需要研究人員具有豐富的經(jīng)驗，進行特征的篩選，其泛化性、魯棒性較差，難以有效解決實際的車輛檢測問題。

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，引入深度學(xué)習(xí)方法的目標檢測技術(shù)在精度和速度上得到了突破性的進展。與傳統(tǒng)的手工特征相比，利用深度學(xué)習(xí)技術(shù)提取的特征具有更豐富的語義信息，對實際場景的干擾因素具有更好的魯棒性。目前基于深度學(xué)習(xí)的目標檢測技術(shù)大致分為兩類，第一類為兩階段(two-stage)檢測方式，其代表算法為RCNN[3]，F(xiàn)ast RCNN[4]，F(xiàn)aster RCNN[5]等系列算法，該類算法需要先提取候選區(qū)域框，然后對候選區(qū)域的特征進行分類，定位目標的位置；第二類為一階段(single-stage)檢測方式，其代表算法為YOLO[6-8]，SSD[9]等算法，該類算法將檢測任務(wù)簡化為回歸問題，即在輸入圖像中多個位置上回歸出目標的位置和類別，大大加快了檢測速度，增加了實時性。相對第二類算法，第一類算法具有精度上的優(yōu)勢，但是只使用主干網(wǎng)絡(luò)的最后一層的單尺度特征圖進行分類與定位，單一的感受野不能很好地適應(yīng)多尺度的目標，容易忽略小目標，造成小目標漏檢。隨后出現(xiàn)的目標檢測技術(shù)解決了遺留的問題。FPN[10](Feature Pyramid Network)算法通過引入特征金字塔，將不同層的特征組合成不同尺度的語義特征，以解決多個尺度上的檢測問題。MS-CNN[11]算法利用卷積神經(jīng)網(wǎng)絡(luò)每層具有不同感受野的特征圖的特性，對于不同的輸出層設(shè)計不同尺度的目標檢測器，完成多尺度下的檢測問題。Florian等[12]提出了一種基于單目圖像檢測車輛并預(yù)測3D信息的框架Deep MANTA，能克服大的物體的大小變化，提供更高的準確度，并保持高分辨率。深度學(xué)習(xí)的方法應(yīng)用于車輛檢測有諸多的優(yōu)勢和實際的應(yīng)用價值[13]。

大多數(shù)基于深度學(xué)習(xí)的車輛檢測算法都是通過圖像的全局特征進行檢測識別，但在車輛種類繁多且其外觀極其相似的情況下，容易造成誤檢現(xiàn)象，而且隨著卷積層的不斷加深，算法對目標的平移可變性逐漸減弱。本文針對處于復(fù)雜環(huán)境的多類車輛，提出一種融合全局特征和局部特征的檢測方法。通過特征金字塔構(gòu)建多尺度特征，進而生成不同尺度的候選目標區(qū)域；引入全局特征和局部特征，增加檢測網(wǎng)絡(luò)模型的平移可變性，使得算法對目標尺度、遮擋等影響因素更具有適應(yīng)性。在UA-DETRAC數(shù)據(jù)集以及構(gòu)建的施工場景數(shù)據(jù)集上，與多種主流方法分別進行對比實驗，從達到的各項性能指標來看，本文方法具有更優(yōu)的檢測性能。

1 車輛目標檢測算法

本文算法采用與Faster RCNN類似的兩階段(two-stage)檢測算法，主要由區(qū)域建議網(wǎng)絡(luò)RPN(Region Proposal Networks)生成候選區(qū)域框和Fast RCNN檢測器兩部分組成。整個處理網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。為了避免單尺度特征圖造成的漏檢現(xiàn)象，采用FPN算法提取的多尺度特征金字塔作為RPN的輸入，提高候選區(qū)域框的質(zhì)量。通過融合全局特征和局部特征進行檢測任務(wù)，其中全局特征包含圖像的上下文信息和整體結(jié)構(gòu)信息，而局部特征主要是提取目標部件特征，并在特征圖中植入空間位置信息，增加目標內(nèi)部的部件變化敏感性，可以解決出目標的形變問題。最后使用加權(quán)融合的方式將兩部分特征結(jié)合，輸入到分類器中實現(xiàn)定位識別。

1.1 全局特征提取

1.1.1 多尺度候選區(qū)域生成

卷積神經(jīng)網(wǎng)絡(luò)從低級層到高級層具有逐漸增強的語義信息，利用這種層級結(jié)構(gòu)可以構(gòu)建高語義的特征金字塔網(wǎng)絡(luò)FPN。FPN算法的網(wǎng)絡(luò)由全卷積構(gòu)成，輸入一張任意的圖像，在各個特征層分別輸出不同尺度的特征圖。該網(wǎng)絡(luò)有3個傳播方向：自底向上、自頂向下以及橫向連接。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖1 本文車輛目標檢測算法框架模型Fig.1 The framework model of vehicle target detection algorithm

圖2 特征金字塔網(wǎng)絡(luò)Fig.2 Feature pyramid network

自底向上方向是指傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)前饋傳播方向，逐層計算出不同尺度以及語義遞增的特征圖，包含的定位信息較多，如圖2所示，由基礎(chǔ)網(wǎng)路ResNet-50中的5個卷積層(Conv2，Conv3，Conv4，Conv5，Conv6)分別輸出的特征圖{C2，C3，C4，C5，C6}，與原輸入圖像的縮放比例為{4,8,16,32,64}。自頂向下方向是通過上采樣逐層恢復(fù)出較高分辨率的特征圖。雖然上采樣的特征圖較為粗糙，缺乏細節(jié)信息，損失了目標的空間信息，但是具有更強的語義信息。因此，通過橫向連接將兩種特征圖按照相同尺度進行結(jié)合，生成對應(yīng)空間分辨率的特征圖{P2,P3,P4,P5,P6}，實現(xiàn)特征互補。

本文算法在Faster RCNN的基礎(chǔ)上將FPN算法生成的特征金字塔取代單一特征層作為RPN的輸入，實現(xiàn)在不同大小感受野上檢測多尺度目標，以提高目標檢測精度。算法中特征金字塔每層對應(yīng)的RPN網(wǎng)絡(luò)生成不同尺度的錨框，如特征圖{P2,P3,P4,P5,P6}分別對應(yīng)生成尺度為{322,642,1282,2562,5122}的錨框。如果一個錨框的重疊度(IOU，Intersection over Union)大于設(shè)定的閾值threshold，則給這個錨框標記成1，表示正樣本，反之將其標記為0，表示負樣本。根據(jù)錨框的預(yù)測得分從大到小排序，選擇前N個錨框映射回原圖像，如有超出圖像邊界的錨框，需進行裁剪超出部分。最后使用非極大值抑制算法對這些錨框進行篩選，選擇得分靠前的Ns個錨框作為候選目標區(qū)域框傳給檢測部分。

1.1.2 上下文信息

在實際場景中目標總是處于某種環(huán)境中，環(huán)境會對目標產(chǎn)生影響，目標與環(huán)境之間的相互作用信息即為上下文信息。通常捕捉目標與場景之間的上下文信息對目標進行識別、處理，有助于將目標從復(fù)雜的環(huán)境中區(qū)分出來，提高識別的精確度。在本文算法中，從基于多尺度特征圖生成的候選目標區(qū)域周圍選取特定區(qū)域，提取上下文信息。如圖3所示。紅色框表示候選目標特征塊，藍色框表示包含了目標和周圍背景的特征塊，上下文信息將在候選目標周圍的背景中提取。經(jīng)過ROI池化層提取對應(yīng)區(qū)域的特征后，采用一個1×1的卷積層進行歸一化，然后由全連接層進行處理，最后進行特征融合。

圖3 上下文信息提取框架圖Fig.3 Context information extraction framework

在生成的候選區(qū)域框的基礎(chǔ)上將背景區(qū)域包含進來，擴大特征圖的感知區(qū)域，使得網(wǎng)絡(luò)模型學(xué)習(xí)到更多的環(huán)境信息，能更好地從復(fù)雜背景中將目標區(qū)別出來。

1.2 局部特征提取

當卷積神經(jīng)網(wǎng)絡(luò)變深后經(jīng)最后一層卷積層輸出的特征圖變得很小，但感受野變得很大，所以目標在輸入的圖像上發(fā)生小偏移，在最后得到的特征圖中將會感知不到，平移可變性變得很差，識別出來的位置準確度也會很差。采用位置敏感感興趣區(qū)域池化層(Position-Sensitive ROI Pooling)提取局部特征，通過在特征聚集時人工地引入空間位置信息和部件特征，增加網(wǎng)絡(luò)對目標位置和部件變化的敏感程度。

圖4 局部特征提取框架圖Fig.4 Local feature extraction framework

如圖4所示，由最后一個1×1的卷積層生成n×k×k個位置敏感得分圖，經(jīng)過位置敏感感興趣區(qū)域池化層將結(jié)果聚集起來，處理生成n個k×k大小的位置敏感得分圖，為了降低后續(xù)層的計算量，實驗中設(shè)定n=10。k×k大小的特征圖表示把感興趣區(qū)域劃分成k×k的網(wǎng)格，其中每個顏色的立方塊表示目標不同部件存在的概率值，對應(yīng)感興趣區(qū)域的上左、上中、上右、中左等不同位置。得到位置敏感得分圖之后，因局部特征和全局特征維度上存在不一致的情況，采用一個1×1的卷積層進行歸一化。

1.3 損失函數(shù)

本文的整個網(wǎng)絡(luò)模型能夠?qū)崿F(xiàn)端到端的訓(xùn)練，為了達到車輛的檢測與類型識別的同時實現(xiàn)效果，利用多任務(wù)損失函數(shù)對網(wǎng)絡(luò)參數(shù)進行學(xué)習(xí)，損失函數(shù)定義為：

(1)

2 實驗與分析

2.1 實驗數(shù)據(jù)

本文分別對兩套數(shù)據(jù)集進行了實驗驗證，一個源自于公共數(shù)據(jù)集UA-DETRAC(簡稱UA數(shù)據(jù)集)，另一個是本文構(gòu)建的數(shù)據(jù)集(簡稱SC數(shù)據(jù)集)。UA數(shù)據(jù)集是車輛檢測和車輛跟蹤的大規(guī)模數(shù)據(jù)集，拍攝于北京和天津的道路過街天橋，包含不同天氣、不同尺度、不同遮擋度的圖像共82 085張，實驗中選取55 817張圖像為訓(xùn)練數(shù)據(jù)，其余部分作為測試數(shù)據(jù)。SC數(shù)據(jù)集是本文搜集的工程車目標數(shù)據(jù)集，主要是從工程施工場景采集獲得，車輛類型包括吊車(Crane)和挖掘機(Digger)，共有1 924張圖像。為避免由于訓(xùn)練數(shù)據(jù)較少造成的卷積網(wǎng)絡(luò)模型過擬合問題，對SC數(shù)據(jù)集進行了數(shù)據(jù)增強，通過翻轉(zhuǎn)、平移、灰度變換等操作，將數(shù)據(jù)集擴大至原來的2倍。經(jīng)過手工標注車輛類型和位置信息后，選取其中的3 078張圖像作為訓(xùn)練數(shù)據(jù)，770張圖像作為測試數(shù)據(jù)。

2.2 訓(xùn)練步驟及參數(shù)配置

在訓(xùn)練本文算法模型時，需先對模型參數(shù)進行初始化，算法使用ResNet-50網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，使用在ImageNet數(shù)據(jù)集訓(xùn)練得到的參數(shù)作為初始值，其他部分的參數(shù)則是隨機初始化。訓(xùn)練步驟如下：

(1)將所有圖像數(shù)據(jù)按照PASCAL VOC 2007數(shù)據(jù)集格式進行轉(zhuǎn)換；

(2)根據(jù)訓(xùn)練樣本數(shù)量，對小樣本數(shù)據(jù)集進行數(shù)據(jù)增強；

(3)采用隨機梯度下降法對公式(1)的損失函數(shù)進行優(yōu)化，獲得最優(yōu)的網(wǎng)絡(luò)模型參數(shù)。

訓(xùn)練過程中，學(xué)習(xí)率設(shè)為0.001，UA數(shù)據(jù)集訓(xùn)練迭代次數(shù)為70 000次，SC數(shù)據(jù)集訓(xùn)練迭代次數(shù)為40 000次，分別經(jīng)過約20 h的訓(xùn)練，獲得最終的模型參數(shù)。

實驗使用的軟硬件平臺為：Linux操作系統(tǒng) Ubuntu 16.04，Intel Xeon E5-1630 v3@3.7 GHz 四核處理器，16 GB內(nèi)存，Nvidia GTX 1080Ti 11 GB 顯卡。實驗程序在Caffe框架[14]下使用Python語言編程實現(xiàn)。

2.3 實驗結(jié)果及討論

為了驗證本文算法模型的有效性，將本文算法與多種當前主流算法的性能進行實驗對比，對比的算法包括YOLOV2,YOLOV3,SSD,R-FCN[15]。采用平均精度(Average Precision)和平均精度均值(mean Average Precision)作為定量評估指標，并繪制出PR(Precision-Recall)曲線，直觀地顯示出樣本總體上的查全率和查準率。

表1給出的是UA數(shù)據(jù)集上訓(xùn)練得到的檢測結(jié)果。實驗中，根據(jù)檢測定位框和人工標注定位框之間的IOU值來確定是否檢測到了目標，在實驗中設(shè)置IOU的閾值為0.5，只有當大于閾值時將檢測結(jié)果視為正確目標。從表1的對比數(shù)據(jù)可得，本文算法的AP次于YOLOV3算法，但其他幾種算法的性能指標則明顯低于本文算法。YOLOV3算法是YOLO,YOLOV2算法的改進版本，與本文算法類似，其通過多尺度預(yù)測的方式提高對小目標的檢測精度。在Car目標上，YOLOV3的AP值比本文算法高1%，其原因主要是普通車輛形變簡單，YOLOV3的主干網(wǎng)絡(luò)提取的特征能更好擬合目標。

表1 不同算法在UA數(shù)據(jù)集下的檢測性能Table 1 Detection performance of different algorithms under UA data set

圖5和圖6為UA數(shù)據(jù)集中典型的場景，在目標重疊情況下，本文算法能更準確地檢測出目標，這一點優(yōu)于其他算法。

圖5 5種算法在場景一的檢測效果對比圖Fig.5 Comparison of the detection effects of the five algorithms in the first scene

圖6 5種算法在場景二的檢測效果對比圖Fig. 6 Comparison of the detection effects of the five algorithms in the second scene

表2顯示的是SC數(shù)據(jù)集的檢測性能結(jié)果。SC數(shù)據(jù)集較于UA數(shù)據(jù)集更難，原因是施工場景的背景更為復(fù)雜、多樣，并且作為檢測目標的工程車輛與普通車輛相比，在形態(tài)、尺度上變化更大。圖7和圖8顯示了不同算法在典型的施工場景下的檢測效果。

表2 不同算法在SC數(shù)據(jù)集下的檢測性能Table 2 Detection performance of different algorithms under SC data set

圖7 5種算法在場景一的檢測效果對比圖Fig.7 Comparison of the detection effects of the five algorithms in the first scene

圖8 5種算法在場景二的檢測效果對比圖Fig.8 Comparison of the detection effects of the five algorithms in the second scene

從表2的結(jié)果可得，本文算法的mAP值和AP值均高于其他算法。從圖7和圖8中可以看出，在復(fù)雜的野外施工場景中，本文算法能夠準確地檢測到目標，而其他算法均存在明顯的漏檢現(xiàn)象，且R-FCN算法在圖7(d)和圖8(d)中都出現(xiàn)了誤檢。

在圖9的PR曲線中采用平衡點(查準率=查全率，BEP)作為度量方式，算法曲線與虛線部分相交處為平衡點，點值越大，說明該算法的性能越好。如圖9所示，本文算法性能優(yōu)于其他算法。實驗表明本文結(jié)合全局特征和局部特征進行目標檢測任務(wù)，可以有效地提高算法模型的檢測精度和召回率，更好地用于各種復(fù)雜場景的車輛檢測。

圖9 不同算法在工程車數(shù)據(jù)集上的PR曲線Fig.9 PR curves of different algorithms on the engineering vehicle dataset

3 結(jié)束語

本文將全局特征和局部特征融合實現(xiàn)車輛檢測任務(wù)，并在工程車數(shù)據(jù)集和公共車輛數(shù)據(jù)集UA-DETRAC上訓(xùn)練測試，證明了本文算法對不同清晰度、不同遮擋程度、不同尺度大小和不同形變程度的場景均有良好的魯棒性，運行效率上每幅圖像處理速度在0.3 s左右，能很好地處理實際場景中的實時性問題。本文算法在夜間弱光照條件下檢測效果不是很理想，需進一步提高檢測精度。