杜金航，何 寧

北京聯(lián)合大學(xué)，北京100101

1 引言

圖1 YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)

道路車輛檢測技術(shù)是機器視覺的重要研究內(nèi)容，其中基于深度學(xué)習(xí)的車輛檢測技術(shù)是目前主要的研究技術(shù)手段。車輛檢測技術(shù)可應(yīng)用于無人駕駛、智能交通、交通安全等眾多領(lǐng)域，尤其在交通監(jiān)控、刑事案件取證等應(yīng)用中具有重要應(yīng)用價值。近幾年隨著計算機計算性能的提升和存儲空間的增長，卷積神經(jīng)網(wǎng)絡(luò)逐漸成為了計算機視覺領(lǐng)域研究的熱點和重點，并憑借其強大的特征表達(dá)能力取得了巨大的成功。最早的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是Alex 等提出的AlexNet 模型[1]，之后為了提高卷積神經(jīng)網(wǎng)絡(luò)的性能，國內(nèi)外學(xué)者在網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)深度方面進(jìn)行了深入探索，高階特征在卷積神經(jīng)網(wǎng)絡(luò)中的研究也取得了一定的進(jìn)展[2-4]。基于深度學(xué)習(xí)的車輛檢測方法可以分為兩類。一類是基于區(qū)域推薦的目標(biāo)檢測算法，首先使用區(qū)域推薦產(chǎn)生候選目標(biāo)，隨后使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理。具有代表性的算法有RCNN[5]、Fast RCNN[6]、Faster RCNN[7]、Mask RCNN[8]等，這類方法的優(yōu)點是精度較高，缺點是由于計算量過大而不能滿足實時應(yīng)用的需求。另一類是基于回歸的目標(biāo)檢測方法，將檢測問題作為回歸問題處理，直接預(yù)測目標(biāo)位置與類別。具有代表性的算法有YOLO[9]、SSD[10]、YOLOv2[11]、YOLOv3[12]等。這類方法的優(yōu)點是結(jié)構(gòu)清晰，實時性好，缺點是相對于RCNN系列方法而言精度偏低。

本文針對車輛檢測算法存在檢測精度低、速度慢的問題，提出了一種基于改進(jìn)YOLOv3的道路車輛目標(biāo)檢測方法。為了降低目標(biāo)檢測算法復(fù)雜度，提出了更為簡單的網(wǎng)絡(luò)模型，同時為了降低檢測速度增加檢測精度使用k-means 聚類方法選取先驗框，在保證檢測精度不降低的前提下顯著提高檢測速度，保證檢測的實時性。

2 YOLOv3相關(guān)技術(shù)

為了保證目標(biāo)能夠快速檢測的前提下提高檢測性能，Redmon J 等[12]于2018 年提出YOLOv3，主要應(yīng)用于圖像目標(biāo)檢測、視頻目標(biāo)檢測、攝像頭實時目標(biāo)檢測等方面。

YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu)主要包括Darknet53 與YOLO層兩部分，分別用于提取圖像特征和多尺度預(yù)測，通過在三種尺度上進(jìn)行預(yù)測的方法，有效增強了對不同大小物體及被遮擋物體的檢測效果，并引入躍層連接以強化收斂效果，同時采用隨機多尺度訓(xùn)練的方式增強了算法的魯棒性。

YOLOv3提出了新的提取圖片特征的網(wǎng)絡(luò)Darknet53，作為全卷積網(wǎng)絡(luò)，Darknet53主要由卷積層、批量標(biāo)準(zhǔn)化及躍層連接組成，激活函數(shù)采用Leaky Relu，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其中輸入圖像尺寸為416×416×3，虛線部分為Darknet53骨架網(wǎng)絡(luò)，其余部分為YOLO網(wǎng)絡(luò)層。

圖1 中DBL 結(jié)構(gòu)是YOLOv3 的基本組件，由卷積層，批量標(biāo)準(zhǔn)化與激活函數(shù)構(gòu)成，如圖1 左下角所示。resn 結(jié)構(gòu)為YOLOv3 中的主要組成部分，n 代表數(shù)字，表示這個res_block里含有多少個res_unit。該結(jié)構(gòu)中包括零填充與殘差結(jié)構(gòu)，如圖1右下角所示。圖中用紅色虛線框出的部分是骨干網(wǎng)絡(luò)Darknet53，該網(wǎng)絡(luò)用于提取圖像特征。卷積層的工作原理如圖2所示，其中淡藍(lán)色區(qū)域是大小為5×5的輸入圖像，綠色區(qū)域是大小為5×5 的輸出圖像，輸入圖像中深藍(lán)色區(qū)域為大小為3×3 的卷積核。為保證輸出圖像與輸入圖像大小不變，首先擴充輸入圖像如圖中白色虛線框。隨后計算輸入圖像中左上角3×3大小的區(qū)域，通過卷積運算將其映射到輸出圖像的第一個點上。最后滑動卷積核，完成整張圖像的卷積操作。通過卷積可以突出圖像的特征。

圖2 卷積層原理示意圖

圖3 YOLOV3多尺度檢測示意圖

圖1 右側(cè)為YOLOv3 網(wǎng)絡(luò)的特征交互層，YOLOv3在對目標(biāo)物體進(jìn)行分類時不再使用softmax函數(shù)。這是由于一個目標(biāo)邊框中出現(xiàn)的物體可能同時屬于多個類別，而softmax 進(jìn)行分類時只能將其分為一類。所以YOLOv3 采取多尺度分類思想，將YOLO 層分為3 個尺度，在同尺度YOLO 層利用卷積操作，使用卷積核（3×3和1×1）完成特征圖和局部特征的交互。YOLOv3 輸出了3 個不同尺度的feature map，如圖1 所示的y1，y2，y3。在特征圖大小為13×13、26×26、52×52的3個尺度上對目標(biāo)進(jìn)行檢測，每一個單元格借助3個錨點框（anchor box）預(yù)測3 個邊界框。該部分網(wǎng)絡(luò)用于多尺度預(yù)測。多尺度檢測示意圖如圖3，圖3（a）為縮放后的圖片示意圖，縮放前圖片大小為1 242×375，縮放后圖片的大小為416×416。圖3（b）、（c）、（d）分別為YOLOv3 在52×52、26×26、13×13 尺度上進(jìn)行目標(biāo)檢測的示意圖。圖中藍(lán)色部分為當(dāng)前尺度下的錨點位置，YOLOv3使用錨點機制預(yù)測車輛邊界框，在錨點位置處產(chǎn)生維度比例為1∶1、1∶2和2∶1的錨點框，預(yù)測目標(biāo)位置。

骨干網(wǎng)絡(luò)Darknet53對于道路車輛目標(biāo)檢測過于復(fù)雜與冗余，會出現(xiàn)檢測速度過慢的問題。特征交互層使用的錨點框是根據(jù)經(jīng)驗、使用手工方式獲取錨點的尺度，YOLOv3的錨點選取在對道路車輛目標(biāo)檢測時實用性低，從圖4（a）、（b）中可以看出會誤檢的問題，從圖4（c）中可以看出會漏檢的問題，從圖4（c）、（d）中可以看出會重復(fù)檢測的問題。

本文提出利用錨點機制預(yù)測道路車輛邊界框，并改進(jìn)骨干網(wǎng)絡(luò)，降低網(wǎng)絡(luò)復(fù)雜度，在保證檢測精度的同時提高檢測速度。

3 改進(jìn)的YOLOv3車輛實時檢測

3.1 改進(jìn)提取特征網(wǎng)絡(luò)

Redmon等人[12]在YOLOv3中提出了Darknet53網(wǎng)絡(luò)，獲得了很好的檢測精度與速度的平衡。雖然Darknet53通過殘差結(jié)構(gòu)使網(wǎng)絡(luò)的訓(xùn)練難度降低，并使用了大量的1×1 和3×3 是卷積核，步長為2 的卷積核替代最大池化層減少了參數(shù)數(shù)量，但對于道路車輛的檢測，Darknet53網(wǎng)絡(luò)有些復(fù)雜與冗余，過多的參數(shù)會導(dǎo)致訓(xùn)練復(fù)雜、增大對數(shù)據(jù)量的需求、減慢檢測速度。

圖4 YOLOV3在KITTI數(shù)據(jù)集上的錯誤檢測結(jié)果實例

為了提高道路車輛目標(biāo)檢測速度，以保持準(zhǔn)確度、減少參數(shù)量為出發(fā)點，本文借鑒Darknet53，提出一種參數(shù)數(shù)量相對較少、運算復(fù)雜度相對較低的卷積神經(jīng)網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)。本文提出的卷積神經(jīng)網(wǎng)絡(luò)，稱為Darknet30，網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

第一個卷積層用32 個大小為3×3 的卷積核（濾波器）操作416×416分辨率的輸入圖像；然后，將先前卷積層的輸出作為輸入，使用64個尺寸為3×3的卷積核以及兩個像素的步長對它們進(jìn)行卷積操作，實現(xiàn)下采樣操作，同時添加殘差塊增加網(wǎng)絡(luò)的深度，該殘差塊由1×1卷積層和3×3 卷積層組成，此時得到的特征圖尺寸為208×208；接下來，執(zhí)行包含2×殘差塊的5 組網(wǎng)絡(luò)，分別獲取104×104、52×52、26×26、26×26、13×13 分辨率的特征圖。在這5組殘差塊組成的網(wǎng)絡(luò)中，除了卷積核數(shù)與特征圖的尺度不同之外，每一個殘差塊都相似。

該網(wǎng)絡(luò)結(jié)構(gòu)包含1×、2×殘差塊的6組網(wǎng)絡(luò)，相比較于YOLOv3中1×、2×、8×、8×、4×殘差塊的5組網(wǎng)絡(luò)，參數(shù)數(shù)量減少47%，運算復(fù)雜度下降，實現(xiàn)檢測速度的提升。

表1 Darknet30的網(wǎng)絡(luò)結(jié)構(gòu)

3.2 利用k-means實現(xiàn)錨點預(yù)測道路車輛邊界框

為高效地預(yù)測不同尺度與寬高比的物體邊界框，F(xiàn)aster R-CNN 最早提出使用錨點框作為選取物體邊界框的參照物，代替?zhèn)鹘y(tǒng)的圖像金字塔與特征金字塔的方法，同時降低了模型訓(xùn)練的復(fù)雜度，提高了運行速度。隨后SSD、YOLOv2與YOLOv3均采用了錨點機制并取得了良好效果，因此，本文延用YOLOv3中的錨點機制預(yù)測車輛邊界框。傳統(tǒng)YOLOv3 中的錨點個數(shù)與維度是由VOC 20 類和COCO 80 類數(shù)據(jù)集聚類得到，錨點框維度比例為1∶1、1∶2和2∶1。不適用于道路車輛目標(biāo)檢測。道路車輛目標(biāo)的長寬比始終是一個相對固定的值，聚類后長寬比呈現(xiàn)為1∶1，因此需要對道路車輛目標(biāo)候選框進(jìn)行聚類分析，重新確定錨點個數(shù)和寬高維度。

Faster R-CNN 通過在每個滑動位置采用3 個尺度和3個縱橫比的框產(chǎn)生9個錨點，SSD使用6個縱橫比表示不同形狀的錨點。這些方法的共性是根據(jù)經(jīng)驗、使用手工方式獲取錨點的尺度，然后在模型訓(xùn)練過程中調(diào)整錨點框的尺寸。受到Y(jié)OLOv2的啟發(fā)，本文使用k-means維度聚類的方法對訓(xùn)練數(shù)據(jù)集的邊界框做聚類，選取最合適的邊界框先驗，對車輛進(jìn)行更好的預(yù)測，其中聚類方法中距離公式定義如下：

其中，B 為矩形框的大小，C 為矩形框的中心，RIOU表示兩個矩形框的交疊比。

本文權(quán)衡平均交并比與錨點框的數(shù)量關(guān)系如圖5所示，取9 個錨點框，使用k -means 聚類方法處理數(shù)據(jù)集標(biāo)簽信息。聚類是將數(shù)據(jù)集中的道路車輛目標(biāo)位置信息劃分為9 個簇，讓簇內(nèi)的點之間距離盡量小，而讓簇間的距離盡量大。聚類操作后9 個簇的位置就是錨點框的位置，這樣選取的9個錨點框可以更加有效地檢測目標(biāo)，本文實驗中有52 000 個二維的數(shù)據(jù)點，作圖點與點之間的距離太近，不易觀察算法的執(zhí)行過程，圖6（a）、（b）、（c）示意性實驗采取了100個二維的數(shù)據(jù)點進(jìn)行，k 值取3，每個數(shù)據(jù)點的橫縱坐標(biāo)為在圖片中的位置信息，為方便計算將其進(jìn)行歸一化處理。

圖5 錨點框數(shù)量與平均交并比的關(guān)系

圖6 k-means實驗示意圖

k-means算法的執(zhí)行過程可以分以下步驟：

（1）隨機選擇3個位置，作為初始聚類中心，本實驗選取的3 個初始聚類中心位置如圖6（a）中黑色叉線表示。隨后計算圖中所有點到這3 個初始聚類中心的歐式距離，將每一個點劃入到距離其最近的初始聚類中心。如圖6（a）中不同顏色的點表示劃分到不同的簇中。

（2）將每一簇的中心位置更新為聚類中心位置。重復(fù)計算步驟（1），直到每個種子點的前后兩次的更新值之間滿足預(yù)設(shè)的閾值或迭代次數(shù)。

圖6（b）是聚類迭代4次后的結(jié)果，原本屬于紅色簇的右上角紅色的點群隨著迭代的進(jìn)行，距離藍(lán)色簇聚類中心的距離變?yōu)樽钚。蕦⑵渲匦聞澐值剿{(lán)色點群中，顏色由紅色變?yōu)樗{(lán)色；圖6（c）是聚類8 次以后的結(jié)果。第9 次聚類結(jié)果與第8 次相同，故第8 次迭代的結(jié)果就是最終聚類結(jié)果。

本文中錨點框的選取為圖6（d）中的實驗結(jié)果，分別是（8，66），（8，205），（79，198），（137，195），（183，190），（224，186），（279，185），（282，17），（353，178）。在每個尺度上的每一個單元格借助3個錨點框預(yù)測3個邊界框。

表2 顯示了使用錨點機制預(yù)測道路車輛邊界框在KITTI 數(shù)據(jù)集上的檢測結(jié)果。本實驗中使用的算法使用了錨點機制，所以命名為YOLOv3-anchors，改方法在檢測速度上比傳統(tǒng)的YOLOv3提高了19.77 f/s。同時獲得90.05%的mAP，比傳統(tǒng)的YOLOv3提高了0.44%?？梢钥闯鍪褂缅^點機制對檢測速度有顯著的提升效果。

3.3 損失函數(shù)

道路車輛檢測的損失函數(shù)包括坐標(biāo)誤差，置信度誤差與分類誤差。

中心坐標(biāo)誤差為：

寬高坐標(biāo)誤差為：

置信度誤差為：

分類誤差為：

其中，λ 為損失權(quán)重，λcoord取5，λnoobj取0.5；K×K 為網(wǎng)格大小，取值分別為52×52，26×26，13×13；M 為每個網(wǎng)格中候選框個數(shù)，取值為3；xi、yi、wi、hi、Ci、pi為橫坐標(biāo)、縱坐標(biāo)、高度、寬度、置信度、類別預(yù)測值，為其對應(yīng)的真實值，其中橫坐標(biāo)、縱坐標(biāo)、高度、寬度的最大值為圖片的大小416。置信度與類別預(yù)測值的取值范圍為0到1。

4 實驗結(jié)果與分析

本文在公開數(shù)據(jù)集KITTI[13]與車輛行駛動態(tài)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試。實驗基于Darknet神經(jīng)網(wǎng)絡(luò)框架[14]實現(xiàn)，在配置有Intel Xeon Silver 4110 CPU和RTX2080Ti GPU的PC機上運行。程序設(shè)計語言為Python語言。本文使用均值平均精度（mAP）與檢測速度兩項指標(biāo)對模型進(jìn)行評價。mAP計算公式如下：

其中，Nclasses為類別個數(shù)，PclassAve為不同類別的平均精度，計算方法如式（7），其中，Pclass為每幅圖像中的類別檢測精度，Ntotal為該類別的物體在測試集中的照片數(shù)目。

檢測速度計算公式如下：

4.1 數(shù)據(jù)集

車輛檢測標(biāo)準(zhǔn)數(shù)據(jù)集KITTI，KITTI 數(shù)據(jù)集由德國卡爾斯魯厄理工學(xué)院和豐田美國技術(shù)研究院聯(lián)合創(chuàng)辦，是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數(shù)據(jù)集。KITTI還提取了用于2D、3D目標(biāo)檢測、目標(biāo)跟蹤和姿態(tài)預(yù)估數(shù)據(jù)集。本次實驗使用2D目標(biāo)檢測數(shù)據(jù)集，并對數(shù)據(jù)集原有的標(biāo)簽信息進(jìn)行處理，保留實驗需要的3 個類別的標(biāo)簽，即：Car，Van，Truck。選取該數(shù)據(jù)集中7 481張圖像作為實驗數(shù)據(jù)，并分成兩部分：5 000張圖像用于訓(xùn)練驗證數(shù)據(jù)集，2 481張圖像用于測試數(shù)據(jù)集。

車輛行駛動態(tài)數(shù)據(jù)集取材于日常車輛行駛中拍攝的視頻，視頻格式為AVI，包括不同天氣情況、不同道路的視頻數(shù)據(jù)，總大小為2.68 GB。使用Labellmg 對視頻序列中的每一幀圖像進(jìn)行標(biāo)注用于測試。從視頻序列中選取的道路車輛圖像如圖7所示，其中包括了復(fù)雜環(huán)境、車輛遮擋、夜晚低亮度等情況。

4.2 執(zhí)行細(xì)節(jié)

本文在訓(xùn)練階段，進(jìn)行50 200 次迭代，動量配置為0.9，權(quán)重衰減配置為0.000 5，批量大小設(shè)置為16，學(xué)習(xí)率初始為10-3，并在網(wǎng)絡(luò)迭代40 000次時學(xué)習(xí)率降低為10-4。在網(wǎng)絡(luò)迭代45 000 次時學(xué)習(xí)率降低10-5。圖8 為訓(xùn)練過程中的損失函數(shù)收斂曲線，從圖中可以看出，在訓(xùn)練次數(shù)達(dá)到5 000次時損失函數(shù)收斂曲線趨于平緩。

表2 使用錨點機制在KITTI測試集上的檢測結(jié)果

圖7 車輛行駛動態(tài)數(shù)據(jù)集實例

圖8 收斂曲線

4.3 實驗結(jié)果與分析

圖9 顯示了本文提出的方法與YOLO 系列算法在KITTI 數(shù)據(jù)集上的比較，其中本文提出的方法獲得76.04 f/s 的檢測速度，相比于YOLO 與YOLOv3 方法，本文提出的方法在檢測速度上有顯著的提高。同時，本文所使用的方法在測試集上獲得90.08%的mAP，比傳統(tǒng)的YOLOv3提高了0.47%，相比于YOLOv2與YOLO，本文提出的方法在檢測精度上有大幅度提高。

圖9 YOLO系列算法性能對比

本文使用均值平均精度（mAP）與檢測速率兩項指標(biāo)對改進(jìn)的YOLOv3模型進(jìn)行評價。表3顯示了本文方法與傳統(tǒng)的YOLOv3 在車輛行駛動態(tài)數(shù)據(jù)集上檢測的效果。其中YOLOv3-anchors采用了錨點機制預(yù)測道路車輛邊界框，YOLOv3-anchors-30 采用了錨點機制預(yù)測道路車輛邊界框的同時更改骨架網(wǎng)絡(luò)為Darknet30?？梢钥闯鲈谕瑫r采用錨點機制預(yù)測邊界框和Darknet30網(wǎng)絡(luò)時，檢測效果更佳。

表3 不同方法在車輛行駛動態(tài)數(shù)據(jù)集上的檢測結(jié)果

表4 顯示了Fast R-CNN、Faster R-CNN、YOLO、YOLOv2、YOLOv3 與本文提出的改進(jìn)的YOLOv3 方法的實驗結(jié)果。從表中可以看到，本文提出的YOLOv3-anchors-30獲得了90.08%的mAP，在精度方面優(yōu)于所有其他方法，并且以76.04 f/s的速度實現(xiàn)了實時檢測?？梢钥闯霰疚奶岢龅姆椒ㄔ诰C合考慮檢測精度與檢測速度之后取得了更好的效果。

圖10顯示了本文方法在車輛行駛動態(tài)數(shù)據(jù)集上檢測的效果。圖11 顯示了本文方法在KITTI 數(shù)據(jù)集上檢測的效果。圖10（a）、圖10（b）、圖11（b）、圖11（c）、圖11（d）顯示了本文提出的方法在復(fù)雜環(huán)境下的檢測效果。圖11（a）顯示了在強光照環(huán)境下的檢測效果。圖10（b）、圖11（b）顯示了在遮擋情況下的檢測效果?？梢钥闯霰疚奶岢龅哪Ｐ蛯Τ鞘薪煌ūO(jiān)控車輛的檢測具有良好的魯棒性。

圖10 本文方法在車輛行駛動態(tài)數(shù)據(jù)集上檢測的效果

表5 顯示了本文方法與其他文獻(xiàn)中方法的對比結(jié)果。從表中可以看到，本文方法在檢測精度方面略有不足，但在檢測速度方面具有明顯優(yōu)勢，可以得出本文方法在檢測精度與檢測速度的綜合考慮中檢測效果更好的結(jié)論。

表4 不同方法在KITTI測試集上的檢測結(jié)果

表5 不同文獻(xiàn)方法檢測結(jié)果對比

圖11 本文方法在KITTI數(shù)據(jù)集上檢測的效果

5 結(jié)束語

車輛實時檢測在很多領(lǐng)域里具有重要作用，例如無人駕駛、智能交通、交通安全、停車場管理等。目前的車輛實時檢測算法還存在一定的局限性，比如受光照變化、車輛遮擋、目標(biāo)的快速運動等因素的影響，常常不能達(dá)到很好的檢測效果，該研究依然具有一定的挑戰(zhàn)性。本文提出的改進(jìn)的YOLOv3 算法在檢測速度方面有了顯著的提示，并且在檢測精度方面優(yōu)于現(xiàn)有的目標(biāo)檢測方法。在后續(xù)工作中，如何在保證實時性的基礎(chǔ)上增加車輛檢測精度可以作為主要的突破方向。