劉肯 何姣姣 張永平 姚拓中 常志國(guó)

摘 ?要： YOLO目標(biāo)檢測(cè)算法在進(jìn)行目標(biāo)檢測(cè)和識(shí)別時(shí)具有識(shí)別精度高、檢測(cè)速度快的特點(diǎn)。但也存在明顯的問題，由于網(wǎng)絡(luò)采用的結(jié)構(gòu)是端對(duì)端模型，沒有經(jīng)過預(yù)選框進(jìn)行匹配預(yù)選，直接進(jìn)行回歸產(chǎn)生最后的結(jié)果框，所以存在定位不準(zhǔn)的問題。同時(shí)，YOLO網(wǎng)絡(luò)將圖片整體resize到固定的尺寸后，進(jìn)行網(wǎng)格劃分，當(dāng)單個(gè)網(wǎng)格存在不止單個(gè)目標(biāo)時(shí)，容易出現(xiàn)漏檢的情況。DenseNet網(wǎng)絡(luò)使用一種全新的網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合前面特征層的信息，在一定程度上提升了對(duì)物體的檢測(cè)精度。在此基礎(chǔ)上提出YOLO?D算法，結(jié)合前面特征層的信息，在不影響檢測(cè)速度的同時(shí)，提高車輛檢測(cè)精度，與此同時(shí)使得定位有所改善。

關(guān)鍵詞： YOLO; 端對(duì)端模型; DenseNet; 車輛檢測(cè); YOLO?D; 檢測(cè)精度

中圖分類號(hào)： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）13?0047?04

Improved YOLO vehicle detection algorithm

LIU Ken1， HE Jiaojiao1， ZHANG Yongping2， YAO Tuozhong2， CHANG Zhiguo1

（1. School of Information Engineering， Changan University， Xian 710064， China;

2. College of Telecom， Ningbo University of Technology， Ningbo 315211， China）

Abstract： The YOLO target detection algorithm has the characteristics of high recognition accuracy and fast detection speed for target detection and recognition， but also has obvious problems. The network adopts an end?to?end model， and directly generates the final result framework after regression without matching and pre?selection of pre?selection framework， so the positioning is inaccurate. The YOLO network can resize the entire image to a fixed size， and divide the mesh. When there is more than one target in a single mesh， it is likely to result in the missed detection. A brand?new network structure is used in DenseNet network， and combined with the information of the front feature layer to improve the detection accuracy of the object to a certain extent. Thus， the proposed YOLO?D algorithm combined with the information of the front feature layer can improve the vehicle detection accuracy and positioning accuracy while maintaining the vehicle detection speed.

Keywords： YOLO; end?to?end model; DenseNet ; vehicle detection; YOLO?D; detection accuracy

0 ?引 ?言

隨著人們生活質(zhì)量的提高，越來(lái)越多的汽車走進(jìn)了大眾家庭，隨之產(chǎn)生的問題也很多，如車輛亂停亂放，闖紅燈等。依賴傳統(tǒng)的人力解決這些問題是遠(yuǎn)遠(yuǎn)不夠的，因此提出用計(jì)算機(jī)去解決這類問題。Seki等人提出將背景差分用于動(dòng)態(tài)車輛檢測(cè)[1]，在此基礎(chǔ)上STAUFFER等人提出了自適應(yīng)背景更新[2]，將其應(yīng)用于車輛檢測(cè)。KOLLER等人提出用3D模型檢測(cè)和跟蹤車輛的方法[3]來(lái)提高識(shí)別率。傳統(tǒng)的目標(biāo)檢測(cè)算法雖然在識(shí)別精度上基本滿足識(shí)別車輛的要求，但是其速度慢、過程復(fù)雜的問題也比較明顯。隨著近些年人工智能的火熱，越來(lái)越多的研究人員開始關(guān)注基于深度學(xué)習(xí)的車輛檢測(cè)算法，相比于傳統(tǒng)的方法，基于深度學(xué)習(xí)的方法能夠?qū)W習(xí)到更多的目標(biāo)特征。如文獻(xiàn)[4]提出基于卷積神經(jīng)網(wǎng)絡(luò)的車輛檢測(cè)方法，運(yùn)用滑動(dòng)窗口生成候選區(qū)域，采用卷積神經(jīng)網(wǎng)絡(luò)的卷積層和池化層提取車輛特征，最后用全連接層進(jìn)行候選驗(yàn)證，由于是通過滑動(dòng)窗口來(lái)產(chǎn)生候選區(qū)域，在滑動(dòng)的過程中會(huì)有很多重復(fù)的區(qū)域，非常消耗時(shí)間，影響算法的效率。文獻(xiàn)[5]提出R?CNN算法，在速度上相比CNN提升很多。R?CNN提出選擇性搜索（Selective Search）方法，使用一種過分割手段將圖像分割成小區(qū)域，通過顏色、紋理、面積等合并方式產(chǎn)生候選區(qū)域。R?CNN算法流程主要分為3個(gè)步驟，首先使用Selective Search[6]提取約2 000個(gè)候選區(qū)域，接著用CNN提取每個(gè)候選框中的特征向量，最后用SVM算法判斷候選區(qū)是否是目標(biāo)。在VOC 2007測(cè)試集上的MAP被提升至48%，2014年通過修改結(jié)構(gòu)將MAP提升到66%，與此同時(shí)，在ILSVRC2013測(cè)試集上的MAP也被提升到31.4%。R?CNN在目標(biāo)檢測(cè)領(lǐng)域取得了突破，隨后出現(xiàn)了SPP?NET[7]，F(xiàn)ast R?CNN[8]，F(xiàn)aster R?CNN[9]，R?FCN[10]，YOLO[11]，SDD[12]等目標(biāo)檢測(cè)算法。其中，F(xiàn)aster R?CNN將檢測(cè)和分類模塊都放在同一個(gè)深度學(xué)習(xí)框架之下，就檢測(cè)準(zhǔn)確率相比其他目標(biāo)檢測(cè)算法要高，但是隨之帶來(lái)的缺點(diǎn)是速度慢，YOLO算法的網(wǎng)絡(luò)設(shè)計(jì)策略延續(xù)了GooGleNet[13]的核心思想，實(shí)現(xiàn)端對(duì)端網(wǎng)絡(luò)的目標(biāo)檢測(cè)，發(fā)揮了速度快的優(yōu)勢(shì)，但是其精度有所下降，本文提出一種YOLO?D算法，在不影響檢測(cè)速度的情況下提高了檢測(cè)準(zhǔn)確率。

1 ?YOLO目標(biāo)檢測(cè)模型介紹

YOLO算法模型包括18個(gè)卷積層，2個(gè)全連接層和6個(gè)池化層，如圖1所示。其中，卷積層用于提取圖像的特征;全連接層用于預(yù)測(cè)圖像位置與類別估計(jì)概率值;池化層負(fù)責(zé)縮減圖片像素。YOLO直接對(duì)輸入的圖片進(jìn)行回歸分析，輸出多個(gè)滑動(dòng)窗口位置以及該窗口檢測(cè)到的目標(biāo)類別。

圖1 ?YOLO網(wǎng)絡(luò)框架

YOLO將輸入圖像分為[S×S]個(gè)單元格，每個(gè)單元格負(fù)責(zé)檢測(cè)“落入”該單元格的對(duì)象，若某個(gè)物體的中心位置落到某個(gè)格子，那么這個(gè)格子就負(fù)責(zé)檢測(cè)出這個(gè)物體。每個(gè)格子輸出[B]個(gè)bounding box（包含物體的矩形區(qū)域）信息，以及[C]個(gè)物體屬于某種類別的概率信息。Bounding box信息包含5個(gè)數(shù)據(jù)值，分別是[x，y，w，h]和Confidence（置信度），邊界框的大小用4個(gè)值來(lái)表示：[（x，y，w，h）]，其中，[（x，y）]是邊界框的中心坐標(biāo)，而[w]和[h]是邊界框的寬與高。經(jīng)過刪選，最終每個(gè)單元格會(huì)預(yù)測(cè)兩個(gè)單元格但只預(yù)測(cè)一個(gè)類別概率（即就是兩個(gè)邊界框共享一個(gè)類別），最后的prediction是[7×7×30]（即[S×S×（B×5+C））]的張量，整個(gè)流程大致如圖2所示。

圖2 ?YOLO過程示意圖

2 ?YOLO?D

YOLO算法使用回歸思想，把目標(biāo)檢測(cè)問題作為一個(gè)回歸問題處理，可以一次性實(shí)時(shí)預(yù)測(cè)多個(gè)目標(biāo)邊框的位置和類別。由于YOLO沒有選擇滑動(dòng)窗口或提取候選區(qū)域的方式訓(xùn)練網(wǎng)絡(luò)，而是選擇直接選用整幅圖像來(lái)做訓(xùn)練，提升了訓(xùn)練速度，與此同時(shí)犧牲了一些精度。DenseNet網(wǎng)絡(luò)，其核心思想是skip connection，對(duì)于某些輸入直接進(jìn)入之后的layer，從而實(shí)現(xiàn)信息流的整合，避免信息在層間傳遞的丟失和梯度消失，同時(shí)加強(qiáng)層與層之間的特征聯(lián)系。在此基礎(chǔ)上提出YOLO?D算法，在YOLO算法的基礎(chǔ)上添加DenseNet結(jié)構(gòu)，使其學(xué)習(xí)很多的層與層之間的特征聯(lián)系，提高預(yù)測(cè)精度。

如圖3所示，每個(gè)塊代表當(dāng)前特征圖的大小，在YOLO算法中，每一個(gè)相同大小的特征圖有多個(gè)，為了方便表示，用特征塊代替。在每一個(gè)特征塊中，當(dāng)前特征向后面卷積層傳遞時(shí)，選擇特征塊中的最后一層。

圖3 ?YOLO?D網(wǎng)絡(luò)結(jié)構(gòu)

由于DenseNet不是像素之間的相加，而是通道之間的連接，為了保證通道之間的連接不出現(xiàn)tensor過大，資源耗盡的情況，通過使用1×1的卷積核進(jìn)行通道的壓縮，如在14×14的卷積塊中，一共有三個(gè)輸入，其中，由28×28卷積塊傳遞的是YOLO網(wǎng)絡(luò)原始的結(jié)構(gòu)，將其作為主線，旁邊兩條為分支輸入，由YOLO結(jié)構(gòu)可知，14×14卷積塊中的第一個(gè)卷積層通道數(shù)為1 024，為此通過使用1×1的卷積核分別將兩個(gè)分支的通道數(shù)變?yōu)?12，其他類似連接，從而保證主線的特征為主要特征輸入，同時(shí)也縮短計(jì)算量。

3 ?實(shí)驗(yàn)及結(jié)果討論

3.1 ?數(shù)據(jù)集

數(shù)據(jù)集主要分為兩部分：一部分為自己手動(dòng)標(biāo)注的數(shù)據(jù)集;另一部分來(lái)自于UA?DETRAC[14]數(shù)據(jù)集。DETRAC數(shù)據(jù)集主要拍攝北京和天津的道路過街天橋，圖片大小為960×540，包含多個(gè)角度車輛照片，先把數(shù)據(jù)集所出的XML格式轉(zhuǎn)換成需要的VOC2007格式。另一部分是用攝像機(jī)手動(dòng)采取的數(shù)據(jù)，大小為1 920×1 080，由于YOLO網(wǎng)絡(luò)使用的是全連接層，所以對(duì)輸入圖片的大小有要求，為了統(tǒng)一數(shù)據(jù)集，將訓(xùn)練圖片的大小統(tǒng)一為960×540。所有的數(shù)據(jù)集都只有一類（car）。選取DETRAC數(shù)據(jù)集和自制數(shù)據(jù)集各1 000個(gè)訓(xùn)練樣本，同時(shí)為了擴(kuò)增訓(xùn)練樣本，對(duì)所有的訓(xùn)練樣本進(jìn)行水平鏡像翻轉(zhuǎn)操作。YOLO?D的算法模型訓(xùn)練過程如圖4所示，經(jīng)過轉(zhuǎn)換增強(qiáng)后得到最終的模型。

圖4 ?YOLO?D訓(xùn)練模型獲取過程

3.2 ?實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)主要是在PC端完成的，PC主要配置為：CPU（i5?8600），GPU（NVIDIA GTX?1080）和16 GB內(nèi)存，實(shí)驗(yàn)是在TensorFlow框架下進(jìn)行，使用的是python語(yǔ)言。

3.3 ?評(píng)估方法和結(jié)果對(duì)比

在測(cè)試階段，把測(cè)試集分為兩部分：[15]的原圖片，[45]的原圖片。如圖5所示。

實(shí)驗(yàn)中給出YOLO算法和本文的YOLO?D算法分別在晴天、雨天、夜晚時(shí)分的數(shù)據(jù)對(duì)比。由于YOLO?D網(wǎng)絡(luò)注重結(jié)合之前特征層的特征，因此對(duì)遠(yuǎn)處的小目標(biāo)（車輛）測(cè)試集1進(jìn)行檢測(cè)。表1中的白天、夜晚、側(cè)面中的數(shù)據(jù)僅從測(cè)試集2中檢測(cè)。從表1中可以看出，YOLO?D對(duì)白天和夜晚的預(yù)測(cè)改進(jìn)有效，尤其是對(duì)小目標(biāo)的檢測(cè)有很大的提升，對(duì)側(cè)面的車輛檢測(cè)改進(jìn)效果不明顯;從表2中可以看出，YOLO?D的查全率針對(duì)小目標(biāo)有所提升，其他情況影響不大，甚至在側(cè)面情況稍微有所下降。

圖5 ?測(cè)試集

表1 ?網(wǎng)絡(luò)性能查準(zhǔn)率對(duì)比

? ? ?

表2 ?網(wǎng)絡(luò)性能查全率對(duì)比

? ?

圖6 ?Total_loss

3.4 ?結(jié)果分析

本次實(shí)驗(yàn)只要預(yù)測(cè)的目標(biāo)和真實(shí)目標(biāo)框的IOU大于0.5，就認(rèn)為目標(biāo)被正確檢測(cè)定位。分別在不同場(chǎng)景的測(cè)試集進(jìn)行測(cè)試，效果優(yōu)于YOLO算法。由于YOLO算法本身沒有采用滑動(dòng)窗口進(jìn)行定位回歸，所以容易出現(xiàn)定位比較差的情況。YOLO?D在嘗試增加特征層的特征的同時(shí)，發(fā)現(xiàn)對(duì)目標(biāo)框的定位有所改進(jìn)。從圖7中可以看出，盡管增強(qiáng)了后面卷積層的特征輸入，但還是存在部分漏檢的情況，以及對(duì)遠(yuǎn)處的車輛未能準(zhǔn)確識(shí)別的情況。

圖7 ?YOLO?D算法部分識(shí)別結(jié)果

4 ?結(jié) ?語(yǔ)

本文對(duì)深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLO進(jìn)行改進(jìn)，把目標(biāo)檢測(cè)算法問題變成二分類問題，從而實(shí)現(xiàn)對(duì)目標(biāo)車輛的檢測(cè)。通過對(duì)YOLO算法的改進(jìn)，提高了對(duì)遠(yuǎn)處小目標(biāo)的檢測(cè)，雖然還存在漏檢車輛，但是在近處有較高的識(shí)別精度和差不多30 f/s的識(shí)別速度，基本上滿足交通道路車輛檢測(cè)的準(zhǔn)確定位和實(shí)時(shí)性需求。

參考文獻(xiàn)

[1] SKEI M， FUJIWAEA H， SUMI K. A robust back?ground subtraction method subtraction method for changing background [C]// The 5th IEEE Workshop on Applications of Computer Vision. Palm Springs： IEEE， 2000： 1?7.

[2] STAUFFER C，CRIMSON W E L. Adaptive back?ground mixture models for real?time tracking [C]// 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins： IEEE， 1999： 1?7.

[3] KOLLER D， DANILIDIS K，NAGEL H H. Model?based object tracking in monocular image sequences of road traffic scenes [J]. International journal of computer vision， 2013， 10（3）： 257?281.

[4] BAUTISTA C M， DY C A， MANALAC M I， et al. Convolutional neural network for vehicle detection in low resolution traffic videos [C]// 2016 IEEE Region 10 Symposium. Bali： IEEE， 2016： 277?281.

[5] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. USA： IEEE Computer Society， 2014： 580?587.

[6] UIJLINGS J R， VAN DE SANDE K E， GEVERS T， et al. Selective search for object recognition [J]. International journal of computer vision， 2013， 104（2）： 154?171.

[7] HE K， ZHANG X， RENS， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J]. IEEE transactions on pattern analysis & machine intelligence， 2014， 37（ 9）： 346?361.

[8] GIRSHICK R. Fast R?CNN [C]// Proceedings of 2015 IEEE International Conference on Computer Vision . Santiago： IEEE， 2015： 10?15.

[9] REN S， HE K， GIRSHICK R， et al. Faster R?CNN： towards real?time object detection with region proposal networks [C]// Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal： MIT Press， 2015： 1?15.

[10] DAI F， LI Y， HE K M， et al. R?FCN： Object detection via region?based fully convolutional networks [C]// Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona： Curran Associates Inc.， 2016： 379?387.

[11] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real?time object detection [EB/OL]. [2015?07?11]. http：//ai2?website.s3.amazonaws.com/publications/YOLO.pdf.

[12] LIU Wei， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector [C]// Proceedings of 2016 European Conference on Computer Vision and Pattern Recognition. [S.l.]： Springer， 2016： 13?17.

[13] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2014： 1?12.

[14] WEN Longyin， DU Dawei， CAI Zhaowei， et al. DETRAC： new benchmark and protocol for multi?object detection and tracking [EB/OL]. [2015?11?03]. https：//www.researchgate.net/publication/283986610_UA?DETRAC_A_New_Benchmark_ and_Protocol_for_Multi?Object_Detection_and_Tracking.

[15] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2015： 770?778.