劉 軍，后士浩，張 凱，張 睿，胡超超

?

基于增強(qiáng)Tiny YOLOV3算法的車輛實(shí)時(shí)檢測與跟蹤

劉 軍，后士浩，張 凱，張 睿，胡超超

（江蘇大學(xué)汽車與交通工程學(xué)院，鎮(zhèn)江 212013）

針對深度學(xué)習(xí)方法在視覺車輛檢測過程中對小目標(biāo)車輛漏檢率高和難以實(shí)現(xiàn)嵌入式實(shí)時(shí)檢測的問題，該文基于Tiny YOLOV3算法提出了增強(qiáng)Tiny YOLOV3模型，并通過匈牙利匹配和卡爾曼濾波算法實(shí)現(xiàn)目標(biāo)車輛的跟蹤。在車載Jetson TX2嵌入式平臺(tái)上，分別在白天和夜間駕駛環(huán)境下進(jìn)行了對比試驗(yàn)。試驗(yàn)結(jié)果表明：與Tiny YOLOV3模型相比，增強(qiáng)Tiny YOLOV3模型的車輛檢測平均準(zhǔn)確率提高4.6%，平均誤檢率減少0.5%，平均漏檢率降低7.4%，算法平均耗時(shí)增加43.8 ms/幀；加入跟蹤算法后，本文算法模型的車輛檢測平均準(zhǔn)確率提高10.6%，平均誤檢率減少1.2%，平均漏檢率降低23.6%，平均運(yùn)算速度提高5倍左右，可達(dá)30幀/s。結(jié)果表明，所提出的算法能夠?qū)崟r(shí)準(zhǔn)確檢測出目標(biāo)車輛，為卷積神經(jīng)網(wǎng)絡(luò)模型的嵌入式工程應(yīng)用提供了參考。

車輛；機(jī)器視覺；模型；車輛檢測；車輛跟蹤；Tiny YOLOV3算法；卡爾曼濾波

0 引 言

研究表明，駕駛員的駕駛行為是引發(fā)交通事故的主要因素[1]，因此通過車載視覺傳感器進(jìn)行實(shí)時(shí)準(zhǔn)確的車輛目標(biāo)檢測與跟蹤，并在此基礎(chǔ)上對車輛目標(biāo)進(jìn)行測距有利于發(fā)現(xiàn)潛在危險(xiǎn)，從而及時(shí)向駕駛員發(fā)出警告或采取主動(dòng)控制車輛制動(dòng)、轉(zhuǎn)向等措施以避免交通事故的發(fā)生[2-4]。車輛檢測與跟蹤是實(shí)現(xiàn)智能車輛和高級(jí)駕駛輔助系統(tǒng)環(huán)境感知的重要環(huán)節(jié)。

近年來國內(nèi)外對車輛檢測和跟蹤算法的研究取得了一些進(jìn)展，主要表現(xiàn)在基于卷積神經(jīng)網(wǎng)絡(luò)的車輛檢測算法[5-7]和基于相關(guān)濾波的車輛跟蹤算法[8-9]。Girshick等[10-12]提出了一系列基于卷積神經(jīng)網(wǎng)絡(luò)的通用目標(biāo)檢測算法，從區(qū)域提名、特征學(xué)習(xí)和構(gòu)建分類器的三步法改進(jìn)到基于anchor-box的端到端檢測方法，在視覺目標(biāo)檢測領(lǐng)域取得了具有突破性意義的研究成果，例如Yang等[13]、宋煥生等[14]基于文獻(xiàn)[12]中Faster R-CNN卷積神經(jīng)網(wǎng)絡(luò)提出了針對道路車輛的檢測方法。李琳輝等[15]提出了一種基于車底陰影自適應(yīng)分割算法的卷積神經(jīng)網(wǎng)絡(luò)分類候選分割區(qū)域的車輛檢測方法。Lee等[16]提出了一種基于多尺度特征選擇的卷積神經(jīng)網(wǎng)絡(luò)和Adaboost分類器的車輛檢測方法。劉軍等[17]提出了一種利用Haar-like特征訓(xùn)練的Adaboost級(jí)聯(lián)分類器識(shí)別前方車輛并通過卡爾曼濾波算法對檢測的車輛進(jìn)行實(shí)時(shí)跟蹤的方法。Danelljan等[18-19]提出了一系列基于判別相關(guān)濾波器先估計(jì)目標(biāo)的最佳位置，再估計(jì)目標(biāo)尺度的跟蹤算法，對存在大尺度變化的目標(biāo)取得了較好的跟蹤效果。紀(jì)筱鵬等[20]提出了一種融合車輛輪廓拐點(diǎn)特征信息的擴(kuò)展卡爾曼濾波車輛跟蹤方法，改善了存在重疊遮擋時(shí)的車輛跟蹤效果。

上述車輛檢測和跟蹤算法，一方面，基于深度學(xué)習(xí)的視覺車輛檢測方法尤其是卷積神經(jīng)網(wǎng)絡(luò)，檢測精度取得了很大提高[21]，但由于車輛檢測算法的復(fù)雜性往往需要利用昂貴的計(jì)算資源才可以實(shí)現(xiàn)實(shí)時(shí)檢測，成為深度車輛檢測算法商業(yè)化的瓶頸[22]。另一方面，車輛跟蹤算法通常利用初始化的車輛位置估計(jì)車輛狀態(tài)或者建立表觀模型預(yù)測在連續(xù)視頻幀中該車輛出現(xiàn)的位置，降低了每幀車輛檢測的耗時(shí)，而面對復(fù)雜多變的交通環(huán)境，如車輛的快速移動(dòng)、光照變化、道路環(huán)境干擾以及車輛在不同距離時(shí)的尺度變化等，使得車輛跟蹤算法的魯棒性面臨挑戰(zhàn)[23]。因此，如何實(shí)現(xiàn)實(shí)時(shí)魯棒的車輛檢測跟蹤算法是一個(gè)亟需解決的工程問題。

針對車輛檢測跟蹤算法實(shí)時(shí)性和準(zhǔn)確性難以兩全的矛盾，本文在Tiny YOLOV3算法基礎(chǔ)上提出了增強(qiáng)Tiny YOLOV3模型，在刪減卷積層參數(shù)的同時(shí)，有效增強(qiáng)網(wǎng)絡(luò)中小目標(biāo)的語義信息，結(jié)合車輛檢測框與跟蹤框的重疊度（intersection-over-union，IoU）和匈牙利匹配算法提出卡爾曼濾波車輛跟蹤算法，并將融合的檢測跟蹤算法在NVIDIA Jetson TX2嵌入式開發(fā)板上搭建實(shí)車試驗(yàn)平臺(tái)，對本文提出的車輛檢測和跟蹤方法進(jìn)行驗(yàn)證試驗(yàn)，以期實(shí)現(xiàn)實(shí)時(shí)車輛檢測跟蹤，有效緩解車輛檢測跟蹤的實(shí)時(shí)性和準(zhǔn)確性矛盾。

1 車輛檢測算法

1.1 Tiny YOLOV3模型簡介

YOLO、YOLOV2和YOLOV3算法是Joseph等[24-26]提出的通用目標(biāo)檢測模型，Tiny YOLOV3是YOLOV3模型的簡化，并且融合了最新的特征金字塔網(wǎng)絡(luò)[27]（feature pyramid networks，F(xiàn)PN）和全卷積網(wǎng)絡(luò)[28]（ fully convolutional networks，F(xiàn)CN）技術(shù)，模型結(jié)構(gòu)更簡單，檢測精度更高。

Tiny YOLOV3算法模型網(wǎng)絡(luò)主要由卷積層和池化層構(gòu)成，如圖1所示，網(wǎng)絡(luò)中層的命名規(guī)則由其類別和在網(wǎng)絡(luò)中第幾次出現(xiàn)的編號(hào)構(gòu)成，例如conv5表示網(wǎng)絡(luò)中的第5個(gè)卷積層，maxpool1表示網(wǎng)絡(luò)中的第1個(gè)最大池化層，upsample1表示網(wǎng)絡(luò)中的第1個(gè)上采樣層，網(wǎng)絡(luò)中每層的輸出特征圖尺寸表示為“分辨率寬×分辨率高×通道數(shù)”，“＋”表示特征圖在通道維度的連接（concatenate）操作，“●”表示上采樣（upsample）操作。池化層是一種圖像下采樣操作，雖然會(huì)減少卷積特征層的參數(shù)，加快模型運(yùn)算速度，但是會(huì)對上一層的卷積特征圖造成語義信息的損失。另一方面，淺層的卷積特征感受野包含的背景噪聲小，對小目標(biāo)具有更好的表征能力。另外，當(dāng)目標(biāo)被遮擋時(shí)，只存在目標(biāo)的局部特征，由于淺層的卷積層通常對目標(biāo)的局部或者小目標(biāo)較為敏感，因此需要增加網(wǎng)絡(luò)淺層的特征輸出層，同時(shí)增加目標(biāo)局部特征學(xué)習(xí)的樣本，從而加強(qiáng)對遮擋目標(biāo)和小目標(biāo)的識(shí)別能力。

圖1 Tiny YOLOV3模型的網(wǎng)絡(luò)結(jié)構(gòu) Fig. 1 Network architecture of Tiny YOLOV3 model

1.2 增強(qiáng)Tiny YOLOV3模型

為了進(jìn)一步說明Tiny YOLOV3模型由于沒有合理利用網(wǎng)絡(luò)淺層輸出的特征信息而導(dǎo)致檢測層對小目標(biāo)不敏感的現(xiàn)象，以分辨率為416×416像素大小的輸入圖片數(shù)據(jù)為例，對網(wǎng)絡(luò)中淺層卷積特征圖的結(jié)構(gòu)進(jìn)行了研究，并分別對conv3、conv4和conv5層的感受野進(jìn)行了可視化[29]，如圖2所示。由圖2可知，conv4層包含表征小目標(biāo)更有效的語義信息，而conv3層感受野太小，不能表征圖2a中的車輛目標(biāo)，conv5層則感受野太大，包含過多的背景噪聲干擾，不利于小目標(biāo)車輛的表征。

因此，為了強(qiáng)化Tiny YOLOV3模型淺層的卷積特征，提高上下層的語義信息和小目標(biāo)的檢測性能，同時(shí)為了更好的利用conv4層包含的語義信息，對Tiny YOLOV3模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，將Tiny YOLOV3模型的maxpool3層修改為conv4層，增加conv5層將conv4層的特征通道維度壓縮以減少無效參數(shù)；同時(shí)在Tiny YOLOV3模型的基礎(chǔ)上增加一層上采樣層upsample2，將conv6和upsample2在通道維度上進(jìn)行連接操作，作為特征金字塔的一個(gè)特征圖層，特征金字塔網(wǎng)絡(luò)由原來的13×13和26×26像素變成13×13、26×26和52×52像素的3層結(jié)構(gòu)。圖3為增強(qiáng)Tiny YOLOV3模型結(jié)構(gòu)，網(wǎng)絡(luò)層的命名規(guī)則與圖1一致。

a. 輸入圖像b. 卷積層3的增強(qiáng)感受野 a. Input imageb. Receptive field of conv3 c. 卷積層4的增強(qiáng)感受野d. 卷積層5的增強(qiáng)感受野 c. Receptive field of conv4d. Receptive field of conv5

圖3 增強(qiáng)Tiny YOLO V3模型的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of enhancement-Tiny YOLO V3 model

改進(jìn)之后，新增的conv18層上需要生成車輛目標(biāo)候選框，與Tiny YOLOV3算法相同，可通過k-means聚類算法確定anchor個(gè)數(shù)并生成新的anchor尺寸，圖4為平均重疊度隨著聚類數(shù)變化的關(guān)系曲線。由圖4可知，隨著聚類數(shù)的增大，平均重疊度逐漸增大，但是當(dāng)聚類數(shù)大于9之后，平均重疊度上升很小而基本趨于穩(wěn)定，因此增強(qiáng)Tiny YOLOV3模型采用9個(gè)anchor，并通過-means算法確定相應(yīng)的尺寸。

增強(qiáng)Tiny YOLOV3和Tiny YOLOV3模型對圖2a車輛的檢測效果對比如圖5所示。由圖5可知，增強(qiáng)Tiny YOLOV3模型成功檢測出右后方被沙石遮擋的小汽車，而Tiny YOLOV3模型漏檢了該目標(biāo)，結(jié)果與圖 2一致。

a. Tiny YOLOV3模型b. 增強(qiáng)Tiny YOLOV3模型 a. Tiny YOLOV3 modelb. Enhanced Tiny YOLOV3 model

2 基于車輛檢測的跟蹤算法

2.1 基于IoU的匈牙利匹配算法

圖6為車輛檢測和跟蹤包圍框示意圖。如圖6所示，矩形框表示車輛檢測包圍框，矩形框表示車輛跟蹤包圍框，跟蹤框和檢測框的重疊度由式（1）表示，重疊度越接近1，說明檢測框和跟蹤框的重疊度以及相關(guān)性越大。

式中S表示面積，下標(biāo)表示包圍框，即表示包圍框EHDP的面積。

匈牙利匹配算法根據(jù)IoU的先驗(yàn)關(guān)系建立車輛檢測包圍框與車輛跟蹤包圍框之間的匹配對應(yīng)關(guān)系，由式（2）表示。

式中thresh為試驗(yàn)中確定的經(jīng)驗(yàn)值，用于去除相關(guān)性很低的檢測框和跟蹤框之間的匹配。

2.2 基于卡爾曼濾波算法的車輛跟蹤

卡爾曼濾波算法是一種自回歸優(yōu)化算法，廣泛運(yùn)用于動(dòng)態(tài)測量系統(tǒng)中。視頻流中的車輛檢測通常存在著包圍框的跳動(dòng)、車輛漏檢和誤檢等問題，因此本文運(yùn)用卡爾曼濾波相關(guān)理論對車輛跟蹤進(jìn)行優(yōu)化。由于車載攝像機(jī)滿足高幀率，視頻序列之間車輛目標(biāo)的位置變化很小,可視為勻速運(yùn)動(dòng)[30]。因此假設(shè)視覺車輛檢測跟蹤系統(tǒng)隨時(shí)間變化是線性相關(guān)的，滿足式（4）和（5）。

1）預(yù)測部分：根據(jù)系統(tǒng)的車輛檢測包圍框，當(dāng)連續(xù)min幀及以上檢測出該目標(biāo)時(shí)，說明該目標(biāo)是非誤檢車輛，需要根據(jù)車輛檢測包圍框坐標(biāo)預(yù)測對應(yīng)的車輛跟蹤包圍框坐標(biāo)和其協(xié)方差矩陣，由式（6）和（7）表達(dá)。

2）更新部分：當(dāng)系統(tǒng)中建立了車輛檢測包圍框和跟蹤包圍框的匹配關(guān)系且連續(xù)丟失的車輛檢測目標(biāo)不超過max幀，說明車輛目標(biāo)沒有真正丟失，需要對車輛跟蹤包圍框的坐標(biāo)及其協(xié)方差矩陣進(jìn)行每幀更新，由式（8）～（10）表達(dá)。

3 車輛檢測跟蹤效果驗(yàn)證與分析

通過搭建一個(gè)實(shí)車試驗(yàn)平臺(tái)，驗(yàn)證本文提出的車輛檢測和跟蹤方法。試驗(yàn)設(shè)備主要包括奧迪試驗(yàn)車、12 mm焦距鏡頭、OV10635芯片的USB攝像頭、Jetson TX2開發(fā)板和顯示屏，其中Jetson TX2為試驗(yàn)平臺(tái)的處理核心。如圖7所示，攝像頭安裝在車內(nèi)后視鏡位置。

外界環(huán)境的穩(wěn)定情況直接影響著測量精度和數(shù)據(jù)的可靠性。因此，在實(shí)際測量過程中，應(yīng)盡可能控制好外界條件，避免外界干擾，建議采取的措施有：(1)避開衛(wèi)星周期性的誤差影響，選取信號(hào)強(qiáng)的時(shí)間段進(jìn)行測量；(2)選取適宜的天氣進(jìn)行測量，降低氣候變化、溫差變化、大風(fēng)大雨等天氣對測量的影響；(3)使用穩(wěn)定性強(qiáng)的電源進(jìn)行設(shè)備供電，同時(shí)配備備用電源，謹(jǐn)防電源電壓不穩(wěn)對測量精度產(chǎn)生不必要的影響。

圖7 實(shí)車試驗(yàn)平臺(tái) Fig. 7 Real vehicle test platform

在車輛檢測方面，本文中的車輛目標(biāo)包含所有類型的轎車、卡車以及公共汽車等機(jī)動(dòng)車輛，通過安裝在試驗(yàn)車前方、側(cè)方以及后方的車載攝像機(jī)采集江蘇省各市區(qū)和高速道路交通的行駛視頻，并通過智能標(biāo)注方法建立如圖8所示的訓(xùn)練數(shù)據(jù)集，分為白天和夜晚2種主要場景，總共50 000張圖片，通過基于Tensorflow后端的Keras框架實(shí)現(xiàn)增強(qiáng)Tiny YOLOV3和Tiny YOLOV3模型，并通過配有NVIDIA GTX 1060顯卡的計(jì)算機(jī)訓(xùn)練出增強(qiáng)Tiny YOLOV3和Tiny YOLOV3模型的權(quán)重，根據(jù)網(wǎng)格搜索算法設(shè)置網(wǎng)絡(luò)中的最優(yōu)超參數(shù)為初始學(xué)習(xí)率0.001，權(quán)重衰減系數(shù)為0.000 5，訓(xùn)練策略采用動(dòng)量項(xiàng)為0.9的動(dòng)量梯度下降算法，訓(xùn)練過程中使用與Tiny YOLOV3相同的圖像擴(kuò)充方法以及多尺度訓(xùn)練策略。

a. 夜晚前車b. 白天前車 a. Preceding vehicles at nightb. Preceding vehicles in daytime c. 夜晚相鄰車輛d. 白天相鄰車輛 c. Adjacent vehicles at nightd. Adjacent vehicles in daytime

在車輛跟蹤方面，試驗(yàn)中根據(jù)網(wǎng)格搜索算法設(shè)置經(jīng)驗(yàn)參數(shù)的最優(yōu)值分別為min=2，max=8，thresh=0.3，式（11）～（12）為跟蹤系統(tǒng)的參數(shù)矩陣和初始化值。

Algorithm vehicle tracking Inputs: Initialize: For to : For : where If where : Add to Remove from Else if where : Add to Remove from For and and : Start new track with and insert into For : Add to Return

在白天和夜間分別進(jìn)行了8組試驗(yàn)，試驗(yàn)中TN的值設(shè)為10 000，分別計(jì)算Tiny YOLOV3車輛檢測模型、增強(qiáng)Tiny YOLOV3車輛檢測模型以及本文車輛檢測跟蹤算法模型（融合算法模型）的評價(jià)指標(biāo)值，結(jié)果如表1所示。由表1可知，與Tiny YOLOV3車輛檢測模型相比，增強(qiáng)Tiny YOLOV3車輛檢測模型的平均準(zhǔn)確率提高了4.6%，平均誤檢率減少了0.5%，平均漏檢率降低了7.4%，算法平均耗時(shí)增加了43.8 ms/幀。增強(qiáng)Tiny YOLOV3模型通過淺層輸出的特征金字塔層增加了候選框的數(shù)量，所以網(wǎng)絡(luò)的漏檢率指標(biāo)得到了顯著改善，同時(shí)伴隨著淺層特征的強(qiáng)化和利用，提高了模型的平均準(zhǔn)確率，但增加了計(jì)算量，所以提升車輛檢測性能的同時(shí)增加了算法的平均耗時(shí)，這也為下一步本文車輛檢測跟蹤算法模型的運(yùn)用創(chuàng)造了良好的條件。在增強(qiáng)Tiny YOLOV3車輛檢測模型基礎(chǔ)上加入本文跟蹤算法之后，相比Tiny YOLOV3車輛檢測模型，本文的融合算法模型平均準(zhǔn)確率提高了10.6%，漏檢率降低了23.6%，且誤檢率降低了1.2%，誤檢主要有2方面原因，一是由于沒有連續(xù)2幀出現(xiàn)誤檢而真正減少了檢測器的誤檢，二是跟蹤過程中在車輛真正消失的時(shí)候，車輛的跟蹤圖像沒有被及時(shí)刪除而造成誤檢，2個(gè)因素疊加在一起，本文融合算法的誤檢率仍然降低了1.2%，相對于Tiny YOLOV3車輛檢測模型的運(yùn)算速度提升顯著，平均運(yùn)算速度為33.4 ms/幀，比Tiny YOLOV3車輛檢測模型的運(yùn)算速度快5倍左右，可達(dá)30幀/s。

表1 不同車輛檢測與跟蹤模型的性能對比Table 1 Performance comparison between different vehicle detection and tracking models

注：M為平均準(zhǔn)確率，%；M為平均誤檢率，%；M為平均漏檢率，%；M為平均運(yùn)算速度，ms·幀-1。

Note:Mis the mean precision rate, %;Mis the mean detection error rate, %;Mis the mean missing detection rate, %;Mis the mean operation speed, ms·幀-1.

圖9為增強(qiáng)Tiny YOLOV3模型與Tiny YOLOV3模型對實(shí)際交通環(huán)境車輛的檢測效果對比，可以看出增強(qiáng)Tiny YOLOV3模型對小目標(biāo)車輛具有更好的檢測效果。

a. 原圖1 a. Raw image 1b. 原圖2 b. Raw image 2c. 原圖3 c. Raw image 3d. 原圖4 d. Raw image 4 e. Tiny YOLOV3模型檢測結(jié)果1e. Detection result 1 of Tiny YOLOV3f. Tiny YOLOV3模型檢測結(jié)果2 f. Detection result 2 of Tiny YOLOV3g. Tiny YOLOV3模型檢測結(jié)果3g. Detection result 3 of Tiny YOLOV3h. Tiny YOLOV3模型檢測結(jié)果4h. Detection result 4 of Tiny YOLOV3 k. 增強(qiáng) Tiny YOLOV3檢測結(jié)果1k. Enhanced Tiny YOLOV3 result 1l. 增強(qiáng) Tiny YOLOV3檢測結(jié)果2 l. Enhanced Tiny YOLOV3 result 2m. 增強(qiáng) Tiny YOLOV3檢測結(jié)果3m. Enhanced Tiny YOLOV3 result 3n. 增強(qiáng) Tiny YOLOV3檢測結(jié)果4n. Enhanced Tiny YOLOV3 result 4

圖10為本文車輛檢測跟蹤模型的應(yīng)用效果，第一列為原圖，第二列為增強(qiáng)Tiny YOLOV3模型的車輛檢測效果圖，第三列為本文融合算法模型的檢測效果圖，可以看出當(dāng)增強(qiáng)Tiny YOLOV3模型出現(xiàn)漏檢和誤檢時(shí)，本文融合算法模型可以根據(jù)一定的置信度估計(jì)車輛目標(biāo)的位置，減少誤檢和漏檢現(xiàn)象，在視頻序列的車輛檢測中具有更好的連續(xù)穩(wěn)定性能。

a. 原圖b. 增強(qiáng)Tiny YOLOV3模型c.本文模型 a. Raw imageb. Enhanced Tiny YOLOV3 modelc. Model in this paper

進(jìn)一步分析可知，增強(qiáng)Tiny YOLOV3模型的性能主要受以下幾個(gè)因素影響：

1）交通環(huán)境的影響。實(shí)際行駛過程中的目標(biāo)車輛經(jīng)常會(huì)出現(xiàn)部分遮擋和光照變化等情形，雖然本文模型對較小和部分遮擋的目標(biāo)車輛檢測提出了改進(jìn)，但是對于光照嚴(yán)重不足和遮擋面積很大的目標(biāo)車輛可能會(huì)出現(xiàn)漏檢。

2）檢測模型的影響。增強(qiáng)Tiny YOLOV3模型是在Tiny YOLOV3模型基礎(chǔ)上改進(jìn)的優(yōu)化模型。但是在訓(xùn)練的過程中，超參數(shù)的選擇、訓(xùn)練集的大小以及訓(xùn)練的策略都會(huì)影響模型的性能，因此模型在訓(xùn)練過程中很難保證達(dá)到最優(yōu)性能。

3）跟蹤模型的影響。跟蹤系統(tǒng)包含部分經(jīng)驗(yàn)參數(shù)，經(jīng)驗(yàn)參數(shù)的選擇具有試驗(yàn)性，對跟蹤系統(tǒng)的性能有直接影響；跟蹤系統(tǒng)假設(shè)目標(biāo)車輛都是勻速移動(dòng)，沒有考慮車輛的動(dòng)力學(xué)特性，對于快速移動(dòng)的目標(biāo)車輛在跟蹤過程中會(huì)出現(xiàn)輕微的漂移現(xiàn)象。

上述因素中1）屬于固有的外部因素，試驗(yàn)中保持不變；2）和3）可以通過優(yōu)化檢測和跟蹤模型取得更好的試驗(yàn)性能，車輛檢測模型的好壞對本文算法平均準(zhǔn)確率有著直接且重要的影響，因此如何保證訓(xùn)練模型取得最優(yōu)的泛化能力是后期研究的主要內(nèi)容，尤其是通過一系列的智能搜索算法得到更好的模型泛化性能；另外如何將車輛的動(dòng)力學(xué)特性考慮到跟蹤模型中建立更符合實(shí)際的運(yùn)動(dòng)模型是3）改進(jìn)的關(guān)鍵。

4 結(jié) 論

1）在對Tiny YOLOV3網(wǎng)絡(luò)的淺層感受野進(jìn)行可視化分析的基礎(chǔ)上，本文對Tiny YOLOV3的淺層語義信息進(jìn)行強(qiáng)化重構(gòu)，同時(shí)對其進(jìn)行有效利用，提出了增強(qiáng) Tiny YOLOV3模型，對小目標(biāo)車輛的檢測具有更好的性能，平均準(zhǔn)確率提高了4.6%，平均漏檢率、誤檢率分別降低了7.4%和0.5%。

2）根據(jù)車輛檢測包圍框的位置信息提出了基于重疊度的卡爾曼濾波跟蹤算法，提高了車輛檢測跟蹤系統(tǒng)的準(zhǔn)確率和實(shí)時(shí)性。在增強(qiáng)Tiny YOLOV3模型基礎(chǔ)上增加車輛跟蹤算法，提出了車輛檢測跟蹤算法模型（融合算法模型），相比Tiny YOLOV3模型，融合算法模型的平均準(zhǔn)確率提高了10.6%，平均漏檢率降低了23.6%，平均誤檢率減少了1.2%，平均運(yùn)算速度可達(dá)30幀/s。試驗(yàn)結(jié)果表明，基于增強(qiáng)Tiny YOLOV3模型的目標(biāo)檢測與匈牙利匹配和卡爾曼濾波的目標(biāo)跟蹤算法搭建的嵌入式車輛視覺檢測系統(tǒng)能夠滿足嵌入式智能車輛和高級(jí)駕駛輔助系統(tǒng)準(zhǔn)確性和實(shí)時(shí)性的要求，具有較好的工程應(yīng)用價(jià)值。

[1] Mukhtar Amir, Xia Likun, Tang Tongboon. Vehicle detectiontechniques for collision avoidance systems: A review[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(5): 2318－2338.

[2] Song Wenjie, Yang Yi, Fu Mengyin, et al. Real-time obstacles detection and status classification for collision warning in a vehicle active safety system[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(3): 758－773.

[3] 劉慶華，邱修林，謝禮猛，等.基于行駛車速的車輛防撞時(shí)間預(yù)警算法[J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33(12) ：99－106.Liu Qinghua, Qiu Xiulin, Xie Limeng, et al. Anti-collision warning time algorithm based on driving speed of vehicle[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(12): 99－ 106. (in Chinese with English abstract)

[4] 劉軍，后士浩，張凱，等. 基于單目視覺車輛姿態(tài)角估計(jì)和逆透視變換的車距測量[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(13)：70－76. Liu Jun, Hou Shihao, Zhang Kai, et al. Vehicle distance measurement with implementation of vehicle attitude angle estimation and inverse perspective mapping based on monocular vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 70－76. (in Chinese with English abstract)

[5] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 37(9): 1904－1916.

[6] He Kaiming, Gkioxari Georgia, Dollar Piotr, et al. Mask R-CNN[C]// IEEE International Conference on Computer Vision. IEEE, 2017: 2961－2969.

[7] Manana Mduduzi, Tu Chunling, Owolawi Piusadewale. A survey on vehicle detection based on convolution neural networks[C]// IEEE International Conference on Computer & Communications. IEEE, 2017: 1751－1755.

[8] Henriques Joaof, Caseiro Rui, Martins Pedro, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583－596.

[9] Tang Ming, Feng Jiayi. Multi-kernel correlation filter for visual tracking[C]// IEEE International Conference on Computer Vision. IEEE, 2016: 3038－3046.

[10] Girshick Ross, Donahue Jeff, Darrell Trevor, et al. Region-based convolutional networks for accurate object detection and segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 38(1): 142－158.

[11] Girshick Ross. Fast R-CNN[C]// IEEE International Conference on Computer Vision. IEEE, 2015: 1440－1448.

[12] Ren Shaoqing, He Kaiming, Girshick Ross, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137－1149.

[13] Yang Biao, Zhang Yuyu, Cao Jinmeng, et al. On road vehicle detection using an improved Faster RCNN framework with small-size region up-scaling strategy[C]// Pacific-Rim Symposium on Image and Video Technology. Springer, Cham, 2017: 241－253.

[14] 宋煥生，張向清，鄭寶峰，等. 基于深度學(xué)習(xí)方法的復(fù)雜場景下車輛目標(biāo)檢測[J]. 計(jì)算機(jī)應(yīng)用研究，2018，35(4)：1270－1273. Song Huansheng, Zhang Xiangqing, Zheng Baofeng, et al. Vehicle detection based on deep learning in complex scene[J]. Application Research of Computers, 2018, 35(4): 1270－1273. (in Chinese with English abstract)

[15] 李琳輝，倫智梅，連靜，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的道路車輛檢測方法[J]. 吉林大學(xué)學(xué)報(bào)：工學(xué)版，2017，47(2)：384－391. Li Linhui, Lun Zhimei, Lian Jing, et al. Convolution neural network-based vehicle detection method[J]. Journal of Jilin University (Engineering and Technology Edition), 2017, 47(2): 384－391. (in Chinese with English abstract)

[16] Lee Wonjae, Dong Sungpae, Dong Wonkim, et al. A vehicle detection using selective multi-stage features in convolutional neural networks[C]// International Conference on Control. IEEE, 2017: 1－3.

[17] 劉軍，高雪婷，王利明，等. 基于OpenCV的前方車輛檢測和前撞預(yù)警算法研究[J]. 汽車技術(shù)，2017(6)：11－16. Liu Jun, Gao Xueting, Wang Liming, et al. Research on preceding vehicle detection and collision warning method based on OpenCV[J]. Automobile Technology, 2017(6): 11－16. (in Chinese with English abstract)

[18] Danelljan Martin, H?ger Gustav, Khan Fahad, et al. Accurate scale estimation for robust visual tracking[C]// 2014 British Machine Vision Conference. BMVA Press, 2014: 1－11.

[19] Danelljan Martin, H?ger Gustav, Khan Fahad, et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(8): 1561－1575.

[20] 紀(jì)筱鵬，魏志強(qiáng). 基于輪廓特征及擴(kuò)展Kalman濾波的車輛跟蹤方法研究[J]. 中國圖象圖形學(xué)報(bào)，2011，16(2)：267－272. Ji Xiaopeng, Wei Zhiqiang. Tracking method based on contour feature of vehicles and extended Kalman filter[J]. Journal of Image and Graphics, 2011, 16(2): 267－272. (in Chinese with English abstract)

[21] Lecun Yann, Bengio Yoshua, Hinton Geoffrey. Deep learning[J]. Nature, 2015, 521(7553): 436－444.

[22] Liu Wei, Anguelov Dragomir, Erhan Dumitru, et al. SSD: single shot multiBox detector[C]// European Conference on Computer Vision. Springer, Cham, 2016: 21－37.

[23] Smeulders A, Chu D, Cucchiara R, et al. Visual tracking: an experimental survey[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(7): 1442－1468.

[24] Joseph Redmon, Divvala Santosh, Girshick Ross, et al. You only look once: Unified, real-Time object detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2015: 779－788.

[25] Joseph Redmon, Farhadi Ali. YOLO9000: Better, faster, stronger[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2017: 6517－6525.

[26] Joseph Redmon, Farhadi Ali. YOLOv3: An Incremental Improvement[EB/OL].[2018-04-08].https://arxiv.org/pdf/1804.02767.pdf.

[27] Lin Tsungyi, Dollár Piotr, Girshick Ross, et al. Feature pyramid networks for object detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2017: 936－944.

[28] Long Jonathan, Shelhamer Evan, Darrell Trevor. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 39(4): 640－651.

[29] Yosinski Jason, Clune Jeff, Nguyen Anh, et al. Understanding neural networks through deep visualization[EB/OL]. [2015-06-22]. https://arxiv.org/abs/1506.06579.

[30] Bochinski Erik, Eiselein Volker, Sikora Thomas. High-Speed tracking-by-detection without using image information[C]// IEEE International Conference on Advanced Video & Signal Based Surveillance. IEEE, 2017: 1－6.

Real-time vehicle detection and tracking based on enhanced Tiny YOLOV3 algorithm

Liu Jun, Hou Shihao, Zhang Kai, Zhang Rui, Hu Chaochao

(,,212013,)

For intelligent vehicles and advanced driving assistant systems, real-time and accurate vehicle objects detection and tracking through on-board visual sensors are conducive to discovering potential dangers, and can take timely warning to drivers or measures to control vehicle braking and steering systems to avoid traffic accidents by active safety system. In recent years, vehicle detection based on deep learning has become a research hotspot. Although the deep learning method has made a significant breakthrough in vehicle detection precision, it will lead to high missed detection rate of small vehicle targets and rely on expensive computing resources in visual vehicle detection tasks, which is difficult to achieve in embedded real-time applications. Further analysis shows that the main reason for the above problems is that deep convolution neural network cannot reasonably prune network layer parameters, especially cannot reasonably utilize the shallow semantic information. On the contrary, a series of operations at the lower sampling layers will lead to the loss of vehicle information, especially for the small vehicle objects. Therefore, how to effectively extract and utilize the semantic information of small vehicle objects is a problem to be solved in this paper. On this basis, the problem of pruning network layer parameters reasonably was discussed. For the detection algorithm, on the one hand, based on visual analysis of receptive field of Tiny YOLOV3 network shallow layers, the use of shallow semantic information was enhanced by constructing a shallow feature pyramid structure, on the other hand, the shallow down sampling layer was replaced by convolution layer to reduce the semantic information loss of shallow network layers and increase the shallow layer features of vehicle objects to be extracted. Combine the above 2 aspects, the enhanced Tiny YOLOV3 network was proposed. For the tracking algorithm, because of the high frame rate of the vehicle-mounted camera, assuming that the vehicle objects in the adjacent frame moving uniformly without considering the image information, Kalman filter algorithm was used to track the vehicle target, and its observation position was estimated optimally. The proposed enhanced Tiny YOLO V3 network was trained by using 50 000 images collected by the on-board vehicle camera during the day and night. The training strategy included pre-training model, multi-scale training, batch normalization and data augment methods, which same as Tiny YOLOV3 network. On the vehicle Jetson TX2 embedded platform, 8 groups of comparative experiments were carried out with Tiny YOLOV3 model, including day and night traffic scenes. The experimental results showed that compared with Tiny YOLO V3 model，the mean precision rate of the enhanced Tiny YOLOV3 model proposed in this paper was improved by 4.6%, the mean detection error rate was reduced by 0.5%, the mean missing detection rate was reduced by 7.4%, and the mean time consumption was increased by 43.8 ms/frame without tracking algorithm. After adding the vehicle tracking algorithm, the mean precision rate was improved by 10.6%, the mean detection error rate was reduced by 1.2%, the mean missing detection rate was reduced by 23.6%, and the mean operation speed was 5 times faster than that of the Tiny YOLOV3 model, reaching 30 frame/s. The study provides an important guidance for embedded vehicle detection and tracking algorithm application in intelligent vehicles and advanced driving assistant systems.

vehicles; computer vision; models; vehicle detection; vehicle tracking; Tiny YOLOV3 algorithm; kalman filtering

2018-11-22

2019-01-20

國家自然科學(xué)基金項(xiàng)目（51275212）

劉 軍，教授，博士，主要研究方向?yàn)槠囍鲃?dòng)安全。 Email：Liujun@ujs.edu.cn

10.11975/j.issn.1002-6819.2019.08.014

TP391；U491.6

A

1002-6819(2019)-08-0118-08

劉 軍，后士浩，張 凱，張 睿，胡超超. 基于增強(qiáng)Tiny YOLOV3算法的車輛實(shí)時(shí)檢測與跟蹤[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(8)：118－125. doi：10.11975/j.issn.1002-6819.2019.08.014 http://www.tcsae.org

Liu Jun, Hou Shihao, Zhang Kai, Zhang Rui, Hu Chaochao. Real-time vehicle detection and tracking based on enhanced Tiny YOLOV3 algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(8): 118－125. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.08.014 http://www.tcsae.org