李 凱，林宇舜

(福建農(nóng)林大學(xué) 交通與土木工程學(xué)院，福州 350108)

近年來，隨著汽車數(shù)量迅速增長，車輛違章現(xiàn)象時有發(fā)生，為交通管理帶來巨大壓力。目前，在特定交通場景下，基于視頻的目標檢測跟蹤算法雖然取得了一定成果，但極易受到外界環(huán)境的干擾，無法滿足實時魯棒的跟蹤需求。因此，利用深度學(xué)習(xí)算法研究在復(fù)雜交通場景下提升跟蹤的準確性及實時性十分必要。

縱觀整個目標跟蹤算法的發(fā)展歷程，按其工作原理，可分為生成式模型和判別式模型。其中，比較經(jīng)典的生成式模型有卡爾曼濾波、Camshift算法等[1-2]。判別式模型主要包含了相關(guān)濾波和深度學(xué)習(xí)算法，比較著名的相關(guān)濾波算法有KCF算法、CN算法等[3-4]；深度學(xué)習(xí)算法主要有MDNet算法、SRDCF算法等[5-6]。通常深度學(xué)習(xí)算法跟蹤的準確率要優(yōu)于生成式模型和相關(guān)濾波，然而深度學(xué)習(xí)模型訓(xùn)練時需要通過多層網(wǎng)絡(luò)訓(xùn)練分類器，導(dǎo)致網(wǎng)絡(luò)傳遞需要經(jīng)過大量的計算過程，實時性較低。

研究發(fā)現(xiàn)，判別式模型不論是速度還是準確率均優(yōu)于生成式模型。因此，在后續(xù)研究中廣大學(xué)者應(yīng)針對判別式模型的不足，不斷對算法實施改進和完善。Pan等[7]提出一種多模態(tài)目標檢測技術(shù)來改善目標定位精度，同時還利用高置信度跟蹤結(jié)果的反饋來避免模型損壞問題，通過加入深度特征，提升模型性能。ECO算法是在C-COT算法的基礎(chǔ)上提出，它分別從降低模型更新的次數(shù)、減少冗余樣本集以及去掉貢獻小的濾波器3個方面對算法進行改進，由于目標運動速度過快，導(dǎo)致分類器的性能效果降低[8-9]。在SRDCF算法基礎(chǔ)上，DeepSRDCF將固定值的學(xué)習(xí)率改變?yōu)樽赃m應(yīng)函數(shù)值，同時運用了卷積神經(jīng)網(wǎng)絡(luò)來提高分類的可靠性[10-11]。SORT多目標跟蹤算法，通過計算上幀與幀目標檢測框之間的IOU距離，結(jié)合匈牙利算法的關(guān)聯(lián)匹配，實現(xiàn)目標跟蹤[12]。Deep SORT算法的提出有效解決了遮擋問題，根據(jù)運動信息以及外觀信息將預(yù)測的軌跡和檢測結(jié)果進行匹配，同時引入了深度學(xué)習(xí)特征方法，有效減少了ID Switch的次數(shù)，但卻難以滿足實時性[13]。黃鎵輝等[14]為解決傳統(tǒng)相關(guān)濾波算法對無人機(UAV)拍攝視頻中的車輛進行跟蹤時,因目標車輛尺度變化而產(chǎn)生模型漂移問題,提出了一種改進的尺度自適應(yīng)車輛跟蹤算法,實現(xiàn)對目標車輛尺度的自適應(yīng)。胡習(xí)之等[15]提出一種融合Camshift和YOLOv4的車輛目標檢測算法，滿足了車流量檢測系統(tǒng)的實時性和準確性，但在復(fù)雜場景中其表現(xiàn)效果一般。許小偉等[16]為研究現(xiàn)有車輛目標檢測算法的檢測精度與檢測速度相矛盾問題，提出了一種小型化的改進YOLOv3深度卷積網(wǎng)絡(luò)實時車輛檢測及跟蹤算法，但精度略有不足。

為實現(xiàn)在復(fù)雜交通背景下的車輛實時魯棒跟蹤，采用深度學(xué)習(xí)算法，提出了基于卡爾曼濾波與動態(tài)卷積的輕量級跟蹤方法，并在公開的UA-DETRAC車輛數(shù)據(jù)集上進行測試，驗證該方法的實時性及抗遮擋性。

1 車輛跟蹤方法

1.1 卡爾曼濾波車輛運動狀態(tài)估計

卡爾曼濾波作為一種高效的回歸數(shù)據(jù)處理算法，可以根據(jù)檢測得到目標位置信息(即使存在噪聲的干擾)，對下一幀的目標走向進行預(yù)測。因此，被廣泛應(yīng)用于機器人導(dǎo)航、導(dǎo)彈的追蹤以及圖像處理等場景中。文中采用卡爾曼濾波對車輛運動狀態(tài)進行估計，主要包含預(yù)測和更新兩部分。其中，預(yù)測部分是車輛在移動的過程中，將上一時刻檢測到的車輛信息作為初始條件，借助狀態(tài)轉(zhuǎn)移函數(shù)來預(yù)測車輛位置，需要估計跟蹤軌跡(track)的兩個狀態(tài)均值(mean)和方差(covariance)：均值為x=[cx, cy,r,h, vx, vy, vr, vh]，表示車輛的位置信息。cx和cy表示檢測框的中心坐標，r為長寬比，h為寬，其余表示各自的速度變化值。協(xié)方差是在狀態(tài)估計中狀態(tài)轉(zhuǎn)移矩陣由狀態(tài)量與其導(dǎo)數(shù)構(gòu)成，表示車輛速度和位置的相關(guān)性。

X=Ax

(1)

式中:A為狀態(tài)轉(zhuǎn)移矩陣，x為軌跡在t-1時刻的均值。

基于t-1時刻的狀態(tài)x,可以預(yù)測在t時刻的狀態(tài)X。根據(jù)t-1時刻的協(xié)方差PK-1和系統(tǒng)噪聲矩陣Q，預(yù)測t時刻的協(xié)方差矩陣P，如式(2)所示。

P=APK-1AT+Q

(2)

在構(gòu)建新的軌跡之前，通過對當前幀的檢測并提取特征結(jié)果，采用卡爾曼濾波去預(yù)測這些軌跡在當前幀位置均值與協(xié)方差。然后根據(jù)預(yù)測的均值和協(xié)方差進行軌跡與檢測結(jié)果(detection)的匹配。將軌跡與新檢測目標的檢測結(jié)果采用余弦距離進行表觀特征匹配，利用馬氏距離對基于表觀特征的相似度矩陣進行修正。

更新部分則是當對軌跡匹配成功之后，需要對其各種數(shù)據(jù)根據(jù)匹配對的檢測結(jié)果進行更新。通過預(yù)測值與檢測的目標值不斷預(yù)測和更新計算，使更新目標的狀態(tài)得到優(yōu)化，即通過從預(yù)測到更新再到預(yù)測的方式對車輛運動狀態(tài)進行更新。

K=PHT(HPHT+R)-1

(3)

XK=X+K(YK-HX)

(4)

PK=(I-KH)P

(5)

在式(3)中K表示卡爾曼增益，卡爾曼增益用于估計誤差的重要程度，H將軌跡的均值向量映射到檢測空間，R為檢測器的噪聲矩陣。式(4)中，YK-HX計算了檢測結(jié)果和軌跡的均值誤差，得到更新后的均值向量XK和式(5)中的協(xié)方差矩陣PK。

1.2 基于動態(tài)卷積的表觀特征提取

1.2.1 動態(tài)卷積

與傳統(tǒng)特征提取網(wǎng)絡(luò)中的靜態(tài)卷積相比，動態(tài)卷積對特征提取能力更強。因為它可以根據(jù)輸入圖像的不同，動態(tài)生成多個并行的卷積核進行調(diào)節(jié)卷積參數(shù)。其實現(xiàn)過程與SENet相類似[17]，兩者均采用注意力機制思想，但側(cè)重點卻有不同，其中動態(tài)卷積是基于卷積核，而SENet是基于通道數(shù)。

動態(tài)卷積網(wǎng)絡(luò)是由注意力機制模型計算卷積核權(quán)重以及卷積核的加權(quán)求和兩部分組成。如圖1所示，基于注意力機制計算權(quán)重網(wǎng)絡(luò)框架相對簡單，由全平均池化層和兩層全連接層組成。而在對多個卷積核進行加權(quán)求和時，由于卷積核的尺寸較小，造成的額外計算量也非常少。

圖1 動態(tài)卷積運算流程

隨著不同特征的輸入，將動態(tài)生成的權(quán)重值分別與對應(yīng)的卷積核相乘再相加，使得聚合而成的卷積不再是一個簡單的線性函數(shù)，而是通過注意力對卷積核進行非線性加強，不僅不會對網(wǎng)絡(luò)的深度造成影響，還大大降低了額外的計算成本，而且模型的表達能力更強，使得基于動態(tài)卷積的神經(jīng)網(wǎng)絡(luò)具有更強的特征提取能力。

1.2.2 基于動態(tài)卷積的輕量級網(wǎng)絡(luò)

針對遮擋問題會引起IDSW較高的情況，首先在ResNet網(wǎng)絡(luò)中引入了動態(tài)卷積[18]，加強特征的提取能力，從而降低IDSW的轉(zhuǎn)化次數(shù)。由于ResNet網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，特征提取需要消耗大量時間，為滿足車輛跟蹤的實時性需求，選取了網(wǎng)絡(luò)結(jié)構(gòu)相對比較簡單的Shufflenet網(wǎng)絡(luò)[19]，對ResNet網(wǎng)絡(luò)進行替換。此外，輕量級特征提取網(wǎng)絡(luò)造成精度損失較大，選擇將原網(wǎng)絡(luò)中的靜態(tài)卷積改為動態(tài)卷積，并通過實驗驗證加入動態(tài)卷積的輕量級特征提取網(wǎng)絡(luò)對跟蹤性能提升的有效性。

為提升特征提取網(wǎng)絡(luò)的表達效果，首先將ResNet網(wǎng)絡(luò)中的靜態(tài)卷積替換為動態(tài)卷積，具體操作如圖2所示，通過注意力機制思想，根據(jù)不同圖像的輸入特征動態(tài)生成相應(yīng)卷積核(Dy-Conv)[20]，利用生成的動態(tài)卷積核更新濾波器，并在圖像上滑動，將權(quán)重矩陣與輸入作內(nèi)積處理以提取相關(guān)特征。由于原ResNet網(wǎng)絡(luò)是由多個殘差塊構(gòu)成，因此，在做內(nèi)積之前還需要將原特征圖進行降維處理，然后將二者進行拼接，經(jīng)Relu函數(shù)處理后，作為殘差模塊的輸出。構(gòu)成基于動態(tài)卷積的ResNet(ResNet with Dynamic Convolution)特征提取網(wǎng)絡(luò)，簡稱Dy-ResNet特征提取網(wǎng)絡(luò)。

圖2 基于動態(tài)卷積的Resnet部分結(jié)構(gòu)

然而，ResNet網(wǎng)絡(luò)結(jié)構(gòu)本身相對復(fù)雜，對特征進行提取時需要消耗大量的時間，影響了跟蹤的實時性。因此，為了提升跟蹤速度，采用更加輕型的Shufflenet特征提取網(wǎng)絡(luò)，由于在該網(wǎng)絡(luò)中使用了通道分離操作，大大減少網(wǎng)絡(luò)分支，節(jié)約了計算成本。由于網(wǎng)絡(luò)結(jié)構(gòu)簡單，在特征提取時含有大量噪聲干擾，影響實驗效果，在不影響Shufflenet整體網(wǎng)絡(luò)結(jié)構(gòu)的條件下，將其靜態(tài)卷積替換為動態(tài)卷積。ResNet與加入動態(tài)卷積的Shufflenet網(wǎng)絡(luò)相比，在模型精度沒有太大損失的情況下，加快特征提取速度，提升跟蹤的實時性。部分基于動態(tài)卷積的Shufflenet(Shufflenet with Dynamic Convolution)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，簡稱Dy-Shufflenet。

圖3 基于動態(tài)卷積的Shufflenet部分結(jié)構(gòu)

最后通過采用veri數(shù)據(jù)集對加入動態(tài)卷積前后的ResNet與Shufflenet特征提取網(wǎng)絡(luò)進行訓(xùn)練[21]，得到車輛的重識別模型，并將其導(dǎo)入到車輛的跟蹤算法中，用作車輛的表觀特征提取，對于圖3檢測框中每一輛車都會得到一組128維的特征向量，用作后續(xù)車輛跟蹤的相似度計算。

1.3 車輛跟蹤的實現(xiàn)

為了實現(xiàn)對車輛的實時魯棒跟蹤，首先需要對當前視頻中的車輛進行檢測，得到各個車輛的運動信息，即候選框參數(shù)，將其作為跟蹤模型的初始化，利用卡爾曼濾波對目標車輛的候選框進行預(yù)測。同時，為降低由遮擋問題帶來的IDSW，提高跟蹤效率，采用基于Dy-Shufflenet特征提取模型對檢測框中車輛的表觀特征進行提取，即每個檢測框中車輛都會得到一組128維的特征向量，將其用于相鄰幀間車輛的相似度計算。當目標首次出現(xiàn)，則為其分配一個卡爾曼跟蹤器，更新相應(yīng)參數(shù)值；若該目標并非首次出現(xiàn)，則計算前后兩幀的車輛運動特征的馬氏距離和表觀特征的余弦距離，最后采用匈牙利算法利用目標車輛的運動特征與表觀特征進行關(guān)聯(lián)。當前后幀間的對應(yīng)目標成功匹配，則更新卡爾曼濾波器參數(shù)值，同時對下一幀該目標出現(xiàn)的位置進行預(yù)測，并將檢測框中的目標特征轉(zhuǎn)為128維的特征向量儲存下來；而對于沒有匹配成功的檢測結(jié)果，則將其定義為新目標，并為其分配新的卡爾曼濾波器進行后續(xù)幀預(yù)測；倘若出現(xiàn)沒有匹配的跟蹤結(jié)果，則可能由于遮擋使得車輛暫時消失而沒有被檢測出來，那么繼續(xù)采用對應(yīng)的卡爾曼濾波器進行下一幀的預(yù)測而保持當前的特征不變，當連續(xù)6幀后仍未匹配成功，則將其刪除，并判定其已經(jīng)從視線中消失。跟蹤整體流程如圖4所示。

圖4 車輛跟蹤結(jié)構(gòu)

2 實 驗

2.1 實驗環(huán)境及參數(shù)設(shè)置

實驗采用Pytorch深度學(xué)習(xí)框架，以Win10作為操作系統(tǒng)，GPU型號為GTX 1660Ti，處理器為intel core i7-9700。訓(xùn)練重識別模型所采用的訓(xùn)練數(shù)據(jù)集為veri，該數(shù)據(jù)集是利用20臺不同角度的攝像機，耗時24 h拍攝而成，共含有776輛車的圖像50 000多張。相同的車輛會在不同攝像機視角出現(xiàn)，經(jīng)過處理后的數(shù)據(jù)集中包含的每個角度圖片相對比較均勻，大概在6張左右。為提升ID特征識別的準確效果，從不同角度為每輛車挑選40～60張圖片，構(gòu)成訓(xùn)練集，利用訓(xùn)練的重識別模型進行跟蹤性能評估。

2.2 模型訓(xùn)練過程

1)加載ResNet101預(yù)訓(xùn)練模型，進行權(quán)值初始化；

2)輸入veri訓(xùn)練數(shù)據(jù)集，分別使用ResNet，Shufflenet，Dy-ResNet以及Dy-Shufflenet重識別算法進行卷積層和池化層處理，完成圖像特征提取和壓縮；

3)將提取的特征圖像傳入RPN，經(jīng)過處理得到候選區(qū)域；

4)將候選區(qū)域和特征圖傳入全連接層進行識別分類。

2.3 實驗數(shù)據(jù)及分析

利用公開的UA-DETRAC車輛數(shù)據(jù)集對跟蹤性能進行評價[22]，并驗證文中所提車輛跟蹤方法的有效性。該數(shù)據(jù)主要拍攝于北京和天津的24個不同道路、天橋等地，視頻總量超過14萬幀，共含有8 250輛車以及121萬個標記邊界框，其中包含了晴天、雨天、夜間及多云4個天氣場景。

實驗選取常用的跟蹤評價指標：MOTA(Multiple Object Tracking Accuracy)、MOTP(Multiple Object Tracking Precision)、MT(Mostly Tracked)、ML (Mostly Lost)、ID Switch、FM (Fragmentation)、FP (False Positive)以及FN (False Negative)。通過計算8個指標來衡量跟蹤算法的有效性。其中，MOTA是衡量多目標跟蹤過程中所有發(fā)生的匹配錯誤指標；MOTP主要量化檢測器的定位精度；MT表示真實目標與跟蹤結(jié)果至少在80%的時間內(nèi)能夠成功匹配的數(shù)量占所有被跟蹤目標的比例；ML表示真實目標與跟蹤結(jié)果在小于20%的時間內(nèi)匹配成功的數(shù)量占所有跟蹤目標的百分比；ID Switch表示為真實目標所分配的ID發(fā)生變化的次數(shù)；FM表示在跟蹤過程中被中斷的次數(shù)；FN表示模型將正類樣本預(yù)測為負類,而FP則是模型將負類樣本預(yù)測為正類。

對于給定的車輛視頻，首先利用基于深度學(xué)習(xí)的車輛檢測算法，得到檢測輸出結(jié)果，并對框中的目標進行表觀特征與運動特征提取，并通過計算前后兩幀目標運動特征與表觀特征的相似度，采用匈牙利算法對度量值進行最小權(quán)值匹配，完成數(shù)據(jù)的關(guān)聯(lián)，實現(xiàn)車輛跟蹤。為了對比不同特征提取網(wǎng)絡(luò)的重識別跟蹤算法對跟蹤性能影響，隨機挑選了視頻中含有遮擋車輛的片段，利用基于注意力機制與多尺度融合的車輛檢測算法進行初始化檢測，分別使用ResNet，Shufflenet，Dy-ResNet以及Dy-Shufflenet重識別模型與卡爾曼濾波相結(jié)合實現(xiàn)對遮擋車輛的跟蹤，最終得到在不同重識別方法下的對測試集中40個視頻序列(其中包含車輛個數(shù)為3 300，幀數(shù)為54 723，標注框個數(shù)為37萬)的跟蹤評價結(jié)果，具體實驗結(jié)果數(shù)據(jù)如表1所示。

從表1可以看出，采用ResNet方法時MOTA的值達到了77.83%，跟蹤速度僅為20幀/s，隨著動態(tài)卷積的加入，Dy-ResNet的MOTA有了明顯提升，達到了82.57%，但跟蹤速度卻降低了25%。而采用輕量級Shufflenet方法的MOTA值只有74.54%，但跟蹤速度卻達到了27幀/s。雖然Dy-Shufflenet的重識別方法與Shufflenet相比，跟蹤速度僅僅相差了2幀/s，但MOTA值卻提升了5.71%。此外，與優(yōu)化前的ResNet方法相比，MOTA達到了80.25%，比ResNet特征提取方法提高了2.42%，并且IDSW也有了顯著降低，減少了近10%，優(yōu)化后的跟蹤速度提升了25%，表明文中提出的基于Dy-Shufflenet的車輛跟蹤方法具有一定抗遮擋性與實時性。

為進一步探究ResNet與Dy-Shufflenet的抗遮擋性能，隨機選取了兩段含有遮擋車輛的視頻序列，視頻跟蹤效果如圖5所示。其中，實線跟蹤框為文中跟蹤算法的跟蹤結(jié)果，虛線跟蹤框為傳統(tǒng)的ResNet重識別跟蹤結(jié)果。

由圖5(a)可知，在ID為32的車輛(箭頭所指)被遮擋之前，兩種算法的跟蹤效果基本保持一致；在經(jīng)過ID為27的車輛時被遮擋，導(dǎo)致ID為32的跟蹤框暫時消失；圖5(b)則是ID為32的車輛在被遮擋后重新出現(xiàn)時，傳統(tǒng)的ResNet重識別算法出現(xiàn)了跟蹤框的部分偏差，只能在大體上對車輛進行跟蹤，而文中Dy-Shufflenet重識別算法仍然能夠進行準確框選。兩者在基于重識別特征提取方法都能夠進行匹配的同時，也得益于多尺度融合與注意力機制的車輛檢測算法對其跟蹤軌跡進行校正的作用，表明文中的跟蹤方法保持了良好的魯棒性。

由圖5(c)可知，在ID為37(箭頭所指)的出租車被遮擋之前，兩種跟蹤算法賦予的ID相同；經(jīng)ID為39的公交車長時間遮擋，圖5(d)中原出租車再次出現(xiàn)時，傳統(tǒng)的ResNet重識別算法會導(dǎo)致目標ID發(fā)生變化，使得ID由37轉(zhuǎn)化為45，而文中Dy-Shufflenet重識別算法仍然能夠賦予準確的ID標識，實現(xiàn)準確跟蹤。表明當遇到長時間遮擋情況時，文中跟蹤方法仍能夠準確對目標進行跟蹤，魯棒性更強。

此外，分別采用ResNet與Dy-Shufflenet方法對圖5中的兩段視頻跟蹤效果進行定量分析，實驗結(jié)果如表2所示。從表2可以看出，對于第一個視頻片段，文中方法的MOTA值比ResNet提高了4.4%，其中IDSW降低了13%，F(xiàn)P與FN分別降低了9%和20.3%，同時，跟蹤速率提升了35%;而對于第二個視頻片段，雖然該片段中車輛較多，但該方法仍優(yōu)于ResNet方法。

圖5 ResNet與Dy- Shufflenet對遮擋目標重識別效果示例

表2 不同視頻序列跟蹤評價比對結(jié)果

3 結(jié) 論

1)車輛之間存在遮擋問題為車輛的檢測跟蹤帶來嚴重干擾，對于交通管理部門而言，準確實時獲取車輛信息十分必要。然而在復(fù)雜的交通場景下極易受到外界因素的影響，無法滿足持續(xù)魯棒的跟蹤需求。

2)針對車輛之間的遮擋與實時性問題，提出了卡爾曼濾波與動態(tài)卷積的輕量化車輛重識別方法實現(xiàn)對車輛的跟蹤，并在UA-DETRAC車輛數(shù)據(jù)集上進行實驗測試和分析，實驗結(jié)果顯示該跟蹤方法與傳統(tǒng)的ResNet重識別跟蹤算法相比，MOTA提升了2.42%，IDSW明顯降低了10%，速度也提升了25%。

3)文中提出的車輛跟蹤算法在具有一定抗遮擋能力的同時，還能滿足實時性需求，從而為交通管理部門及時有效地獲取交通信息和智能化交通管控提供強有力的支撐。