范婉舒，賴際舟，呂 品，鄭欣悅，鄭國慶，張 萸

(南京航空航天大學(xué)自動化學(xué)院，南京 211106)

0 引言

得益于深度學(xué)習(xí)的迅速發(fā)展，近年來計算機視覺技術(shù)在無人駕駛中的應(yīng)用越來越廣泛。目標(biāo)跟蹤算法是計算機視覺中的一個重要組成部分，為無人設(shè)備提供強大的感知能力。目標(biāo)跟蹤算法能夠在檢測的基礎(chǔ)上獲取目標(biāo)信息，對同類的不同目標(biāo)加以區(qū)分并持續(xù)跟蹤。

目標(biāo)跟蹤主要有生成式跟蹤和判別式跟蹤兩類。生成式跟蹤無需檢測信息，通過逐幀搜索比較提取到的特征，迭代得到跟蹤結(jié)果，如光流法、Meanshift、Camshift等。生成式跟蹤算法計算量較小，但在面對光照變換大、存在遮擋和變形的情況時精度明顯下降。

判別式跟蹤算法在目標(biāo)檢測的基礎(chǔ)上進行跟蹤，計算量較大，但較為魯棒且精度更高，是當(dāng)前的主流算法。判別式跟蹤算法可以分為基于相關(guān)濾波的算法和基于深度學(xué)習(xí)的算法。最小輸出均方誤差(Minimum Output Sum of Squared Error，MOSSE)算法首先將相關(guān)濾波引入到目標(biāo)跟蹤領(lǐng)域，在此基礎(chǔ)上核化相關(guān)濾波(Kernelized Correlation Filters，KCF)算法通過引入循環(huán)矩陣和嶺回歸算法，提升了跟蹤的性能。

隨著神經(jīng)網(wǎng)絡(luò)的提出，基于深度學(xué)習(xí)的跟蹤算法具有更優(yōu)的跟蹤效果。Ma C.等提出了分層卷積特征(Hierarchical Convolutional Features，HCF)視覺跟蹤算法，將VGG(Visual Geometry Group)網(wǎng)絡(luò)提取的特征與相關(guān)濾波結(jié)合，獲得了很好的跟蹤性能，但該算法對尺度變換較敏感。A.Bewley等提出了簡單在線實時跟蹤(Simple Online and Realtime Tracking，SORT)算法，降低了計算量，但身份變換次數(shù)較多。此后，A.Bewley等針對該問題，加入外觀特征度量與級聯(lián)匹配，提出了Deep-SORT算法，顯著減少了身份變換次數(shù)。

DeepSORT算法作為一種在線跟蹤方法，能夠滿足無人系統(tǒng)的實時性要求與精度要求，因此被廣泛應(yīng)用。文獻[11]通過調(diào)整DeepSORT外觀特征網(wǎng)絡(luò)結(jié)構(gòu)，降低了因遮擋造成的身份變換。文獻[12]通過引入長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)模型，實現(xiàn)了多車輛的實時準(zhǔn)確跟蹤，但當(dāng)目標(biāo)外觀特征改變時，這些方法產(chǎn)生的漏匹配較多，多目標(biāo)跟蹤準(zhǔn)確率下降。

在實際應(yīng)用中，基于圖像的目標(biāo)跟蹤只能提供圖像上的二維信息，而需要的往往是物體的三維信息。對此，傳統(tǒng)的方法是通過相機與激光雷達的對齊點云獲取圖像上的對應(yīng)深度，從而得到目標(biāo)的三維坐標(biāo)。然而，當(dāng)目標(biāo)在圖像中較小時，這種方法獲得的深度精度有限，甚至?xí)霈F(xiàn)無法獲取深度的情況。

針對以上問題，本文提出了一種基于改進DeepSORT的目標(biāo)跟蹤與定位算法，實現(xiàn)了對目標(biāo)的連續(xù)跟蹤定位。首先，在傳統(tǒng)DeepSORT算法中加入位置約束，依據(jù)漏匹配目標(biāo)在圖像中的位置信息再次匹配，有效減少因外觀變換導(dǎo)致的漏匹配，提高多目標(biāo)跟蹤準(zhǔn)確率。繼而，在跟蹤算法的基礎(chǔ)上，設(shè)計了基于目標(biāo)運動模型的相對定位算法，以解決目標(biāo)較小時定位失敗的問題，提高定位精度。

1 基于改進DeepSORT的目標(biāo)跟蹤與定位算法

本文通過加入位置約束與目標(biāo)運動模型，提出了一種基于改進DeepSORT算法的目標(biāo)跟蹤與定位算法，算法流程如圖1所示。傳統(tǒng)架構(gòu)在獲取視覺跟蹤信息后，通過對齊點云解算其相對位置。相較于此，本文的改進如下：1)對傳統(tǒng)DeepSORT算法的初步匹配結(jié)果依據(jù)位置約束再次匹配，減少漏匹配；2)對傳統(tǒng)相對定位方法得到的三維信息，根據(jù)運動模型得到其最優(yōu)估計，獲得最終的定位結(jié)果。

1.1 基于改進DeepSORT的目標(biāo)跟蹤算法設(shè)計

目標(biāo)跟蹤可以分為檢測與跟蹤兩部分，本文的檢測器為YOLOv3。YOLO(You Only Look Once)算法是一階段的檢測算法，相較于兩階段算法，檢測速度更快，更符合無人系統(tǒng)的實時性要求。YOLOv3是該系列算法的第三代，采用Darknet53作為特征提取網(wǎng)絡(luò)。Darknet53參考了ResNet的結(jié)構(gòu)，在網(wǎng)絡(luò)結(jié)構(gòu)中加入了殘差塊，增加了深度的同時，可以控制梯度的傳播，避免出現(xiàn)梯度爆炸或者梯度消失的問題。YOLOv3采用多尺度預(yù)測，通過上采樣融合了3個尺度上的信息，顯著提高了對小物體的檢測能力。跟蹤器采用加入位置約束的DeepSORT算法。

圖1 基于改進DeepSORT的目標(biāo)跟蹤與定位算法流程Fig.1 Flow of object tracking and positioning algorithm based on improved DeepSORT

1.1.1 傳統(tǒng)DeepSORT目標(biāo)跟蹤算法分析

目標(biāo)匹配分為兩階段，第一階段為級聯(lián)匹配，第二階段為交并比(Intersection-over-Union，IoU)匹配。在級聯(lián)匹配階段，通過平方馬氏距離和余弦距離構(gòu)造代價矩陣。同時，計算門控矩陣，用于判斷匹配是否可行，只有當(dāng)平方馬氏距離和余弦距離都在門控矩陣內(nèi)時，該匹配可行。計算得到代價矩陣和門控矩陣后，利用匈牙利算法，根據(jù)優(yōu)先級進行匹配，越小則優(yōu)先級越高。若大于最大存活幀數(shù)，則認為該目標(biāo)已不在場景中，刪除該目標(biāo)的跟蹤軌跡。

1.1.2 基于位置約束的改進DeepSORT算法設(shè)計

在實際應(yīng)用中，由于目標(biāo)自身的運動或者部分被遮擋，外觀特征變換較大，較易導(dǎo)致漏匹配。但由于目標(biāo)運動的連續(xù)性，其在圖像幀中的像素坐標(biāo)相差較小，可以據(jù)此再次進行匹配。改進Deep-SORT算法流程如圖2所示。

圖2 改進DeepSORT算法流程Fig.2 Flow of improved DeepSORT algorithm

對于未匹配跟蹤集中的跟蹤軌跡，尋找未匹配目標(biāo)集中距離其最近的檢測目標(biāo)。若其距離小于閾值，則認為是同一目標(biāo)，將(,)加入匹配集。其中，閾值為經(jīng)驗值，根據(jù)輸入圖像的大小決定。輸入圖像的尺寸越大，則閾值設(shè)定越高。基于位置約束的算法流程如表1所示。其中，位置距離通過像素坐標(biāo)(,)間的歐式距離來衡量，即

(1)

因此，改進算法的匹配流程為：對于跟蹤集與檢測集，首先計算代價矩陣與門控矩陣，并初始化匹配集與未匹配跟蹤集。與的設(shè)計沿用原始算法，通過平方馬氏距離與余弦距離構(gòu)建。

平方馬氏距離用于度量卡爾曼預(yù)測狀態(tài)量與最新的量測量之間的距離，即

(2)

其中，和表示第個跟蹤軌跡的狀態(tài)量的期望與協(xié)方差矩陣；表示第個檢測框的狀態(tài)量量測值。

表1 基于位置約束的匹配流程

余弦距離用于度量跟蹤軌跡與檢測框之間的外觀相似度，即

(3)

通過平方馬氏距離與余弦距離加權(quán)計算，通過兩者對應(yīng)的閾值、判斷得到。其中，、、的選取參考文獻[10]。

,=(,)+(1-)(,)

(4)

(5)

然后進行級聯(lián)匹配與IoU匹配，接著初始化未匹配目標(biāo)集，對于IoU匹配之后的未匹配跟蹤集與未匹配目標(biāo)集，計算其距離矩陣，依據(jù)位置約束再次進行匹配，以減少漏匹配。改進后的目標(biāo)匹配流程如圖3所示。

圖3 改進目標(biāo)匹配算法流程Fig.3 Flow of improved target matching algorithm

1.2 基于目標(biāo)運動模型的相對定位算法設(shè)計

通過相對定位算法計算目標(biāo)相對載體的位置。傳統(tǒng)的相對定位方法通過相機與激光雷達的標(biāo)定獲取目標(biāo)的位置信息，通過對齊點云獲取像素處對應(yīng)深度，進而解算出目標(biāo)相對位置。1.1節(jié)所述的改進DeepSORT算法對因外觀特征改變造成的漏匹配起到了改善作用，但還存在目標(biāo)較小時無法獲取深度進行定位的問題。因此，本文在目標(biāo)跟蹤的基礎(chǔ)上，構(gòu)建目標(biāo)運動模型，得到目標(biāo)運動狀態(tài)的最優(yōu)估計，以解決該問題。

卡爾曼濾波是一種優(yōu)化估計算法，結(jié)合當(dāng)前時刻的預(yù)測值與量測值得到當(dāng)前的最優(yōu)估計值。針對不同目標(biāo)，使用卡爾曼濾波估計其狀態(tài)，需要先對待估計對象建立運動模型。在本文中，定位目標(biāo)為行人。

行人在行進過程中，加速度較小，可以視為勻速直線運動。因此，該類目標(biāo)的運動模型為恒定速度模型。設(shè)行人在時刻的狀態(tài)為=[,]，其中為全局系(第一幀雷達系)下時刻行人相對載體的三維坐標(biāo)；為時刻行人的速度。和為已知量，描述時刻雷達系到全局系的變換。則在經(jīng)過Δ時間后，其狀態(tài)變換為+Δ=[+Δ·+-+Δ,]。則狀態(tài)轉(zhuǎn)移方程為

(6)

在測量中，通過對齊點云，得到當(dāng)前雷達系下目標(biāo)相對載體的三維坐標(biāo)。因此，本文中狀態(tài)方程及量測方程為

(7)

其中，和為噪聲，均服從高斯分布。

在實際試驗中，由于外參標(biāo)定精度有限，跟蹤目標(biāo)處對應(yīng)的深度值存在突變的情況。突變值造成的誤差會在狀態(tài)遞推器中累積，從而造成卡爾曼濾波器性能的下降。因此，本文在卡爾曼濾波器中加入殘差檢測器將突變值剔除。被剔除的突變值將不作為量測值輸入，該時刻的最優(yōu)估計值為一步預(yù)測值。

2 試驗驗證與分析

為了評估提出算法的性能，本文首先在交通監(jiān)測圖片序列的基礎(chǔ)上對改進跟蹤算法效果進行驗證，測試其在多目標(biāo)環(huán)境中的跟蹤性能。然后在無人車平臺上展開目標(biāo)跟蹤與相對定位試驗，綜合測試改進跟蹤算法與改進相對定位算法在實際情況下的性能。

2.1 基于圖片序列的目標(biāo)跟蹤算法驗證

為了驗證本文所提算法的有效性，將原始Deep-SORT算法作為對照，通過多目標(biāo)跟蹤準(zhǔn)確度(Multi-ple Object Tracking Accuracy，MOTA)衡量算法的性能，MOTA與漏報(False Negative，F(xiàn)N)、誤報(False Positive，F(xiàn)P)、身份變換(ID Switch，IDSW)以及真實值(Ground Truth，GT)相關(guān)，MOTA的計算公式為

(8)

本文選用兩組圖片序列對改進跟蹤算法的性能進行驗證。一組是移動載體在城市道路行駛過程中采集的序列，另一組則是城市道路中的交通監(jiān)控序列。在車輛轉(zhuǎn)彎過程中，會出現(xiàn)外觀特征改變的情況。由表2可知，改進算法的多目標(biāo)跟蹤準(zhǔn)確率提升了6.6%。

表2 基于圖片序列的原始算法與改進算法多目標(biāo)跟蹤準(zhǔn)確率

圖4顯示了原始算法及改進算法在序列二中的跟蹤結(jié)果，由圖4(a)與圖4(b)的對比可知：

相較于傳統(tǒng)DeepSORT算法，改進方法可以有效減少漏報，對于圖4(a)中62幀ID為20的目標(biāo)，其在轉(zhuǎn)彎前后的外觀特征出現(xiàn)了較大的變換，在第83幀中未能成功關(guān)聯(lián)，且在第84幀中被當(dāng)成新的目標(biāo)(ID為28)。而在圖4(b)中，改進算法通過位置信息實現(xiàn)對目標(biāo)轉(zhuǎn)彎前后的持續(xù)跟蹤。

(a) 原始算法跟蹤結(jié)果

(b) 改進算法跟蹤結(jié)果圖4 交通監(jiān)控序列處理結(jié)果對比Fig.4 Comparison of traffic monitoring sequence processing results

2.2 基于無人車平臺的目標(biāo)跟蹤與定位算法驗證

本文在無人車平臺上展開試驗，以驗證目標(biāo)跟蹤與相對定位算法的性能，試驗平臺與測試路線如圖5所示。其中，無人車搭載了Besos GX01微型主機、Intel RealSense D435i相機與Ouster OS1 64線激光雷達。各傳感器性能參數(shù)如表3所示。

圖5 無人車平臺及目標(biāo)跟蹤與定位試驗路線Fig.5 Unmanned vehicle platform and object tracking & positioning test route

表3 傳感器性能參數(shù)

2.2.1 目標(biāo)跟蹤算法試驗

本文在無人車平臺上采集三組數(shù)據(jù)以測試跟蹤算法的性能，包含光照變換、步態(tài)變換等情況。在試驗過程中，當(dāng)目標(biāo)經(jīng)過存在樹蔭路段時，光照產(chǎn)生變換，而在目標(biāo)轉(zhuǎn)彎時，其步態(tài)也會發(fā)生變換，這些情況都會造成目標(biāo)外觀特征的改變。試驗開始時，兩個行人相隔一段距離并排行走，距無人車平臺一定距離后，兩人朝相反方向轉(zhuǎn)彎，返回試驗開始地點。

在外觀改變的情況下，原始算法較易出現(xiàn)匹配失敗的情況，而改進算法依據(jù)位置信息對外觀改變的目標(biāo)進行匹配，減少了漏報。圖6所示為原始算法和改進算法的對比結(jié)果，在150～151幀中兩個目標(biāo)在轉(zhuǎn)彎前后其外觀特征出現(xiàn)了改變，原始算法的151幀中出現(xiàn)了漏報的情況，但目標(biāo)的位置變換較小，在改進算法中，目標(biāo)一在151幀中被成功匹配。根據(jù)表4，平均多目標(biāo)跟蹤準(zhǔn)確率提高了5.6%。對比表2與表4可知，在更為復(fù)雜的場景中，產(chǎn)生的漏報較多，原始算法的多目標(biāo)跟蹤率較低，改進算法對多目標(biāo)跟蹤準(zhǔn)確率的提升較大。

(a) 原始算法跟蹤結(jié)果

(b) 改進算法跟蹤結(jié)果圖6 目標(biāo)跟蹤算法對比Fig.6 Comparison of object tracking algorithm

表4 基于無人車平臺的原始算法與改進算法多目標(biāo)跟蹤準(zhǔn)確率

2.2.2 相對定位算法試驗

本文同時在無人車平臺上展開相對定位算法試驗。試驗過程中，目標(biāo)一手持全站儀棱鏡，行進路線與圖5相同。本文通過全站儀對無人車與跟蹤目標(biāo)進行定位，計算其相對位置，在相對定位算法試驗評估中提供位置基準(zhǔn)。

圖7所示為原始算法與改進算法的對比，選取全站儀解算軌跡作為基準(zhǔn)。解算得到雷達系下的坐標(biāo)，雷達系為軸向前、軸向左、軸向上的右手坐標(biāo)系。圖7(a)為相對定位結(jié)果對比，圖7(b)為相對定位誤差對比，綠色為全站儀提供的基準(zhǔn)位置，紅色為改進算法，藍色為原始算法。其中，相對定位誤差通過計算全站儀與相對定位算法解算坐標(biāo)的歐式距離得到。在實際試驗中，全站儀棱鏡與跟蹤目標(biāo)中心點在軸上存在不定偏差，因此在算法性能評估中不考慮軸。圖8所示為目標(biāo)較小情況下的定位效果對比圖。

(a) 相對定位結(jié)果對比

(b) 相對定位誤差對比圖7 相對定位算法對比Fig.7 Comparison of relative positioning algorithm

(a) 原始算法定位失敗情況

(b) 改進算法定位效果圖8 目標(biāo)較小情況下的定位效果對比圖Fig.8 Comparison of positioning results of small objects

根據(jù)基于無人車平臺的相對定位結(jié)果及定位誤差可以看出：

1)相較于傳統(tǒng)方法存在定位失效的情況，本文算法提高了定位的連續(xù)性。如圖8(a)所示，當(dāng)目標(biāo)在圖像中較小，原始算法無法獲取深度值時，目標(biāo)一沒有三維坐標(biāo)信息。在試驗中，定位失效導(dǎo)致圖7(a)中原始算法定位結(jié)果鋸齒較多，且存在突變值，與全站儀解算軌跡相差較大。改進算法根據(jù)之前的位置信息對目標(biāo)當(dāng)前的坐標(biāo)進行預(yù)測，成功解決了目標(biāo)較小時無法定位的問題，獲取的解算結(jié)果較為密集，圖7(a)中改進算法定位結(jié)果較為平滑，突變值被殘差卡方檢測器剔除，與全站儀解算軌跡相差較小。

2)相較于傳統(tǒng)方法定位精度較差的情況，本文算法提高了定位精度，如圖7(b)所示，改進算法的誤差曲線較原始算法波動范圍較小。試驗結(jié)果表明，原始算法的定位誤差為1.01m，而改進算法的定位誤差為0.38m，定位精度提升了62.4%。

3 結(jié)論

本文通過加入位置約束與目標(biāo)運動模型，提出了一種基于改進DeepSORT算法的視覺/激光雷達目標(biāo)跟蹤與定位算法。針對原始DeepSORT算法中由于目標(biāo)外觀特征相差較大而出現(xiàn)的漏匹配問題，本文設(shè)計了加入位置約束的改進DeepSORT算法，同時針對圖像中目標(biāo)較小時定位失敗的問題，設(shè)計了基于目標(biāo)運動模型的改進算法。試驗結(jié)果表明：

1)基于位置約束的改進DeepSORT算法能夠有效地減少漏匹配，提升了多目標(biāo)跟蹤準(zhǔn)確率；

2)基于目標(biāo)運動模型的相對定位算法能夠有效地解決目標(biāo)較小時定位失敗的問題，可以對目標(biāo)進行連續(xù)跟蹤，提升了定位精度。