胡隨芯 常艷昌 楊俊 章振原

（1.武漢理工大學(xué)，武漢 430070；2.現(xiàn)代汽車零部件技術(shù)湖北省重點實驗室，武漢 430070；3.湖北三環(huán)車橋有限公司，谷城 441700）

1 前言

多目標跟蹤可為智能汽車決策規(guī)劃、控制執(zhí)行提供可靠的依據(jù)[1]，有離線和在線兩種方式，在線方法實時性好，適用于高速場景，但其易受到目標遮擋和檢測器漏檢、誤檢的影響，因此設(shè)計魯棒性強的特征關(guān)聯(lián)模型十分重要。為解決在線多目標跟蹤中的難題，近年來許多學(xué)者進行了大量研究。E.Bochinski[2]等根據(jù)高精度檢測結(jié)果，將前、后幀的交并比（Intersection Over Union，IOU）作為相似性度量參數(shù)設(shè)計了一種高速跟蹤算法，該算法耗時極短，但只采用了單一度量模型，無法應(yīng)對物體變形較大及目標相互遮擋的場景。A.Bewley[3]等提出一種簡單的在線實時跟蹤（Simple Online and Realtime Tracking，SORT）方法，將卡爾曼濾波引入圖像空間，使用軌跡預(yù)測的邊界框與檢測邊界框重合率作為相似性度量參數(shù)。N.Wojke、A.Bewley[4]等對SORT算法進行改進，提出了DeepSort 算法，利用深度神經(jīng)網(wǎng)絡(luò)提取行人外觀特征，跟蹤準確性明顯提升，但實時性不如SORT 算法。S.Sharma 等人[5-6]利用深度神經(jīng)網(wǎng)絡(luò)提取跟蹤目標的3D邊界框，將二維圖像擴展到三維空間，分別計算目標在2D、3D 空間的相似性。G.Gunduz[7]等人提出了一種輕量級的多目標跟蹤算法，融合目標RGB顏色直方圖和檢測框尺寸相似性構(gòu)造關(guān)聯(lián)矩陣，跟蹤速度較其他算法快6～20 倍，但該算法只關(guān)注單一RGB 外觀特征，無法解決光照變化、陰影、遮擋等問題。

綜上，多目標跟蹤算法研究已取得較大進展，但在高速場景下，由于車輛移動速度快、目標相似度高，為了保證跟蹤的魯棒性，除了外觀模型，還應(yīng)注重運動模型和尺寸模型的判別能力。因此，本文融合HSV顏色直方圖和HOG 方向梯度直方圖構(gòu)造目標外觀相似性模型，彌補單一顏色特征對光照、陰影敏感性強的缺點。利用卡爾曼濾波對已有的跟蹤軌跡進行預(yù)測，構(gòu)建預(yù)測與檢測間的位置相似性模型和尺寸相似性模型，同時針對預(yù)測超出圖像邊界框?qū)е孪嗨菩远攘坎粶蚀_的問題提出解決方法，以減少目標因相互遮擋造成跟蹤失敗等問題。

2 跟蹤算法框架

本文算法采用逐幀關(guān)聯(lián)方式，利用安裝在移動車輛上的單目相機獲取車輛前景區(qū)域圖像序列其中n為圖像的數(shù)量，將t時刻圖像It作為卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的輸入，輸出當前時刻檢測結(jié)果集合，其中為t時刻第i個目標檢測框，Nt為檢測框的數(shù)量，的表達式為：

式中，()為檢測框的左上角坐標；分別為檢測框的寬度和高度；為檢測框的置信度。一個物體可能對應(yīng)多個檢測框，因此本文先采用非極大值抑制（Non-Maximum Suppression，NMS）[8]選取置信度最高的檢測框，從而除去冗余檢測，并融合多種特征模型設(shè)計相似性度量矩陣，利用匈牙利二分圖匹配將t時刻檢測與(t-1)時刻軌跡關(guān)聯(lián)，算法框圖如圖1所示。

圖1 本文采用的算法框架

2.1 卡爾曼濾波

本文基于卡爾曼濾波進行運動車輛跟蹤，目標的運動方程和觀測方程為：

式中，xt、xt-1分別為t時刻和(t-1)時刻目標運動狀態(tài)變量；yt為t時刻目標觀測變量；F為狀態(tài)轉(zhuǎn)移矩陣；ut-1為過程噪聲，滿足正態(tài)分布且其協(xié)方差為Q；H為觀測矩陣；wt測量噪聲，滿足正態(tài)分布且其協(xié)方差為R。

卡爾曼濾波假設(shè)目標處于勻速直線運動狀態(tài)，因此對應(yīng)的噪聲協(xié)方差矩陣為單位對角陣。給定上述參數(shù)后，根據(jù)卡爾曼濾波遞推可得到預(yù)測的狀態(tài)方程：

預(yù)測的狀態(tài)協(xié)方差矩陣為：

卡爾曼增益方程為：

更新后的狀態(tài)方程和協(xié)方差矩陣分別為：

式中，xt-1/t-1為(t-1)時刻的最優(yōu)估計狀態(tài)；xt/t-1為t時刻的預(yù)測狀態(tài)；Pt-1/t-1為(t-1)時刻更新后的協(xié)方差矩陣；Pt/t-1為t時刻的誤差協(xié)方差預(yù)測矩陣；Kt為t時刻的卡爾曼增益；為t時刻最優(yōu)估計狀態(tài)；為t時刻最優(yōu)估計協(xié)方差矩陣。

目標的狀態(tài)變量可以表示為xt=(x,y,w,h,vx,vy,vw,vh)T，其中x、y為目標中心在2個坐標軸方向的投影分量，vx、vy為目標運動速度在2 個坐標軸方向的分量，w、h分別為目標包圍框的寬度和高度，vw、vh分別為目標包圍框?qū)挾?、高度的變化率。目標觀測變量yt可由檢測邊界框的信息得到，yt=(xt,yt,wt,ht)T。在卡爾曼濾波的初始階段，可將目標的速度初始化為0。得到目標的初始狀態(tài)后，根據(jù)后續(xù)幀中的檢測結(jié)果利用卡爾曼濾波對目標狀態(tài)不斷預(yù)測、更新，該過程對應(yīng)目標跟蹤過程。

2.2 關(guān)聯(lián)特征設(shè)計

2.2.1 外觀相似性

HSV顏色直方圖能夠直觀表達物體色彩和色調(diào)，更類似于人類視覺。HOG特征是一種描述圖像局部紋理的特征，通過統(tǒng)計圖像局部區(qū)域的梯度直方圖構(gòu)成圖像特征?？紤]到汽車具有相對穩(wěn)定的結(jié)構(gòu)，其圖像的局部結(jié)構(gòu)可以用梯度邊緣分布很好地描述，為保證在提取圖像顏色信息的同時也能提取圖像紋理信息，本文將HSV特征和HOG特征進行融合來描述軌跡與檢測之間的外觀相似度，融合后的外觀特征用FH來描述：

式中，f1、f2分別為長度為256維的HSV特征和長度為36維的HOG特征向量，融合后的特征維度為292；ω1、ω2分別為f1、f2的權(quán)重，本文中令ω1=ω2=0.5。

為了避免不同數(shù)量級的特征在融合時數(shù)量級大的特征淹沒數(shù)量級小的特征，在此將兩種特征進行正則化，然后按照各自的權(quán)重進行加權(quán)拼接得到融合后的外觀特征FH。采用卡方距離（Chi-Square）計算目標Di和軌跡Tj的外觀相似性：

分別利用HSV顏色直方圖模型、HSV顏色直方圖融合HOG 特征模型計算圖2a 和圖2b 中同一目標的相似度，從圖中可以看出，同一目標光照情況變化較大。使用單一HSV顏色特征計算相似度為0.26，而使用融合后的外觀特征計算相似度為0.14，由式（10）可知，卡方距離越小，相似度越高。顏色直方圖對目標旋轉(zhuǎn)和部分遮擋具有較強的適應(yīng)能力，而HOG直方圖對光照變化具有較高魯棒性，融合顏色和紋理的外觀特征可更加準確地反映目標間的相似性，為目標跟蹤提供更可靠的關(guān)聯(lián)。

圖2 外觀相似度比較

2.2.2 尺寸相似性

尺寸相似性用來描述當前幀軌跡邊界框與檢測邊界框的尺寸差異。與其他低速跟蹤應(yīng)用（如傳統(tǒng)行人跟蹤）相比，高速場景中移動相機獲取的圖像放大了檢測框幾何變化，會導(dǎo)致檢測的邊界框大于或者小于物體的實際尺寸，因此不直接比較兩幀檢測框之間的相似性，而是將當前幀的跟蹤軌跡根據(jù)卡爾曼濾波外推到下一幀，盡量減小移動速度較快帶來的目標尺寸差異。由檢測框信息可得Bbox=(x,y,w,h)T，定義尺寸參數(shù)為z=(w,h)T，則t時刻第i個檢測目標尺寸參數(shù)為zi=(wi,hi)T，將(t-1)時刻第j個跟蹤目標邊界框外推到t時刻，有zj=(wj,hj)T，計算zi與zj之間的尺寸相似度：

將軌跡邊界框外推到下一幀時，若目標出現(xiàn)在圖像邊緣區(qū)域，預(yù)測的邊界框可能超出圖像區(qū)域，而檢測器輸出的檢測框只在圖像區(qū)域內(nèi)，如仍采用預(yù)測的邊界框會導(dǎo)致相似性判斷不準確，因此需去除超出圖像區(qū)域的預(yù)測部分，只保留圖像區(qū)域內(nèi)的預(yù)測結(jié)果。假設(shè)圖像的寬度為W，高度為H，檢測框可改寫成Bbox=(x1,y1,x2,y2)T，其中x2=x1+w、y2=y1+h，根據(jù)圖像框架限制更新Bbox：

根據(jù)式（12）對第j個軌跡尺寸參數(shù)zj=(wj,hj)T進行更新，，其中，分別為更新后的軌跡邊界框的寬度、高度，分別為更新后的軌跡邊界框左上角和右下角坐標。將更新后的結(jié)果帶入式（11）計算軌跡與檢測的尺寸相似度：

圖3 顯示了圖像序列第133 幀～第136 幀中貨車的檢測邊界框與預(yù)測邊界框的寬度變化，圖像寬640 像素，高480像素。從圖3中可以看出，貨車位于圖像區(qū)域邊緣，上一幀預(yù)測的邊界框超出了圖像區(qū)域，將會導(dǎo)致同一目標檢測框與預(yù)測框尺寸相似性存在較大誤差。將超出區(qū)域的部分去掉，更新后的邊界框?qū)挾雀咏斍皫臋z測框?qū)挾?，越小，目標的尺寸相似度越高。若不更新預(yù)測邊界框計算，第135 幀和第136 幀中目標尺寸的相似度為0.051 2，更新后尺寸相似度為0.016 7，因此調(diào)整后的尺寸相似度在跟蹤過程中能更準確地判斷目標間的關(guān)聯(lián)性。

圖3 連續(xù)幀邊界框尺寸

2.3 基于多特征融合的數(shù)據(jù)關(guān)聯(lián)

對于在線多目標跟蹤，數(shù)據(jù)關(guān)聯(lián)的目的是將當前幀的檢測框分配給已存在的軌跡，本文根據(jù)外觀、尺寸、位置3個方面的相似性來構(gòu)造相似性度量矩陣，從而將目標與軌跡相關(guān)聯(lián)。假設(shè)截止到t時刻，跟蹤器在此刻輸出的軌跡集合T為{T1,T2,…,TN}，當前幀檢測器輸出檢測集合D={D1,D2,…,DM}，將Sij定義為目標Di和軌跡Tj之間的相似度，本文從外觀相似性、尺寸相似性以及位置相似性3個方面綜合比較目標和軌跡的相似性，。其中外觀和尺寸相似性已在2.2 節(jié)中給出，位置相似性則用軌跡預(yù)測框與檢測框之間的交并比（IOU）來構(gòu)造，位置相似性計算方式為：

式中，Sarea(i)為第i個檢測目標的邊界框面積；為第j個跟蹤軌跡的預(yù)測更新后邊界框的面積；為第i個檢測框與第j個預(yù)測更新后邊界框的重合面積。

綜合以上特征，構(gòu)造目標Di和軌跡Tj之間的相似度Sij，由特征線性加權(quán)求和得到：

式中，λ1、λ2、λ3分別為各特征對應(yīng)的權(quán)重，λ1+λ2+λ3=1。

本文開展了大量的窮舉試驗，發(fā)現(xiàn)當λ1=0.2、λ2=0.3、λ3=0.5 或在此附近輕微波動時，取得的跟蹤效果最好。

根據(jù)第i個目標Di和軌跡Tj之間的相似度Sij構(gòu)造M個檢測與N個軌跡之間的關(guān)聯(lián)矩陣SM×N：

式（16）的最優(yōu)數(shù)據(jù)關(guān)聯(lián)可通過匈牙利二分圖算法求解，其目標是最小化總體關(guān)聯(lián)的代價。

2.4 目標狀態(tài)更新

匹配完成時可能出現(xiàn)兩種情況，即存在未匹配的目標或存在未匹配的軌跡。

存在未匹配的目標，可能是新目標出現(xiàn)或檢測器誤檢造成的。對此，本文規(guī)定若連續(xù)T1幀檢測到同一目標，則認為出現(xiàn)新目標，為其創(chuàng)建新的軌跡并將其加入跟蹤列表，初始化目標的速度為0。若連續(xù)T1幀未檢測到，則判斷為誤檢并刪除該目標。T1越大，對誤檢判斷越準確，但也會造成正常出現(xiàn)的軌跡延遲，因此本文設(shè)T1=2。

存在未匹配的軌跡，可能是舊目標消失、檢測器漏檢或目標被遮擋。針對這種情況，本文規(guī)定若連續(xù)T2幀未檢測到同一目標，則認為該目標消失，將其從軌跡列表中刪除。若在T2幀中檢測到了目標，則判斷為漏檢或遮擋，利用卡爾曼濾波預(yù)測作為下一幀的狀態(tài)直至重新檢測到目標。T2越大，對漏檢以及遮擋判斷越準確，但也會對正常消失的軌跡造成延遲，因此本文設(shè)置T2=3。

3 試驗結(jié)果與分析

本文試驗平臺配置Intel i5-7200U 處理器，8 GB 內(nèi)存，運行Python 3.5。采用KITTI[9]數(shù)據(jù)集和自采的廣州番禺區(qū)高速公路數(shù)據(jù)集：KITTI數(shù)據(jù)集中序列2、3、4、5、6、8、10、11、12、18、20 為車輛快速移動場景，基本滿足本文高速路車輛多目標跟蹤的要求，記作KITTI-Car 類數(shù)據(jù)集；自采的高速路數(shù)據(jù)集共1 499幅圖像，其中698幅作為訓(xùn)練集，801 幅作為測試集，使用相機的幀率為30 幀/s。KITTI數(shù)據(jù)集利用RRC[10]網(wǎng)絡(luò)獲取檢測結(jié)果，自采的高速路數(shù)據(jù)集利用YOLOv3[11]網(wǎng)絡(luò)獲取檢測結(jié)果。

采用the CLEAR MOT Metrics[12]對算法進行評估，包括跟蹤對象的數(shù)量至少占生命周期的比例（MT）>80%、跟蹤對象的數(shù)量不到生命周期的比例（ML）>20%、多目標跟蹤正確率（MOTA）、多目標跟蹤準確率（MOTP）、身份混淆數(shù)（IDS）、平均每幀運行的時間（runtime）。其中，MOTA 是綜合性指標，ML、IDS、runtime 越小越好，MT、MOTA、MOTP越大越好。

為定量分析本文提出算法的有效性，統(tǒng)計KITTICar類數(shù)據(jù)集的跟蹤結(jié)果，如表1所示?？梢钥闯觯疚乃惴ň哂休^高的準確率，綜合性能較好。但不同序列中檢測器漏檢、誤檢及目標遮擋等導(dǎo)致本文算法在各序列上的表現(xiàn)有較大差異，其中序列11、20場景中目標數(shù)量龐大，目標相互交錯、遮擋嚴重，跟蹤效果較差。

表1 KITTI-Car類本文算法測試結(jié)果

將本文算法與其他經(jīng)典算法在KITTI-Car 類數(shù)據(jù)集上進行對比，結(jié)果如表2 所示。SORT 跟蹤算法雖然運行速度快，但因其只將IOU 作為關(guān)聯(lián)依據(jù)，在目標相互遮擋時易產(chǎn)生錯誤跟蹤，DeepSort算法將深度學(xué)習(xí)得到的特征用作目標關(guān)聯(lián)依據(jù)，跟蹤正確率提高，但也拖慢了跟蹤速度。本文提出的基于多特征融合的多目標跟蹤算法在綜合性能評價指標上優(yōu)于其他算法，并且在跟蹤正確率和跟蹤速度上取得了較好的平衡。

表2 KITTI-Car類不同跟蹤算法測試結(jié)果

為評估本文方法中不同關(guān)聯(lián)成分的影響，在自采高速路數(shù)據(jù)集上進行了驗證，結(jié)果如表3所示。表中pose、app、shape分別代表位置、外觀和尺寸3個方面的相似度模型，從表3中可以看出，對檢測結(jié)果使用非極大值抑制（NMS）顯著提高了跟蹤正確率，加入外觀特征后，IDS指標明顯降低。融合多種特征進行關(guān)聯(lián)后，雖然跟蹤速度下降，但MOTA、MT、ML、IDS逐漸提升，而MOTP主要受標定和檢測結(jié)果影響，受跟蹤結(jié)果的影響較小。

表3 不同關(guān)聯(lián)成分在自采數(shù)據(jù)集上的跟蹤結(jié)果

對本文算法在實際道路場景進行定性分析，圖4、圖5 所示分別為采用SORT 算法和本文算法在KITTICar 類數(shù)據(jù)集序列4 上的部分測試效果，該場景車流量大、車輛嚴重遮擋?？梢钥闯觯琒ORT 算法由于只采用IOU 匹配，跟蹤效果較差，而本文提出的跟蹤算法對復(fù)雜的交通場景有較好的處理效果，跟蹤魯棒性更強。

圖4 SORT算法在KITTI-4數(shù)據(jù)集上的跟蹤效果

圖5 本文算法在KITTI-4數(shù)據(jù)集上的跟蹤效果

進一步在真實高速場景下對本文算法進行測試，圖6、圖7 分別給出了采用SORT 算法和本文算法在自采的廣州高速路數(shù)據(jù)集上的部分測試效果?？梢钥闯觯琒ORT 算法無法較好地應(yīng)對多幀漏檢的情形，易發(fā)生跟蹤丟失，而本文提出的處理策略使得目標在漏檢后重新出現(xiàn)時能持續(xù)在同一條軌跡上，具有更好的跟蹤效果。但本文算法是將目標檢測的結(jié)果直接作為觀測，因此尚存在一些不足：檢測器多幀漏檢時，無法持續(xù)穩(wěn)定地跟蹤目標；目標發(fā)生嚴重遮擋時，目標身份易混淆。

圖6 SORT算法在高速路數(shù)據(jù)集上的跟蹤效果

4 結(jié)束語

本文提出了基于多特征融合的多目標跟蹤算法，構(gòu)造簡潔高效的關(guān)聯(lián)模型，較好地解決了目標相互遮擋導(dǎo)致跟蹤失敗的問題。同時針對檢測器漏檢、誤檢，目標出現(xiàn)、消失等情形提出了處理策略。試驗結(jié)果表明，本文提出的車輛跟蹤方法在實際高速道路圖像序列中獲得了準確的跟蹤結(jié)果，且算法的運行速度滿足高速行車要求。但在目標嚴重遮擋的場景中該算法尚有不足，還需完善。