陳 龍，朱程錚，蔡英鳳，王 海，李祎承

（1.江蘇大學(xué)汽車工程研究院，鎮(zhèn)江212013；2.江蘇大學(xué)汽車與交通工程學(xué)院，鎮(zhèn)江212013）

前言

智能汽車是一個(gè)包括感知、決策與控制的復(fù)雜系統(tǒng)，環(huán)境感知是路徑規(guī)劃和決策控制的重要前提，基于攝像頭的多目標(biāo)跟蹤是環(huán)境感知的關(guān)鍵內(nèi)容之一，對(duì)于車輛行駛、行人預(yù)判等高級(jí)駕駛輔助系統(tǒng)（advanced driving assistance system，ADAS）開發(fā)和自主駕駛的路徑規(guī)劃具有重要影響。

多目標(biāo)跟蹤算法常見為基于檢測(cè)算法的多目標(biāo)跟蹤，文獻(xiàn)［1］~文獻(xiàn)［3］中這些模型利用一個(gè)既定的檢測(cè)器識(shí)別物體，并在之后的圖像幀中將相同的物體關(guān)聯(lián)起來。該方法充分利用了基于深度學(xué)習(xí)的目標(biāo)檢測(cè)器的性能優(yōu)勢(shì)，如魯棒性強(qiáng)、平均精度高、速度快等，是目前主流的多目標(biāo)跟蹤方法。但是，此類多目標(biāo)跟蹤器并非完美無缺。它們往往依賴于復(fù)雜的關(guān)聯(lián)策略將檢測(cè)到的對(duì)象與歷史信息進(jìn)行關(guān)聯(lián)。而這種策略卻增加了訓(xùn)練、部署的復(fù)雜性。在實(shí)際使用中，此類多目標(biāo)跟蹤任務(wù)可以分為以下兩個(gè)獨(dú)立步驟：（1）對(duì)輸入幀進(jìn)行運(yùn)動(dòng)學(xué)模型建模和外觀建模，從而分別產(chǎn)生運(yùn)動(dòng)特征和外觀特征；（2）基于運(yùn)動(dòng)學(xué)特征與外觀特征以完成幀之間的目標(biāo)關(guān)聯(lián)。即此類算法往往在檢測(cè)結(jié)果后還需要兩個(gè)不同的特征，若僅僅使用一個(gè)特征提取網(wǎng)絡(luò)，難以產(chǎn)生兩全其美的特征，而若使用兩個(gè)獨(dú)立的網(wǎng)絡(luò)提取，又會(huì)導(dǎo)致模型過于復(fù)雜?；谝陨戏N種原因，此類算法往往存在跟蹤的實(shí)時(shí)性不足，需要使用抽幀法等額外方法以達(dá)到實(shí)際使用需求。

近年來，得益于深度學(xué)習(xí)的理論深入與方法的快速迭代，使得多目標(biāo)跟蹤領(lǐng)域得到進(jìn)一步的發(fā)展。最近文獻(xiàn)［4］和文獻(xiàn)［5］中提出了將關(guān)聯(lián)所使用的重識(shí)別算法的骨干網(wǎng)與檢測(cè)算法骨干網(wǎng)共用的方法。該類算法往往在一個(gè)檢測(cè)算法上增加一個(gè)重識(shí)別分支，有效降低了骨干網(wǎng)的參數(shù)量使多目標(biāo)跟蹤的實(shí)時(shí)性大幅提升，但卻存在身份切換次數(shù)（number of identity switches，IDSW）過大的問題，使得難以滿足實(shí)際使用需求。

針對(duì)多目標(biāo)跟蹤算法在準(zhǔn)確性與跟蹤速率存在的矛盾，本文中提出了一種準(zhǔn)確性高且滿足實(shí)時(shí)性需求的多目標(biāo)跟蹤算法。簡(jiǎn)單來說，就是將多目標(biāo)跟蹤問題簡(jiǎn)化為兩個(gè)并行任務(wù)：（1）完成一個(gè)檢測(cè)任務(wù)；（2）完成當(dāng)前檢測(cè)特征圖結(jié)果與上一幀身份的匹配。最后將兩個(gè)任務(wù)進(jìn)行交并比關(guān)聯(lián)，即可得到最終的多目標(biāo)跟蹤結(jié)果。具體來說，即通過骨干網(wǎng)，提取出當(dāng)前幀的對(duì)象特征，將其同步輸入至兩個(gè)分支結(jié)構(gòu)。分支1（即檢測(cè)分支）由一組并行的卷積模塊構(gòu)成，其作用是快速完成對(duì)于當(dāng)前圖像中的感興趣對(duì)象的檢測(cè)。分支2（即查詢分支）是一個(gè)由Transformer［6］組成的編碼-解碼器，作用是將當(dāng)前特征圖作為鍵值向量以獲取上一幀的身份特征在當(dāng)前幀的位置映射。最終，將檢測(cè)分支的檢測(cè)對(duì)象與查詢分支的身份對(duì)象進(jìn)行交并比匹配，即可完成對(duì)象身份分配與新身份的生成。最后將多目標(biāo)跟蹤模型集成到ROS（robot operating systems）［7］平臺(tái)，通過智能車部署的多目標(biāo)跟蹤算法能夠?qū)崿F(xiàn)各類復(fù)雜交通場(chǎng)景下的車與行人的實(shí)時(shí)跟蹤，多目標(biāo)跟蹤具體流程如圖1所示。

圖1 多目標(biāo)跟蹤具體流程圖

此外，為解決對(duì)象臨時(shí)消失的問題，還引入了記憶機(jī)制，即歷史消失的身份特征將被保持一個(gè)時(shí)間閾值K，并在消失后的K個(gè)連續(xù)幀中隨著上幀身份特征一并作為查詢向量而輸入至查詢分支中。雖然此方法會(huì)因輸入?yún)?shù)量的大幅提升而降低算法的速度，但卻有效降低了跟蹤過程中出現(xiàn)的身份切換次數(shù)。

本文的貢獻(xiàn)可歸納如下：（1）設(shè)計(jì)了兩個(gè)分支，將多目標(biāo)跟蹤算法拆分為兩個(gè)無影響的任務(wù)，檢測(cè)任務(wù)與查詢?nèi)蝿?wù)，并通過共有骨干網(wǎng)的方式大幅降低了網(wǎng)絡(luò)的參數(shù)量；（2）將跟蹤常見的軌跡關(guān)聯(lián)任務(wù)簡(jiǎn)化為當(dāng)前幀檢測(cè)對(duì)象與歷史對(duì)象在當(dāng)前圖中的位置映射的匹配，大幅降低了后處理的計(jì)算復(fù)雜度；（3）將多目標(biāo)跟蹤模型集成到ROS平臺(tái)，可通過智能車實(shí)現(xiàn)實(shí)時(shí)的車與人的跟蹤。

1 檢測(cè)分支與查詢分支

利用多分支組成的多目標(biāo)跟蹤模型，其最大優(yōu)勢(shì)是可以降低算法的時(shí)間復(fù)雜度和解決目標(biāo)外觀復(fù)雜變化的跟蹤問題。行人與車輛的多目標(biāo)跟蹤網(wǎng)絡(luò)由3部分組成：（1）通過特征提取網(wǎng)提取出含有感興趣物體特征的全局特征，得到一個(gè)高維特征圖；（2）檢測(cè)分支檢測(cè)出當(dāng)前幀的感興趣物體，通過熱圖的檢測(cè)與邊框的回歸，可以實(shí)現(xiàn)基于特征圖的對(duì)象檢測(cè)；（3）查詢分支完成歷史身份在當(dāng)前特征圖的位置查詢，用以確定當(dāng)前特征圖上的歷史對(duì)象。為加速計(jì)算，步驟2與步驟3并行計(jì)算。圖2為由卷積網(wǎng)絡(luò)組成的檢測(cè)分支結(jié)構(gòu)。圖3為查詢分支的編碼-解碼結(jié)構(gòu)。將特征圖進(jìn)行展平后輸入至編碼-解碼器中，利用Transformer結(jié)構(gòu)具有自相關(guān)查詢的機(jī)制，可以快速依據(jù)上一幀身份對(duì)象查詢出其在當(dāng)前幀的特征圖中所對(duì)應(yīng)的位置。

圖2 卷積網(wǎng)絡(luò)組成的檢測(cè)分支結(jié)構(gòu)圖

圖3 查詢分支的編碼-解碼結(jié)構(gòu)

特征提取網(wǎng)的作用是快速從圖中提取出所需要的圖像特征，基于深度神經(jīng)網(wǎng)絡(luò)的骨干網(wǎng)可以較為快速且高效地實(shí)現(xiàn)此項(xiàng)目?；谒俾逝c性能的考慮，本文中使用了ResNet50［8］作為特征提取網(wǎng)。為方便計(jì)量，不妨設(shè)當(dāng)前幀的輸入尺寸為3×H×W，因此，經(jīng)過特征提取網(wǎng)后的輸出尺寸為2048×H′×W′，其中

1.1 檢測(cè)分支

檢測(cè)分支主要依據(jù)熱圖響應(yīng)的原理得到相應(yīng)的目標(biāo)對(duì)象。然而依靠簡(jiǎn)單的resnet50會(huì)因?yàn)橄虏蓸哟螖?shù)過多導(dǎo)致像素信息的丟失，具體來說就是簡(jiǎn)單的多次下采樣會(huì)導(dǎo)致網(wǎng)絡(luò)失去對(duì)于小目標(biāo)的感知能力。為解決此問題，本文中將resnet50的每個(gè)中間層（即layer1~layer4）均作為輸出層，在保留全局特征的情況下獲取了對(duì)于小目標(biāo)的感知能力，并使用上采樣的方式完成特征對(duì)齊。如圖2所示，檢測(cè)分支由熱圖模塊、邊界模塊、矯正模塊等3部分構(gòu)成。熱圖模塊依靠中心點(diǎn)響應(yīng)［9］即可得出車輛與行人的圖像中心，而邊界模塊利用神經(jīng)網(wǎng)絡(luò)的回歸擬合可以得到相應(yīng)的對(duì)象邊框。由于卷積計(jì)算的過程中必然會(huì)導(dǎo)致不可逆的坐標(biāo)偏移，為此設(shè)置了矯正模塊以修正中心點(diǎn)的位置。

考慮到實(shí)際場(chǎng)景的目標(biāo)對(duì)象的中心點(diǎn)數(shù)遠(yuǎn)少于背景像素點(diǎn)，即車輛與行人的中心點(diǎn)像素?cái)?shù)與背景像素極不均衡，并且實(shí)際場(chǎng)景中的目標(biāo)變化較大，會(huì)存在大量的困難樣本。因而，采取focal-loss［10］作為訓(xùn)練損失函數(shù)以進(jìn)行中心點(diǎn)分支的訓(xùn)練。具體中心點(diǎn)損失函數(shù)Lh計(jì)算公式為

式中：N為圖片的批量輸入數(shù)；H?xy為中心點(diǎn)的預(yù)測(cè)值；α為正樣本（即車與行人）與負(fù)樣本（即不需要跟蹤關(guān)注的目標(biāo)）的平衡權(quán)重；β為簡(jiǎn)單樣本的訓(xùn)練權(quán)重降低的速率權(quán)重；Hxy為樣本真值。

考慮邊框與矯正模塊的估計(jì)更類似于一個(gè)回歸任務(wù)，故而對(duì)于邊界模塊使用L1損失進(jìn)行邊界框的損失訓(xùn)練，對(duì)矯正模塊亦使用L1損失函數(shù)進(jìn)行訓(xùn)練。具體邊框損失函數(shù)Lb與矯正損失函數(shù)Lm的計(jì)算公式為

式中：N為圖片的批量輸入數(shù)；b?i為邊界框的i預(yù)測(cè)值，其對(duì)應(yīng)的真值為bi；c?i為中心點(diǎn)i的預(yù)測(cè)值，ci為其對(duì)應(yīng)的中心點(diǎn)真值。

1.2 查詢分支

特征提取分支的網(wǎng)絡(luò)輸出為2048×H′×W′，考慮到Transformer隨著通道維度的增大將導(dǎo)致參數(shù)大幅提升，最終會(huì)嚴(yán)重降低計(jì)算速度，為此使用一組卷積使得輸出的通道維度降為512，即變?yōu)?12×H′×W′。但是Transformer結(jié)構(gòu)的輸入需要為一個(gè)二維張量，為此本文先將特征圖按行進(jìn)行展開，得到一個(gè)二維張量512×U，其中U=H′×W′?？紤]到對(duì)象數(shù)量的不確定性，將維度進(jìn)行變化，得到最終的輸入維度為N×512×U，其中N表示批量輸入的值，對(duì)于推理時(shí)，值為1。

Transformer的結(jié)構(gòu)更類似于一種鍵值匹配的關(guān)聯(lián)方式。利用這種特征，將前幀對(duì)象身份作為解碼器的查詢向量Q，當(dāng)前輸入作為鍵值向量K和V，由其內(nèi)部的多頭注意力機(jī)制，可以得到當(dāng)前的查詢向量與鍵值向量的關(guān)聯(lián)度，經(jīng)過多次計(jì)算可得最終的當(dāng)前幀中的歷史身份對(duì)象的映射位置。具體的多頭注意力公式如下：

式中dmodel為向量的維度。

在實(shí)際場(chǎng)景中，因?yàn)榻煌窙r復(fù)雜多變，行人常常出現(xiàn)被遮擋的情況，即同一對(duì)象在連續(xù)幀中并不連續(xù)。這就導(dǎo)致了僅僅使用上一幀身份對(duì)象作為查詢向量會(huì)導(dǎo)致?lián)p失很多歷史軌跡，對(duì)于自動(dòng)駕駛的安全性帶來了挑戰(zhàn)。為避免此類狀況的出現(xiàn)，本文中使用了回溯機(jī)制。即對(duì)于t-2幀出現(xiàn)但t-1幀消失的對(duì)象，會(huì)保留其身份特征并添加至t幀的查詢向量中。若連續(xù)K幀均未出現(xiàn)此對(duì)象，則刪除此對(duì)象特征以節(jié)約計(jì)算資源。

2 分支結(jié)果的關(guān)聯(lián)

將檢測(cè)分支得到的檢測(cè)結(jié)果與查詢分支得到的身份位置進(jìn)行交并比匹配［11］可以大幅降低后處理的時(shí)間以提升跟蹤的速率。常見的交并比計(jì)算公式與訓(xùn)練損失函數(shù)Liou如式（4）所示，IoU可以實(shí)現(xiàn)對(duì)兩個(gè)預(yù)測(cè)框相似度的測(cè)量，但是在實(shí)際訓(xùn)練和推理中，會(huì)存在以下3個(gè)不足：（1）在訓(xùn)練中，當(dāng)預(yù)測(cè)框和目標(biāo)框不相交時(shí)，即IoU=0，難以反映這兩個(gè)框的遠(yuǎn)近程度，且此時(shí)損失函數(shù)因變?yōu)槌?shù)而導(dǎo)致不可導(dǎo)，最終使得IoU-Loss難以優(yōu)化兩框不相交的情況；（2）當(dāng)兩個(gè)預(yù)測(cè)框大小相同且此時(shí)IoU相同時(shí)，IoULoss也無法區(qū)分兩者的相交情況；（3）兩個(gè)大小相同且與檢測(cè)框IoU相同的查詢結(jié)果，難以匹配到其正確的檢測(cè)對(duì)象。

式中：pre表示預(yù)測(cè)結(jié)果；GT表示真值。對(duì)于推理時(shí)，檢測(cè)的結(jié)果作為真值，查詢結(jié)果作為預(yù)測(cè)值。

為解決不足（1），在已有的IoU計(jì)算公式的基礎(chǔ)上，增加了相交尺度的衡量方式。即還需要計(jì)算兩個(gè)框的最小外接矩形面積，即為GIoU［12］和訓(xùn)練損失函數(shù)Lgiou：

式中：Ac為預(yù)測(cè)值與真值的最小矩形面積；u為預(yù)測(cè)值與真實(shí)值的并集面積。但是此方法依然無法解決問題（2）和（3），因?yàn)轭A(yù)測(cè)框在目標(biāo)框內(nèi)部且大小一致時(shí)恒成立，此時(shí)GIoU退化為IoU，難以區(qū)分相對(duì)位置關(guān)系。此外在訓(xùn)練過程中，會(huì)出現(xiàn)訓(xùn)練結(jié)果發(fā)散的情況。

為解決問題（2）和（3）導(dǎo)致的預(yù)測(cè)框與真值框內(nèi)部難以測(cè)量的問題，在交并比計(jì)算過程增加了重疊面積和中心點(diǎn)距離的衡量即為DIoU［13］和訓(xùn)練損失函數(shù)Ldiou：

式中：d為預(yù)測(cè)框與真值的中心點(diǎn)的歐氏距離；l為預(yù)測(cè)框與真實(shí)框的最小外接矩陣的對(duì)角線距離。在實(shí)際使用中，該方法已經(jīng)取得在速率與精度的平衡。但為減少訓(xùn)練導(dǎo)致的誤差，本文在訓(xùn)練中使用了CIoU-Loss，該訓(xùn)練損失函數(shù)在DIoU的基礎(chǔ)上，額外考慮了當(dāng)預(yù)測(cè)框中心點(diǎn)相同時(shí)的損失計(jì)算。該方法使用了邊框權(quán)重函數(shù)v以度量長(zhǎng)寬比的相似性，具體公式如下：

式中：α為邊框權(quán)重函數(shù)v的權(quán)重系數(shù)；wgt、hgt分別為真值框的寬、高；w、h分別為預(yù)測(cè)框的寬、高。另外，需要注意的是在推理中，依然使用DIoU。

3 標(biāo)準(zhǔn)數(shù)據(jù)集的測(cè)試

3.1 數(shù)據(jù)集介紹

MOT15［14］、MOT17、MOT20［15］數(shù)據(jù)集是用于多目標(biāo)跟蹤的通用數(shù)據(jù)集，該類數(shù)據(jù)集均具有人群密集的特點(diǎn)，為多目標(biāo)跟蹤帶來了嚴(yán)峻的挑戰(zhàn)。但是此類數(shù)據(jù)集僅具有行人視頻，難以滿足實(shí)際使用需求。為此本文中使用了本田泰坦數(shù)據(jù)集［16］，該數(shù)據(jù)集含有行人與車輛的跟蹤視頻，包含有行人下車、車輛遮擋行人、行人遮擋車輛、車流相互遮擋、行人相互遮擋和行駛轉(zhuǎn)彎等多種不同的場(chǎng)景。本研究采用包含74 641張圖片的數(shù)據(jù)集作為訓(xùn)練集，13 542張圖片作為驗(yàn)證集。此外，為進(jìn)一步提升網(wǎng)絡(luò)的擬合能力，將BDD 100K［17］數(shù)據(jù)集進(jìn)行了一定的標(biāo)簽修改，將標(biāo)簽為car、Truck、Bus的3類對(duì)象統(tǒng)一為vehicle，并僅保留行人與車輛兩類（即僅保留標(biāo)簽類別為Person和vehicle的標(biāo)簽）。為測(cè)試本算法的性能，本文在MOT15、MOT17、MOT20上進(jìn)行了遷移學(xué)習(xí)并完成測(cè)試。

3.2 網(wǎng)絡(luò)訓(xùn)練

本算法實(shí)現(xiàn)基于python語言，使用pytorch==1.5框架搭建多目標(biāo)跟蹤網(wǎng)絡(luò)部分。試驗(yàn)平臺(tái)主要參數(shù)：（1）處理器為Inter（R）core（TM）i7-9900K CPU@3.60 GHz；（2）內(nèi)存為64 GB；（3）顯卡為NVIDIA GeForce RTX2080Ti*2。首先使用BDD 100K數(shù)據(jù)集的7萬張訓(xùn)練集進(jìn)行backbone與檢測(cè)分支的預(yù)訓(xùn)練。Epoch設(shè) 為30，batch-size取為16，初始學(xué)習(xí)率 為0.000 1，并在之后的每個(gè)epoch線性增長(zhǎng)0.000 2，直至epoch=5時(shí)升至0.001，并在之后的epoch=25降為0.000 2，epoch=27時(shí)進(jìn)一步降為0.000 05。在之后使用泰坦數(shù)據(jù)集進(jìn)行整個(gè)網(wǎng)絡(luò)的訓(xùn)練，加載上一步的預(yù)訓(xùn)練模型并設(shè)epoch為20，初始學(xué)習(xí)率為0.001，并在epoch=15時(shí)降為0.000 5。

3.3 標(biāo)準(zhǔn)數(shù)據(jù)集的評(píng)測(cè)

為驗(yàn)證本文所提算法在多目標(biāo)跟蹤領(lǐng)域所達(dá)到的準(zhǔn)確性和快速性，并方便與其他現(xiàn)有算法進(jìn)行橫向?qū)Ρ?，本文中使用了含? 479張圖片的MOT20測(cè)試集。將本算法與文獻(xiàn)［18］中所提算法（在檢測(cè)分支上增加重識(shí)別分支，利用重識(shí)別完成歷史身份的關(guān)聯(lián)從而達(dá)到多目標(biāo)跟蹤的效果）進(jìn)行了測(cè)試，評(píng)測(cè)指標(biāo)主要為多目標(biāo)跟蹤準(zhǔn)度（multiple object tracking accuracy，MOTA）、識(shí)別F值（ID F1 Score，IDF1）、身份切換次數(shù)（number of identity switches，IDSW）、跟蹤完整率（mostly tracked targets，MT）、每秒運(yùn)行幀數(shù)（frames per second，F(xiàn)PS）等參數(shù)，結(jié)果如表1所示?？梢钥闯鲈诖蠖鄶?shù)數(shù)據(jù)集中，本文算法比文獻(xiàn)［18］中在識(shí)別F值、身份切換次數(shù)和運(yùn)算時(shí)間等指標(biāo)均具有明顯優(yōu)勢(shì)。例如在MOT20測(cè)試集中，本算法的身份切換次數(shù)僅有2 239，遠(yuǎn)低于文獻(xiàn)［18］，證明本算法可以有效降低同一身份的切換頻率，為智能駕駛提供更好的支持。此外雖然在多目標(biāo)跟蹤準(zhǔn)度指標(biāo)均有些許不如，但是因?yàn)楸痉椒ǖ乃俣蕊@著，達(dá)到22.7 fps，這點(diǎn)性能的損失依然可以滿足智能駕駛的安全性需求。

表1 各數(shù)據(jù)集上的指標(biāo)對(duì)比

4 實(shí)車試驗(yàn)

4.1 利用ROS平臺(tái)將所提算法快速部署

ROS是用于編寫機(jī)器人軟件程序的一種具有高度靈活性的軟件架構(gòu)。其擁有信息傳遞與分布式計(jì)算等顯著優(yōu)勢(shì)。為實(shí)現(xiàn)多目標(biāo)跟蹤模型在ROS平臺(tái)的集成，本文中建立了多目標(biāo)跟蹤節(jié)點(diǎn)以及網(wǎng)絡(luò)連接方式的話題結(jié)構(gòu)圖，如圖4所示。首先創(chuàng)建lane_node節(jié)點(diǎn)，該節(jié)點(diǎn)實(shí)時(shí)訂閱由USB攝像頭驅(qū)動(dòng)發(fā)布的視頻圖像的話題/usb_cam/image_raw，并通過調(diào)用ROS庫中的cv_bridge模塊將圖像信息轉(zhuǎn)化為OpenCV可識(shí)別的格式，再根據(jù)多目標(biāo)跟蹤模塊對(duì)圖像數(shù)據(jù)進(jìn)行推理，最終將結(jié)果實(shí)時(shí)地以會(huì)話形式發(fā)布，訂閱該會(huì)話即可得到多目標(biāo)跟蹤結(jié)果。

圖4 話題結(jié)構(gòu)圖

4.2 實(shí)車試驗(yàn)結(jié)果

將攝像頭、工控機(jī)分別安裝在智能車上。攝像頭輸入像素為1080×720，攝像機(jī)每秒采集60幀圖像。工控機(jī)顯卡型號(hào)為RTX 2080TI。智能車行駛速度約為20 km/h，圖像數(shù)據(jù)格式為RGB格式。為了驗(yàn)證該算法的實(shí)時(shí)性及準(zhǔn)確性，分別在不同場(chǎng)景下進(jìn)行試驗(yàn)，并通過調(diào)用ROS的Rviz模塊，可實(shí)現(xiàn)多目標(biāo)跟蹤的結(jié)果可視化。圖5展示了在某一實(shí)際路段中的多目標(biāo)跟蹤結(jié)果，為節(jié)約篇幅只截取了典型的6幀（圖5（a）~圖5（f））進(jìn)行展示?？梢暬Y(jié)果格式為（id，類別），對(duì)于類別，0表示行人，1表示車輛。

圖5 基于車載場(chǎng)景下的多目標(biāo)跟蹤結(jié)果的6個(gè)代表幀

圖5 （a）表示剛剛開始跟蹤，此時(shí)環(huán)境較為復(fù)雜，樹林導(dǎo)致的陰影出現(xiàn)了嚴(yán)重的遮擋問題，與此同時(shí)，行人較為密集，對(duì)多目標(biāo)跟蹤算法提出了較高的要求?？梢钥闯鲋悄苘囋诖藭r(shí)可有效檢測(cè)并跟蹤到前方區(qū)域中較為明確的對(duì)象，且對(duì)于車輛和行人的區(qū)分明確。此外由于本算法的檢測(cè)分支屬于無錨框檢測(cè)，有效緩解了錨框重疊導(dǎo)致的漏檢情況。當(dāng)車輛進(jìn)入圖5（b）場(chǎng)景時(shí)，此時(shí)行人數(shù)量進(jìn)一步增加，但是因?yàn)榕c智能車的距離縮近，行人在視頻中的像素大幅提升，且遮擋有所下降。此時(shí)本算法可很好完成歷史身份的分配和新身份的生成任務(wù)。尤其對(duì)于對(duì)象19，雖然較為模糊且遮擋嚴(yán)重，但此時(shí)本算法卻能很好識(shí)別出其對(duì)應(yīng)的種類與歷史身份是否映射，并成功為其賦予了出生id。圖5（c）為中短間隔的跟蹤場(chǎng)景，可以看到在一段時(shí)間內(nèi)，基于身份查詢的跟蹤依然可有效實(shí)現(xiàn)身份的關(guān)聯(lián)匹配，尤其是對(duì)象16，19雖然其初次出現(xiàn)在場(chǎng)景中的外觀特征并不明顯，但是在歷史身份特征迭代的過程，其身份特征得到了增強(qiáng)，使得它們?cè)趫D5（c）中被有效跟蹤。圖5（d）為另一個(gè)短時(shí)間間隔后的跟蹤。體現(xiàn)了本算法在對(duì)象數(shù)量短時(shí)間大量變少的情況下的身份分配能否準(zhǔn)確?？梢钥吹綄?duì)于對(duì)象16，此時(shí)已經(jīng)多次角度變換，但受益于身份特征的穩(wěn)定性，依然可以為其匹配出歷史身份。對(duì)于圖5（e），展示了長(zhǎng)距離跟蹤后的結(jié)果，可以看到本算法對(duì)于歷史已有對(duì)象持續(xù)跟蹤效果良好，且本車載算法依然可以完成新對(duì)象的身份添加，未出現(xiàn)長(zhǎng)時(shí)間運(yùn)行后的性能下降情況。令人意外的是，本算法在訓(xùn)練時(shí)并未對(duì)騎電動(dòng)車的人（即類別為rider的對(duì)象）進(jìn)行訓(xùn)練，但在實(shí)際使用中依然能檢測(cè)出騎車的行人，如對(duì)象29。最后，圖5（f）展示了極長(zhǎng)時(shí)間跟蹤（5 min以上）后的結(jié)果，可以看到此時(shí)對(duì)象5依然可以跟蹤成功。

5 結(jié)論

本文中針對(duì)車載狀況下的多目標(biāo)跟蹤難題，提出了一種基于自查詢的車載多目標(biāo)跟蹤器。設(shè)計(jì)了兩個(gè)分支分別完成檢測(cè)任務(wù)與身份查詢?nèi)蝿?wù)，其中檢測(cè)分支使用了基于熱圖的方法能夠快速檢測(cè)出行人與車輛，而查詢分支將歷史身份作為查詢向量匹配出其對(duì)應(yīng)的當(dāng)前特征圖上的位置映射。本算法在滿足實(shí)時(shí)性的基礎(chǔ)上可以實(shí)現(xiàn)較為精確的行人與車輛的跟蹤。使用了多種數(shù)據(jù)集的訓(xùn)練有效避免了單一訓(xùn)練集因樣本數(shù)較少出現(xiàn)過擬合的情況，有效增加了本算法的泛化能力。而在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集的測(cè)試表明，本算法的實(shí)時(shí)性較好，且性能也達(dá)到主流水平。最后，將本模型集成到基于ROS的智能車平臺(tái)進(jìn)行測(cè)試，實(shí)現(xiàn)了復(fù)雜交通場(chǎng)景下的多目標(biāo)實(shí)時(shí)跟蹤，算法具有很好的實(shí)際應(yīng)用價(jià)值。