吳明瞭，郭啟翔，何 薇，文 進(jìn)，高寵智，胡博倫，張路玉

（東風(fēng)汽車股份有限公司商品研發(fā)院，湖北 武漢 430000）

1 引言

在深度學(xué)習(xí)領(lǐng)域中，目標(biāo)的檢測(cè)和跟蹤是一個(gè)十分重要的組成部分。多目標(biāo)跟蹤的任務(wù)是將視頻中每個(gè)目標(biāo)的軌跡畫出來(lái)即把同一個(gè)目標(biāo)的bounding box標(biāo)成同一個(gè)ID，按照對(duì)多目標(biāo)跟蹤的目標(biāo)初始化任務(wù)劃分，可將多目標(biāo)跟蹤按照預(yù)處理方式的不同進(jìn)行劃分，一種是基于檢測(cè)的Detection-Based Tracking（DBT），另一種是基于手工提取方式的Detection-Free Tracking（DFT）。如今比較主流的預(yù)處理方式是DBT，DBT按照跟蹤過(guò)程中處理方式的不同分為離線跟蹤和在線跟蹤。在線跟蹤的示意圖如圖1所示，離線跟蹤示意圖如圖2所示。

圖1 在線跟蹤示意圖

圖2 離線跟蹤示意圖

2 相關(guān)工作

2.1 基于視覺(jué)的動(dòng)態(tài)目標(biāo)檢測(cè)

本小節(jié)的檢測(cè)網(wǎng)絡(luò)是基于Faster-RCNN檢測(cè)網(wǎng)絡(luò)加以改進(jìn)得到的，其流程示意如圖3所示。輸入圖片首先經(jīng)過(guò)C-RPN網(wǎng)絡(luò)，分別經(jīng)過(guò)5個(gè)階段的特征提取之后可以得到不同尺寸分辨率的Feature Map，將不同階段的特征圖相互融合可以得到基于錨點(diǎn)的區(qū)域提案和基于車輛的區(qū)域提案。

圖3 目標(biāo)檢測(cè)算法流程

C-RPN網(wǎng)絡(luò)是針對(duì)于車輛的區(qū)域提議網(wǎng)絡(luò)，利用車輛的不同特征對(duì)傳統(tǒng)的RPN網(wǎng)絡(luò)加以改進(jìn)而成。

假設(shè)特征單元，黑色虛線是預(yù)先埋下的錨框，而藍(lán)色邊框是車輛的提案區(qū)域，由圖4可以看到，錨框和提案區(qū)域的中心還存在一定的偏移量Δ（，，，），設(shè)錨框的寬和高為和，提案區(qū)域邊框?qū)捄透邽楹?，其?jì)算公式如公式 （1）所示。

圖4 錨框示意圖

根據(jù)公式（2）可以將相機(jī)中心三維坐標(biāo)投影到圖像坐標(biāo)系中，其中為給定已知投影矩陣。

根據(jù)候選區(qū)域在特征圖上裁剪出W×H的256通道的特征圖R1，再將這些特征圖送入較ROIPooling更精準(zhǔn)的ROIAlign網(wǎng)絡(luò)。

如圖5所示，嚴(yán)重影響了檢測(cè)的品質(zhì)，所以針對(duì)這種情況，采用非極大值抑制算法（Non-maximum suppression，NMS）。NMS算法主要的作用是從很多重疊的搜索區(qū)域中，過(guò)濾掉多余的搜索框，從而得到最匹配的檢索框。

圖5 未經(jīng)非極大值抑制的檢測(cè)圖

2.2 基于卡爾曼濾波的動(dòng)態(tài)目標(biāo)跟蹤

經(jīng)過(guò)多模態(tài)融合模塊并行處理之后，會(huì)得到3種狀態(tài)的目標(biāo)，分別為丟失目標(biāo)、跟蹤目標(biāo)以及出現(xiàn)的新目標(biāo)。在確定目標(biāo)狀態(tài)為丟失后，對(duì)卡爾曼跟蹤器進(jìn)行更新，確定是否結(jié)束跟蹤，如果結(jié)束跟蹤，則刪除卡爾曼濾波器，否則將所有的目標(biāo)跟蹤信息輸入到下一幀。其中，多模塊融合模塊是核心的處理模塊，它將從目標(biāo)檢測(cè)框架接收到的目標(biāo)進(jìn)行目標(biāo)特征提取并進(jìn)行三維估計(jì)，結(jié)合另一個(gè)輸入端傳來(lái)的上一幀的多目標(biāo)跟蹤軌跡進(jìn)行數(shù)據(jù)關(guān)聯(lián)，根據(jù)相似度計(jì)算兩個(gè)對(duì)象屬于統(tǒng)一目標(biāo)的概率，從而對(duì)檢測(cè)車輛和跟蹤軌跡進(jìn)行匹配。

DLA網(wǎng)絡(luò)改進(jìn)的輸入是目標(biāo)檢測(cè)框架經(jīng)過(guò)ROIAlign層的池化特征圖。

2.3 基于LSTM網(wǎng)絡(luò)的動(dòng)態(tài)目標(biāo)跟蹤

圖6所示為基于LSTM網(wǎng)絡(luò)的動(dòng)態(tài)目標(biāo)跟蹤框架。本文對(duì)馬爾可夫決策過(guò)程的狀態(tài)空間進(jìn)行改進(jìn)，得到4種狀態(tài)目標(biāo)，即新目標(biāo)、跟蹤目標(biāo)、遮擋目標(biāo)以及丟失目標(biāo)。

圖6 基于LSTM網(wǎng)絡(luò)的動(dòng)態(tài)目標(biāo)跟蹤框架

3 實(shí)驗(yàn)

3.1 基于視覺(jué)的動(dòng)態(tài)目標(biāo)檢測(cè)實(shí)驗(yàn)結(jié)果與分析

評(píng)價(jià)指標(biāo)選用常見(jiàn)的目標(biāo)檢測(cè)指標(biāo)平均精度AP（Average Precision）和平均召回率AR（Average Recall），其中AP和AR分別由其他4個(gè)指標(biāo)計(jì)算而成，這4個(gè)指標(biāo)分別是TP、TN、FP、TN，其含義如表1所示。

表1 指標(biāo)含義

AP指的是對(duì)所有幀圖像中判斷為車輛的判斷中正確判斷的占比的均值，其計(jì)算方式如公式（3）所示，而AR指的是對(duì)所有幀圖像中所有正確判斷中判斷為車輛的占比的均值，其計(jì)算方法如公式（4）所示。

首先對(duì)網(wǎng)絡(luò)的改進(jìn)部分分別進(jìn)行實(shí)驗(yàn)對(duì)比，再對(duì)目標(biāo)檢測(cè)的性能進(jìn)行測(cè)評(píng)，最后針對(duì)仿真場(chǎng)景和kitti場(chǎng)景可視化的效果進(jìn)行分析。如表2所示，改進(jìn)的RPN實(shí)驗(yàn)是基于殘差網(wǎng)絡(luò)的主干架構(gòu)上進(jìn)行的，在C-RPN網(wǎng)絡(luò)中，對(duì)原始的RPN網(wǎng)絡(luò)進(jìn)行改進(jìn)，加入多尺度的錨框，使得預(yù)設(shè)的錨框能夠更好匹配檢測(cè)的車輛目標(biāo)，從而在召回率上有了較大幅度的提升，同時(shí)在精度上獲得了小幅的改善。但是由于預(yù)設(shè)錨框多尺度導(dǎo)致錨框數(shù)量的增加，使得系統(tǒng)運(yùn)行的時(shí)間有一定延長(zhǎng)。

表2 改進(jìn)RPN實(shí)驗(yàn)對(duì)比

在改進(jìn)RPN的基礎(chǔ)上，對(duì)NMS進(jìn)行改進(jìn)實(shí)驗(yàn)，如表3所示。通過(guò)數(shù)據(jù)可以發(fā)現(xiàn)，改進(jìn)后的O-NMS在各項(xiàng)指標(biāo)上都有小幅的上升，從而證明改進(jìn)的方式和思路都是正確的。

表3 改進(jìn)NMS實(shí)驗(yàn)對(duì)比

將數(shù)據(jù)集中的場(chǎng)景中的車輛目標(biāo)按照距離進(jìn)行分類，分為簡(jiǎn)單、中等和困難3個(gè)級(jí)別。表4對(duì)不同程度的目標(biāo)檢測(cè)進(jìn)行實(shí)驗(yàn)分析。

表4 目標(biāo)檢測(cè)實(shí)驗(yàn)

從表4中可以觀察到，隨著檢測(cè)目標(biāo)難度的增加，其置信度也越低，從而降低閾值可以獲得更加良好的檢測(cè)結(jié)果。而當(dāng)目標(biāo)的難度趨于簡(jiǎn)單時(shí)，用較低的閾值則會(huì)產(chǎn)生較大的誤檢情況，會(huì)導(dǎo)致精度的降低，所以適當(dāng)?shù)脑黾娱撝悼梢蕴嵘龣z測(cè)的效果，例如簡(jiǎn)單模式中的最佳檢測(cè)效果出現(xiàn)在閾值為0.5。

本小節(jié)分別挑選了仿真場(chǎng)景測(cè)試結(jié)果中的夜晚，霧天、雪天以及強(qiáng)光天氣下的4種不同場(chǎng)景進(jìn)行分析。圖7為4種不同場(chǎng)景下對(duì)車輛目標(biāo)的檢測(cè)情況，每個(gè)場(chǎng)景選擇了4幅不同時(shí)間節(jié)點(diǎn)的檢測(cè)圖，由于一個(gè)測(cè)試序列有400多幀，所以以100為間隔，在測(cè)試序列的每100幀中隨機(jī)選擇一副圖像作為顯示，通過(guò)這樣的方式保證了場(chǎng)景的隨機(jī)性和多樣性。通過(guò)直觀的可視化結(jié)果來(lái)看，在夜景的場(chǎng)景中，由于能見(jiàn)度低，作為前景的車輛和作為背景的夜色具有相似的顏色，所以產(chǎn)生誤判和漏檢的概率相應(yīng)更大，如7a檢測(cè)結(jié)果中便把扁長(zhǎng)方形的綠植判斷為車輛。而在雪景和霧景的場(chǎng)景中由于能見(jiàn)度較夜景大幅提升，所以檢測(cè)的效果更好，當(dāng)然也存在一定的誤判情形，如7b中的第4幅圖將背景中的扁長(zhǎng)方形判斷為車輛目標(biāo)。而在7d強(qiáng)光場(chǎng)景下，由于光線很好，能見(jiàn)度高，所以檢測(cè)的效果比較精確，但是強(qiáng)光場(chǎng)景中存在一些鏡面反光的情形，使得檢測(cè)的性能受一定的影響。

圖7 仿真測(cè)試場(chǎng)景

圖8選擇kitti的兩個(gè)測(cè)試場(chǎng)景進(jìn)行展示，分別是行駛過(guò)程和十字路口。在8a的行駛場(chǎng)景中，即使存在較大的自我運(yùn)動(dòng)，檢測(cè)難度上升的情況下，系統(tǒng)依舊能檢測(cè)出場(chǎng)景中存在的車輛，而在8a中第2幅圖中，對(duì)于較大尺度畸變的公交車也檢測(cè)出來(lái)。在8b中十字路口，車輛密度增大，而且存在遮擋的情況，如8b的第1幅圖所示，都可以很好地檢測(cè)出目標(biāo)車輛。故而系統(tǒng)對(duì)于多目標(biāo)，以及車輛之間相互遮擋和車輛尺度畸變都有著良好的魯棒性。

圖8 kitti測(cè)試場(chǎng)景

3.2 基于卡爾曼濾波的動(dòng)態(tài)目標(biāo)跟蹤實(shí)驗(yàn)結(jié)果與分析

對(duì)于目標(biāo)的跟蹤來(lái)說(shuō)，主要選用兩個(gè)指標(biāo)來(lái)對(duì)跟蹤效果進(jìn)行評(píng)價(jià)，一個(gè)是多目標(biāo)跟蹤精度MOTP（Multiple Object Tracking Precision），這個(gè)指標(biāo)的內(nèi)容是體現(xiàn)檢測(cè)到的目標(biāo)的三維位置的估計(jì)的精準(zhǔn)程度。另一個(gè)是多目標(biāo)跟蹤準(zhǔn)確度MOTA（Multiple Object Tracking Accuracy），它綜合了符合人們邏輯的一些對(duì)于跟蹤的評(píng)價(jià)，MOTP的計(jì)算方式如公式 （5）所示。

公式（6）為MOTA的計(jì)算方式，其中公式的第二項(xiàng)是所有負(fù)面考慮因素的綜合。

從可視化的二維和三維結(jié)果來(lái)對(duì)跟蹤的效果進(jìn)行分析，再對(duì)其中的數(shù)據(jù)指標(biāo)進(jìn)行分析。

圖9是3種方法跟蹤的效果對(duì)比?？梢钥吹皆趫D像中，轎車和吉普車在每一幀中都被當(dāng)成新目標(biāo)進(jìn)行處理，被吉普車遮擋的目標(biāo)在不同兩幀中也產(chǎn)生了ID的切換。只有遠(yuǎn)處相對(duì)位置較為穩(wěn)定的車輛依舊保持著跟蹤。

圖9b可以看到在右側(cè)的較遠(yuǎn)處的3輛車可以進(jìn)行正確跟蹤，但是在左側(cè)的轎車和吉普車，畸變較大的情況下，依舊不能正確匹配跟蹤，而更為復(fù)雜的遮擋情況，就更無(wú)法成功跟蹤。圖9c為卡爾曼三維跟蹤+深度排序+遮擋處理的跟蹤方式，首先遠(yuǎn)處的車輛正確跟蹤，近處的轎車（橙色）和吉普車（紫色）在畸變較大的情況下也能很好地被跟蹤，對(duì)于最復(fù)雜的遮擋情況，由于加入了遮擋處理，在隔了一幀的情況下依舊保持了跟蹤（橘色）。下面通過(guò)表5對(duì)圖9中的3種不同跟蹤方式進(jìn)行總結(jié)，給出每種方式在4幀圖像中跟蹤不同對(duì)象成功的概率。

表5 3種跟蹤方式對(duì)比

圖9 不同方式的跟蹤效果

通過(guò)以上對(duì)比可以看到卡爾曼三維跟蹤+深度排序+遮擋處理的效果較其他兩種要更為魯棒，接下來(lái)分析這種跟蹤方式在不同場(chǎng)景下的三維效果，三維跟蹤的包圍框顏色原理同二維邊框。

圖10是3種不同仿真場(chǎng)景下的4幀連續(xù)圖像，這3個(gè)不同的場(chǎng)景都位于交叉路口，10a中被紅色轎車遮擋的3輛車在紅色轎車駛過(guò)后ID依舊保持不變，體現(xiàn)了算法對(duì)遮擋物體的良好跟蹤性能。10b中對(duì)深青色轎車的超車過(guò)程中，深青色轎車在視角中產(chǎn)生了很大的尺度畸變，但是算法依舊能保持跟蹤狀態(tài)，對(duì)尺度畸變有著良好的魯棒性。10c中的夜晚場(chǎng)景光照條件很差，且場(chǎng)景中的目標(biāo)數(shù)量很多，場(chǎng)景中所有目標(biāo)的ID在這4幀中都沒(méi)有切換，體現(xiàn)了算法在暗光環(huán)境的適應(yīng)性以及對(duì)多目標(biāo)跟蹤的良好性能。

圖10 仿真場(chǎng)景下的三維效果

圖11是kitti實(shí)景測(cè)試集中的連續(xù)4幀的測(cè)試情況，使用的是卡爾曼三維跟蹤+深度排序+遮擋處理的跟蹤方法。從可視化的效果可以看出場(chǎng)景中的所有車輛目標(biāo)均被檢測(cè)出來(lái)且在連續(xù)幀中沒(méi)有出現(xiàn)目標(biāo)跟蹤丟失的情況。橘色框車輛在不斷前進(jìn)的過(guò)程中，尺寸在不斷變化，算法依舊可以穩(wěn)定跟蹤，體現(xiàn)了算法對(duì)跟蹤目標(biāo)尺寸變化的良好適應(yīng)性。

圖11 kitti實(shí)景跟蹤效果

從表6中可以看出，在原始的跟蹤中加入卡爾曼二維跟蹤后，MOTA會(huì)有15個(gè)點(diǎn)的巨大提升且誤配率也下降了16個(gè)點(diǎn)，這要?dú)w功于卡爾曼濾波的強(qiáng)大作用，卡爾曼濾波對(duì)跟蹤目標(biāo)的位置進(jìn)行了預(yù)測(cè)和更新獲得更加精確的位置估計(jì)。

表6 不同方法性能評(píng)價(jià)

而在卡爾曼二維跟蹤加入基于深度的排序之后，MOTA獲得接近4個(gè)點(diǎn)的提升同時(shí)誤配率下降了3個(gè)多點(diǎn)，這是因?yàn)榛谏疃鹊呐判驅(qū)⒕嚯x過(guò)大的匹配對(duì)過(guò)濾了，從而減少了誤配率，由公式（6）可知誤配率的降低必然會(huì)提升MOTA。

卡爾曼三維跟蹤較二維跟蹤在MOTA指標(biāo)上提升了近7個(gè)點(diǎn)，并且誤配率也下降了7個(gè)點(diǎn)，這得益于加入的深度信息以及車輛的方向信息等，讓位置的估計(jì)判斷更加精準(zhǔn)可靠。在卡爾曼三維跟蹤加入基于深度的排序之后，有著微小的提升，MOTA上升了0.1個(gè)點(diǎn)，這是因?yàn)榭柭S跟蹤中已經(jīng)包含了深度的信息，從而基于深度的排序只能略微提升。在卡爾曼三維跟蹤加入遮擋處理后，MOTA指標(biāo)有略微的下降，這是因?yàn)檎趽跆幚碓谝欢ǔ潭壬蠒?huì)導(dǎo)致誤配率的上升，從而導(dǎo)致了MOTA的微幅下降。而從卡爾曼濾波的原理進(jìn)行考慮的話，它結(jié)合歷史統(tǒng)計(jì)的信息和當(dāng)前幀的信息去對(duì)下一幀物體位置進(jìn)行估計(jì)，對(duì)于短時(shí)的遮擋勉強(qiáng)可以，但是時(shí)間一長(zhǎng)，統(tǒng)計(jì)特性就跑偏了，從而會(huì)導(dǎo)致性能的下降。

3.3 基于LSTM網(wǎng)絡(luò)的動(dòng)態(tài)目標(biāo)跟蹤實(shí)驗(yàn)結(jié)果與分析

在引入LSTM網(wǎng)絡(luò)代替卡爾曼的預(yù)測(cè)及更新模塊后，其結(jié)果如圖12所示。本組對(duì)比選用了雪景和夜景兩組場(chǎng)景，每種場(chǎng)景選用卡爾曼三維跟蹤+深度排序+遮擋處理和LSTM+深度排序+遮擋處理兩種方式。

在圖12a中，前兩幀的被摩托車遮擋的車輛的邊框?yàn)樽仙诤髢蓭a(chǎn)生了誤配，從而變?yōu)榱朔奂t色，并且在后續(xù)時(shí)刻沒(méi)有恢復(fù)跟蹤。而在12b中采用LSTM網(wǎng)絡(luò)之后，被摩托車遮擋的車輛邊框始終是藍(lán)色，說(shuō)明基于LSTM的跟蹤方法的對(duì)于遮擋車輛的魯棒性要高于基于卡爾曼濾波器跟蹤的方法。在12c中的夜景場(chǎng)景中，兩輛邊框分別為橘黃色和品紅色的車輛在經(jīng)過(guò)遮擋物后，邊框顏色切換成了品紅色和橘黃色，即產(chǎn)生了誤配。在12d中，采用了LSTM網(wǎng)絡(luò)后，兩輛車初始邊界框顏色為橘黃色和藍(lán)色，在經(jīng)過(guò)遮擋物后依舊保持了橘黃色和藍(lán)色，說(shuō)明在夜景的暗光場(chǎng)景下，基于LSTM網(wǎng)絡(luò)的跟蹤算法依舊保持著良好的性能。通過(guò)兩組不同場(chǎng)景的對(duì)比可以發(fā)現(xiàn)，在被遮擋時(shí)間稍長(zhǎng)后，基于卡爾曼的跟蹤產(chǎn)生誤配的概率便會(huì)逐漸增大，這是由于卡爾曼濾波的預(yù)測(cè)是根據(jù)附近兩幀的速度和位置進(jìn)行預(yù)測(cè)和更新，如果附近兩幀的速度位置變化較大，則卡爾曼增益的過(guò)大變化會(huì)導(dǎo)致對(duì)后面預(yù)測(cè)的偏差增大，從而匹配不成功。

圖12 仿真跟蹤效果對(duì)比

圖13和圖14為kitti實(shí)景測(cè)試集的跟蹤效果對(duì)比，使用了連續(xù)4幀的跟蹤場(chǎng)景，圖13使用了卡爾曼三維跟蹤+深度排序+遮擋處理的跟蹤方法，圖14使用了LSTM+深度排序+遮擋處理的跟蹤方法。在圖13中，可以看到從第3幀開(kāi)始，被紅色車所遮擋的粉紅色跟蹤框切換為了深紅色的跟蹤框，體現(xiàn)了卡爾曼的方法有一定的不足。

圖13 卡爾曼kitti測(cè)試效果

圖14 LSTM kitti測(cè)試效果

而在圖14中的相同場(chǎng)景下，LSTM的方法則成功解決了上述卡爾曼的方法的不足。

在表7中，可以看到基于卡爾曼三維跟蹤和基于LSTM網(wǎng)絡(luò)的跟蹤方法的性能對(duì)比。與卡爾曼濾波不同，在加入遮擋處理之后，LSTM的性能沒(méi)有下降，而是有了0.05個(gè)點(diǎn)的提升，這說(shuō)明LSTM內(nèi)在的長(zhǎng)時(shí)間記憶能力發(fā)揮了作用，能很好地對(duì)遮擋物體進(jìn)行估計(jì)，從而使得遮擋物體的匹配成功率有一定程度的提升。

表8為三維立體框的交并比指標(biāo)，從這個(gè)指標(biāo)可以間接地看出不同方法預(yù)測(cè)模型的性能高低。

表7 不同跟蹤方法性能評(píng)價(jià)

表8 三維立體框交并比

4 結(jié)論

本文致力于提高無(wú)人駕駛感知模塊的檢測(cè)與跟蹤精度來(lái)提升無(wú)人駕駛的安全性和可靠性，主要的工作總結(jié)如下。

1）研究了基于視覺(jué)的動(dòng)態(tài)目標(biāo)檢測(cè)的方法。本文在原始的Faster R-CNN目標(biāo)檢測(cè)框架上進(jìn)行優(yōu)化。在C-RPN網(wǎng)絡(luò)中，通過(guò)增加多尺度的錨框來(lái)獲得基于錨點(diǎn)和基于車輛的候選區(qū)域提案，從而提升了檢測(cè)的精確度。在CRN網(wǎng)絡(luò)中，通過(guò)在全連接層后增加Inception模塊，來(lái)減小池化所造成的損失，獲得精準(zhǔn)的車輛回歸邊框以及三維中心在二維平面的投影。針對(duì)傳統(tǒng)的NMS算法對(duì)遮擋車輛的漏檢問(wèn)題，對(duì)其進(jìn)行優(yōu)化，提出了O-NMS算法，成功解決遮擋車輛漏檢問(wèn)題，提升了目標(biāo)檢測(cè)的精確度。

2）研究了基于卡爾曼濾波的動(dòng)態(tài)目標(biāo)跟蹤的方法。通過(guò)提取目標(biāo)車輛的表觀特征以及對(duì)車輛進(jìn)行三維尺寸和三維位置估計(jì)，來(lái)提升車輛匹配的魯棒性。對(duì)于遮擋的車輛，由于具有近似的深度信息，所以在馬爾可夫決策過(guò)程的狀態(tài)空間中加入了遮擋的狀態(tài)，通過(guò)對(duì)遮擋車輛的三維運(yùn)動(dòng)估計(jì)來(lái)維持對(duì)遮擋車輛的跟蹤與匹配。經(jīng)過(guò)改進(jìn)后的目標(biāo)跟蹤方法在無(wú)人駕駛復(fù)雜的路況中，對(duì)跟蹤目標(biāo)車輛有著穩(wěn)定良好的表現(xiàn)，且對(duì)遮擋車輛的跟蹤有了很大的提升。

3）研究了基于LSTM網(wǎng)絡(luò)的動(dòng)態(tài)目標(biāo)跟蹤的方法。針對(duì)基于卡爾曼濾波器的動(dòng)態(tài)目標(biāo)跟蹤方法在處理完全遮擋的車輛目標(biāo)時(shí)依舊存在ID切換問(wèn)題，在分析后得出卡爾曼濾波器無(wú)法支持長(zhǎng)時(shí)間記憶，所以引進(jìn)了LSTM網(wǎng)絡(luò)。用于預(yù)測(cè)的LSTM網(wǎng)絡(luò)通過(guò)T-1幀的車輛的三維位置及T-5～T-1幀的車輛速度來(lái)預(yù)測(cè)第T幀的車輛位置及速度信息。用于更新的LSTM網(wǎng)絡(luò)通過(guò)預(yù)測(cè)網(wǎng)絡(luò)的信息以及當(dāng)前幀檢測(cè)的車輛位置信息來(lái)對(duì)當(dāng)前幀車輛的位置信息以及速度信息進(jìn)行更新。通過(guò)兩個(gè)LSTM網(wǎng)絡(luò)使不同狀態(tài)的車輛進(jìn)行有序切換，來(lái)獲得魯棒的目標(biāo)跟蹤效果。在實(shí)驗(yàn)的效果上來(lái)看，該方法有效解決了跟蹤車輛完全被遮擋后重現(xiàn)時(shí)跟蹤ID切換的問(wèn)題。

通過(guò)以上的目標(biāo)檢測(cè)與跟蹤流程，可以較好地適應(yīng)無(wú)人駕駛的復(fù)雜路況和場(chǎng)景，對(duì)于跟蹤車輛遮擋的問(wèn)題有著較好的解決效果，故有良好的應(yīng)用價(jià)值。