房建武，王 賀，薛建儒，許宏科

（1.長安大學電子與控制工程學院，西安710064；2.西安交通大學視覺認知計算與智能車實驗室，西安710049）

1 引 言

行車的3D 多目標跟蹤是交通場景理解的一個核心問題，由于在自動駕駛，機器人導航和移動識別［1-3］等領域上的廣泛應用而獲得了很多關注。多目標跟蹤的任務主要是將連續(xù)幀間的目標關聯(lián)起來并獲得運動軌跡。近年來，研究者們提出了許多基于RGB 視覺數(shù)據(jù)的方法。然而，由于外觀相似、物體交互、頻繁遮擋等問題，多目標跟蹤領域仍面臨諸多挑戰(zhàn)。

本文致力于融合RGB視覺和3D激光雷達數(shù)據(jù)進行物體表示和跟蹤。對于不同的物體，RGB圖像有豐富的語義和顏色信息，而3D 點云有精準的定位、朝向和幾何線索?；诖?，結(jié)合3D 點云數(shù)據(jù)和RGB 數(shù)據(jù)，在物體跟蹤中遇到的尺度變化、遮擋等問題可以被大幅弱化。而最重要的挑戰(zhàn)性因素變成如何解決多幀關聯(lián)過程中的ID互換問題和ID一致性問題。

現(xiàn)有對于多傳感器融合的3D 多目標跟蹤方法可以分為基于濾波器的方法［4］、基于分類的方法［5］以及基于深度學習的方法［6］?；跒V波器和基于分類的方法分別依靠于概率、統(tǒng)計、假設和約束目標分類函數(shù)?；谏疃葘W習的方法通常使用卷積神經(jīng)網(wǎng)絡來優(yōu)化對象之間的相似性并實現(xiàn)端到端的跟蹤任務。在多目標跟蹤問題中，由于目標函數(shù)和約束條件已知，優(yōu)化算法能夠取得較好的效果。其中，匈牙利算法［7］是一種在多項式時間內(nèi)求解任務分配問題的組合優(yōu)化算法，被廣泛用于多幀目標集之間的度量和匹配。但是，面對本文涉及的多目標跟蹤問題，匈牙利算法存在一個缺陷是由對象間距離過近導致ID 互換。圖1是一個ID 互換的例子。其中，ID 8的騎者對ID 9騎者的超車行為導致ID互換，即初始ID 8 的騎者在超車ID 9 騎者后，其ID 變?yōu)榱?。因此，我們提出了一種有效的融合方法來利用多傳感器在對象關聯(lián)中的優(yōu)勢抑制這種問題。具體來說，本文使用匈牙利算法作為基本框架，其相鄰幀物體間的距離作為構建關聯(lián)矩陣的參數(shù)，求當前幀中每一個對象到下一幀中相關對象的最小距離路徑組合。為了解決ID互換的問題，本文進一步將RGB圖像中的外觀線索和3D激光雷達數(shù)據(jù)中的幾何線索嵌入到目標對象表征中，并將這些表征反饋給匈牙利算法，獲得了較好的跟蹤性能。

圖1 一個ID互換問題示例Fig.1 An ID-switch example

通過在新公開的BLVD 數(shù)據(jù)集［8］上對所提出的方法進行評估，本文方法取得了令人滿意的跟蹤性能。本文的主要貢獻如下：

（1）結(jié)合相機和激光雷達傳感器的優(yōu)點互補來處理多目標的三維跟蹤任務，并利用外觀和幾何特征來克服目標交互中的ID切換問題。

（2）方法在新發(fā)布的BLVD 數(shù)據(jù)集上進行了測試，結(jié)果展示了令人滿意的性能。

2 研究現(xiàn)狀

2.1 基于相機的方法

基于相機數(shù)據(jù)的方法利用RGB 圖像上物體區(qū)域的信息來完成物體相似性關聯(lián)的任務。圖像信息提取可被表示為空間數(shù)據(jù)編碼結(jié)構封裝空間和動態(tài)信息的的過程。文獻［9］采用基于動態(tài)概率驅(qū)動映射的動態(tài)規(guī)劃方法解決了目標關聯(lián)問題［9］。在基于視覺相機的方法中，語義分割信息也起到一定作用。文獻［10］中的跟蹤器使用兩階段分割的方法，粗監(jiān)督分割去除背景，精細無監(jiān)督分割提取目標區(qū)域［10］。近來，孿生網(wǎng)絡也被用于對象相似度匹配，以解決關聯(lián)問題［11］。

2.2 基于3D激光雷達的方法

激光雷達獲得的三維密集點云通常用線性規(guī)劃器、概率圖形模型或CNN 網(wǎng)絡構建有意義的中層表示并完成后續(xù)跟蹤任務。早期的方法中，文獻［12］是對密集點云進行混合地面分類和感興趣區(qū)域識別。跟蹤結(jié)果由基于卡爾曼濾波的動態(tài)幾何模型得到的精準運動估計獲得［12］。一些跟蹤器把點云投影到2.5D 網(wǎng)格中并將網(wǎng)格根據(jù)時間組合成一個2.5D 的運動網(wǎng)格，之后使用恒速模型下的卡爾曼濾波器估計物體位置并且在2.5D 網(wǎng)格中進行數(shù)據(jù)關聯(lián)［13］。點云還可以投影到一個虛擬的圖像坐標系并使用多任務多線索的稀疏學習算法獲得物體軌跡［14］。文獻［15］中使用多個多假設拓展卡爾曼濾波器處理點云來跟蹤2D 邊界框的2D 位置，朝向和速度［15］。這些方法嚴重依賴于點云的精度。

2.3 基于融合的方法

數(shù)據(jù)融合的算法分為早期融合和晚期融合。早期融合使用多傳感器信息來獲得跟蹤算法的融合輸入。多傳感器的信息被用于提升物體檢測的精度，從而提升跟蹤精度［16-17］。晚期融合方法對多種傳感器信息進行獨立的跟蹤處理并且融合跟蹤結(jié)果。比如說，跟蹤器可以使用兩個并行的均值偏移算法分別在圖像和3D 點云上定位物體，并使用2D/3D卡爾曼濾波器獲得物體軌跡［18］。文獻［19］投影3D 點云到鳥瞰圖以及主視圖，結(jié)合RGB 圖像信息獲得一個端到端的網(wǎng)絡，從而完成多模態(tài)融合任務［19］，再通過訓練好的CNN網(wǎng)絡提取外觀和幾何線索，作為相似度計算模型的輸入。文獻［20］采用基本的置信度分配方法，對特征分支的輸出進行融合，得到最終的相似度評分函數(shù)［20］。

3 多目標跟蹤方法

3.1 問題建模及系統(tǒng)總覽

在駕駛環(huán)境中，模型的輸入是安裝在自主車輛上的相機和3D 激光雷達獲得的數(shù)據(jù)。多目標跟蹤任務可以做出如下定義：給定輸入數(shù)據(jù)（RGB 圖像，3D 點云）以及物體的3D 邊界框，來獲得物體的軌跡估計。對于一個序列，給定一系列RGB 幀SRGB= [s1，s2，…，sn，…，sN]和3D 掃 描 幀SLiDAR=假設在第n幀包含k個物體檢測DEn=[de1n，de2n，…，dekn]。多目標跟蹤的核心問題是如何關聯(lián)相鄰幀間的物體。物體將根據(jù)出現(xiàn)的順序獲得由0 開始的索引號。對于每一個物體，將會有一個軌跡展示物體的移動路線。當同一物體駛出后再次返回視野內(nèi)時，該物體被分配與之前相同的索引號。

圖2展示本文的方法框架，其是一個兩階段的框架。首先，計算相鄰幀物體距離關聯(lián)矩陣，而后通過檢查物體對間距離判斷ID 互換的發(fā)生。如果一些物體對在計算物體間距時有較小的差值，把這些鄰近物體對送入特征比較模塊進行進一步的判斷，并且將包含剩余物體的位置關聯(lián)矩陣通過匈牙利算法獲得關聯(lián)結(jié)果。當不存在鄰近物體對時，直接將包含所有物體的位置關聯(lián)矩陣輸入匈牙利算法，得到關聯(lián)結(jié)果。

3.2 匈牙利算法

匈牙利算法［7］可用于二分圖的最大權值匹配，常用的匈牙利算法計算是基于相應關聯(lián)矩陣的，在多目標跟蹤的任務中，鄰接矩陣的參數(shù)可選擇相鄰幀間物體對之間的歐式距離。對于3D 物體跟蹤方法，物體間的距離可由式（1）獲得

圖2 算法框架圖Fig.2 The pipeline of method

其中，（x，y，z）是物體中心點坐標值。

使用位置關聯(lián)矩陣的匈牙利算法是基于在行車中幀間距離更小的物體對有更大的可能性屬于同一個物體的假設。因為多目標跟蹤的主要任務是進行對象關聯(lián)，所以沒有把工作的重點放在對象檢測模塊上，而是以三維對象的真值作為輸入。

在匈牙利算法的關聯(lián)中，發(fā)現(xiàn)當兩個物體空間鄰近時，它們在關聯(lián)后可能會切換ID。這個問題會導致大多數(shù)物體交互點的跟蹤錯誤。在交互場景中，準確的跟蹤大多是在物體之間速度差比較大的情況下發(fā)生的。

3.3 ID互換的特征比較模型

本文使用特征比較模塊來增加跟蹤精度。特征比較模塊由外觀特征和幾何特征兩部分組成。兩部分獲得相應的結(jié)果結(jié)合之后獲得最終的匹配結(jié)果。與匈牙利算法相比，匹配結(jié)果具有較高的優(yōu)先級。

在使用特征比較模型之前，應該對可能發(fā)生ID互換的物體進行區(qū)分。通過對位置關聯(lián)矩陣的觀察，發(fā)現(xiàn)錯誤跟蹤結(jié)果通常在同一行上有兩個大小相近的值。即當前幀有兩個物體同時與上一幀的某個物體空間距離較近。因此做出如下假設：在關聯(lián)矩陣中，存在與同一行上的匹配值相近的另一個值可能會引起誤差跟蹤。在基于歐氏距離的距離關聯(lián)矩陣中，匹配參數(shù)表示該對象在相鄰兩幀中的移動距離。因此，假設同一行上小于最小值的兩倍的值可以視為接近匹配值。方法是通過搜索距離關聯(lián)矩陣來尋找近似值，并將這些對象的對應特征放入特征比較模型中。

（1）外觀一致性關聯(lián)

通過利用物體的三維中心坐標，可以得到該物體在RGB圖像中的位置和屬于該物體的密集點云。對于比較外觀特征模型，將對象所占區(qū)域輸入VGG-16 網(wǎng)絡中提取特征向量。VGG-16 網(wǎng)絡的輸出為1000維向量。特征向量大小相同，其余弦相似度為：

其中uj和ul是1000維的外觀特征向量。uji和uli是uj和ul的第i個值。注意，uj和ul分別取自兩個相鄰的幀。

（2）幾何一致性關聯(lián)

點云可以用來描述物體的幾何特征。通過對三維點云的觀察和理解，得知同一物體內(nèi)部的三維點與同一物體中心點的均值和協(xié)方差為物體的表示提供了有效信息。對于不同的物體它們通常在三維點的數(shù)量和方向上是不同的。因此，將物體的幾何特征向量描述為：

其中xmean，ymean和zmean分別是中心點與物體中其他點在x，y，z方向上的距離均值，xs，ys和zs是相應的協(xié)方差，n是物體中3D點的數(shù)目，α是相對自車運動方向的朝向角。利用余弦相似度測量相鄰幀中兩個3D物體之間的相似度的公式如式（4）所示：

其中tj和tl是9 維的幾何特征向量，tji和tli是tj和tl的第i個值。假設tj和tl是公式（2）中相同物體的幾何特征向量。使用公式（2）和公式（4）來計算兩個對象的匹配相似度如式（5）所示：

對于輸入特征比較模型的物體對，我們比較相似度得分，并選擇相似度大的一對作為關聯(lián)結(jié)果。

4 實驗結(jié)果及分析

4.1 數(shù)據(jù)集

為了評估多目標跟蹤方法的性能，我們在BLVD 數(shù)據(jù)集上對新提出的方法進行了測試，根據(jù)物體密度（低和高）和光照條件（白天和夜間）劃分出四種場景類型。

BLVD數(shù)據(jù)集包含249129條3D標注，獨立追蹤實例4902 條，共214922 個物體點，3D 標注的5D 交互事件識別6004 條，5D 意圖預測個體4900 個，BLVD 包含329 條訓練序列和325 條測試序列。本文評價指標采用目前通用的MOT 評價指標［22］。

4.2 結(jié)果分析

本文的方法在整個數(shù)據(jù)集上的測試結(jié)果如表1所示。整個數(shù)據(jù)集存在物體的序列共有617 個，在表1中，根據(jù)物體類別分為了行人、車輛、騎者三種?！?H’表示使用匈牙利算法的方法；‘-F’表示使用匈牙利算法和特征比較模塊的方法；‘-A’表示參考文獻［21］使用的方法。

表1 多目標跟蹤結(jié)果（↑表示越高性能越好，↓表示越低性能越好）Tabel 1 The results of multi-object tracking.（↑and ↓prefer a higher value and lower value respectively）

結(jié)果表明，基于特征比較模型的方法增加了MOTA，有效地解決了ID 互換問題。不包含特征比較模型的方法運行速度約為8幀/秒，嵌入特征比較模型后運行速度約為3 幀/秒。這兩組方法在MOT度量中都顯示出良好的結(jié)果，其中特征比較模型提供了更好的結(jié)果。本文方法在與AB3D方法的比較中展示了更好的跟蹤準確性，特別是對于行人和騎者的跟蹤過程。對于這一現(xiàn)像，主要是AB3D 方法對于檢測到的物體需要與卡爾曼濾波預測結(jié)果進行重合判定，而對于行人和騎者由于其行動更靈活且體積更小，所以會有較多的檢測丟失。

圖3顯示了在交互場景中驗證特征比較模型的一個典型示例。第一行跟蹤結(jié)果基于匈牙利算法，第二行跟蹤結(jié)果基于匈牙利算法+特征比較模塊。第一行編號為4 和5 的騎者由于相互接近，在第19幀時交換ID 編號，第二行編號為4 和5 的騎者在特征比較模塊的幫助下可以維持自身ID 不變。在BLVD數(shù)據(jù)集中，不同密度場景的分布相對均衡，場景多，物體少，這些物體較少的序列提高了多目標跟蹤的精度。

圖3 交互場景下的物體ID互換示例Fig.3 The example of object ID-switch in interactive scenario

本文方法減少了切換次數(shù)，提高了跟蹤精度。因為使用了來自數(shù)據(jù)集的物體坐標，所以MOTP、Rcll、Prcn值都很高。

5 結(jié) 論

本文提出了一種基于3D 激光雷達和2D RGB攝像機數(shù)據(jù)的駕駛環(huán)境下的多目標跟蹤方法。我們以匈牙利算法為基本框架，提出了一種由外觀模型的對象關聯(lián)模塊和幾何特征組成的特征比較模型，用于校正匈牙利算法的錯誤跟蹤。該方法已經(jīng)在BLVD 數(shù)據(jù)集上進行了測試，并獲得了良好的性能。