吳超，吳紹斌，李子睿，孫冬

(北京理工大學(xué) 機(jī)械與車輛學(xué)院，北京 100081)

0 引言

近年來，隨著人工智能技術(shù)的發(fā)展及應(yīng)用，無人系統(tǒng)在現(xiàn)代作戰(zhàn)和國家安全領(lǐng)域中大顯身手，成為重要的戰(zhàn)斗力量之一[1]。而目標(biāo)的檢測和跟蹤作為精準(zhǔn)進(jìn)行目標(biāo)打擊的基礎(chǔ)，其重要性不言而喻。目前在真實的作戰(zhàn)場景中，復(fù)雜的環(huán)境是目標(biāo)檢測和跟蹤面臨的主要挑戰(zhàn)[2]，如何能夠高效、準(zhǔn)確地檢測和跟蹤目標(biāo)，已經(jīng)成為提高實用性的關(guān)鍵。

激光雷達(dá)由于其出色的三維場景建模能力，一直廣泛用于無人駕駛領(lǐng)域。目前，激光雷達(dá)的目標(biāo)檢測和跟蹤算法可分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法兩種。傳統(tǒng)激光雷達(dá)的障礙物檢測與跟蹤方法可以分為基于柵格單元分析的方法、基于檢測-跟蹤的方法?；跂鸥駟卧治龅哪繕?biāo)檢測、跟蹤方法是用柵格對目標(biāo)進(jìn)行表征，并通過柵格運(yùn)動區(qū)分環(huán)境中的動態(tài)區(qū)域和動態(tài)區(qū)域[3-4]。基于檢測-跟蹤的動態(tài)目標(biāo)檢測方法，主要是對連續(xù)多幀檢測到的目標(biāo)進(jìn)行數(shù)據(jù)關(guān)聯(lián)，然后根據(jù)目標(biāo)的位置變化檢測動態(tài)目標(biāo)，可以通過建立靜態(tài)背景方法提取動態(tài)目標(biāo)[5]。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的方法逐漸成為主流。相比于傳統(tǒng)方法檢測，深度學(xué)習(xí)檢測方法的泛化能力更強(qiáng)、準(zhǔn)確率更高?；谏疃葘W(xué)習(xí)的點(diǎn)云3D檢測技術(shù)主要分為基于點(diǎn)(Point-Based)、基于體素(Voxel-Based)、基于相機(jī)和激光雷達(dá)融合(Camera-Lidar Fusion)3個方向[6]。Voxel-Based的3D目標(biāo)檢測將點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為體素類型，然后利用成熟的2D目標(biāo)檢測技術(shù)進(jìn)行檢測，例如Voxel-Net[7]、PointPillars[8]、CenterPoint[9]、3D-CenterNet[10]等。Point-Based的3D目標(biāo)檢測采用原始的點(diǎn)云數(shù)據(jù)作為特征輸入，直接對每個點(diǎn)分類，例如PointNet[11]、PointNet++[12]、PointRCNN[13]、PVRCNN[14]等。基于Camera-Lidar Fusion的3D目標(biāo)檢測以相機(jī)的圖片數(shù)據(jù)和激光雷達(dá)的點(diǎn)云數(shù)據(jù)為輸入，結(jié)合圖像的色彩、紋理特征和點(diǎn)云數(shù)據(jù)的幾何特征進(jìn)行融合，旨在增強(qiáng)加檢測的準(zhǔn)確性，如MV3D[15]、F-PointNet[16]、CrossFusion Net[17]等。目前基于Camera-Lidar Fusion的3D目標(biāo)檢測的融合還處于較低水平，具有顯著的分辨率損失，而且點(diǎn)云和圖像數(shù)據(jù)的時間和空間對準(zhǔn)誤差的消除、圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)視場角不一致的融合問題還亟待解決。此外相比于Voxel-Based的3D目標(biāo)檢測，Point-Based的3D目標(biāo)檢測沒有任何的信息編碼損失，準(zhǔn)確率更高，但是由于點(diǎn)云數(shù)據(jù)量較大，實效性較差。如何在保證Point-Based框架準(zhǔn)確率的前提下提高網(wǎng)絡(luò)的效率，成為一個重要的研究方向。另外，現(xiàn)有跟蹤算法需要在初始幀指定目標(biāo)[18]，只依靠無人系統(tǒng)自身的智能，往往不能適應(yīng)瞬息萬變戰(zhàn)場環(huán)境，因此需要與指揮人員進(jìn)行交互。

為提高越野環(huán)境中目標(biāo)跟蹤的準(zhǔn)確率和效率，本文提出一種基于人機(jī)交互的免錨的目標(biāo)檢測和跟蹤系統(tǒng)。本文工作主要有3個方面：1)為解決Point-Based框架的3D目標(biāo)檢測的效率問題，提出一種免錨(anchor-free)的目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)使用高效的PointNet和MLPs結(jié)構(gòu)，并設(shè)計了邊界框關(guān)聯(lián)層進(jìn)行監(jiān)督學(xué)習(xí)，這種策略的好處在于只需要在訓(xùn)練時使用，而在線檢測時則不需要，有效地加快了檢測效率。2)為提高跟蹤的靈活性，使其能夠適應(yīng)復(fù)雜多變的戰(zhàn)場環(huán)境，提出一套基于人機(jī)交互的目標(biāo)跟蹤方法。3)為提高檢測目標(biāo)和跟蹤目標(biāo)匹配的準(zhǔn)確率，提出一種綜合外觀特征和運(yùn)動特征的匹配方法。

如圖1所示，本文提出的基于人機(jī)交互的免錨目標(biāo)檢測和跟蹤系統(tǒng)由三部分組成，分別為檢測系統(tǒng)、指揮系統(tǒng)和目標(biāo)跟蹤系統(tǒng)。目標(biāo)檢測系統(tǒng)以點(diǎn)云為輸入，輸出檢測目標(biāo)序列；指揮系統(tǒng)通過相機(jī)實時獲取環(huán)境態(tài)勢信息，根據(jù)檢測系統(tǒng)的結(jié)果人機(jī)交互選擇跟蹤目標(biāo)，然后生成外觀模型下發(fā)給跟蹤系統(tǒng)；跟蹤系統(tǒng)利用指揮系統(tǒng)下發(fā)的外觀模型和檢測目標(biāo)的外觀模型進(jìn)行匹配，基于卡爾曼濾波算法進(jìn)行運(yùn)動估計，獲取目標(biāo)的位置、速度和方向。

1 基于免錨的目標(biāo)檢測網(wǎng)絡(luò)

檢測系統(tǒng)如圖1所示，本文提出一種基于免錨的兩階段檢測網(wǎng)絡(luò)。第1階段為邊界框定位網(wǎng)絡(luò)，不同于現(xiàn)有的3D目標(biāo)檢測網(wǎng)絡(luò)采用region proposal network(RPN網(wǎng)絡(luò))產(chǎn)生大量的邊界框，然后在后處理階段利用非極大值抑制算法(NMS)進(jìn)行篩選。本文設(shè)計了高效的PointNet和MLPs網(wǎng)絡(luò)結(jié)構(gòu)并通過邊界框關(guān)聯(lián)層來監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)相應(yīng)的特征，直接回歸若干個邊界框，網(wǎng)絡(luò)結(jié)構(gòu)簡單。而且邊界框關(guān)聯(lián)層只需要在訓(xùn)練階段來監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)，在線檢測時不需要，在很大程度上解決了Point-Based網(wǎng)絡(luò)的效率問題。第2階段為邊界框細(xì)化網(wǎng)絡(luò)，其以第1階段的結(jié)果為輸入，回歸出更精確的邊界框。

1.1 目標(biāo)邊界框定位網(wǎng)絡(luò)

1.1.1 邊界框編碼

1.1.2 目標(biāo)邊界框定位網(wǎng)絡(luò)結(jié)構(gòu)

如圖1檢測系統(tǒng)所示，邊界框定位網(wǎng)絡(luò)由兩部分組成，第1部分為全局特征提取部分，可用PointNet或者PointNet++等網(wǎng)絡(luò)進(jìn)行特征提取，輸出為1 024維的全局特征向量；第2部分為邊界框回歸部分，主要由MLP層(包括全連接層和非線性的激活函數(shù)Leaky ReLU)組成。其后為兩個分支網(wǎng)絡(luò)，一個分支輸出H×2×3維的向量(H為預(yù)測的邊界框個數(shù))，表征邊界框的參數(shù)；另一個分支輸出H×4維的向量，對目標(biāo)框的置信度和邊界框中物體的類別進(jìn)行預(yù)測。

為監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)合適的特征，需要將預(yù)測的邊界框和真值邊界框進(jìn)行關(guān)聯(lián)，受3D BoNet的啟發(fā)，本文設(shè)計了邊界框關(guān)聯(lián)層。邊界框關(guān)聯(lián)層在訓(xùn)練的過程中監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)相應(yīng)的特征，其只增加訓(xùn)練的時間成本，不影響在線檢測，其原理圖如圖3所示。

為計算Ci,j值，一般可用歐式距離或者兩個邊界框的交并比進(jìn)行衡量，但為了更好地反映點(diǎn)在邊界框中的分布，本文采用如下3個標(biāo)準(zhǔn)。

1)歐式距離

2)空間交并比

3)點(diǎn)的交并比

總的兩邊界框的代價值Ci,j為

假設(shè)關(guān)聯(lián)矩陣為A,A∈RH×T，A的元素Ai,j為第i個預(yù)測邊界框和第j個真值邊界框之間的匹配關(guān)系。Ai,j=1，表示預(yù)測邊界框和真值邊界框匹配；Ai,j=0，表示不匹配。因此邊界框關(guān)聯(lián)問題可歸納為找到一個最優(yōu)的關(guān)聯(lián)矩陣A使得總的目標(biāo)函數(shù)最小。對此問題進(jìn)行建模，模型表示如下：

求解邊界框關(guān)聯(lián)問題(匈牙利匹配問題)，可得出關(guān)聯(lián)矩陣A，并根據(jù)關(guān)聯(lián)矩陣A計算出網(wǎng)絡(luò)損失函數(shù)。損失函數(shù)由兩部分組成，一是預(yù)測邊界框和真值邊界框的損失值，二是預(yù)測的邊界框的置信度和類別的損失值，總的損失函數(shù)Lt為

Lt=Lb+Ls+Lc

式中：Lb為預(yù)測邊界框和真值邊界框的損失值，其與Ci,j呈正比，

Ls為預(yù)測的邊界框分?jǐn)?shù)值的損失函數(shù)，

Ls中前半部分為匹配部分損失，后半部分為未匹配部分損失，pt為邊界框的置信度；Lc為預(yù)測的邊界框的類別的損失，為降低各類別不均衡性的影響，本文采用Focal Loss損失函數(shù)[20]。

1.2 邊界框細(xì)化網(wǎng)絡(luò)

1.2.1 邊界框細(xì)化網(wǎng)絡(luò)結(jié)構(gòu)

由于邊界框定位網(wǎng)絡(luò)輸出的邊界框范圍較大，需要進(jìn)一步進(jìn)行細(xì)化，為此提出邊界框的細(xì)化網(wǎng)絡(luò)。目標(biāo)邊界框細(xì)化網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其主要由T-Net網(wǎng)絡(luò)(輕量化的PointNet網(wǎng)絡(luò))和PointNet回歸網(wǎng)絡(luò)組成。圖4中，Δx、Δy、Δz為T-Net網(wǎng)絡(luò)回歸邊界框定位網(wǎng)絡(luò)輸出邊界框的中心和真值邊界框中心的偏差，A表示A(add)層，C表示C(contact)層，h、w、l分別為邊界框的長、寬、高，θ為航向角。

網(wǎng)絡(luò)的輸入為邊界框定位網(wǎng)絡(luò)輸出的邊界框中的點(diǎn)云，維度為m×c，m為點(diǎn)云點(diǎn)的個數(shù)，c為輸入特征維度。然后平移變換層將點(diǎn)云由原來的雷達(dá)坐標(biāo)系平移到以邊界框中心的坐標(biāo)系。T-Net網(wǎng)絡(luò)回歸邊界框定位網(wǎng)絡(luò)輸出邊界框的中心和真值邊界框中心的偏差(Δx,Δy,Δz)，然后利用A(add)層將偏差消除，最后C(contact)層將雷達(dá)坐標(biāo)系下的坐標(biāo)和真值邊界框坐標(biāo)系下的坐標(biāo)值進(jìn)行拼接。坐標(biāo)變換原理圖如圖5所示。另外為精確地編碼邊界框，采用中心點(diǎn)(cx,cy,cz)、邊界框的長寬高(h,w,l)和航向角θ共7個參數(shù)來表示邊界框，最后利用PointNet網(wǎng)絡(luò)直接回歸這些參數(shù)。

1.2.2 損失函數(shù)

不同于之前網(wǎng)絡(luò)用角度的差值或角度的正弦值之差來表示角度偏差，本文提出了用兩個余弦值之差來表征角度差，相比于前兩種方法，新方法能更好地反映兩航向角之間的偏差。

Δθ=cosθg-cosθp

邊界框中心點(diǎn)的回歸損失用中心殘差的歐式距離來衡量，長、寬、高和航向角的回歸損失用l1距離來衡量。損失函數(shù)如下：

|Δli|+|Δwi|+|Δhi|+|Δθi|)

1.3 檢測目標(biāo)圖片提取

3D目標(biāo)檢測輸出為目標(biāo)的邊界框，并不能直接得到目標(biāo)的圖片，因此本文將點(diǎn)云投影到圖像上，一個目標(biāo)所有點(diǎn)云投影在圖片上形成的最小二維框?qū)?yīng)的圖片即為檢測目標(biāo)的外觀圖片。如圖6所示。

2 指揮系統(tǒng)

目前，主流的跟蹤方法在理論研究中都有一個假設(shè)，即在第1幀就已經(jīng)給出跟蹤目標(biāo)。但是對于復(fù)雜多變的戰(zhàn)場環(huán)境而言，跟蹤的目標(biāo)需要跟蹤戰(zhàn)場局勢進(jìn)行實時調(diào)整，基于自動目標(biāo)檢測來提取初始信息并不能滿足戰(zhàn)場環(huán)境，因此本文搭建了一套指揮系統(tǒng)來實現(xiàn)指揮人員交互地選取目標(biāo)，實現(xiàn)無人平臺的協(xié)同作戰(zhàn)。

2.1 指揮平臺簡介

智能技術(shù)的發(fā)展及軍事化應(yīng)用，“信息+智能”已經(jīng)成為智能化作戰(zhàn)指揮的特征[21]。本文提出的指揮系統(tǒng)主要由態(tài)勢回傳、人機(jī)交互、軟硬件狀態(tài)的反饋、信息下發(fā)四個部分組成，指揮軟件如圖7所示。態(tài)勢回傳部分利用無人平臺上的傳感器(相機(jī))實時感知戰(zhàn)場環(huán)境，通過電臺進(jìn)行實時回傳，并在指揮軟件上實時顯示；人機(jī)交互部分是指指揮人員根據(jù)回傳的戰(zhàn)場態(tài)勢，可以靈活地選定跟蹤目標(biāo)；軟硬件狀態(tài)反饋部分實時監(jiān)測軟硬件的狀態(tài)；信息下發(fā)部分是將外觀模型下發(fā)給無人平臺跟蹤系統(tǒng)，以便無人平臺對跟蹤目標(biāo)進(jìn)行鎖定和跟蹤。

2.2 基于人機(jī)交互的跟蹤目標(biāo)圖片提取

為方便指揮人員進(jìn)行跟蹤圖片選取，本文設(shè)置了兩種交互操作：1)直接加載；2)單次點(diǎn)擊。指揮軟件的任務(wù)配置界面如圖8所示。

1)直接加載

在指揮人員已經(jīng)獲取到跟蹤目標(biāo)的圖片時，例如之前已經(jīng)跟蹤過的目標(biāo)，可以直接通過“加載敵方目標(biāo)”進(jìn)行跟蹤目標(biāo)圖片的加載。

2)單次點(diǎn)擊

在未知跟蹤目標(biāo)的情況下，或者需要更換跟蹤目標(biāo)時，指揮人員可以從戰(zhàn)場態(tài)勢圖中選取跟蹤目標(biāo)。對于跟蹤算法，物體的外界矩形框是最常見的目標(biāo)表示形式，人工框選目標(biāo)的矩形區(qū)域也是最簡單提取目標(biāo)圖片的方法，但是由于態(tài)勢圖中目標(biāo)一直是在運(yùn)動的，直接框選對指揮人員的反應(yīng)時間要求苛刻，本文采用目標(biāo)點(diǎn)擊的方法進(jìn)行跟蹤目標(biāo)選擇，通過指揮軟件直接點(diǎn)擊“選擇敵方目標(biāo)”按鈕，直接利用鼠標(biāo)單擊選擇目標(biāo)。

本文利用之前目標(biāo)檢測網(wǎng)絡(luò)的結(jié)果在圖像中提取檢測目標(biāo)的圖片(詳見1.3節(jié))。然后根據(jù)鼠標(biāo)點(diǎn)擊的位置和檢測目標(biāo)的邊界框進(jìn)行匹配，若鼠標(biāo)的位置在圖片上某檢測目標(biāo)的區(qū)域內(nèi)，則認(rèn)為該檢測目標(biāo)圖片為跟蹤目標(biāo)圖片。

2.3 外觀模型提取

外觀模型的建立方法主要可分為兩類，一類為傳統(tǒng)的方法，主要根據(jù)圖片的顏色，紋理和形狀進(jìn)行特征提取，其泛化能力和魯棒性較差，另一類為基于神經(jīng)網(wǎng)絡(luò)的方法，神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征提取能力，不僅能提取常見的低維特征，如之前提到的形狀，紋理，顏色等，還能提取一些高維特征，其魯棒性和準(zhǔn)確性都較高。

本文參考文獻(xiàn)[22]提出的深度外觀模型，其模型的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。其輸入為目標(biāo)的圖片，輸出為128維特征向量來表征系統(tǒng)的外觀模型。

表1 深度外觀模型網(wǎng)絡(luò)結(jié)構(gòu)表

3 目標(biāo)跟蹤系統(tǒng)

目標(biāo)檢測網(wǎng)絡(luò)輸出多個檢測目標(biāo)，為了對跟蹤目標(biāo)進(jìn)行鎖定，需用已知的跟蹤目標(biāo)的外觀模型和檢測目標(biāo)的外觀模型進(jìn)行匹配。為表征檢測目標(biāo)X和跟蹤目標(biāo)Y的相似度關(guān)系，需要定義距離度量標(biāo)準(zhǔn)，常用的距離度量方法包括歐式距離度量、曼哈頓距離度量、余弦距離度量準(zhǔn)則等。

本文提取檢測目標(biāo)序列和跟蹤目標(biāo)的外觀模型，其為128維視覺特征向量。同一目標(biāo)因光照強(qiáng)度和尺度變化都會對特征向量產(chǎn)生影響，歐式距離和曼哈頓距離會產(chǎn)生較大的變化，因此本文選擇余弦距離來度量外觀模型的相似程度。相似程度越高，距離值應(yīng)該越小，因此定義外觀模型之間的距離值為

對檢測目標(biāo)和給定的跟蹤目標(biāo)進(jìn)行相似度度量，設(shè)定度量距離的閾值為T，檢測目標(biāo)小于度量閾值T，則被認(rèn)為是跟蹤目標(biāo)。

3.1 目標(biāo)狀態(tài)的運(yùn)動估計

對目標(biāo)進(jìn)行跟蹤任務(wù)中，對目標(biāo)運(yùn)動狀態(tài)的運(yùn)動估計非常重要。目標(biāo)的運(yùn)動估計是將環(huán)境的測量信息轉(zhuǎn)化為目標(biāo)的運(yùn)動學(xué)信息，便于無人平臺進(jìn)行決策和規(guī)劃。但是實際測量存在不確定性和誤差，為了消除這種不確定性和誤差，并考慮車輛的曲線運(yùn)動，本文建立了非線性的跟蹤模型，采取擴(kuò)展卡爾曼濾波算法實現(xiàn)車輛目標(biāo)的運(yùn)動估計。

擴(kuò)展卡爾曼濾波器是標(biāo)準(zhǔn)卡爾曼濾波在非線性情形下的一種擴(kuò)展形式，它是一種高效率的遞歸濾波器。其首先利用泰勒展開(取1階導(dǎo)數(shù))將非線性模型進(jìn)行線性化，建立線性的狀態(tài)方程和觀測方程。狀態(tài)方程通過建立系統(tǒng)的運(yùn)動學(xué)模型來預(yù)測目標(biāo)下一刻的運(yùn)動狀態(tài)，觀測方程建立系統(tǒng)的觀測模型，擴(kuò)展卡爾曼濾波的主要思想就是將由先驗估計的結(jié)果和觀測的結(jié)果進(jìn)行一個融合，其濾波過程如圖9所示。

在目標(biāo)跟蹤中，勻轉(zhuǎn)速運(yùn)動模型是最常見、簡單高效的模型之一，不管是目標(biāo)做直線運(yùn)動還是曲線運(yùn)動都有一定的適應(yīng)性，其假定在微小時間內(nèi)目標(biāo)的運(yùn)動速度大小是不變的，角速度也是不變的，目標(biāo)的位置估計由上一時刻的位置和速度大小和朝向決定。該模型一般以目標(biāo)的位置、速度大小、車輛朝向、角速度作為狀態(tài)量，為方便估計，一般將運(yùn)動分解為x軸、y軸方向，px、py分別為x軸y軸方向的位置，vx、vy分別為x軸、y軸方向的速度，ω為旋轉(zhuǎn)運(yùn)動角速度，運(yùn)動模型示意圖如圖10所示。

根據(jù)運(yùn)動學(xué)建?？傻?/p>

vk=vk-1,wk=wk-1

θk=θk-1+w·Δt

其擴(kuò)展卡爾曼狀態(tài)方程和觀測方程如下：

式中：Wk和Vk分別表示系統(tǒng)過程噪聲和測量噪聲。

3.2 基于運(yùn)動模型的模型匹配

基于外觀模型的匹配通常能夠從檢測序列中鎖定跟蹤目標(biāo)，但是如果對于目標(biāo)序列中存在和跟蹤目標(biāo)較為相似的外觀物體時，可能會產(chǎn)生誤匹配。為降低誤匹配率，本文采用運(yùn)動模型對模型匹配進(jìn)行約束。

為衡量預(yù)測邊界框和觀測邊界框之間的距離，采用3D交并比(IOU)來表征。在滿足外觀模型匹配的條件下，若3D IOU的閾值大于0.5，則認(rèn)為該目標(biāo)為有效跟蹤目標(biāo)，否則為無效目標(biāo)。IOU的計算公式如下：

式中：|A∩B|為邊界框A和邊界框B相交的體積；|A∪B|為邊界框A和邊界框相并的體積。

4 實驗及結(jié)果

為驗證本文算法的效果，首先利用KITTI數(shù)據(jù)集對3D目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練和驗證，然后利用實車平臺進(jìn)行實車驗證。

4.1 目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練及結(jié)果

4.1.1 數(shù)據(jù)集

KITTI[23]數(shù)據(jù)集是目前自動駕駛最常用的數(shù)據(jù)集之一，它提供了時間戳對準(zhǔn)后的相機(jī)和激光雷達(dá)數(shù)據(jù)，同時給出了激光雷達(dá)和相機(jī)的空間變換的標(biāo)定參數(shù)。KITTI數(shù)據(jù)集的場景較為豐富，包含市區(qū)、鄉(xiāng)村和高速公路等場景采集的圖像數(shù)據(jù)，每張圖像中最多達(dá)15輛車和30個行人，還有各種程度的遮擋與截斷。為提高檢測的效率，去除無用點(diǎn)，選取x、y、z的范圍分別為[-40 m，40 m]，[-1 m，3 m]，[0 m，70 m]。

4.1.2 實驗平臺和訓(xùn)練參數(shù)設(shè)置

所提網(wǎng)絡(luò)使用Pytorch深度學(xué)習(xí)框架，操作系統(tǒng)為Ubuntu16.04系統(tǒng)。實驗平臺為研華MIC-770工控機(jī)，具體配置如表2所示。

表2 工控機(jī)參數(shù)配置

在模型的訓(xùn)練過程中，主要設(shè)置的參數(shù)有學(xué)習(xí)率、學(xué)習(xí)率策略、訓(xùn)練輪數(shù)、批量訓(xùn)練數(shù)量、優(yōu)化器等，具體訓(xùn)練參數(shù)如表3所示。

表3 模型訓(xùn)練參數(shù)

4.1.3 結(jié)果評估

算法的評測使用KITTI測試集，KITTI數(shù)據(jù)集根據(jù)目標(biāo)的距離和遮擋將環(huán)境目標(biāo)劃分為Easy、Moderate、Hard共3種模式，在每種模式下統(tǒng)計檢測的準(zhǔn)確性。

可視化網(wǎng)絡(luò)輸出結(jié)果如圖11所示，其中圖11(a)為相機(jī)拍攝的圖片，圖11(b)為矩形框定位網(wǎng)絡(luò)的結(jié)果可視化，圖11(c)為邊界框細(xì)化網(wǎng)絡(luò)的結(jié)果可視化，綠色框為檢測出來的目標(biāo)邊界框。由圖11可知，矩形框定位網(wǎng)絡(luò)很好地定位目標(biāo)大致位置，并且經(jīng)過邊界框細(xì)化網(wǎng)絡(luò)，目標(biāo)的邊界框變得更加精確。

為評估算法的準(zhǔn)確率和效率(時間)，將提出的算法和現(xiàn)有的算法按照同一評估標(biāo)準(zhǔn)進(jìn)行比較，包括F-PointNet、MV3D、VoxelNet等準(zhǔn)確性和算法耗時，結(jié)果如表4所示。在這些方法中，本文提取的方法用40 ms的時間代價(低于大部分算法)取得了較高的準(zhǔn)確度。

表4 算法性能對比結(jié)果

4.2 外觀特征匹配結(jié)果

外觀特征匹配是目標(biāo)跟蹤的基礎(chǔ)。本文通過開源的車輛重識別數(shù)據(jù)集Vehicle ReID(預(yù)留部分作為測試集)對深度外觀提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練。為驗證外觀匹配模型的可靠性和選取一個合適的外觀相似度閾值T，本文在Vehicle ReID的測試集上進(jìn)行統(tǒng)計學(xué)分析。分析結(jié)果如圖12所示，其中圖12(a)為同一目標(biāo)不同位置和角度的相似度距離曲線，圖12(b)為不同目標(biāo)的相似度距離曲線。

通過分析可知，同一目標(biāo)相似度的均值為0.06，均方差為0.049，不同目標(biāo)相似度的均值為0.287，均方差為0.045，根據(jù)統(tǒng)計學(xué)的3σ準(zhǔn)則(數(shù)值分布的概率為0.997 3)，同一目標(biāo)的3σ準(zhǔn)則分布范圍為(0，0.152 1)，不同目標(biāo)的3σ準(zhǔn)則分布范圍為(0.152，0.422)，因此選擇相似度外觀閾值為0.152。為進(jìn)一步驗證算法的泛化性能，隨機(jī)在KITTI數(shù)據(jù)集上選擇一幅圖片，如圖13所示，衡量圖片中目標(biāo)和選定目標(biāo)的外觀相似度距離，車輛目標(biāo)1的閾值遠(yuǎn)小于0.152，與給定的目標(biāo)為同一目標(biāo)，與實際情況相符。

4.3 實車實驗

4.3.1 實驗平臺

實驗平臺采用北京理工大學(xué)智能車輛研究所的智能車平臺，如圖14所示。車上配備激光雷達(dá)、單目相機(jī)、GPS & 慣性制導(dǎo)系統(tǒng)、通信電臺。

4.3.2 實驗分析

首先進(jìn)行目標(biāo)檢測試驗，試驗環(huán)境為草地環(huán)境，動態(tài)目標(biāo)為車輛目標(biāo)，動態(tài)目標(biāo)不在相機(jī)視野內(nèi)視為無效目標(biāo)。試驗總計采集有效目標(biāo)2 658幀，目標(biāo)檢測的統(tǒng)計結(jié)果如表5所示。

表5 目標(biāo)檢測情況統(tǒng)計

從表5中可以看出，本文算法的檢測準(zhǔn)確率為91%左右，但也存在漏檢和誤檢的情況，分析發(fā)現(xiàn)誤檢和漏檢較多發(fā)生在距離車輛50 m后，主要原因為激光雷達(dá)在50 m后的點(diǎn)較少，算法難以檢測出。

最后對本文算法的跟蹤精度進(jìn)行試驗驗證，因為需要前車的相對位置和速度的真值，所以盡量保證前車做勻速運(yùn)動，速度為10 km/h，根據(jù)本車的速度(由慣性制導(dǎo)系統(tǒng)獲得)和初始的相對距離計算出每一幀的相對距離，作為相對距離真值。實驗結(jié)果如圖15所示，其中圖15(a)、圖15(b)為相對距離和相對速度的結(jié)果曲線，圖15(c)為本車的速度曲線。

5 結(jié)論

本文搭建了集目標(biāo)檢測、目標(biāo)跟蹤和指揮平臺與一體的高效、準(zhǔn)確的目標(biāo)檢測和跟蹤系統(tǒng)。首先設(shè)計了免錨的目標(biāo)檢測系統(tǒng)，輸出目標(biāo)的邊界框序列；然后指揮系統(tǒng)在此基礎(chǔ)上人機(jī)交互地選擇跟蹤，跟蹤系統(tǒng)將選擇的目標(biāo)外觀模型和跟蹤目標(biāo)外觀模型進(jìn)行匹配，鎖定跟蹤目標(biāo)，再通過卡爾曼濾波算法進(jìn)行運(yùn)動估計。得出主要結(jié)論如下：

1)在Point-Based目標(biāo)框架的基礎(chǔ)上，通過高效的PointNet、MLPs網(wǎng)絡(luò)和邊界框關(guān)聯(lián)層(只增加訓(xùn)練時間成本，不增加在線檢測時間成本)提高了檢測的準(zhǔn)確率和效率。

2)通過指揮系統(tǒng)和無人平臺進(jìn)行人機(jī)交互，實現(xiàn)了對目標(biāo)的靈活選取，提高了系統(tǒng)的靈活性。

3)通過外觀模型和運(yùn)動模型互相補(bǔ)充來對跟蹤目標(biāo)進(jìn)行匹配，提高了匹配的準(zhǔn)確率。

4)實車試驗表明，本文提出的基于人機(jī)交互的免錨檢測和跟蹤方法在精度和效率方面均能滿足越野環(huán)境使用的要求。

由于本文只使用激光雷達(dá)數(shù)據(jù)進(jìn)行目標(biāo)檢測，受激光雷達(dá)感知范圍的影響，距離車輛50 m后的部分檢測效果變差。后續(xù)可以將相機(jī)、激光雷達(dá)、毫米波等傳感器進(jìn)行融合，以提高檢測和跟蹤的準(zhǔn)確性。