黨曉方,蔡興雨

(西安電子工程研究所, 陜西 西安 710100)

隨著信息技術(shù)的快速發(fā)展,目標(biāo)跟蹤技術(shù)被廣泛應(yīng)用于軍事和民用領(lǐng)域。目標(biāo)跟蹤通過(guò)傳感器量測(cè)數(shù)據(jù)(例如雷達(dá)、紅外或聲納)來(lái)估計(jì)目標(biāo)的運(yùn)動(dòng)狀態(tài)。目標(biāo)跟蹤通常可分為機(jī)動(dòng)目標(biāo)跟蹤和非機(jī)動(dòng)目標(biāo)跟蹤,其中“機(jī)動(dòng)”是指目標(biāo)在不可預(yù)測(cè)時(shí)突然改變其運(yùn)動(dòng)狀態(tài)。對(duì)于非機(jī)動(dòng)目標(biāo)跟蹤,傳統(tǒng)基于卡爾曼濾波器(Kalman Filter, KF)的跟蹤算法被廣泛應(yīng)用于多種領(lǐng)域[1-3]。對(duì)于機(jī)動(dòng)目標(biāo)跟蹤,傳統(tǒng)方法使用多個(gè)模型來(lái)擬合復(fù)雜的運(yùn)動(dòng)狀態(tài),即多模型(Multi-Model, MM)算法[4]。為了使多個(gè)模型之間具有更好的協(xié)同效應(yīng),交互式多模型算法[5](Inter-active Mutil-Model, IMM)被廣泛使用,大幅提高了機(jī)動(dòng)目標(biāo)跟蹤的性能。因此,IMM逐漸成為一種被廣泛應(yīng)用的跟蹤框架[6-8]。然而無(wú)論是MM還是IMM,均存在模型集與目標(biāo)運(yùn)動(dòng)狀態(tài)不匹配的問(wèn)題,即模型集無(wú)法描述目標(biāo)所有可能存在的運(yùn)動(dòng)狀態(tài)。此外,當(dāng)目標(biāo)的運(yùn)動(dòng)狀態(tài)發(fā)生變化時(shí),MM和IMM都需積累一定數(shù)量的觀(guān)測(cè)值,從而產(chǎn)生模型估計(jì)延遲問(wèn)題[9]。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展,特別是具有記憶能力的遞歸神經(jīng)網(wǎng)絡(luò)[10](RNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)[11](LSTM)被證明在解決序列問(wèn)題上具有獨(dú)特的優(yōu)勢(shì),為解決MM和IMM所面臨的問(wèn)題提供了新思路[12-16]。RNN和LSTM可以從每一個(gè)時(shí)間步長(zhǎng)的量測(cè)中估計(jì)目標(biāo)狀態(tài)。雙向LSTM可以用于估計(jì)輸出航跡和真實(shí)航跡之間的偏差[14]。雖然LSTM類(lèi)方法能夠?qū)δ繕?biāo)狀態(tài)進(jìn)行有效估計(jì)[15-18],但是對(duì)于較長(zhǎng)的序列,LSTM的效果不佳[16]。

本文提出了一種基于Transformer的機(jī)動(dòng)目標(biāo)跟蹤網(wǎng)絡(luò),該網(wǎng)絡(luò)的編碼器部分完全使用Transformer中的注意力機(jī)制[19],而在解碼器部分采用全卷積網(wǎng)絡(luò)。鑒于目標(biāo)跟蹤問(wèn)題的特殊性,即軌跡序列點(diǎn)之間的位置間隔并不固定,因此采取可學(xué)習(xí)的位置編碼來(lái)學(xué)習(xí)輸入的位置間隔信息。最后,本文提出了一種CN的歸一化方法,將觀(guān)測(cè)值從固定坐標(biāo)系轉(zhuǎn)化為相對(duì)坐標(biāo)系,提高了網(wǎng)絡(luò)向不同觀(guān)測(cè)數(shù)據(jù)的遷移能力。實(shí)驗(yàn)結(jié)果表明,TBN網(wǎng)絡(luò)在跟蹤機(jī)動(dòng)目標(biāo)時(shí),與基于LSTM的網(wǎng)絡(luò)相比,位置和速度估計(jì)誤差分別降低了11.2%和41.9%。此外,注意力機(jī)制的全局特性使得TBN能夠處理序列存在缺失觀(guān)測(cè)的情況,當(dāng)缺失30%的觀(guān)測(cè)值時(shí),TBN的跟蹤性能僅下降18%。

1 問(wèn)題描述

本文用Zk、Xk分別表示目標(biāo)在k時(shí)刻的量測(cè)值和狀態(tài)值。本文主要考慮了X-Y坐標(biāo)平面中的雷達(dá)跟蹤問(wèn)題。K代表了總觀(guān)測(cè)時(shí)間。具體來(lái)說(shuō),Xk=[cx,k,cy,k,vx,k,vy,k]表示二維場(chǎng)景中的目標(biāo)坐標(biāo)和相應(yīng)的速度分量,Zk=[θk,dk]表示雷達(dá)觀(guān)測(cè)到目標(biāo)的方位角和距離。

(1)

由于神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練,而實(shí)際采集數(shù)據(jù)的成本又過(guò)高,因此本文基于狀態(tài)空間模型(State Space Model, SSM)模擬了100 000條軌跡段。SSM首先定義了狀態(tài)轉(zhuǎn)移方程和觀(guān)測(cè)方程來(lái)描述狀態(tài)的轉(zhuǎn)移過(guò)程

(2)

其中,F為狀態(tài)轉(zhuǎn)移矩陣,用于描述目標(biāo)運(yùn)動(dòng)規(guī)律;nk為轉(zhuǎn)移噪聲;h為觀(guān)測(cè)函數(shù),用于描述目標(biāo)狀態(tài)值和觀(guān)測(cè)值之間的轉(zhuǎn)化方式;wk為觀(guān)測(cè)噪聲。

對(duì)于雷達(dá)目標(biāo)跟蹤,Zk被定義為

(3)

其中,σθ為方位角的標(biāo)準(zhǔn)差;σd為距離的標(biāo)準(zhǔn)差。

為了能夠更全面地描述客觀(guān)世界中目標(biāo)的運(yùn)動(dòng)規(guī)律,本文考慮了多種運(yùn)動(dòng)狀態(tài),其中包含勻速運(yùn)動(dòng)(CV)和勻速轉(zhuǎn)彎運(yùn)動(dòng)(CT)。CV的狀態(tài)轉(zhuǎn)移矩陣定義為

(4)

CT的狀態(tài)轉(zhuǎn)移矩陣定義為

(5)

其中,w表示機(jī)動(dòng)目標(biāo)的轉(zhuǎn)彎率;τ為觀(guān)測(cè)值的采樣間隔。由文獻(xiàn)[20]可知,狀態(tài)轉(zhuǎn)移噪聲nk=[nc,k,nc,k,nv,k,nv,k]可以建模為

(6)

2 模型介紹

2.1 Center-Max 歸一化方法

輸入網(wǎng)絡(luò)訓(xùn)練的軌跡序列包含真值結(jié)果和帶噪觀(guān)測(cè)序列。在將軌跡序列數(shù)據(jù)送入網(wǎng)絡(luò)之前,需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。為了消除觀(guān)測(cè)值和狀態(tài)值之間的維度差異性,首先將觀(guān)測(cè)值轉(zhuǎn)化到X-Y二維坐標(biāo)系下:

(7)

文獻(xiàn)[14～15]提出對(duì)分段軌跡進(jìn)行歸一化的方法,即對(duì)每段觀(guān)測(cè)值分別除以對(duì)應(yīng)軌跡段的距離最大值。這種方法雖然能夠消除距離維和速度維之間的維度差異,但同時(shí)也消除了不同速度下相鄰點(diǎn)之間的距離間隔的差異性,影響了對(duì)目標(biāo)速度的預(yù)測(cè),因而這種差異性也是TBN網(wǎng)絡(luò)所需要利用到的語(yǔ)義特征信息,應(yīng)當(dāng)給予保留。

因此,本文提出使用CM歸一化方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,以改善模型的泛化性,并保留了距離間隔的語(yǔ)義信息,其計(jì)算式為

(8)

(9)

2.2 Transformer網(wǎng)絡(luò)

受Transformer網(wǎng)絡(luò)在序列建模問(wèn)題方面的啟發(fā),本文將其引入雷達(dá)機(jī)動(dòng)目標(biāo)跟蹤任務(wù)。Transformer利用注意力機(jī)制并行地處理輸入序列數(shù)據(jù),與LSTM相比,其可以更容易地捕獲序列的局部相關(guān)性以及全局相關(guān)性?；诖?TBN網(wǎng)絡(luò)由Transformer結(jié)構(gòu)中的自注意力機(jī)制構(gòu)成的編碼器和1-D全卷積網(wǎng)絡(luò)構(gòu)成的解碼器組成。

TBN網(wǎng)絡(luò)由位置編碼結(jié)構(gòu)、N個(gè)堆疊的編碼器結(jié)構(gòu)和由3層1-D全卷積層構(gòu)成的解碼器組成。每個(gè)編碼器結(jié)構(gòu)由一個(gè)多頭自注意力層、前饋全連接網(wǎng)絡(luò)以及在先前結(jié)構(gòu)之后的兩個(gè)殘差連接結(jié)構(gòu)(層歸一化結(jié)構(gòu))組成。圖1展示了本文設(shè)計(jì)的TBN架構(gòu)。

圖1 TBN網(wǎng)絡(luò)模型架構(gòu)Figure 1. Architecture of the TBN

2.2.1 位置編碼

在自然語(yǔ)言處理領(lǐng)域中,Transformer向序列添加位置編碼,以表示每個(gè)字詞在原序列中的相對(duì)或絕對(duì)位置。但在雷達(dá)機(jī)動(dòng)目標(biāo)跟蹤領(lǐng)域,輸入序列中的序列值為數(shù)值,并非單詞。因此,不使用原始Transformer中采用的確定性位置正弦編碼方式,而是采用了可學(xué)習(xí)位置編碼方式[21]

(10)

2.2.2 多頭自注意力層

自注意力機(jī)制為T(mén)ransformer的核心機(jī)制,其在長(zhǎng)序列建模問(wèn)題中比LSTM等方法效果好的原因就在于自注意力機(jī)制。通過(guò)自注意力機(jī)制,解碼器在任意時(shí)刻的輸出信息均能查詢(xún)到編碼器中輸入序列的全部序列信息,并找出對(duì)當(dāng)前輸出最有利用價(jià)值的序列信息,對(duì)其進(jìn)行加權(quán)求和,得到最終的輸出。而多頭自注意力層是由多個(gè)自注意力層堆疊而成的結(jié)構(gòu)。

對(duì)于多頭注意力層結(jié)構(gòu),設(shè)其具有M個(gè)自注意力層,則輸入序列S1:K∈Rde×K首先線(xiàn)性映射為查詢(xún)向量Q、鍵向量K和值向量V

(11)

其中,WQ、WK、WV均為可學(xué)習(xí)的參數(shù)。

(12)

對(duì)于輸入序列中的每個(gè)點(diǎn)都進(jìn)行上述操作,便可得到任意自注意力層的輸出結(jié)果為

(13)

最后將所有自注意力層的結(jié)果進(jìn)行拼接,即可得到多頭注意力層的輸出結(jié)果

Sa=Concat(head1,…,headM)

(14)

其中,Sa的維度與S1:K的維度一致。在原始的Transformer結(jié)構(gòu)中,在最開(kāi)始每個(gè)自注意力層的輸入均是de×K,因此在后續(xù)整合所有自注意力層輸出時(shí),拼接的輸出向量將會(huì)異常龐大,且需要引入一個(gè)變換矩陣參數(shù)將其映射回原始維度,這會(huì)增加網(wǎng)絡(luò)的參數(shù)量。而本文采用先沿著維度de分割的方法,避免出現(xiàn)異常龐大的矩陣,減少了網(wǎng)絡(luò)所需要學(xué)習(xí)的參數(shù)量。

2.2.3 層歸一化結(jié)構(gòu)

為了避免出現(xiàn)梯度消失的問(wèn)題,在多頭注意力層輸出后應(yīng)與多頭注意力層的輸入進(jìn)行相加,然后經(jīng)過(guò)層歸一化結(jié)構(gòu)對(duì)輸出進(jìn)行標(biāo)準(zhǔn)化

(15)

其中,μ、σ分別代表輸入數(shù)據(jù)的均值和標(biāo)準(zhǔn)差。

2.2.4 前饋全連接層

為了讓多頭注意力結(jié)構(gòu)的輸出數(shù)據(jù)之間進(jìn)行交互,即希望通過(guò)多頭注意力結(jié)構(gòu)的輸出映射出所希望的輸出向量結(jié)果,需要引入前饋全連接層。前饋全連接層由兩層帶有ReLU激活函數(shù)的全連接層構(gòu)成。

2.2.5 Transformer網(wǎng)絡(luò)的優(yōu)勢(shì)

Transformer的架構(gòu)模式使其能夠并行地處理輸入數(shù)據(jù),而LSTM等時(shí)序網(wǎng)絡(luò)需要串行地處理輸入數(shù)據(jù),即當(dāng)前時(shí)刻的輸出依賴(lài)于上一時(shí)刻的輸出,當(dāng)序列過(guò)長(zhǎng)時(shí),易出現(xiàn)梯度消失或梯度爆炸等問(wèn)題。而Transformer網(wǎng)絡(luò)的并行數(shù)據(jù)處理能力使得其不會(huì)受限于時(shí)序數(shù)據(jù)的長(zhǎng)度,因此可以有效地避免梯度消失和爆炸的問(wèn)題。

2.3 基于Transformer的機(jī)動(dòng)目標(biāo)跟蹤網(wǎng)絡(luò)

將實(shí)際的帶噪觀(guān)測(cè)序列進(jìn)行分段處理,得到n份軌跡片段,將其通過(guò)數(shù)據(jù)預(yù)處理部分進(jìn)行歸一化后,輸入到TBN中,并輸出R個(gè)預(yù)測(cè)的軌跡片段,將其進(jìn)行拼接并按照式(16)所示進(jìn)行逆歸一化得到最終的預(yù)測(cè)軌跡序列。

(16)

圖2 軌跡序列處理流程Figure 2. Trajectory sequence processing

(17)

最終所有的輸出軌跡片段都會(huì)經(jīng)過(guò)拼接處理,得到完整的軌跡預(yù)測(cè)結(jié)果。

3 仿真實(shí)驗(yàn)和結(jié)果

本文給出了軌跡數(shù)據(jù)集和網(wǎng)絡(luò)參數(shù),并設(shè)計(jì)實(shí)驗(yàn)來(lái)測(cè)試和驗(yàn)證TBN模型的跟蹤性能。

3.1 實(shí)驗(yàn)參數(shù)

設(shè)定軌跡序列數(shù)據(jù)集規(guī)模為300 000條。實(shí)驗(yàn)參數(shù)如表1所示。此外,假設(shè)Dmax=5 km且每間隔1 s觀(guān)測(cè)一次目標(biāo)。

表1 航跡數(shù)據(jù)集參數(shù)Table 1. Parameters of the trajectory data set

TBN網(wǎng)絡(luò)由4個(gè)編碼器組成,每個(gè)編碼器中的多頭注意力層包含8個(gè)注意力層。本文將編碼維度設(shè)置為512。解碼器中的1-D卷積層的輸出維度分別是64、16、4。網(wǎng)絡(luò)使用參數(shù)為β1=0.90,β2=0.98,ε=10-9的Adam優(yōu)化器進(jìn)行迭代優(yōu)化參數(shù)。學(xué)習(xí)率在前10次迭代采用線(xiàn)性熱啟動(dòng)的方式啟動(dòng),并在后續(xù)迭代中采用動(dòng)態(tài)調(diào)整策略進(jìn)行衰減。設(shè)置批次大小為32,迭代次數(shù)為400次,計(jì)算顯卡設(shè)備為NVIDIA TITAN Xp GPU。

本文將提出的TBN+CM歸一化模型與IMM算法和LSTM+min-max歸一化模型(LSTM+MM)進(jìn)行對(duì)比。同樣,也構(gòu)建了LSTM+CM歸一化模型。

3.2 實(shí)驗(yàn)結(jié)果

設(shè)置初始狀態(tài)為[2 km,2 km,50 m·s-1,0 m·s-1]且轉(zhuǎn)彎率為0°的目標(biāo),并進(jìn)行蒙特卡羅實(shí)驗(yàn)生成名為A1的60步長(zhǎng)軌跡段。在第10步和第40步時(shí),目標(biāo)的轉(zhuǎn)彎率機(jī)動(dòng)變化為-1°和5°。在軌跡A1上評(píng)估了TBN+CM、LSTM+MM、LSTM+CM和IMM算法。跟蹤結(jié)果如表2和圖3所示。

表2 航跡數(shù)據(jù)集A1實(shí)驗(yàn)結(jié)果Table 2. Numerical results of several methods for tracking trajectory A1

(a)

(b)

(c)

(d)圖3 機(jī)動(dòng)目標(biāo)跟蹤結(jié)果Figure 3. The results of tracking a maneuvering target

圖3展示了本文所提算法跟蹤目標(biāo)的情況。圖4(a)和圖4(b)展示了軌跡A1的RMSE結(jié)果。此外,軌跡A1的平均RMSE列在了表2中。在表格2中,LSTM+CM的RMSE小于LSTM+MM,證明了本文提出的CM歸一化方法通過(guò)降低軌跡學(xué)習(xí)的復(fù)雜性,從而提高了網(wǎng)絡(luò)的跟蹤性能。同時(shí),表2中加粗的結(jié)果表明TBN+CM的跟蹤誤差最小。因?yàn)橐肓薈M歸一化的方式,使得基于CM的方法估計(jì)速度時(shí),總是優(yōu)于基于MM的方法。

(a)

(b)圖4 機(jī)動(dòng)目標(biāo)跟蹤RMSE誤差結(jié)果(a)位置誤差 (b)速度誤差Figure 4. The RMSE of tracking a maneuvering target(a)Position error (b)Velocity error

此外,將軌跡A1的初始位置進(jìn)行變化,得到軌跡A2和A3。對(duì)表3中列出的軌跡設(shè)置了不同數(shù)量的缺失值。表3中的結(jié)果表明,本文提出的TBN+CM可以對(duì)缺失值進(jìn)行有效預(yù)測(cè),然而LSTM+MM由于其固定的歸一化方式導(dǎo)致其跟蹤有缺失值的軌跡失敗。

表3 在不同初始位置的軌跡跟蹤結(jié)果Table 3. Results of tracking trajectories at different initial position

4 結(jié)束語(yǔ)

本文設(shè)計(jì)了一種基于注意力機(jī)制的TBN網(wǎng)絡(luò)以跟蹤雷達(dá)觀(guān)測(cè)的機(jī)動(dòng)目標(biāo)軌跡,并構(gòu)建了一個(gè)大規(guī)模的軌跡數(shù)據(jù)集用于訓(xùn)練網(wǎng)絡(luò),最終提出了具有良好遷移能力的CM歸一化來(lái)預(yù)處理軌跡。實(shí)驗(yàn)結(jié)果表明,TBN算法優(yōu)于現(xiàn)有基于LSTM的跟蹤網(wǎng)絡(luò)和IMM等傳統(tǒng)算法。此外,TBN網(wǎng)絡(luò)可以在缺少觀(guān)測(cè)值的情況下工作。未來(lái)的工作可以考慮使用輕量級(jí)Transformer網(wǎng)絡(luò)來(lái)改善跟蹤性能。由于本文未考慮數(shù)據(jù)關(guān)聯(lián)問(wèn)題,因此關(guān)聯(lián)跟蹤集成網(wǎng)絡(luò)也值得探索。