孫子文，錢立志，袁廣林，凌 沖

(1 陸軍炮兵防空兵學院高過載彈藥制導控制與信息感知實驗室，安徽 合肥 230031；2 陸軍炮兵防空兵學院信息工程系，安徽 合肥 230031)

0 引言

經典的基于彈載圖像目標跟蹤方法,旨在第一幀給定目標初始位置后,使用特定的特征提取方法提取目標的特征,然后在目標周圍區(qū)域進行樣本采樣,通過目標特征與樣本特征比對之后,將最相似位置作為下一幀圖像中的目標位置。圖1為經典的基于彈載圖像目標跟蹤算法在跟蹤目標時所遇到的挑戰(zhàn)場景,彈載圖像自尋的炮彈打擊目標時,一方面受彈目距離影響,彈載圖像目標會出現尺度非線性變化;另一方面,炮彈在空中彈載環(huán)境成像會受復雜戰(zhàn)場中云雨雪霧、草地樹木等背景信息以及相似目標的干擾,導致圖像自尋的炮彈目標定位準確性降低。

圖1 經典的基于彈載圖像目標跟蹤算法目標挑戰(zhàn)Fig.1 Classical object tracking algorithm based on ballistic image object challenge

經典的基于彈載圖像目標跟蹤算法無法有效解決這類問題。2017年Transformer首次被Vaswani等[1]應用于機器文本翻譯任務,隨后Transformer憑借高效提取上下文信息以及全局建模的能力被廣泛應用在視覺領域?；赥ransformer的目標跟蹤方法對大數據的適配能力更強,隨著數據量的增加,模型的表現越來越好。不僅Transformer中的每個參數都是動態(tài)的,具有更強的可學習性,而且Transformer擁有自注意力機制,更關注特征之間的相互關系,能有效獲得全局信息,并且通過多頭注意力機制可以將其映射到多個空間,使模型表達能力變強。因此,設計一種能夠結合Transformer模型的優(yōu)勢有效解決彈載圖像中目標尺度不斷發(fā)生變化、相似目標以及復雜背景等干擾因素的基于彈載圖像目標跟蹤算法是非常必要的。

基于Transformer的目標跟蹤方法一般包括深度特征提取主干網絡、Transformer特征融合模塊以及預測頭3個部分。2021年Yu等[2]提出了一種基于Transformer的跟蹤器DTT,能夠利用豐富的場景信息,在端到端學習中生成判別特征。為了提升模型的跟蹤精度,改進經典的Transformer,使其在目標跟蹤領域發(fā)揮更大的性能。TransT方法[3]用基于自注意力的自我上下文增強模塊和基于交叉注意力的交叉特征增強模塊交叉融合的方式代替經典Transformer,大幅提升跟蹤性能。TrSiam和TrDiMP方法[4]也對經典Transformer進行完善,省略全連接的前饋層和保持輕量級的單頭自注意力,在跟蹤速度和性能上取得非常好的平衡。Track[5]將經典Transformer改成單個實例級關注層實現實時可視化轉換器模塊示例Transformer,實驗跟蹤精度提升明顯。為了提升模型整體的性能,CSWinTT方法[6]改進現有逐像素求取注意力時破壞目標完整性,影響跟蹤性能的問題。采用逐窗口計算特征注意力的方式代替逐像素,將注意力機制從像素級別提升至窗口級別。該方法通過聚合不同尺度的注意力,可以更好處理目標跟蹤中的尺度變化問題,并提高跟蹤的準確性和穩(wěn)定性。ToMP方法[7]應用兩種新的編碼方式,將訓練幀中目標的位置和邊界框的信息與深度特征信息編碼混合,將測試幀中的前景信息與深度特征編碼混合,充分利用前景和背景信息,跟蹤效果顯著。AiATrack方法[8]應用于自注意力塊和交叉注意力塊,促進特征聚集和信息傳播。通過引入有效的特征重用和目標背景嵌入,以充分利用時間參考信息,取得更好的跟蹤性能,但是所采用的深度特征提取網絡結構簡單,提取特征能力較弱。隨著Swin-Transformer方法[9]的提出,SwinTrack方法將其作為主干網絡提取深度特征,通過Transformer網絡進行特征融合,實驗效果得到大幅提升。為了進一步提升性能,SFTransT方法[10]同樣采用Swin-Transformer進行特征提取,然后用學習空間頻率的Transformer進行特征融合處理,充分利用目標對象的空間先驗信息,實驗效果進一步提高。

為了解決彈載圖像目標尺度變化大、相似目標以及復雜背景等因素干擾的問題,文中利用Transformer全局建模以及聯系上下文的能力,提出一種基于彈載圖像的Transformer目標跟蹤算法。首先,在特征提取部分分別使用Swin-Transformer網絡的前3層對輸入的初始模板和搜索區(qū)域提取特征。其次,利用交叉注意力模塊對提取的特征進行特征增強處理。再次,將特征拼接送入編、解碼器模塊進行特征的融合。最后,輸出的特征經過回歸和分類頭進行目標定位。

文中創(chuàng)新點有以下兩點:

1)針對自尋的彈藥目標跟蹤過程中彈載圖像存在目標尺度變化大、相似目標以及復雜背景干擾等導致跟蹤算法失效問題,提出基于彈載圖像的Transformer目標跟蹤方法。文中算法由交叉注意力模塊增強初始模板的特征,通過簡化基于Transformer的特征融合模塊減少參數量提升跟蹤速度。

2)算法利用Transformer架構聯系上下文以及全局建模的能力時刻確定目標在彈載圖像中準確的位置,在彈載圖像數據集上取得領先效果。

1 Transformer模型結構

如圖2所示,Transformer模型分別由左側的編碼器和右側的解碼器構成。其中,編碼器是由N=6的相同層組成,每一層有多頭自注意力MSA(multi-headed self-attention),全連接前饋神經網絡層FFN(feed-forward network)兩個子層[11-12]。解碼器包括N=6的相同層。每個解碼器層有三個子層,第三子層全連接前饋神經網絡層與編碼器模塊中的相同。第二子層是一個多頭交叉注意力層MCA(multi-headed cross-attention),功能是聚合編碼器的輸出和解碼器的輸入。編碼器模塊中的輸出構成了MCA的輸入鍵K、值V,掩碼MSA的輸出構成了MCA的輸入查詢Q。第一子層相比于編碼器模塊中的MSA多了掩碼處理這一步,因此這一層變成了掩碼MSA。通過掩碼函數將未來預測的數據進行掩碼處理,從而可以不參與訓練。此外,編碼器和解碼器中的所有子層都采用了殘差連接[13]和層歸一化[14],這樣能夠規(guī)范數據、加快收斂速度、提高模型的學習能力、增強數據傳輸的可擴展性。為了記錄順序信息,每個輸入序列都在編碼器和解碼器堆的開頭附加了一個位置編碼[15]。結尾是一個線性層和一個Softmax層[16-17],可將向量轉換為輸出所要求的類型,完成預測的任務。

圖2 Architecture transformerFig.2 Transformer模型

Transformer模型包含m=8的單頭自注意力模塊。每塊都有自己的可學習的權重矩陣集{WQi,WKi,WVi},其中i=0,1,…,7。將輸入序列X投影在這3個權重矩陣上可以得到Qi=XWQi,Ki=XWKi,Vi=XWVi,連接MSA中的8個自注意力模塊將輸出一個矩陣[Y0,Y1,…,Y7]∈Rn×8dv,MSA的過程可以表述為:

(1)

MultiHead(Q,K,V)=Concat(Y0,Y1,…,Ym)WQ

(2)

式中:i為自注意力頭,i=0,1,2,…,m,m=8;dK等于矩陣K的維度大小;Yi表示每個自注意力頭的輸出結果;WQ為將多頭注意力機制合并后的結果重新投影回原問題空間的權重矩陣;Attention為注意力算法。

2 結合Transformer的彈載目標跟蹤算法

在圖像自尋的彈藥打擊目標的過程中,為了有效應對彈載圖像目標尺度變化大、相似目標以及復雜背景干擾等問題,文中結合Transformer能夠進行全局建模并獲取長期上下文依賴關系的優(yōu)勢,提出基于彈載圖像的Transformer目標跟蹤算法。如圖3所示,文中方法主要包括特征提取部分、特征增強部分、特征融合部分以及預測頭3個部分。

圖3 整體架構Fig.3 Overall architecture

2.1 基于交叉注意力的特征增強模塊

由基于Swin Transformer的特征提取骨干網絡提取的初始模板特征fz和搜索區(qū)域特征fx進行交叉注意力增強操作,目的是突出跟蹤目標的特征。

如圖4所示,交叉注意增強模塊包括多頭點積注意力、前饋網絡、殘差連接、層歸一化和位置編碼。與文獻[1]中的自注意不同,因為K,V和Q分別來自兩個不同的特征矩陣,所以通過殘差連接部分將鍵、值與多頭注意力部分的輸出連接起來。

圖4 交叉注意力模塊Fig.4 Cross attention module

2.2 基于Transformer的特征融合模塊

圖5 基于Transformer的特征融合模塊Fig.5 Transformer-based feature fusion module

2.3 損失函數

文中邊界框預測頭由分類預測頭和回歸定位頭組成,將目標中心附近的像素定義為前景正樣本:

(3)

(4)

回歸預測頭的三層感知機的輸出維數為4,分別代表左上角和右下角的坐標(x0,y0,x1,y1)?；貧w定位頭生成一個特征圖Bx,y,損失函數為:

(5)

式中:LCIoU表示回歸定位結果Bx,y所對應的CIoU損失。

綜上所述,文中最終優(yōu)化的目標損失函數為:

L=λ1Lcls+λ2Lreg

(6)

式中:λ1和λ2為平衡兩個損失函數的超參數,文中分別設為1和2。

3 實驗驗證

3.1 實驗設置與評價指標

3.1.1 模型結構

特征提取主干網絡為Swin Transformer-base[9],初始模板的像素大小為112×112,搜索區(qū)域像素大小為224×224。Swin Transformer第一階段隱藏層的信道數Cs和特征融合中的編碼器塊數Ns分別為512,8。文中使用Swin Transformer第3階段之后的輸出進行特征提取。因此,主干網絡步幅s被設置為16。編、解碼器由多頭注意層和前饋網絡組成。多頭注意層為8,前饋網絡隱藏單元數為2 048。丟失率為0.1。預測頭由一個隱藏單元數2 048的3層感知器組成。分類預測頭的維數均為1,定位預測頭的輸出維數均為4。

3.1.2 訓練策略

文中所使用的環(huán)境是Ubuntu 20.04,編程語言為Python 3.8,主框架是Pytorch 1.7和Pytracking。在NVIDIA A100 GPU上訓練網絡,文中分別使用LaSOT[18]、TrackingNet[19]和GOT-10k[20]得到模型的預訓練權重并在此基礎上進行微調,然后在自建的彈載圖像目標跟蹤數據集上訓練學習彈載圖像目標的特征,分別令段數為900視頻序列用于訓練,將段數100視頻序列用于測試,模型進行輪次為300的訓練。采用AdamW[21]對模型進行了優(yōu)化,Swin Transformer主干網絡和Transformer模塊的初始學習率分別設為10-5和10-4,學習率衰減和權重衰減分別設為10-1和10-4,并采用梯度裁剪,以防止非常大的梯度誤導優(yōu)化過程。每個GPU每迭代批次輸入組數為32訓練圖像組,每個圖像組包含裁剪得到的搜索區(qū)域和初始模板,GPU組數為4,訓練圖像組數為128。

3.1.3 評價指標

為客觀評價彈載圖像目標跟蹤結果的各項指標,采樣目標跟蹤常用的跟蹤精度率P和成功率S評價指標,P指標是指中心定位誤差小于20像素的幀數占視頻總幀數的百分比。P中的中心定位誤差計算公式為:

(7)

式中:(xa,ya)表示預測目標中心位置;(xb,yb)表示真實的目標中心位置。

S指標是計算預測框與真值框之間的重疊度高于給定閾值(通常為0.5)的幀數占視頻總幀數的百分比。重疊率計算公式如下所示:

(8)

式中:Ba是預測框;Bb是真值框。

3.2 實驗結果與分析

文中通過Swin-Transformer提取到具有前景背景判別性的彈載圖像深度特征,利用交叉注意力在搜索區(qū)域增強目標特征,由Transformer編、解碼器融合特征獲取彈載圖像目標在圖像幀中的任意位置以及目標尺度變化情況。文中算法在彈載圖像數據集上與KCF[22],ECO[23],SiamRPN++[24],TrTr,TransT[3],TrDiMP[4],ToMP-101[7],AiATrack[8],SwinTrack在性能、速度和參數量上進行對比實驗,如表1所示。

表1 十大算法在彈載圖像數據集上的性能及效率比較Table 1 Comparison of performance and efficiency of the top ten algorithms on the missile-borne image datasets

文中算法在跟蹤精度和成功率方面都取得最優(yōu)的效果。性能方面,從表1可以看到,相比于其他跟蹤算法,文中算法在彈載圖像數據集上測試的跟蹤成功率和精度分別達到了73.87%和91.46%,達到了最優(yōu)性能。相比SwinTrack分別提高了1.23和0.81個百分點。效率方面,表1展示了文中算法與其他算法在參數量和跟蹤速度上面的比較。由于文中算法優(yōu)化Transformer中的編、解碼器的結構,減少了其中多余的部分,使其參數量為73.45 Mbit,分別比SwinTrack和AiATrack要低27.42 Mbit和14.06 Mbit,并且速度分別比SwinTrack和SiamRPN++高出9.14和19.31 幀/s,能夠以56.79 幀/s的速度完成實時目標跟蹤任務。

為了直觀反映算法面對彈載圖像中目標尺度變化、相似目標以及復雜背景干擾等復雜情況時的跟蹤狀態(tài),文中在多段仿真彈載圖像序列進行測試,并顯示跟蹤結果。由于受多因素的限制,在實彈試驗中布設的打靶目標通常以布質靶標等低成本替代物代替敵方實際裝備目標進行試驗驗證和考核,與真實戰(zhàn)場目標仍有一定差距,這種差距會給圖像自尋的炮彈實際作戰(zhàn)的效果帶來不確定性。因此,為了滿足圖像自尋的炮彈中的目標跟蹤算法的模型訓練、算法測試及性能驗證對數據的要求,提高自尋的彈藥應對戰(zhàn)場環(huán)境多類目標多場景下的打擊任務的能力。文中的航母編隊目標和坦克編隊目標的彈載圖像場景皆是利用三維仿真技術開發(fā)生成的。圖6～圖8為跟蹤數據集中針對不同目標生成的單個彈載圖像目標序列的跟蹤可視化結果。圖6為圖像自尋的炮彈下滑角為45°時海面雨天背景干擾下的3 km航母編隊目標圖像序列。為了測試雨天環(huán)境以及其他相似艦船干擾條件下文中算法的跟蹤能力,選擇艦船目標進行測試。圖7為圖像自尋的炮彈下滑角為45°時雨天林地背景下生成的3 km范圍的坦克車集群目標圖像序列,圖8為圖像自尋的炮彈下滑角為25°時雪天平原背景下生成的3 km范圍的坦克車集群目標圖像序列,為了測試雨天和雪天環(huán)境以及其他相似坦克干擾條件下文中算法的跟蹤能力,選擇圖像中心位置的坦克進行測試。

圖6 雨天海面環(huán)境下艦船目標圖像序列跟蹤結果Fig.6 Sequence tracking of ship target images in rainy sea environment

圖7 雨天林地環(huán)境下坦克目標圖像序列跟蹤結果Fig.7 Sequence tracking of tank target images in rainy forested environments

圖8 雪天平原環(huán)境下坦克目標圖像序列跟蹤結果Fig.8 Sequential tracking of tank target images in snowy plains environment

由圖6～圖8可見,圖像自尋的炮彈飛向目標的過程中,目標表觀特征變化較大,同時目標尺度也在增大,在受圖像自尋的炮彈自身運動和外部環(huán)境背景以及相似目標干擾的條件下,文中算法能夠克服這些挑戰(zhàn)干擾成功實現彈載圖像中目標的跟蹤。當初始圖像的輸入到文中算法中時,算法通過SwinTransformer特征提取網絡提取深度特征,然后利用Transformer架構中的注意力機制進行上下文的全局建模,將模板區(qū)域與搜索區(qū)域的深度特征信息進行融合。這使得目標跟蹤算法能夠適應多尺度變化的彈載圖像目標,并且能夠克服相似目標以及復雜背景信息的干擾,算法在彈載圖像數據集上能成功跟蹤目標。

4 結束語

文中借助Transformer強大的全局建模以及聯系上下文的能力,通過特征增強,結構優(yōu)化等策略提出一種全新的基于彈載圖像的Transformer目標跟蹤方法。在彈載數據集上的跟蹤成功率和精度分別達到了73.87%和91.46%,取得領先水平。相較于經典的彈載目標跟蹤方法KCF,有效解決在彈載圖像跟蹤過程中目標尺度變化大、相似目標以及復雜背景干擾等導致跟蹤算法失效的情況,使得跟蹤更具有魯棒性。但由于文中算法所使用的數據集是通過三維仿真軟件開發(fā)生成的,數據與實際應用中的目標存在一定區(qū)別,并且文中方法在面臨目標遮擋、光照變化等導致目標表觀信息發(fā)生變化時沒有辦法提供穩(wěn)定的模板信息用于跟蹤目標從而可能會導致跟蹤失敗,因此在后續(xù)研究中還需要根據更多工程人員的研究與反饋,獲得更多的反饋和建議,不斷地迭代優(yōu)化才能更加滿足彈載實際的需求。