劉貞報，馬博迪,*，高紅崗，院金彪，江飛鴻,2，張軍紅,2，趙聞

1. 西北工業(yè)大學(xué) 民航學(xué)院，西安 710000 2.航空工業(yè)第一飛機(jī)設(shè)計研究院 飛控系統(tǒng)設(shè)計研究所，西安 710089

無人機(jī)航拍獲取目標(biāo)場景影像信息的方式具有可低空作業(yè)、覆蓋面積廣、機(jī)動性強、效率高、不受地勢環(huán)境阻礙等優(yōu)點，廣泛應(yīng)用于軍事和民用領(lǐng)域[1-3]。無人機(jī)目標(biāo)跟蹤技術(shù)是無人機(jī)視覺研究領(lǐng)域的關(guān)鍵技術(shù)，研究穩(wěn)定、高效的航空影像目標(biāo)跟蹤算法對于無人機(jī)的應(yīng)用有著重要意義[4-6]。

視覺目標(biāo)跟蹤系統(tǒng)有很多種，根據(jù)算法追蹤目標(biāo)建模方式的不同可以將其分為生成類模型、判別類模型和深度學(xué)習(xí)模型3種類型。生成類模型是指在當(dāng)前幀對目標(biāo)區(qū)域進(jìn)行建模，在隨后的視頻序列中尋找與模型最相似的區(qū)域[7]，從而實現(xiàn)目標(biāo)追蹤的目的，生成類模型的追蹤效果很大程度上取決于特征的選擇和搜索算法。其中特征需要滿足轉(zhuǎn)移不變形和尺度不變形，例如顏色特征、紋理特征等。而在獲取合適的目標(biāo)特征之后，則需要通過合適的搜索算法對特征進(jìn)行描述、匹配以及預(yù)測，從而最終完成整個追蹤過程。判別類模型顯著地區(qū)分了前景和背景的信息，通過判別函數(shù)將目標(biāo)從背景中分割出來，故而在實際應(yīng)用過程中模型的表現(xiàn)更為魯棒；常用的判別類模型有KCF[8](Kernelized Correlation Filters)、DSST[9](Discriminatiive Scale Space Tracker)、SRDCF[10](Spatially Regularized Discriminative Correlation Filters)等?？苫谏疃葘W(xué)習(xí)的目標(biāo)跟蹤算法通過深度神經(jīng)網(wǎng)絡(luò)等模型，獲取表征能力很強的深度特征，根據(jù)深度特征的特點實現(xiàn)目標(biāo)的檢測和追蹤。近年來，隨著深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，國內(nèi)外學(xué)者及研究人員們提出了一系列性能優(yōu)良的深度學(xué)習(xí)目標(biāo)檢測模型，SiamFC[11](Siamese Fully Convolutional deep networks)基于孿生神經(jīng)網(wǎng)絡(luò)構(gòu)建了一個相似性度量函數(shù)，通過互相關(guān)計算得到響應(yīng)得分圖，響應(yīng)圖中得分最高的位置對應(yīng)于原圖中目標(biāo)所在位置。Siam RPN[12](Siamese Region Proposal Networks)由孿生神經(jīng)網(wǎng)絡(luò)和RPN[13](Region Proposal Networks)網(wǎng)絡(luò)兩部分組成，前者用來提取特征，后者用來產(chǎn)生候選區(qū)域，通過回歸方式對目標(biāo)進(jìn)行跟蹤定位，整個網(wǎng)絡(luò)實現(xiàn)了端到端的訓(xùn)練。

相比于通用目標(biāo)跟蹤，無人機(jī)影像目標(biāo)跟蹤方法更具有挑戰(zhàn)性。首先無人機(jī)影像目標(biāo)跟蹤的數(shù)據(jù)集較少，樣本多樣性不足；其次無人機(jī)航空拍攝過程中，地面同一類目標(biāo)容易具有多個不同的旋轉(zhuǎn)方向；此外，航拍影像中的目標(biāo)易發(fā)生目標(biāo)遮擋和光照干擾，同時存在相機(jī)抖動等影響，這些特點增加了無人機(jī)影像目標(biāo)跟蹤的難度。

針對上述問題，本文提出一種基于形態(tài)自適應(yīng)網(wǎng)絡(luò)的無人機(jī)影像目標(biāo)跟蹤方法，首先在訓(xùn)練過程中通過數(shù)據(jù)驅(qū)動的方式[14]產(chǎn)生多個目標(biāo)感興趣區(qū)域，對數(shù)據(jù)集進(jìn)行擴(kuò)增，提高樣本多樣性；然后加入旋轉(zhuǎn)約束項使卷積深度置信網(wǎng)絡(luò)能夠自適應(yīng)無人機(jī)影像目標(biāo)形態(tài)變化，提取具有強表征能力的深度特征；接著使用深度特征變換算法得到目標(biāo)預(yù)定位框，提出基于Q學(xué)習(xí)算法的搜索機(jī)制對目標(biāo)進(jìn)行自適應(yīng)精準(zhǔn)定位，進(jìn)一步精確目標(biāo)位置，采用深度森林分類器獲取目標(biāo)類別信息，提升跟蹤效果。為驗證所提方法的精度及目標(biāo)跟蹤結(jié)果，在UAV123數(shù)據(jù)集、VisDrone數(shù)據(jù)集和自研無人機(jī)航拍數(shù)據(jù)集上進(jìn)行實驗測試，并與其他10種常用目標(biāo)跟蹤方法進(jìn)行對比。

1 相關(guān)工作

1.1 樣本數(shù)據(jù)預(yù)處理

針對無人機(jī)視頻影像數(shù)據(jù)樣本數(shù)量較少、多樣性不足的情況，在訓(xùn)練過程中，采用一種基于數(shù)據(jù)驅(qū)動的方法[14]對樣本數(shù)據(jù)集進(jìn)行擴(kuò)充。對訓(xùn)練樣本數(shù)據(jù)X={x1,x2,…,xk}，該方法使用選擇性搜索算法對樣本圖像數(shù)據(jù)提取目標(biāo)建議區(qū)域，該方法首先對輸入圖像進(jìn)行分割產(chǎn)生許多小的子區(qū)域，然后根據(jù)這些子區(qū)域之間的相似性進(jìn)行區(qū)域合并，相似性指標(biāo)包括顏色相似度、紋理相似度、尺寸相似度和交疊相似度。選擇性搜索算法生成多個目標(biāo)建議區(qū)域，通過不同目標(biāo)建議區(qū)域的交并比值(IoU)取值判斷所生成目標(biāo)建議區(qū)域是否為正例樣本數(shù)據(jù)，IoU計算方式為

(1)

式中：Bop為目標(biāo)建議區(qū)域圖塊；Bgt為標(biāo)注框；area(Bop∩Bgt)為目標(biāo)建議區(qū)域圖塊和標(biāo)注框的交集；area(Bop∪Bgt)為目標(biāo)建議區(qū)域圖塊和標(biāo)注框的并集。如果目標(biāo)建議區(qū)域IoU大于預(yù)設(shè)閾值0.6，則定義該目標(biāo)建議區(qū)域為正例樣本；若IoU<0.6，則定義該目標(biāo)區(qū)域圖塊為負(fù)例樣本。

1.2 卷積受限玻爾茲曼機(jī)

卷積受限玻爾茲曼機(jī)[15]是包含一層可見層變量和隱藏層變量的無向概率圖模型，通過堆疊的方式(一層的輸出為下一層的輸入)構(gòu)成更深的深度置信網(wǎng)絡(luò)模型?？梢妼雍碗[藏層層間的各神經(jīng)元節(jié)點之間有連接，可見層和隱藏層層內(nèi)的任何單元之間無連接。卷積受限玻爾茲曼機(jī)旨在以最大概率擬合輸入數(shù)據(jù)的分布學(xué)習(xí)到可視層和檢測層之間的統(tǒng)計關(guān)系，通過訓(xùn)練提取輸入數(shù)據(jù)的深度特征獲得數(shù)據(jù)內(nèi)部之間的高階相關(guān)性。

令v=[vi]表示可視層變量的狀態(tài)，代表輸入數(shù)據(jù)；h=[hj]表示隱藏層變量的狀態(tài)值，使用W=[wij]表示可見層與隱藏層之間的卷積核，π=[πi]表示可見層節(jié)點單元的偏置，τ=[τj]表示隱藏層節(jié)點單元的偏置，模型參數(shù)集為參數(shù)θ={W,π,τ}，當(dāng)給定可見層和隱藏層的狀態(tài){v,h}時，卷積受限玻爾茲曼機(jī)的能量函數(shù)定義為

(2)

根據(jù)能量函數(shù)可以描述可見層和隱藏層的概率分布[16]，當(dāng)模型參數(shù)確定時，狀態(tài){v,h}的聯(lián)合概率分布為

(3)

(4)

式中：ξ(θ)為配分函數(shù)，起概率分布?xì)w一化的作用。根據(jù)式(3)和式(4)中概率分布模型的定義，得到了能夠?qū)嶋H輸入數(shù)據(jù)分布規(guī)律進(jìn)行表示的卷積受限玻爾茲曼機(jī)模型。給定可見層輸入樣本v，卷積受限玻爾茲曼機(jī)可見層變量的概率分布為

(5)

卷積受限玻爾茲曼機(jī)訓(xùn)練的目標(biāo)函數(shù)為ψ(θ)=-lgP(v)，采用隨機(jī)梯度下降優(yōu)化方法最小化目標(biāo)函數(shù)求解模型參數(shù)。

1.3 強化學(xué)習(xí)

強化學(xué)習(xí)[17]使用智能體和環(huán)境進(jìn)行交互，環(huán)境對智能體的行為進(jìn)行獎懲，智能體根據(jù)環(huán)境反饋的信息調(diào)整自身參數(shù)，以達(dá)到累積獎勵期望值最大化，通過訓(xùn)練智能體可以選擇出當(dāng)前狀態(tài)下最優(yōu)的動作。Q學(xué)習(xí)算法屬于強化學(xué)習(xí)的一種，通常需要定義一個狀態(tài)動作函數(shù)，即Q值函數(shù)，表示在狀態(tài)s下采取動作a能夠獲得最大的獎勵值，然后通過迭代的方式不斷更新Q值。如果Q函數(shù)足夠準(zhǔn)確且環(huán)境確定，那么只要采取實現(xiàn)最大Q值動作的策略即可。對于離散的狀態(tài)空間，Q學(xué)習(xí)算法將Q值存儲在一個Q表格中，該表格的行表示不同的狀態(tài)，列表示所有可能的動作。對于狀態(tài)連續(xù)或者狀態(tài)數(shù)量很多的情況，通常用深度神經(jīng)網(wǎng)絡(luò)模擬近似Q值函數(shù)，使用當(dāng)前值與目標(biāo)值之間的差異，將此差異作為目標(biāo)函數(shù)并使用梯度下降算法解算網(wǎng)絡(luò)參數(shù)集。

2 本文方法

針對無人機(jī)航空影像目標(biāo)跟蹤中常出現(xiàn)目標(biāo)形態(tài)變化問題(如目標(biāo)旋轉(zhuǎn)、目標(biāo)遮擋等問題)，提出了一種基于形態(tài)自適應(yīng)網(wǎng)絡(luò)的無人機(jī)目標(biāo)跟蹤方法。提出的形態(tài)自適應(yīng)網(wǎng)絡(luò)包含改進(jìn)深度置信網(wǎng)絡(luò)、深度特征變換模塊、基于Q學(xué)習(xí)的搜索機(jī)制和深度森林分類器，模型整體框架結(jié)構(gòu)如圖1所示。

圖1 所提方法框架結(jié)構(gòu)Fig.1 Architecture of proposed method

在訓(xùn)練過程中，首先采用選擇性搜索算法對訓(xùn)練樣本進(jìn)行擴(kuò)充，得到目標(biāo)遮擋樣本與目標(biāo)旋轉(zhuǎn)樣本，使用改進(jìn)深度置信網(wǎng)絡(luò)提取影像數(shù)據(jù)的深度特征，該特征具有旋轉(zhuǎn)不變性，對遮擋變化具有魯棒性；然后采用深度特征變換算法得到目標(biāo)預(yù)定位位置，提出基于Q學(xué)習(xí)算法的搜索機(jī)制優(yōu)化目標(biāo)框位置，使用深度森林獲取目標(biāo)分類信息，得到精準(zhǔn)的目標(biāo)跟蹤結(jié)果。

2.1 改進(jìn)深度置信網(wǎng)絡(luò)

深度置信網(wǎng)絡(luò)由多個卷積受限玻爾茲曼機(jī)堆疊構(gòu)成，屬于一種無監(jiān)督模式的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，旨在利用對數(shù)似然最大化算法不斷調(diào)整模型各層間的權(quán)值，使模型能夠擬合可見層和隱藏層數(shù)據(jù)之間的聯(lián)合概率分布，從而學(xué)習(xí)到輸入數(shù)據(jù)中的深度特征，該深度特征具有強表征能力。針對無人機(jī)影像視頻中目標(biāo)易受到遮擋、形變、復(fù)雜背景干擾等問題，提出了改進(jìn)深度置信網(wǎng)絡(luò)模型，通過對原始樣本數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，加入遮擋樣本和旋轉(zhuǎn)樣本進(jìn)行訓(xùn)練，使模型對遮擋和旋轉(zhuǎn)問題具有更好的魯棒性，具體如下。

為使深度置信網(wǎng)絡(luò)模型能夠自適應(yīng)目標(biāo)遮擋和旋轉(zhuǎn)變化，在訓(xùn)練階段使用1.1節(jié)中介紹的選擇性搜索算法對原始訓(xùn)練樣本X進(jìn)行擴(kuò)增，擴(kuò)增后的正例樣本數(shù)據(jù)由IoU取值在0.6～1.0之間的樣本圖塊組成，可代表目標(biāo)被不同程度遮擋的情況。在所生成的遮擋樣本P之中，IoU取值范圍在0.6～0.7和0.7～0.8的樣本數(shù)據(jù)各占30%，IoU取值范圍在0.8～0.9和0.9～1.0的樣本數(shù)據(jù)各自占20%。IoU值越接近0.6，表示目標(biāo)被遮擋部分越多；IoU值越接近1.0，表示目標(biāo)被遮擋的區(qū)域越少。通過加入遮擋情況的訓(xùn)練樣本，模型可以適應(yīng)目標(biāo)的遮擋變化。

設(shè)計了旋轉(zhuǎn)不變約束項，使卷積受限玻爾茲曼機(jī)模型具有旋轉(zhuǎn)不變性：

(6)

O2(Rφ2pi)+…+On(Rφnpi)]

(7)

通過加入旋轉(zhuǎn)不變正則項約束，使不同旋轉(zhuǎn)角度的目標(biāo)數(shù)據(jù)在經(jīng)多層受限玻爾茲曼機(jī)重構(gòu)后能夠得到相近的表示。改進(jìn)的卷積深度置信網(wǎng)絡(luò)模型損失函數(shù)由原卷積受限玻爾茲曼機(jī)損失函數(shù)項、旋轉(zhuǎn)不變約束項和權(quán)值衰減項組成：

(8)

式中：λi為約束項的參數(shù)；第1項為原損失函數(shù)項，使訓(xùn)練數(shù)據(jù)的輸入和輸出盡可能相等；第2項為旋轉(zhuǎn)不變項，使目標(biāo)在旋轉(zhuǎn)變換前后經(jīng)過模型輸出的重構(gòu)特征盡可能接近；第3項為權(quán)重衰減項，有助于減少模型過擬合。

通過旋轉(zhuǎn)不變約束項生成的遮擋訓(xùn)練樣本和目標(biāo)旋轉(zhuǎn)訓(xùn)練樣本，改進(jìn)深度置信網(wǎng)絡(luò)可以提取到具有強表征能力的深度特征，該特征具有旋轉(zhuǎn)不變性，并適應(yīng)目標(biāo)遮擋變化。改進(jìn)深度置信網(wǎng)絡(luò)可以看作是由多個卷積受限玻爾茲曼機(jī)通過集成學(xué)習(xí)的方式堆疊構(gòu)成的，即前一個受限玻爾茲曼機(jī)的輸出作為緊接著的后一個受限玻爾茲曼機(jī)的輸入。在訓(xùn)練過程中，首先根據(jù)損失函數(shù)訓(xùn)練好第1個受限玻爾茲曼機(jī)，然后以其輸出作為第2個玻爾茲曼機(jī)的輸入，依次訓(xùn)練完成所有受限玻爾茲曼機(jī)，最后一個受限玻爾茲曼機(jī)的輸出作為深度置信網(wǎng)絡(luò)輸出的深度特征，記做F={f1,f2,…,fd}，fd為對應(yīng)于原圖中的一個圖塊區(qū)域。

2.2 深度特征變換算法

訓(xùn)練完成卷積深度置信網(wǎng)絡(luò)后，對于視頻的前L幀[18]，可得到視頻中每幀圖像的深度特征，首先計算深度特征平均值：

(9)

(10)

得到相關(guān)性矩陣Cov(f)后，可以計算相關(guān)性矩陣的特征向量，用e1,e2,…,ed表示，用emax表示最大特征值對應(yīng)的特征向量，計算深度特征在該特征向量上的投影：

(11)

2.3 基于Q學(xué)習(xí)的搜索機(jī)制

為進(jìn)一步精確目標(biāo)跟蹤定位框的位置，采用基于Q學(xué)習(xí)算法的主動目標(biāo)定位方法[10]，在訓(xùn)練過程中使用動態(tài)注意力調(diào)整方法，預(yù)定位目標(biāo)框不斷調(diào)整接近真實標(biāo)簽，訓(xùn)練目標(biāo)跟蹤的對應(yīng)搜索機(jī)制；在跟蹤過程中，將預(yù)定位框輸入訓(xùn)練好的搜索機(jī)制，得到待檢測目標(biāo)的精準(zhǔn)定位。模型的動作序列如圖2所示，對應(yīng)7種搜索框尺度位置變化，分別是上邊緣移動、下邊緣移動、左邊緣移動、右邊緣移動、整體放大、整體縮小和停止。

在所研究搜索機(jī)制模型中，定義當(dāng)前狀態(tài)由三元組組成s={o,p,h}，其中o為原始圖像的深度特征，p為預(yù)定位區(qū)域的深度特征，h為歷史動作。具體地，將當(dāng)前幀輸入改進(jìn)深度置信網(wǎng)絡(luò)得到當(dāng)前幀深度特征、1 024維度的特征向量；同樣地使用深度置信網(wǎng)絡(luò)模型提取預(yù)定位框的深度特征；h由過去搜索機(jī)制前5步歷史動作組成，因此h的維度是7×5=35維。

預(yù)測框位置由框左上角和右下角的圖像坐標(biāo)表示，即b=[x1,y1,x2,y2]。圖2所述變換動作通過變換預(yù)測框位置坐標(biāo)表示完成：

圖2 Q學(xué)習(xí)動作序列Fig.2 A sequence of actions in Q-learning

(12)

式中：α為預(yù)測框變換閾值，α∈[0,1]；αw為預(yù)測框?qū)挾茸兓?；αh為高度變化值。每個變換動作通過給x或y坐標(biāo)增減αw和αh量值表示。如水平向右變換動作為給x2增加αw；豎直向下變換動作為給y2減去αh。基于搜索速度和跟蹤精度的考慮，將α取值為0.05。

通過強化學(xué)習(xí)算法中的獎勵策略學(xué)習(xí)搜索機(jī)制，具體定義獎勵函數(shù)為r(s,s′)，表示搜索機(jī)制對狀態(tài)s經(jīng)過動作函數(shù)α變換后得到新狀態(tài)s′的獎勵分值：

r(s,s′)=sign(IoU′-IoU)

(13)

式中：IoU為在動作變換前預(yù)定位框和標(biāo)注的交并比值；IoU′為在動作變換后預(yù)定位框和標(biāo)注的交并比值。

搜索機(jī)制的觸發(fā)器會觸發(fā)停止動作，因此對于該動作變換前后IoU的差值為0。設(shè)定觸發(fā)器的獎勵函數(shù)為

(14)

式中：下標(biāo)ω代表觸發(fā)停止動作；μ為觸發(fā)器獎勵值，實驗中μ取值為4。給定當(dāng)前的狀態(tài)，搜索機(jī)制將會給出最優(yōu)的圖像變換行為，參考文獻(xiàn)[18-19]，采用神經(jīng)網(wǎng)絡(luò)模擬搜索機(jī)制的狀態(tài)動作值函數(shù)，Q值函數(shù)表示為

(15)

式中：s′和a′為s的下一個狀態(tài)和行為；θ為當(dāng)前神經(jīng)網(wǎng)絡(luò)參數(shù)；γ為折扣因子，取值范圍為0～1，γ越趨近于0表示算法越傾向于當(dāng)前狀態(tài)所獲得的獎勵，γ越趨近于1表示算法越傾向于從長遠(yuǎn)角度獲得獎勵。神經(jīng)網(wǎng)絡(luò)通過梯度下降優(yōu)化損失函數(shù)、迭代解算模型參數(shù)，損失函數(shù)定義為

Li(θi)=(yi-Q(s,a;θi))2

(16)

式中：θi為模型參數(shù)；yi為迭代算子，計算公式為

(17)

基于Q學(xué)習(xí)算法的目標(biāo)搜索機(jī)制如圖3所示，圖中：-d表示維度(dimension)。在給定待檢測圖像的狀態(tài)下，根據(jù)獎勵值從給定的動作集合中選取期望收益最大的動作，使預(yù)定位框不斷逼近目標(biāo)真實位置，得到最優(yōu)解作為目標(biāo)跟蹤結(jié)果輸出。

圖3 Q學(xué)習(xí)搜索機(jī)制Fig.3 Illustration of Q searching policy

2.4 深度森林分類器

為使所提方法能夠識別提供跟蹤目標(biāo)的類別信息，需要在頂層添加一個分類器，采用深度森林[20]模型作為分類器。相比于傳統(tǒng)分類器(如softmax等模型)，深度森林具有魯棒性強、精度高、超參數(shù)少的特點，能從復(fù)雜特征中獲取類內(nèi)相似性和類間差異性，從而提供準(zhǔn)確的跟蹤目標(biāo)分類信息。

深度森林結(jié)構(gòu)如圖4所示，由多層級聯(lián)隨機(jī)森林組成，每層級聯(lián)森林包括兩個完全隨機(jī)森林(綠色)和兩個隨機(jī)森林(藍(lán)色)，每個森林包含500棵隨機(jī)樹，完全隨機(jī)樹使用所有樣本作為輸入，決策樹的每個節(jié)點都是隨機(jī)選擇一個特征做分裂，直至每個葉節(jié)點包含的實例屬于同一個類，或者實例數(shù)目不多于10個，該方法增加了樣本的多樣性；隨機(jī)森林的訓(xùn)練過程為每棵樹輸入樣本的一個隨機(jī)子集，分裂節(jié)點選擇最優(yōu)基尼系數(shù)的一類進(jìn)行分裂，該方法保證了算法的效果。假設(shè)當(dāng)前有Z個分類類別，樣本特征屬于第z個類別的概率為gz，則其基尼系數(shù)計算方式為

圖4 深度森林結(jié)構(gòu)Fig.4 Architecture of deep forest

(18)

將預(yù)定位區(qū)域的深度特征輸入到深度森林的第1層級聯(lián)森林中，對于Z分類問題該層級聯(lián)森林輸出Z維類特征向量并與深度特征聚合，得到新的特征向量，輸入到下一層級聯(lián)森林中，依次迭代，取最后一層級聯(lián)森林輸出類特征向量最大值所在類別為所跟蹤目標(biāo)的類別信息。

3 實驗及分析

3.1 實驗概述

為驗證所提方法的有效性，在無人機(jī)航空影像數(shù)據(jù)集：UAV123數(shù)據(jù)集、VisDrone數(shù)據(jù)集和自研無人機(jī)航拍數(shù)據(jù)集上，對本文模型性能進(jìn)行了評估。模型運行環(huán)境為Inter?CoreTMi9-9900K CPU、2080Ti GPU、內(nèi)存為64 GB的臺式機(jī)工作站上運行，操作系統(tǒng)為Ubuntu 18.04。

UAV123數(shù)據(jù)集[21]是國外學(xué)者M(jìn)ueller在ECCV(European Conference on Computer Vision)會議上發(fā)布的無人機(jī)航空影像數(shù)據(jù)集，該數(shù)據(jù)集由123個無人機(jī)攝像頭記錄的影像組成，數(shù)據(jù)覆蓋了多種場景，如公路、海灘、港口、田野、建筑物等，目標(biāo)有行人、船只、汽車、飛行器和建筑物，圖像尺寸為1 280×720，實驗中的主要研究目標(biāo)為車輛、船、人等。

VisDrone[22]數(shù)據(jù)集包含239個無人機(jī)視頻片段，由各種無人機(jī)攝像頭拍攝，場景類別眾多，包括城市街道、公園、車輛、行人等，該數(shù)據(jù)集具有覆蓋范圍廣、拍攝視角多變的特點。

自研無人機(jī)航拍數(shù)據(jù)集包含100個無人機(jī)航拍視頻，覆蓋場景類別包含鄉(xiāng)村道路、城市街道、建筑工地、工程車輛、行人、樹木、房屋等，圖像尺寸為1 000×800。

通過重疊率、中心位置誤差、精準(zhǔn)度、成功跟蹤率和曲線下方面積(Area Under Curve，AUC)對算法進(jìn)行綜合評估。重疊率為預(yù)測目標(biāo)框和真實目標(biāo)框的IoU；中心位置誤差指預(yù)測目標(biāo)框中心點與真實目標(biāo)框中心點之間的歐氏距離；給定IoU閾值，IoU大于該閾值的視頻幀數(shù)占總視頻幀數(shù)的比率為跟蹤成功率；給定中心位置誤差閾值，跟蹤精準(zhǔn)度表示中心位置誤差小于該閾值的視頻幀數(shù)占總視頻幀數(shù)的比率；跟蹤精準(zhǔn)度與跟蹤成功率圖的曲線下方面積用來評價跟蹤算法的整體效果。

3.2 實驗設(shè)置與參數(shù)優(yōu)化

所提方法主要參數(shù)是通過大量試驗取得的，所設(shè)計改進(jìn)深度置信網(wǎng)絡(luò)模型由4個受限玻爾茲曼機(jī)組成，約束項參數(shù)λ1=0.55，λ2=0.35，λ3=0.10，學(xué)習(xí)率η為0.01。

為探究不同參數(shù)對跟蹤效果的影響，在自研無人機(jī)航拍數(shù)據(jù)集上，對參數(shù)取值問題進(jìn)行了分析。

改進(jìn)深度置信網(wǎng)絡(luò)約束項參數(shù)驗證范圍為λ1={0.10,0.15,…,1.00}、λ2={0.10,0.15,…,1.00}和λ3={0.05,0.10}，圖5顯示了保持其他超參數(shù)不變時，通過調(diào)整改進(jìn)深度置信網(wǎng)絡(luò)約束項參數(shù)設(shè)置，測試得到的跟蹤精準(zhǔn)度曲線下方面積，即AUC分?jǐn)?shù)，可以看出改進(jìn)深度置信網(wǎng)絡(luò)的約束項參數(shù)取值變化對跟蹤效果有一定影響，當(dāng)λ1=0.55、λ2=0.35、λ3=0.10時，模型能夠取得最好效果。

圖5 約束項參數(shù)對跟蹤效果的影響Fig.5 Influence of constraint parameters on tracking effect

進(jìn)一步的，圖6反映了受限玻爾茲曼機(jī)數(shù)量對跟蹤性能的影響。當(dāng)受限玻爾茲曼機(jī)數(shù)量較少時候，精準(zhǔn)度AUC分?jǐn)?shù)較低，原因是此時深度置信網(wǎng)絡(luò)提取的特征表征能力較弱；當(dāng)逐漸增加受限玻爾茲曼機(jī)個數(shù)時，AUC分?jǐn)?shù)逐漸提高，當(dāng)受限玻爾茲曼機(jī)數(shù)量大于4后，提升效果不再明顯，說明使用4個受限玻爾茲曼機(jī)堆疊構(gòu)成深度置信網(wǎng)絡(luò)是本應(yīng)用場景的最優(yōu)配置。

圖6 卷積受限玻爾茲曼機(jī)數(shù)量對跟蹤效果的影響Fig.6 Influence of number of convolution restricted Boltzmann machine on tracking effect

表1顯示了學(xué)習(xí)率對目標(biāo)跟蹤效果的影響。當(dāng)調(diào)整學(xué)習(xí)率過大時，精準(zhǔn)度AUC分?jǐn)?shù)會有所下降；當(dāng)調(diào)整學(xué)習(xí)率較小的時候，可以有限地提高模型跟蹤性能，但另一方面會使模型收斂速度太慢，降低效率。綜合以上原因，改進(jìn)深度置信網(wǎng)絡(luò)模型采用的學(xué)習(xí)率為0.010。

表1 學(xué)習(xí)率對跟蹤效果的影響Table 1 Influence of learning rate on tracking effect

3.3 消融實驗分析

為論證本文方法組成模塊對目標(biāo)跟蹤性能的影響，在自研無人機(jī)航拍數(shù)據(jù)集上展開了消融實驗分析，表2為各組合模塊在跟蹤精準(zhǔn)度曲線和跟蹤成功率曲線的曲線下方面積，跟蹤精準(zhǔn)度曲線下方面積記為AUC1，跟蹤成功率曲線下方面積記為AUC2。本文方法各模塊標(biāo)識如下：① ODBN(Optimized Deep Belief Networks)表示改進(jìn)深度置信網(wǎng)絡(luò)模塊；② DDT(Deep Descriptor Transforming)代表深度特征變換，生成跟蹤目標(biāo)的預(yù)定位框；③ QL(Q-Learning)表示基于Q學(xué)習(xí)的搜索機(jī)制，用來精確跟蹤目標(biāo)位置，QL下標(biāo)數(shù)字代表搜索機(jī)制所需前k步歷史動作信息；④ DBN(Deep Belief Networks)代表標(biāo)準(zhǔn)深度置信網(wǎng)絡(luò)模塊，提供深度特征，該特征不具備旋轉(zhuǎn)不變特性；⑤ DAE(Deep Auto Encoder)表示深度自動編碼器模型，能夠提取深度特征，與深度置信網(wǎng)絡(luò)模型進(jìn)行對照；⑥ SDA(Selective Descriptor Aggregation)為選擇性特征符聚合算法，通過將特征符在深度方向加和，對所跟蹤目標(biāo)進(jìn)行定位，用于和深度特征變換方法進(jìn)行對比。最終采用的方案為ODBN + DDT + QL5。

表2的實驗結(jié)果顯示了各模塊對跟蹤效果的影響：① 相比于未添加旋轉(zhuǎn)約束的深度置信網(wǎng)絡(luò)，改進(jìn)后的深度置信網(wǎng)絡(luò)性能有較大提升，跟蹤精準(zhǔn)度AUC分?jǐn)?shù)和跟蹤成功率AUC分?jǐn)?shù)分別提升8.2%和6.8%，說明改進(jìn)深度置信網(wǎng)絡(luò)具有較好的旋轉(zhuǎn)不變性，能夠適應(yīng)無人機(jī)影像中跟蹤目標(biāo)旋轉(zhuǎn)方向的變化；② 與深度自動編碼器提供壓縮后的特征相比，標(biāo)準(zhǔn)深度置信網(wǎng)絡(luò)模型提供的深度特征更具豐富性，精準(zhǔn)度AUC分?jǐn)?shù)提升了5.2%，成功率AUC分?jǐn)?shù)提升了5.8%；③ 在使用選擇性特征符聚合算法代替深度特征變換算法的情況下，跟蹤效果呈現(xiàn)一定程度的下降，精準(zhǔn)度AUC分?jǐn)?shù)和成功率AUC分?jǐn)?shù)分別下降11.5%和10.1%；④ 在不使用Q學(xué)習(xí)搜索機(jī)制進(jìn)行精確定位的情況下，跟蹤效果下降，精準(zhǔn)度AUC分?jǐn)?shù)和成功率AUC分?jǐn)?shù)分別下降15.3%和12.7%；⑤ 進(jìn) 一步測試了Q學(xué)習(xí)搜索機(jī)制中歷史動作數(shù)量對算法整體效果的影響，當(dāng)僅采用前1步歷史動作信息時，AUC1和AUC2分?jǐn)?shù)分別為71.9%和57.1%；當(dāng)采用前3步歷史動作信息后，跟蹤效果有較大提升，AUC1和AUC2分?jǐn)?shù)分別提升為78.2% 和64.0%；采用前7步歷史動作信息與5步 歷史動作信息相比，跟蹤效果已無明顯提升，因此采用前5步歷史動作信息為Q學(xué)習(xí)搜索機(jī)制的最佳方案。消融實驗分析表明，所提方法各模塊之間組合緊密，能夠有效提升無人機(jī)影像目標(biāo)跟蹤的效果。

表2 消融實驗的ACUTable 2 ACU of ablation experiment

3.4 實驗結(jié)果與分析

為驗證所提方法有效性，選取UAV123數(shù)據(jù)集、VisDrone數(shù)據(jù)集和自研數(shù)據(jù)集中的視頻數(shù)據(jù)作為測試數(shù)據(jù)集，對所提方法進(jìn)行測試，并與當(dāng)前目標(biāo)跟蹤領(lǐng)域內(nèi)的一些主流方法(UPDT[23](Unveiling the Power of Deep Tracking)、CFnet[24](Correlation Filter networks)、SiamFC[11]、ECO[25](Efficient Convolution Operators)、EAST[26](Efficient and Accurate Scene Text Detector)、SRDCF[10]、KCF[8]、ADT[27](Adversarial Deep Tracking)、ATOM[28](Accurate Tracking by Overlap Maximization)、KCFYOLO[29](Kernelized Correlation Filters You Only Look Once))進(jìn)行比較。其中KCF算法、KCFYOLO算法和SRDCF算法為基于相關(guān)濾波器的跟蹤算法，UPDT算法、ADT算法、ECO算法和EAST算法是基于深度學(xué)習(xí)的目標(biāo)跟蹤算法，SiamFC算法、CFnet算法和ATOM算法采用了孿生網(wǎng)絡(luò)結(jié)構(gòu)。圖7展示了上述部分算法在不同視頻序列里的比較實驗結(jié)果，深度森林輸出的目標(biāo)類別信息與類別概率記錄在圖片下方。

圖7 目標(biāo)跟蹤效果Fig.7 Demonstration of tracking results

圖7(a)為工程車序列，目標(biāo)在不同視頻幀下存在著旋轉(zhuǎn)角度變化和部分尺度變化，可以看出本文方法能夠一直精準(zhǔn)定位跟蹤到目標(biāo)，具有良好的旋轉(zhuǎn)不變性。在31幀之后，工程車輛旋轉(zhuǎn)角度發(fā)生變化，ECO和KCF算法不能提取目標(biāo)旋轉(zhuǎn)方向的特征，發(fā)生偏移和目標(biāo)跟丟現(xiàn)象。

圖7(b)為船只序列，目標(biāo)在不同視頻幀下存在著旋轉(zhuǎn)角度變化、視角變化和尺度變化，通過提取目標(biāo)旋轉(zhuǎn)方向信息和深度特征，能夠自適應(yīng)場景環(huán)境變化，使跟蹤框和目標(biāo)的真實位置基本重合。

圖7(c)為小型車輛序列，目標(biāo)從127～825幀存在遮擋情況、尺度變化和地面環(huán)境變化。EAST、SRDCF和KCF算法在環(huán)境發(fā)生變化以及目標(biāo)遮擋情況下出現(xiàn)目標(biāo)丟失；UPDT和SiamFC算法雖然可以定位目標(biāo)，但是沒有對目標(biāo)遮擋情況進(jìn)行優(yōu)化，所得目標(biāo)框要大于目標(biāo)真實框，丟失大量正樣本信息，發(fā)生目標(biāo)框偏移情況；本文方法在訓(xùn)練過程中，通過數(shù)據(jù)擴(kuò)增技術(shù)產(chǎn)生大量具有遮擋信息的訓(xùn)練樣本，使得本文方法在遮擋環(huán)境下能夠精確檢測到目標(biāo)，具有良好的魯棒性。

圖7(d)為行人序列，目標(biāo)發(fā)生光照變化、部分遮擋以及周圍環(huán)境有相似目標(biāo)，增加了跟蹤難度。本文方法通過深度置信網(wǎng)絡(luò)提取具有強表征能力的目標(biāo)深度特征，通過搜索機(jī)制模型獲取目標(biāo)定位信息，能夠有效跟蹤目標(biāo)的移動情況，提供精準(zhǔn)跟蹤檢測結(jié)果。

為驗證所提方法針對形態(tài)變化的魯棒性，采用平均重疊率和平均中心誤差率作為評價指標(biāo)對不同形態(tài)變化的場景進(jìn)行定量分析，表3和表4分別為本文方法與其他方法在不同視頻場景下的平均中心誤差和平均重疊率，視頻場景包括目標(biāo)旋轉(zhuǎn)、遮擋、尺度變化、目標(biāo)快速移動、視角變化、光照變化和背景干擾；圖8和圖9使用成功跟蹤率和精準(zhǔn)率指標(biāo)評價目標(biāo)跟蹤方法在UAV123數(shù)據(jù)集和VisDrone數(shù)據(jù)集上的整體表現(xiàn)。從表3和表4中看出，相比于其他10種常用方法，本文方法在目標(biāo)形態(tài)變化場景下取得了較好的平均重疊率和平均中心誤差率，從圖8和圖9可以看出，本文方法取得了最好的目標(biāo)跟蹤效果，主要原因是通過數(shù)據(jù)擴(kuò)增提高了樣本多樣性，使用改進(jìn)深度置信網(wǎng)絡(luò)模型提取強表征能力的深度特征，采用基于Q學(xué)習(xí)的搜索機(jī)制進(jìn)一步精確目標(biāo)跟蹤結(jié)果，使模型對無人機(jī)影像視頻的跟蹤檢測能力更具有魯棒性。

表3 平均中心位置誤差Table 3 Mean error of center position

表4 平均重疊率Table 4 Average overlap rate

圖8 在UAV123上的整體效果Fig.8 Overall performance on UAV123

圖9 在VisDrone上的整體效果Fig.9 Overall performance on VisDrone

3.5 深度森林分類特性評估

使用深度森林分類器對所跟蹤的目標(biāo)進(jìn)行分類，為進(jìn)一步驗證深度森林算法提供類別信息的準(zhǔn)確度，對深度森林分類特性展開評估分析。

對于常見的無人機(jī)影像跟蹤目標(biāo)類別，圖10展示了深度森林學(xué)習(xí)得到的類特征向量與使用隨機(jī)森林提取的類特征向量的可視化對比。采用KPCA[30](Kernel Principal Component Analysis)技術(shù)依次提取深度森林和隨機(jī)森林學(xué)習(xí)得到的類特征向量的前2個主分量，然后繪制主成分的散點圖，如圖10所示，其中KPCA1和KPCA2依次為第1主分量和第2主分量。實驗結(jié)果表明，相比于隨機(jī)森林模型，深度森林模型能夠有效提取不同類別無人機(jī)影像跟蹤目標(biāo)的類特征向量，主要原因是深度森林模型能夠從輸入數(shù)據(jù)中學(xué)習(xí)到目標(biāo)最具代表性的類別信息特征，從而準(zhǔn)確提供目標(biāo)類別信息。

圖10 類特征向量可視化Fig.10 Visualization of class feature vector

3.6 算法復(fù)雜度分析

對所提方法的時間復(fù)雜度進(jìn)行記錄，如表5所示。本文方法的速度為12.6幀/s，當(dāng)不使用深度森林模型時，本文方法速度為14.8幀/s，具有較好的實時性，均能滿足實際場景應(yīng)用需求，計算負(fù)荷主要集中在深度特征提取方面，后續(xù)將在保證算法精確度的同時在進(jìn)一步提高該算法運行效率方向進(jìn)行研究。

表5 算法時間復(fù)雜度Table 5 Time complexity of algorithm

4 結(jié) 論

針對無人機(jī)影像目標(biāo)跟蹤過程中常出現(xiàn)目標(biāo)旋轉(zhuǎn)、遮擋等形態(tài)變化，以及訓(xùn)練樣本多樣性不足等問題，提出了一種基于形態(tài)自適應(yīng)網(wǎng)絡(luò)的無人機(jī)航空影像目標(biāo)跟蹤方法。通過數(shù)據(jù)擴(kuò)增提高訓(xùn)練樣本數(shù)據(jù)多樣性，擴(kuò)增模型對目標(biāo)形態(tài)變化的覆蓋范圍；使用改進(jìn)深度置信網(wǎng)絡(luò)獲取無人機(jī)影像中具有強表征能力的深度特征，通過預(yù)定位方法和精確定位方法相結(jié)合的方式，可以在保證算法實時性的同時，更好地挖掘目標(biāo)表征信息，實現(xiàn)對目標(biāo)寬高比變化的自適應(yīng)調(diào)整，有效定位無人機(jī)影像數(shù)據(jù)中的目標(biāo)所在區(qū)域，提高算法對目標(biāo)形態(tài)變化的適應(yīng)能力和影像背景環(huán)境變化的魯棒性；采用深度森林模型提取類別信息，獲得高精度的目標(biāo)跟蹤結(jié)果。在UAV123數(shù)據(jù)集、VisDrone數(shù)據(jù)集和自研無人機(jī)航拍數(shù)據(jù)集上展開了對比實驗，同其他10種常用目標(biāo)跟蹤算法進(jìn)行比較，本文方法在跟蹤成功率、精準(zhǔn)度、平均重疊率、平均中心位置誤差等評價指標(biāo)上取得了最好的效果。在多種目標(biāo)跟蹤場景下進(jìn)行了測試，所提方法能夠有效適應(yīng)無人機(jī)影像中目標(biāo)出現(xiàn)的形態(tài)變化情況，在跟蹤準(zhǔn)確性、穩(wěn)定性和魯棒性方面具有優(yōu)異的整體性能。