李 郁，朱 偉

(西安明德理工學院 智能制造與控制技術(shù)學院，西安 710124)

0 引言

近年來，隨著人工智能和無人機的快速發(fā)展和廣泛應用，基于無人機的目標跟蹤引起了計算機視覺學者的研究熱潮。無人機場景中的目標跟蹤被廣泛應用于各個領(lǐng)域，具有廣闊的應用前景和豐富的學術(shù)研究價值[1-3]。然而，目前無人機場景下的目標跟蹤面臨非常多的問題和挑戰(zhàn)。如，跟蹤目標較小，跟蹤精度差；相對速度過快，導致目標丟失；以及在實際中跟蹤精度受目標旋轉(zhuǎn)，目標遮擋等因素影響。因此，本文為了解決目標遮擋環(huán)境下，跟蹤精度不高的問題，提出了一種新的目標跟蹤算法(MKBP)。該算法在均值漂移(Meanshift)目標跟蹤算法[4]的基礎上，采用動態(tài)參數(shù)選擇的方法，將卡爾曼(Kalman)濾波算法[5-6]與軌跡預測函數(shù)和BP神經(jīng)網(wǎng)絡算法[7]相結(jié)合，解決了運動過程中的目標遮擋問題跟蹤；為了提高算法性能，在該算法中增加了目標檢測機制，通過PCA-Sift算法檢測丟失的目標[8]，恢復跟蹤目標并繼續(xù)跟蹤。

1 MKBP算法原理

在這一節(jié)，將會介紹MKBP算法的原理，以及工作機制。

1.1 均值漂移算法

基于均值漂移的目標跟蹤算法通過計算目標區(qū)域和候選區(qū)域像素的特征值概率，得到目標模型和候選模型的描述，然后利用相似函數(shù)來度量初始幀目標模型與當前幀候選模板之間的相似度[9]。使相似函數(shù)最大化并得到目標模型的均值漂移向量的候選模型。這個向量是目標從初始位置移動到正確位置的向量。由于均值漂移算法收斂速度快，通過不斷迭代計算均值漂移向量，算法最終會收斂到目標的真實位置，從而達到跟蹤的目的。

均值漂移目標跟蹤算法的相關(guān)公式如式(1)所示：

(1)

在初始幀中的跟蹤幀中的位置信息由{xi}表示，其中n是幀中的像素總數(shù)，x0是中心位置，u是某個特征值(u=1,…,m)。kE(x)是epanechikov核函數(shù)，h是帶寬，b(xi)是直方圖的索引函數(shù)，是對應于目標幀中每個像素的RGB值。它是一個Delta函數(shù)，用于確定對應于b(xi)的值是否屬于特征值u，C是正則化參數(shù)。ρ值為巴氏系數(shù)，其值在0～1之間，ρ值越大，表示兩種模型越相似。在這里Z是每次搜索獲得的新位置，wi為權(quán)重，m為特征值總數(shù)，g(x)=-k/(x)。在每一幀的迭代過程中，候選模板的中心位置y被Z不斷更新，直到巴氏系數(shù)達到最大值。

1.2 利用預測機制解決目標遮擋問題

該算法利用卡爾曼和BP神經(jīng)網(wǎng)絡的預測機制，通過動態(tài)參數(shù)法選取相關(guān)參數(shù)。

1)卡爾曼濾波器是一種估計動態(tài)系統(tǒng)狀態(tài)序列最小均方誤差的最優(yōu)濾波器。它可以預測下一幀跟蹤目標的中心位置，并修正當前幀的目標區(qū)域。首先，將狀態(tài)向量X=(xi,yi)T作為X軸和Y軸上的目標位置，測量向量Z=(xi,yi)T是觀測目標的位置。然后，狀態(tài)Xi被初始化。根據(jù)卡爾曼濾波算法的原理，建立了狀態(tài)方程和觀測方程。在滿足這兩個基本假設后，建立了卡爾曼預測階段和更新階段的相關(guān)方程。在確定相關(guān)參數(shù)后，利用卡爾曼濾波對下一幀跟蹤目標的中心位置進行預測。上述公式如式(2)所示：

(2)

2)BP算法以n個候選目標中心位置的坐標(xk,yk)作為BP神經(jīng)網(wǎng)絡的初始訓練樣本數(shù)據(jù)，對下一幀候選目標的中心位置坐標(xk+1,yk+1)進行疊加更新。樣本數(shù)據(jù)，采用trainrp函數(shù)作為BP神經(jīng)網(wǎng)絡的訓練方法，首先確定輸入層、隱層和輸出層的節(jié)點數(shù)分別為2、4和2，然后確定初始學習率，訓練次數(shù)和訓練誤差分別為0.01、10和0.5，根據(jù)BP神經(jīng)網(wǎng)絡的基本過程，可以預測并輸出下一幀跟蹤目標的中心位置(x,y)。具體流程如下：

(1)輸入跟蹤目標中心位置的坐標數(shù)據(jù)，從輸入層神經(jīng)元到隱層神經(jīng)元，在隱層動作后傳遞給輸出層神經(jīng)元神經(jīng)元。輸出變量在外層神經(jīng)元的作用下產(chǎn)生，即前向傳遞過程；

(2)將實際輸出Yk與期望輸出進行比較，得到存在的誤差ε。如果誤差超過可接受范圍，則誤差值將沿網(wǎng)絡傳播。修改連接權(quán)值ujk和wij(即誤差反向傳播過程)；

(3)輸入另一個跟蹤目標中心位置的坐標數(shù)據(jù)，重復(1)和(2)直到模型輸出誤差E在可接受范圍內(nèi)或達到設定的訓練次數(shù)。

上述公式如式(3)所示：

(3)

3)使用通過動態(tài)參數(shù)法選擇相關(guān)參數(shù)，該算法采用多線程方法同時運行均值漂移，卡爾曼和BP神經(jīng)網(wǎng)絡三種算法，并采用動態(tài)參數(shù)選擇的方法得到3種算法的權(quán)重參數(shù)(wm|i+1,wk|i+1,wb|i+1)，然后根據(jù)這3種算法得到的相關(guān)參數(shù)，對其進行動態(tài)參數(shù)選擇中心位置(Z(xi+1,yi+1),X(xi+1,yi+1),Y(xi+1,yi+1))的候選目標計算最佳中心位置L(xi+1,yi+1)。如式(4)所示:

(4)

式中，ρi+1為候選目標與跟蹤目標之間第i-th幀的巴氏系數(shù)，wi+1為動態(tài)目標選擇方法(即通過3種算法得到的候選目標和跟蹤值之間的巴氏系數(shù)的比例確定動態(tài)參數(shù)的目標)得到了第i-th幀的權(quán)重參數(shù)。

均值漂移目標跟蹤算法結(jié)合了卡爾曼濾波算法和BP神經(jīng)網(wǎng)絡預測機制，結(jié)果如圖1所示。

圖1 解決遮擋問題的預測機制示意圖

從圖1可以看出，第148幀圖像是初始輸入圖像，第175幀和第181幀圖像被部分阻止，第178幀圖像被完全阻止。預測機制是卡爾曼濾波和BP神經(jīng)網(wǎng)絡預測算法相結(jié)合的均值漂移算法，通過動態(tài)參數(shù)選擇來處理這三種方法所占的不同權(quán)重。動態(tài)參數(shù)選擇是根據(jù)三種算法的相似性，對候選目標跟蹤預測的目標中心位置來選擇合適的參數(shù)。

1.3 對丟失目標的尋回

通過多目標跟蹤實驗，發(fā)現(xiàn)當目標長時間完全被遮擋時，跟蹤的目標會丟失。因此，本文選擇了PCA-sift特征提取算法在目標跟蹤過程中，啟動了判斷目標是否丟失的機制，即，候選目標與跟蹤目標在時間閾值T處的相似度繼續(xù)小于相似度閾值S，表明目標已經(jīng)丟失，然后啟動基于Sift的目標檢測機制重新獲取被跟蹤目標，繼續(xù)跟蹤目標。

1.3.1 跟蹤目標和當前幀目標的特征提取

首先得到目標模型和當前視頻幀的PCA-Sift特征向量。PCA-Sift算法以尺度空間為主要思想。首先構(gòu)造DoG金字塔，在尺度空間中找到極值點，然后精確地確定關(guān)鍵點的位置和主方向，以保證其尺度和旋轉(zhuǎn)不變性算法.SIFT在高斯(DoG)尺度空間的差分中檢測局部極點值。輸入圖像f(x,y)和高斯濾波器G(x,y,kσ)卷積得到L(x,y,kσ)，k=1,2,…,n。接著，DoG-尺度空間可以通過式(5)計算得到：

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(5)

在這里，D(x,y)是高斯差分圖像，G(x,y)是高斯濾波器，L(x,y)是比例。在DoG空間，利用搜索局部極值的方法，可以判斷具有相同尺度的潛在興趣點方向。那個局部極值是第二階段確定的關(guān)鍵點的候選點。

其次，建立了目標模型和當前視頻幀的特征相量描述。以關(guān)鍵點為中心，繪制一個16×16的圓形區(qū)域，然后將圓形區(qū)域劃分為4×4個子鄰域，計算子區(qū)域梯度直方圖。由于梯度方向是一個8維向量，每個點都有一個128維向量來描述它，這就是SIFT特征矢量。它使用梯度振幅m(x,y)和方向θ(x,y)作為描述符中的基本元素，其定義如式(6)～(7)所示：

m(x,y)=

(6)

θ(x,y)=arccos

(7)

然后，利用主成分分析(PCA)原理對128維特征向量進行約簡，最后將其簡化為20維特征向量。

1.3.2 將跟蹤目標的特征與當前幀的目標相匹配

最后，對目標模型和當前視頻幀進行PCA-Sift特征描述符匹配。首先，將當前視頻幀劃分為多個候選區(qū)域，然后逐個進行匹配。然后，計算PCA-Sift特征向量與二者之間的歐幾里德距離，求出歐幾里德距離的最小值和最小值，求出兩者之間的比值。如果它小于設定的閾值，則匹配是成功的。最后對候選區(qū)域進行匹配，建立候選幀，作為檢測到的目標位置。

當跟蹤的目標丟失時，立即啟動目標檢測機制。為了確定跟蹤是否丟失，設置丟失閾值l。如果當前幀的丟失系數(shù)小于l，則不丟失目標；否則，考慮目標丟失了。MKBP算法利用PCA-Sift特征提取算法從視頻圖像中提取特征點向量，構(gòu)造PCA-Sift特征描述子，最后在視頻圖像中匹配目標模板PCA-Sift特征描述子，得到相似度最高的目標模板。定位目標位置，確定候選目標模板，最后將候選模板傳遞給均值漂移算法，啟動目標跟蹤過程，如圖2所示。

圖2 丟失目標尋回示意圖

從圖2可以看出，第3 031幀中的目標沒有被阻斷并且被精確地跟蹤。第3 173幀中的目標被部分阻斷并被精確跟蹤。第3 216幀中的目標被完全阻斷，但跟蹤時間過長。失敗。該過程的詳細描述是：利用本文提出的方法對輸入的連續(xù)視頻幀進行跟蹤，利用目標丟失判斷機制檢測目標在跟蹤過程中是否丟失，并在目標跟蹤重新獲取丟失跟蹤目標允許的情況下，啟動基于PCA-Sift的目標檢測繼續(xù)跟蹤目標。

因此，整個MKBP算法的具體執(zhí)行過程如算法1所示。

算法1：MKBP算法

Input: The current frame

Output:L(xi+1,yi+1)

While 當前幀是有效的 do

Thread1:

Z(xi+1,yi+1)=Meanshift(xi,yi);

Thread2:

X(xi+1,yi+1)=Kalman(xi,yi);

Thread3:

Y(xi+1,yi+1)=BP(xi,yi);

Thread4:

l = Get Target Loss Threshold(frame);

if l > t do

Retrieve Target = Detect Based PCA-Sift(frame);

else

wm,wk,wb=Dynamic Parameter Selection (Z,X,Y);

L(xi+1,yi+1)=wmZi+1+wkXi+1+wbYi+1;

end if

用L(xi+1,yi+1)作為迭代數(shù)據(jù);

讀取下一幀;

End

2 實驗與評估

2.1 實驗設置

本實驗的測試平臺是VS2015，它使用了計算機視覺開源庫OpenCV3.41。所有實驗都是在英特爾酷睿i5-4210U，4 GB內(nèi)存的Windows8.1 64位PC系統(tǒng)上進行的。數(shù)據(jù)集采用的是UAV123公開數(shù)據(jù)集[10]。

2.2 實驗結(jié)果

圖3是5種傳統(tǒng)目標跟蹤算法和MKBP對WhiteCar視頻序列的跟蹤。第一幅圖像是無人機對目標的無遮擋跟蹤，這6種跟蹤算法的跟蹤幀與目標非常一致。因此，在目標無障礙的情況下，這6種算法的跟蹤精度都很高。第2和第3張是無人機跟蹤目標部分遮擋。MKBP跟蹤幀與目標基本吻合，說明MKBP算法的跟蹤精度較高，而Moss幀與目標的重合度不高，說明Moss算法對遮擋非常敏感，跟蹤精度不高。第4張是無人機跟蹤目標被完全遮擋。MKBP跟蹤幀與目標趨勢一致，其他跟蹤幀基本與目標不一致，說明MKBP算法的跟蹤精度較高，同時也說明其他5種算法完全是遮擋非常敏感，跟蹤精度不高。第5幅圖像為部分遮擋，第6幅圖像為未遮擋，其余5幅跟蹤幀均已脫離目標，說明這5種算法都已失去跟蹤目標，同時說明MKBP算法在遮擋情況下魯棒性和穩(wěn)定性都很高。

圖3 對WhiteCar的追蹤結(jié)果

為了評價跟蹤算法的精度，采用巴氏相似系數(shù)來評價跟蹤算法的精度。結(jié)果如圖4所示。

圖4 巴氏系數(shù)比較結(jié)果

從圖4可以看出，在WhiteCar視頻序列的1442到1514幀中，被跟蹤的目標處于未包含狀態(tài)。在1 515～15 26幀，被跟蹤目標處于部分阻塞狀態(tài)。在1 527～1 538幀，跟蹤目標處于完全阻塞狀態(tài)；在1 539～1 600幀，被跟蹤目標處于非阻塞狀態(tài)。在1 442～1 514幀，由于目標沒有被遮擋，6種跟蹤算法的巴氏相似系數(shù)相差不大，基本上都大于0.90。在1 515～1 526幀中，由于目標部分被遮擋，而Moss的部分分塊不魯棒，巴氏相似系數(shù)急劇下降，而其他4種算法和MKBPS對部分遮擋有一定的魯棒性，因此巴氏相似系數(shù)降低的速度慢得多；在1 527～1 538幀中，由于目標完全被遮擋，巴氏相似系數(shù)急劇下降，基本在0.55以下；在1 539～1 600幀，目標沒有被遮擋，但由于其他5種跟蹤算法，跟蹤目標丟失，因此巴氏相似系數(shù)小于0.55，對于具有目標檢測機制的MKBP，由于重新捕獲，巴氏相似系數(shù)急劇上升以跟蹤目標。

圖5是通過5種傳統(tǒng)的目標跟蹤算法和MKBP對BlackCar視頻序列的跟蹤。第一張圖片是無障礙無人機跟蹤目標。這6種跟蹤算法的跟蹤幀與目標非常一致。因此，這6種算法的實時性要求都很高。第2張圖片是無人機跟蹤目標的部分遮擋。MKBP跟蹤幀與目標基本吻合，說明MKBP算法具有較高的跟蹤精度，而Moss幀與目標沒有高度重疊，說明Moss算法對遮擋非常敏感，跟蹤精度不高。第3張圖是無人機跟蹤目標被完全遮擋MKBP跟蹤幀與目標趨勢一致，其他跟蹤幀與目標趨勢基本不一致，說明MKBP算法的跟蹤精度較高，而且其他5種算法對完全遮擋敏感，導致跟蹤精度較低。第4幅圖像是部分遮擋，其余五幀跟蹤幀都偏離了目標，說明這5種算法已經(jīng)失去了對目標的跟蹤，同時也說明了MKBP算法在遮擋下的魯棒性和穩(wěn)定性。

圖5 對BlackCar追蹤結(jié)果

從圖6可以看出，6種跟蹤算法的精度都隨著誤差閾值的增大而提高，但MKBP算法的精度提高幅度最大，當誤差閾值為10時，其精度系數(shù)高于其他5種跟蹤算法，從成功圖可以看出，6種跟蹤算法的成功率隨著符合閾值的增加而逐漸降低，但MKBP算法的下降幅度相對較小，從這兩幅圖可以看出，MKBP算法的性能優(yōu)于其他5種跟蹤算法。

圖6 對BlackCar的跟蹤精確度比較

3 結(jié)束語

本文針對無人機目標被遮擋時均值漂移算法魯棒性差的問題、卡爾曼誤差積累問題和無人機目標丟失問題，提出了一種無人機抗遮擋目標跟蹤算法MKBP，主要是基于均值漂移跟蹤算法，并結(jié)合了卡爾曼的預測機制。同時，采用BP神經(jīng)網(wǎng)絡解決卡爾曼誤差積累問題，提高了跟蹤性能。目標檢測機制用于恢復丟失的跟蹤目標并繼續(xù)跟蹤。實驗結(jié)果表明，與傳統(tǒng)的跟蹤算法相比，MKBP目標跟蹤算法在目標運動速度快、視頻像素低、目標遮擋時間長、多次出現(xiàn)的復雜場景下，具有良好的跟蹤速度和準確的跟蹤效果。