顧明琨，鐘小勇

(江西理工大學 理學院，江西 贛州 341000)

0 引言

近年來，目標跟蹤技術(shù)發(fā)展迅速，在視頻監(jiān)控、人機交互、智能交通等領(lǐng)域有著廣泛的應(yīng)用。但由于跟蹤時存在著遮擋、形變、光照變化等因素影響，如何在復雜場景中準確跟蹤目標仍是目標跟蹤領(lǐng)域的難點問題。

目標跟蹤方法按照處理方式的不同，可以分為兩類，一類是生成類模型類，另一類是判別類模型類。早期的目標跟蹤算法大多是生成類模型，生成模型類是對跟蹤的目標建立模型并識別，在下一幀圖像中搜索與當前模型中最為相似的區(qū)域作為預(yù)測區(qū)域。比較經(jīng)典的算法有卡爾曼濾波與粒子濾波等。這種通過單一數(shù)學模型描述待跟蹤目標的方法，不能全面利用圖像的背景信息，當受到光照變化，運動模糊等干擾時，會對模型建立產(chǎn)生較大影響。判別模型類是將目標模型和背景信息同時考慮在內(nèi)，將目標跟蹤看作是一個目標前景和背景的二分類問題，通過提取圖像的特征，利用兩者的差異進行在線學習來對分類器做相應(yīng)的訓練，該方法可以較好的提高跟蹤精度。伴隨著數(shù)字信號處理技術(shù)的發(fā)展，基于各種濾波方法的判別類模型由于其優(yōu)異的性能和前景而受到學者們的青睞。相關(guān)濾波最初用于通信領(lǐng)域，用來描述信號之間的相關(guān)程度。在目標跟蹤中則是將輸入圖像通過濾波器模板進行相關(guān)操作，得到一個盡可能理想的響應(yīng)圖，根據(jù)響應(yīng)圖最高峰的位置來確定目標的中心點。Bolme等學者在2010年提出的最小平方誤差輸出和跟蹤算法(MOSSE,minimum output sum of squared error filter)首次把相關(guān)濾波的方法引入到目標跟蹤中，并使用灰度特征進行學習，使得跟蹤速度大幅提高，相關(guān)濾波器跟蹤算法也因此備受關(guān)注。針對MOSSE算法中訓練樣本不足的問題，Henriques等人對其進行改進，提出循環(huán)結(jié)構(gòu)的目標跟蹤算法(CSK,exploiting the circulant structure of tracking-by-detection with kernels)，利用循環(huán)矩陣的特性對樣本密集采樣，生成訓練樣本集，同時引入核函數(shù)，提高在高維特征空間中分類樣本的速度。隨后Henriques等人又在原CSK算法的基礎(chǔ)上進行改進，使用方向梯度直方圖(HOG,histogram of oriented gradient)多通道特征替換CSK中的單通道灰度特征，設(shè)計出了核相關(guān)濾波算法(KCF,kernel correlation filter)。該算法結(jié)合了CSK速度快的優(yōu)點，使用了循環(huán)矩陣和快速傅里葉變換(FFT,fast fourier transform)，并且在精確度和成功率上也有所提升，但是無法進行尺度估計。之后，Danelljan等人提出了判別式尺度空間目標跟蹤算法(DSST,discriminative scale space tracking)，DSST算法仍使用主流的HOG特征，通過二維的位置濾波器確定跟蹤目標的位置信息，然后用一維的尺度濾波器對跟蹤的目標進行尺度檢測，兩個濾波器工作相互獨立,分別進行目標定位與尺度縮放。該尺度估計的方法可以很方便的移植到其他目標跟蹤器中，但對位置濾波器的精度要求較高。

以上算法的跟蹤性能雖然一直在不斷完善，但均使用單一特征對目標進行跟蹤，使得目標出現(xiàn)形變、遮擋等因素時容易丟失目標。Li等在KCF算法的基礎(chǔ)上將顏色特征(CN,color naming)和HOG特征進行通道融合，提出了多特征尺度自適應(yīng)目標跟蹤算法(SAMF,scale adaptive with multiple features tracker)。該算法對目標進行七個尺度的縮放，然后使用一個濾波器同時進行尺度和位置的檢測，對不同尺度分別進行相關(guān)濾波操作得到對應(yīng)的響應(yīng)值，比較選取響應(yīng)值最大的一個作為最佳的目標尺度和位置。雖然該方法可以相互促進提高跟蹤精度，但是檢測時每個尺度都要進行一次特征提取和FFT操作，導致跟蹤速度較慢，無法滿足實時性的要求。

針對上述問題，本文以KCF濾波器為基礎(chǔ)模型，在使用多特征目標跟蹤的基礎(chǔ)上引入了預(yù)測位置加權(quán)融合機制。通過計算每種特征的平均峰相關(guān)能量(APCE,average peak-to-correlation energy)所占權(quán)重和響應(yīng)置信度以實現(xiàn)更精準的目標定位，并提高算法了在形變、旋轉(zhuǎn)、遮擋等場景下的魯棒性。

1 核相關(guān)濾波跟蹤算法

核相關(guān)濾波算法在跟蹤過程中包含訓練、檢測和更新3個階段。首先在第一幀圖像中用矩形框框選出目標位置，采集矩形框中的圖像特征。然后進行循環(huán)移位構(gòu)建出目標位于不同位置的訓練樣本集，根據(jù)目標質(zhì)心距離矩形框中心的遠近賦予不同的標簽。通過得到的訓練樣本集和其對應(yīng)的標簽訓練出一個分類器，之后將下一幀圖像的特征輸入給分類器，計算最大響應(yīng)位置來預(yù)測下一幀目標所在區(qū)域，最后使用檢測結(jié)果來更新訓練集和分類器。

1.1 訓練階段

相關(guān)濾波算法將目標跟蹤問題轉(zhuǎn)化為求解最小平方誤差下的嶺回歸問題?？梢詫憺椋?/p>

(1)

其中:

x

是樣本數(shù)據(jù)，

y

是回歸目標，

λ

是正則項系數(shù)，以防止過擬合，

ω

表示分類器參數(shù)。求解嶺回歸的問題是為了找到一個使得樣本

x

和回歸目標

y

之間平方誤差最小的決策函數(shù)

f

(

x

)=

ω

x

，使平方誤差達到最小值。

將式(1)求偏導之后可以得到：

ω

=(+

λ

)

y

(2)

其中：是單位矩陣，是由基樣本

x

=[

x

，

x

，…，

x

]構(gòu)造出的一個

n

×

n

循環(huán)矩陣。而所有的循環(huán)矩陣

C

(

x

)都可以傅里葉域?qū)崿F(xiàn)對角化，因此有：

(3)

符號“^”是變量在傅里葉域中的表示，為的共軛轉(zhuǎn)置，

diag

表示對角化。將式帶入中可以得到：

(4)

其中：符號“⊙”表示元素對位相乘，符號“*”表示復共軛。將上述結(jié)果轉(zhuǎn)換到傅里葉域中，并將簡化為：

(5)

以上的推導都是在線性回歸的情況下，實際應(yīng)用中絕大多數(shù)都是非線性回歸的情況。對于非線性問題，KCF使用核函數(shù)對數(shù)據(jù)進行非線性映射，將低維空間的非線性問題轉(zhuǎn)變?yōu)楦呔S空間的線性問題。拓展到核空間后，樣本空間中的

ω

可表示為對偶空間的線性組合：

(6)

其中:

φ

(

x

)是一個非線性映射函數(shù)，映射后的樣本線性可分。此時求解

ω

的問題就變成了求解

α

。給定核函數(shù)

κ

(

x

，

x

′)=[

φ

(

x

)，

φ

(

x

′)]，[·，·]表示數(shù)學中的內(nèi)積操作。分類器

f

(

z

)=

ω

z

可以寫為：

(7)

根據(jù)對偶空間的回歸問題求解得到：

α

=(+

λ

)

y

(8)

其中:表示核相關(guān)矩陣，

α

是

α

組成的分類器系數(shù)矩陣。當核矩陣為循環(huán)矩陣時：

(9)

分類器為：

(10)

1.2 檢測階段

在檢測過程中，使用已訓練好的分類器對框選出的區(qū)域進行濾波計算，得到輸出響應(yīng)圖，如果兩個信號越相似，那么之間的相關(guān)性就越高，輸出的響應(yīng)值就越大。檢測過程中的輸出響應(yīng)方程為：

(11)

1.3 更新階段

在目標跟蹤過程中，目標對象經(jīng)常因為背景干擾或者自身發(fā)生變化從而導致算法性能受到影響，因此需要及時對目標樣本特征

x

和濾波器系數(shù)

α

進行更新，通常采用線性內(nèi)插法來更新模板參數(shù)，公式如(12)所示：

(12)

圖1 Basketball部分視頻序列的特征權(quán)重變化

2 響應(yīng)置信度的多特征融合KCF跟蹤算法

傳統(tǒng)的KCF跟蹤算法只使用HOG特征，HOG特征是一種視覺特征描述符，它通過計算和統(tǒng)計目標區(qū)域像素點的梯度方向直方圖來獲取目標輪廓或形態(tài)上的統(tǒng)計信息，由于其對光照變化和位置偏移不敏感，具有較強的魯棒性，所以在檢測行人、車輛、動物等物體上具有較好的效果。但由于HOG特征主要是反映目標局部形狀和邊緣，所以在遇到遮擋和快速形變時，經(jīng)常會跟蹤失敗。而僅使用CN顏色特征跟蹤的效果也并不好，CN特征是將RGB彩色圖像細化為黑、藍、棕、灰、綠、橙、粉、紫、紅、白和黃11種預(yù)先定義的顏色，形成離散的11維顏色表示，其對旋轉(zhuǎn)、形變等干擾有較強的抵抗能力，但是當目標出現(xiàn)嚴重的光照變化或快速變色時，僅使用CN特征就很容易出現(xiàn)目標漂移現(xiàn)象。由此可見只使用單一特征往往會由于其自身的局限性，無法應(yīng)對跟蹤場景中出現(xiàn)的各種困難。

2.1 多特征融合機制

選擇多特征互補在理論上可以彌補各自的缺點，提升跟蹤效果。而在選擇特征類型和融合方式上是應(yīng)當思考與細究的問題。

從特性來看，HOG和CN兩種特征相互融合可以實現(xiàn)互補，但如果只是用簡單的特征層相加方式進行融合，不進行權(quán)重分配，就會出現(xiàn)某一特征跟蹤精度下降時，整體的跟蹤性能下降的情況。因此本文首先使用主成分分析(PCA,primary component analysis)法對CN特征降維，提高運算速度，然后利用平均峰相關(guān)能量(APCE)和輸出的響應(yīng)峰值作為跟蹤置信度，進行權(quán)重分配。

假設(shè)跟蹤區(qū)域的大小為

M

×

N

像素，則該區(qū)域第

t

幀圖像的APCE值

P

計算如下：

(13)

其中:

g

max, ，

g

min, 和

g

，, 分別是第

t

幀圖像在跟蹤區(qū)域內(nèi)的最大響應(yīng)值、最小響應(yīng)值和位置(

m

,

n

)處的響應(yīng)值。我們可以將第

t

幀的特征權(quán)重公式寫為：

(14)

式中,

ω

,和

ω

，分別為CN特征和HOG特征在第

t

幀的權(quán)重。

為確認該權(quán)重分配方法的有效性，采用OTB-2013數(shù)據(jù)集中的Basketball視頻序列進行驗證。

從圖1可以看到在572幀到624幀之間，目標主要是在進行平移操作，形變較小，得到的特征權(quán)重變化圖中HOG的特征權(quán)重高于CN。而之后目標產(chǎn)生形變和旋轉(zhuǎn)，HOG特征權(quán)重顯著下降。這表明該融合算法在不同的條件下能夠?qū)崿F(xiàn)自適應(yīng)改變。

2.2 基于響應(yīng)置信度的分段更新策略

KCF算法在每一幀學習中都使用相同的學習率來更新模型。而在實際的應(yīng)用場景中，由于背景雜亂、形變、遮擋等原因，使用相同的學習率更新容易將不可靠的跟蹤結(jié)果引入到模型當中。模型誤差的累計將導致跟蹤失敗，因此在跟蹤質(zhì)量較差的情況下應(yīng)適當減小學習率。

響應(yīng)圖的峰值和波動可以一定程度上反應(yīng)跟蹤的質(zhì)量，當跟蹤結(jié)果較為理想時，響應(yīng)圖是只有一個尖峰，其他區(qū)域平滑的圖像，而且響應(yīng)峰值越高，周邊區(qū)域越平滑，跟蹤效果越好，如圖2。而當跟蹤過程出現(xiàn)了運動模糊等復雜情況時，響應(yīng)圖的峰值就會變低，頂部變寬，產(chǎn)生多峰現(xiàn)象，如圖3。

圖2 目標跟蹤正常及三維響應(yīng)圖

圖3 目標快速移動及三維響應(yīng)圖

為了避免模型更新而導致錯誤，本文根據(jù)響應(yīng)圖變化的結(jié)果，提出一種響應(yīng)置信度判別方式：計算大于0.5倍峰值的響應(yīng)值個數(shù)

F

與大于0.28倍峰值的響應(yīng)值個數(shù)

F

，設(shè)響應(yīng)置信度

F

=

F

/

F

。當干擾比較少時，圖像峰值高，高響應(yīng)值點比較集中且占比小，沒有多峰現(xiàn)象，所以

F

的值較小。當受到干擾時，響應(yīng)圖峰值變低，產(chǎn)生多峰現(xiàn)象，高響應(yīng)值的點占比增加，

F

的值增大。由此就可以根據(jù)響應(yīng)置信度

F

的大小來使用不同的學習率分段更新模型。經(jīng)過對響應(yīng)置信度范圍的實驗驗證，得出第

t

幀的分段更新模型策略為：

(15)

(16)

其中:

η

與

η

分別代表CN特征的學習率和HOG特征的學習率。

F

較小時認為圖像接近理想響應(yīng)圖，使用正常或較低學習率，當

F

過大時，認為干擾強烈，不再繼續(xù)更新模型。

利用這種方法，不僅可以提高算法的魯棒性，還可以用來解決某一特征跟蹤失效的問題。

2.3 特征失效下的模型跟蹤判別

2.1章節(jié)中的多特征融合機制雖然可以自適應(yīng)的進行權(quán)重分配，提高跟蹤精確度，但是如果出現(xiàn)某一特征跟蹤失效，產(chǎn)生相反的預(yù)測位置時，再使用加權(quán)的更新方式就會引入額外的誤差，如圖4所示。

圖4 運動模糊時的CN特征與HOG特征響應(yīng)圖

由于圖像在第549幀時產(chǎn)生運動模糊，HOG特征的跟蹤精度下降?？梢钥吹轿矬w原本向左運動，CN特征得到的響應(yīng)最高峰在左側(cè)，但HOG特征由于受到干擾，得到的響應(yīng)最高峰卻在右側(cè)。此時兩種特征得出的預(yù)測位置截然相反，不適合使用位置融合機制，而應(yīng)根據(jù)響應(yīng)置信度

F

來進行單一特征的位置更新。

2.4 算法整體流程

本算法的偽代碼如下：

Input：當前幀圖像

I

，目標初始位置

P

Output：檢測到的目標位置

P

for

t

=1 to

N

if

t

=1 then1.在初始幀中選取目標圖像塊

Patch

2.提取

Patch

中的HOG特征和CN特征，并對CN特征降維。由式(8)初始化分類器。else

t

≥23.提取并計算出兩種特征的響應(yīng)峰值

g

、預(yù)測目標位置、響應(yīng)置信度

F

以及APCE的值

4.if兩種特征預(yù)測的目標位置差異過大then

使用

F

值較小的特征進行位置更新

else

通過權(quán)重

ω

、

ω

得到的融合位置進行更新

end if

5.根據(jù)響應(yīng)置信度

F

計算更新速率，更新濾波器模型的參數(shù)。

end if

end

3 實驗結(jié)果分析

3.1 實驗環(huán)境及參數(shù)設(shè)置

實驗硬件環(huán)境條件為：Windows10 64位操作系統(tǒng)，處理器是Intel(R) Core(TM) i5-8400CPU@2.80 GHz,內(nèi)存16 GB，開發(fā)軟件為Matlab R2020a。本文算法中，HOG特征的維度為31，降維后的CN特征維度為3，模型學習率

η

、

η

等其余參數(shù)設(shè)置與原KCF算法和CN算法相同，分別為0.02和0.075。響應(yīng)置信度

F

按照式(15～16)中來取，尺度變換部分使用了DSST算法的尺度濾波器。用于對比的算法參數(shù)均原用作者設(shè)定的默認參數(shù)。

3.2 定量分析

為了評估本文算法(OURS)的有效性，在OTB-2013數(shù)據(jù)集上選取了具有代表性的30組視頻序列來與SAMF、DSST、KCF、CN算法進行對比。所選視頻的主要屬性包括以下11種：

1)14組光照變化( IV,illumination variation);

2)23組平面外旋轉(zhuǎn)(OPR,out-of-plane rotation);

3)13組尺度變換尺度變化(SV,scale variation);

4)19組遮擋(OCC,occlusion);

5)11組變形(DEF,deformation);

6)7組運動模糊(MB,motion blur);

7)8組快速移動(FM,fast motion);

8)20組平面內(nèi)旋轉(zhuǎn)(IPR,in-plane rotation);

9)3組離開視野(OV,out of view);

10)10組背景復雜(BC,background clutters);

11)2組低分辨率(LR,low resolution)。

評估方法采用OTB-2013數(shù)據(jù)集中提出的距離精確度(DP,distance precision)、成功率(SR,success rate)及跟蹤速度(FPS,frames per second)作為評價標準。

單幀圖像的跟蹤評價指標主要有中心位置誤差(CLE,center location error)和覆蓋域(OR,overlap region)兩種。

中心位置誤差CLE是指跟蹤目標位置(

x

,

y

)與真實位置(

x

,

y

)間的距離，計算公式如下：

(17)

中心位置誤差的值越小，算法的跟蹤精度就越高。但是中心位置誤差只考慮了中心點的準確度，沒有考慮目標外觀的變化，不能反映算法在目標發(fā)生旋轉(zhuǎn)、尺度變化時的跟蹤精度。

覆蓋域OR是根據(jù)人工標注的實際目標框和跟蹤算法得到的跟蹤框之間的重疊面積之比，來衡量算法的跟蹤性能。

(18)

其中:|·|代表區(qū)域中的像素數(shù)目，

r

、

r

分別表示跟蹤算法得到的預(yù)測區(qū)域和實際的目標區(qū)域，OR的取值范圍為0到1，算法對目標的跟蹤越精確，目標框的大小越接近于實際目標區(qū)域時，重疊率越接近1。所以旋轉(zhuǎn)、尺度變化等干擾對算法的影響可以在覆蓋域上得到體現(xiàn)。距離精確度DP是通過統(tǒng)計中心位置誤差CLE小于某一設(shè)定閾值

ε

的幀數(shù)

N

占視頻序列總長度

N

的比值，繪制出精確度曲線。通常采用閾值為20個像素點對應(yīng)的數(shù)值作為精確度評價指標，其計算公式如(19)所示:

(19)

成功率SR是通過統(tǒng)計覆蓋域OR大于某一設(shè)定閾值

θ

的幀數(shù)

N

占所有測試視頻序列總長度

N

的比值，繪制出閾值從0到1變化的成功率曲線。通常以特定閾值為0.5時對應(yīng)的值作為跟蹤器的成功率，其計算公式如(20)所示：

(20)

具體本文算法(OURS)，SAMF算法，DSST算法，KCF算法，CN算法在11種主要屬性下的精確度DP和成功率SR結(jié)果如表1、表2所示，每組的最優(yōu)結(jié)果用加粗顯示。

從表1和表2中可以看到，對比主流的相關(guān)濾波跟蹤算法，本文算法的精確度DP和成功率SR在大多數(shù)屬性下要優(yōu)于其他算法。

表1 5種算法在11種屬性下的精確度DP

表2 5種算法在 11 種屬性下的成功率SR

圖5 綜合評價曲線圖

圖5為算法執(zhí)行一次的整體精度圖和成功率圖。該圖顯示出本文算法相比于原KCF算法，在精確度DP和成功率SR上分別提高了12.8%和22.6%和，同時也高于其他主流算法。將本算法中所有視頻的總FPS數(shù)除以視頻序列總數(shù)，可得到本文算法的平均FPS值為93.1。在保證較高跟蹤精度的情況下，平均速度依然可以滿足實時性的要求。

3.3 定性分析

為了更直觀的驗證算法性能，我們選取了Deer、Singer2、Jogging2、Girl、Freeman1這5個視頻序列進行定性分析。其中本文算法(OURS)使用紅色實線框，綠色虛線框為SAMF算法，藍色虛點框為DSST算法，黑色點橫線框為KCF算法，粉色實線框為CN算法。

3.3.1 Deer序列測試

圖6中，因為目標的快速躍起，在第24幀后開始產(chǎn)生運動模糊，導致僅用HOG特征的DSST和KCF算法丟失目標，使用HOG和CN通道融合的SAMF算法也因HOG特征的誤差導致精度下降。而僅使用顏色通道的CN算法和使用了加權(quán)特征融合方式的OURS算法跟蹤效果良好。

圖6 在Deer序列上的跟蹤對比情況

3.3.2 Singer2序列測試

圖7中，由于目標在光照的影響下產(chǎn)生了顏色變化，導致CN算法丟失目標，SAMF算法也因為CN顏色通道的誤差導致跟蹤失敗。而只使用HOG特征的DSST、KCF與加權(quán)特征融合的OURS算法跟蹤效果良好。

圖7 在Singer2序列上的跟蹤對比情況

3.3.3 Jogging2序列測試

圖8中，目標在經(jīng)過信號燈等之前緩慢運動，所有算法的跟蹤情況都較好。但在58幀左右時，目標經(jīng)過信號燈被完全遮擋，之后CN、KCF和DSST算法產(chǎn)生了漂移現(xiàn)象，丟失了目標。只有SAMF算法和本文算法在遮擋后依然能成功跟蹤目標。

圖8 在Jogging2序列上的跟蹤對比情況

3.3.4 Girl序列測試

圖9中，從127幀可以看到，DSST算法由于位置濾波器預(yù)測的中心位置誤差較大，導致尺度濾波器預(yù)測的尺度框大小也出現(xiàn)問題，而使用相同尺度濾波器的OURS算法因為預(yù)測位置更加精確，所以得到的尺度框大小正常。之后目標在437幀左右時出現(xiàn)相似物體遮擋的情況，使得DSST，KCF和CN算法出現(xiàn)漂移，最終跟蹤失敗。SAMF算法和本文算法在受到遮擋后都能繼續(xù)跟蹤到目標，且本文算法預(yù)測的中心位置更加精確。

圖9 在Girl序列上的跟蹤對比情況

3.3.5 Freeman1序列測試

圖10中，目標由遠至近運動，在第114幀時摘下眼鏡，并在之后產(chǎn)生旋轉(zhuǎn)。從153幀中可以看到，使用單一特征的DSST、KCF、CN算法都丟失了目標，SAMF算法則因為目標摘眼鏡動作的干擾，導致模板更新后，跟蹤位置漂移到了手上。而本文算法基于響應(yīng)置信度，采用了分段更新策略，減少了模型受到的污染，最終可以成功跟蹤到正確目標。

圖10 在Freeman1序列上的跟蹤對比情況

4 結(jié)束語

本文以核相關(guān)濾波跟蹤算法為基本框架，利用特征響應(yīng)圖的峰值與平均峰值相關(guān)能量值的乘積，對HOG特征和CN特征得出的預(yù)測位置進行自適應(yīng)融合，并提出了一種新的置信度判斷方法。通過對模型的跟蹤情況和特征的有效性檢測，采用分段式更新策略，避免了模型污染，提高了位置融合的可靠性和復雜環(huán)境中跟蹤的魯棒性。實驗結(jié)果表明該算法相對于原KCF算法，在跟蹤精度和成功率上分別提高了12.8%和22.6%，且整體的性能優(yōu)于其他常用的跟蹤算法，并在抗遮擋、旋轉(zhuǎn)、快速運動等方面也有較為明顯的優(yōu)勢。同時本文算法的跟蹤速度可達到93.1FPS，滿足實時性的要求，有一定的應(yīng)用價值。