黃 鶴，陳永安，張少帥，茹 鋒,王會(huì)峰,郭 璐

(1.長(zhǎng)安大學(xué)電子與控制工程學(xué)院，陜西 西安 710064；2.無(wú)人機(jī)系統(tǒng)國(guó)家工程研究中心，陜西 西安 710072)

0 引言

視覺目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)問(wèn)題，在視頻監(jiān)控、機(jī)器人和無(wú)人駕駛等領(lǐng)域都有著廣泛的應(yīng)用前景[1-3]。跟蹤問(wèn)題的任務(wù)，是根據(jù)給定目標(biāo)的初始位置去估計(jì)目標(biāo)在圖像序列的軌跡[4]。

近年來(lái)，基于檢測(cè)的跟蹤方法顯示出良好的跟蹤性能，這類方法將目標(biāo)跟蹤任務(wù)作為一個(gè)分類問(wèn)題來(lái)處理，利用目標(biāo)和背景的圖像塊在線訓(xùn)練分類器[5]。其中，相關(guān)濾波器速度快效果好，成為當(dāng)前的主流研究[6-13]方向之一。

邊界效應(yīng)是相關(guān)濾波類算法自引入循環(huán)矩陣的固有缺陷，一直未被解決，當(dāng)前主流算法多采用在疊加余弦窗去緩解，但余弦窗卻帶來(lái)了新的問(wèn)題。因此，針對(duì)跟蹤場(chǎng)景中常見的目標(biāo)遮擋問(wèn)題，本文提出了一種融入運(yùn)動(dòng)信息和模型自適應(yīng)的相關(guān)濾波跟蹤算法，用來(lái)處理余弦窗的影響和復(fù)雜場(chǎng)景中目標(biāo)遮擋的難題，在保證實(shí)時(shí)性的情況下，有效提升跟蹤算法的精確度和成功率。

1 跟蹤算法

1.1 多特征融合

眾所周知，HOG特征對(duì)運(yùn)動(dòng)模糊和光照變化具有很強(qiáng)的魯棒性，但對(duì)快速變形和快速運(yùn)動(dòng)目標(biāo)跟蹤效果不好；顏色直方圖對(duì)變形不敏感，但對(duì)光照變化和背景顏色相似跟蹤效果不好。因此，本文算法采用模板類特征HOG與統(tǒng)計(jì)特征顏色直方圖互補(bǔ)線性結(jié)合框架，具體細(xì)節(jié)參考文獻(xiàn)[12]，即

f(x)=γtmplftmpl(x)+γhistfhist(x)

(1)

ftmpl(x)為模板響應(yīng)；fhist(x)為顏色直方圖響應(yīng)；γ為融合系數(shù)。將式(1)分為兩部分進(jìn)行求解。

模板響應(yīng)是K通道特征圖像的一個(gè)線性函數(shù)

ftmpl(x;h)=∑u∈Th[u]Τφx[u]

(2)

φx為圖像模板特征；φx:T→RK，定義在有限的網(wǎng)格T?Z2；h為模板模型參數(shù)。

直方圖響應(yīng)由m通道特征圖像中計(jì)算得到

fhist(x;β)=g(ψx;β)

(3)

(4)

ψx為圖像顏色直方圖特征；ψx：H→Rm，定義在有限的網(wǎng)格H?Z2；β為顏色模型參數(shù)。

使用2個(gè)嶺回歸方程得到參數(shù)h和β的解

(5)

(6)

Lhist(β;ψ)為顏色直方圖的損失函數(shù)；λ為正則項(xiàng)系數(shù)。

模板參數(shù)h及其在線更新為:

(7)

(8)

(9)

顏色直方圖參數(shù)β及在線更新為：

(10)

ρt(O)=(1-ηhist)ρt-1(O)+ηhistρt(O)

(11)

ρt(B)=(1-ηhist)ρt-1(B)+ηhistρt(B)

(12)

ρt(O)和ρt(B)由顏色統(tǒng)計(jì)特征得到；ηhist為顏色特征學(xué)習(xí)率。

1.2 余弦窗影響處理方法

本文在疊加余弦窗的基礎(chǔ)上，引入卡爾曼濾波和上下文感知濾波器[14]，減緩余弦窗的影響。

1.2.1 卡爾曼濾波

相關(guān)濾波類算法都是以上一幀目標(biāo)位置為中心進(jìn)行搜索檢測(cè)。當(dāng)遇到目標(biāo)快速運(yùn)動(dòng)，目標(biāo)移動(dòng)到搜索區(qū)域邊緣，部分目標(biāo)像素會(huì)被余弦窗過(guò)濾掉，此時(shí)無(wú)法保證得到的響應(yīng)全局最大，造成跟蹤結(jié)果變差；或者部分目標(biāo)已經(jīng)移出了搜索區(qū)域，此時(shí)余弦窗會(huì)過(guò)濾掉僅存的目標(biāo)像素，造成跟蹤失敗。因此算法引入卡爾曼濾波，預(yù)測(cè)當(dāng)前幀目標(biāo)的位置，以預(yù)測(cè)位置為中心進(jìn)行搜索檢測(cè)。

采用線性等速模型來(lái)近似目標(biāo)幀間位移，目標(biāo)的狀態(tài)建模為Et=[u,v,u′,v′]，u和v分別代表目標(biāo)中心的水平和垂直像素位置;u′和v′分別代表水平和垂直速度分量。

(13)

(14)

(15)

(16)

(17)

目標(biāo)的觀測(cè)狀態(tài)Zt通過(guò)模板響應(yīng)和直方圖響應(yīng)的線性融合得到。對(duì)公式中P0、Q和R的取值分析：P0代表對(duì)初值估計(jì)的不確定性，初值由標(biāo)注數(shù)據(jù)給出，故取P0為零矩陣。目標(biāo)觀測(cè)狀態(tài)Zt由濾波算法獲得，可信度較高，目標(biāo)預(yù)測(cè)狀態(tài)只是近似估計(jì)，可信度較低，故在數(shù)值上R?Q，這里取Q=10I(4)，R=0.1I(2)，I為單位陣。

1.2.2 上下文感知濾波器

由于余弦窗過(guò)濾掉分類器需要學(xué)習(xí)的背景信息，當(dāng)目標(biāo)遇到復(fù)雜背景干擾時(shí)，容易造成跟蹤失敗。引入上下文感知濾波器，作為部件添加到相關(guān)濾波器中，該方法提取目標(biāo)框上下左右4塊背景信息，對(duì)相關(guān)濾波器進(jìn)行訓(xùn)練，并且還有破壞模型的封閉解。加入目標(biāo)周圍背景信息后，相當(dāng)于把式(5)的求解變?yōu)?/p>

(18)

A0代表目標(biāo)框；Ai代表目標(biāo)周圍背景塊，與式(5)相比，多了λ3正則項(xiàng)。

式(18)整理為

(19)

f(h,B)為凸函數(shù)，將梯度設(shè)置為0，使其最小化，得到

(20)

在傅里葉域上得到封閉解為

(21)

1.3 模型自適應(yīng)更新

相關(guān)濾波類跟蹤算法采用固定的更新率，每一幀都更新模型參數(shù)，這種更新策略有很大的缺陷。采用每一幀都更新的模式，當(dāng)目標(biāo)遇到連續(xù)遮擋時(shí)，模型持續(xù)更新，會(huì)學(xué)習(xí)到大量干擾信息，造成跟蹤漂移。采用固定更新率，如果更新率設(shè)置過(guò)大，且遇到遮擋、模糊、背景雜波時(shí)，模型會(huì)快速學(xué)習(xí)到大量干擾信息；如果更新率設(shè)置過(guò)小，則模型的更新速度趕不上目標(biāo)的變化程度。

在此，引入高置信度檢測(cè)方法[15]，根據(jù)2個(gè)準(zhǔn)則去判斷是否更新

Fmax=maxF(s,y，w)

(22)

(23)

F(s,y,w)表示模板響應(yīng)圖；Fmax、Fmin和Fw,h分別表示響應(yīng)圖中最大值、最小值和w行h列元素。平均相關(guān)峰值能量EAPCE表示響應(yīng)圖的波動(dòng)程度和檢測(cè)目標(biāo)的置信度。

當(dāng)前幀EAPCE和Fmax的值大于歷史平均值α1和α2倍時(shí)才進(jìn)行模型更新。在模型更新時(shí)，提出一種新的自適應(yīng)學(xué)習(xí)率方法

(24)

(25)

2 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證和評(píng)估本文算法，將本文算法與當(dāng)前6個(gè)主流相關(guān)濾波類算法DSST[5]、KCF[9]、fDSST[10]、Staple[12]、Staple-CA[15]、SAMF[16]進(jìn)行了對(duì)比實(shí)驗(yàn)，采用OTB-2015[17]作為實(shí)驗(yàn)數(shù)據(jù)集。

2.1 評(píng)價(jià)指標(biāo)

評(píng)價(jià)標(biāo)準(zhǔn)采用精確度和成功率2個(gè)指標(biāo)。精確度指中心位置誤差(center location error, CLE)小于某一閾值的幀數(shù)占總幀數(shù)的比值。中心位置誤差計(jì)算式為

(26)

成功率指重疊率(overlap rate, OR)大于某閾值的幀數(shù)占總幀數(shù)的比值，實(shí)際上成功率評(píng)分時(shí)采用這個(gè)曲線下方的面積。重疊率的計(jì)算式為

(27)

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)環(huán)境為Windows10操作系統(tǒng)，MATLAB 2018a，CPU為I7-8700HQ，RAM為16 GB。模板分類器的學(xué)習(xí)率ηtmpl_b=0.02，線性融合系數(shù)γtmpl=0.8。直方圖分類器的學(xué)習(xí)率ηtmpl_b=0.04，融合系數(shù)γhist=0.2。正則權(quán)重λ1=1/3，λ2=1/3，λ3=0.5。模型自適應(yīng)更新中，α1=0.4，α2=0.5，α3=1.3。

2.3 實(shí)驗(yàn)評(píng)估

2.3.1 總體性能比較

為了對(duì)比算法總體性能，將本文算法與其他6個(gè)主流算法在OTB-2015數(shù)據(jù)集上比較，實(shí)驗(yàn)表明本文算法精確度和成功率分別為0.821和0.615，比Staple-CA算法在精確度上提升了1.3%，成功率上提升了2.8%；比Staple算法在準(zhǔn)確度上提升了4.7%，成功率上提升了6.2%。本文算法運(yùn)行速度為54.34幀/s，與其他幾種算法相比，本文算法在成功率和精確度得到提升的同時(shí)，速度上仍滿足實(shí)時(shí)性。幾種算法精確度和成功率具體對(duì)比結(jié)果如圖1和圖2所示。算法速度對(duì)比結(jié)果如表1所示。

圖1 精確度曲線

圖2 成功率曲線

表1 跟蹤算法平均速度 幀·s-1

2.3.2 數(shù)據(jù)集屬性分析

為了充分評(píng)估本文算法在復(fù)雜場(chǎng)景中的性能，根據(jù)OTB-2015數(shù)據(jù)集提供的11種標(biāo)注屬性，對(duì)比本文算法與其他6種算法在11種屬性上的成功率，具體結(jié)果如表2所示。

表2 各個(gè)算法在11種屬性上的成功率

在表2中，黑體加下劃線為該屬性的最優(yōu)值，本文算法在成功率上9個(gè)屬性最優(yōu)。與Staple-CA算法相比，本文算法在背景雜波，運(yùn)動(dòng)模糊，變形，遮擋，平面外旋轉(zhuǎn)，移出視野，尺度變化7個(gè)屬性上成功率提升顯著，分別提升了3.0%，8.7%，4.4%，5.8%，3.0%，13.0%和3.0%。

2.3.3 跟蹤結(jié)果比較

為了更直觀地對(duì)比分析算法的跟蹤性能，將本文算法與圖2中排名靠前的Staple-CA和Staple算法在視頻序列中的girl、jogging、skiing、couple進(jìn)行定性分析。圖3為3種算法在測(cè)試序列的部分跟蹤結(jié)果。

在圖3的girl序列、jogging序列中，當(dāng)目標(biāo)遇到連續(xù)嚴(yán)重遮擋時(shí),其他幾種算法仍持續(xù)更新模型，學(xué)習(xí)到大量干擾信息，造成后續(xù)幀全部跟蹤失敗。而本文算法加入模型自適應(yīng)更新，有較強(qiáng)的抗遮擋能力，對(duì)大部分遮擋序列都能較好跟蹤。在skiing序列中，由于目標(biāo)快速運(yùn)動(dòng)，目標(biāo)移動(dòng)到搜索區(qū)域邊緣被余弦窗過(guò)濾掉，從而造成跟蹤失敗。在couple序列中，目標(biāo)周圍有較多背景雜波，其他算法在跟蹤時(shí)，采用固定學(xué)習(xí)率每一幀都更新模型，致使濾波器學(xué)習(xí)到大量背景信息，造成跟蹤漂移。而本文算法采用自適應(yīng)學(xué)習(xí)率，從而受到影響較小。

圖3 3種算法在4個(gè)視頻序列上的跟蹤結(jié)果

3 結(jié)束語(yǔ)

本文提出一種融入運(yùn)動(dòng)信息和模型自適應(yīng)更新的相關(guān)濾波跟蹤算法，引入卡爾曼濾波和上下文感知濾波器，有效解決了余弦窗的影響；引入高置信度檢測(cè)方法和一種自適應(yīng)學(xué)習(xí)率方法，有效解決了目標(biāo)遮擋問(wèn)題。將本文算法與其他6種主流算法在OTB-2015數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明：本文算法精確度和成功率分別為0.821和0.615，比Staple-CA算法精確度提升了1.3%，成功率提升了2.8%，相比其他算法跟蹤效果提升明顯，魯棒性較強(qiáng)。同時(shí)，本文算法速度為54.34 幀/s，滿足實(shí)際工程實(shí)時(shí)性要求。