丁健偉

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

隨著視頻監(jiān)控設(shè)備地發(fā)展，目標(biāo)跟蹤正逐步應(yīng)用于各個(gè)領(lǐng)域，但在實(shí)際跟蹤場(chǎng)景中，目標(biāo)會(huì)受到外觀和尺寸變化、運(yùn)動(dòng)狀態(tài)變化、背景干擾、遮擋及消失等情況的影響，造成跟蹤精度和成功率不高，不能做到有效地長(zhǎng)期跟蹤，使其應(yīng)用受到限制。因此，在復(fù)雜情況下，提高目標(biāo)跟蹤的精度和成功率則是當(dāng)下研究的重要方向。

在2010 年Bolme 等人提出基于相關(guān)濾波的目標(biāo)跟蹤算法（MOSSE）[1]，算法在訓(xùn)練相關(guān)濾波器時(shí)采用對(duì)目標(biāo)框進(jìn)行仿射變換，增加訓(xùn)練樣本數(shù)量，并采用實(shí)際相關(guān)輸出和期望相關(guān)輸出之間的平方誤差總和的方法訓(xùn)練相關(guān)濾波器。在2012 年Henriques 等人提出循環(huán)矩陣和嶺回歸方法訓(xùn)練相關(guān)濾波器（Circulant Structure Kernel，CSK）[2]相比MOSSE 算法，使用循環(huán)矩陣的方法，增加了樣本數(shù)量，并訓(xùn)練相關(guān)濾波時(shí)引入嶺回歸方法，減少了計(jì)算量并且跟蹤效果更優(yōu)。在2015 年Henriques 等人在CSK 算法的基礎(chǔ)上引入HOG 多通道特征訓(xùn)練相關(guān)濾波器（Kernelized Correlation Filters，KCF）[3]MOSSE 算法和CSK 算法都是采用的是原始圖像的灰度像素值作為特征，特征相對(duì)單一，影響了跟蹤器的性能，使得跟蹤效果不理想。KCF 算法是采用多通道HOG 特征，將不同通道得到的圖像邊緣梯度信息向量相加，跟蹤性能得到了提升。在2012 年，Zdenek 等人提出TLD（Tracking Learning Detection）算法，利用在線學(xué)習(xí)機(jī)制解決了長(zhǎng)期跟蹤的穩(wěn)定性問(wèn)題[4]。算法的關(guān)鍵點(diǎn)在于跟蹤和檢測(cè)同時(shí)進(jìn)行，相互配合，從而可以減少了跟蹤失敗的情況出現(xiàn)，但應(yīng)對(duì)復(fù)雜情況下的跟蹤的精度和成功率仍有待提高。由此可見(jiàn)，要想提高目標(biāo)跟蹤的精度和成功率，需要對(duì)濾波器的特征表達(dá)、訓(xùn)練方法，以及如何應(yīng)對(duì)長(zhǎng)期跟蹤過(guò)程中的目標(biāo)變化等因素進(jìn)行研究。

本文算法對(duì)相關(guān)濾波的特征表達(dá)、訓(xùn)練方法進(jìn)行改進(jìn)，并將相關(guān)濾波和粒子濾波相融合作為跟蹤器。同時(shí)設(shè)計(jì)跟蹤狀態(tài)判斷模塊，對(duì)跟蹤預(yù)測(cè)框進(jìn)行狀態(tài)判斷，若判斷跟蹤失敗，則對(duì)跟蹤目標(biāo)的進(jìn)行重定位，確保了跟蹤算法的魯棒性。

圖1 本文算法框架

1 改進(jìn)的核相關(guān)濾波跟蹤算法

1.1 特征表達(dá)與訓(xùn)練方法

本文算法對(duì)相關(guān)濾波器的特征表達(dá)和訓(xùn)練方法進(jìn)行改進(jìn)，由于快速方向梯度直方圖（FHOG）特征對(duì)目標(biāo)形變具有較強(qiáng)的魯棒性，顏色（CN）特征對(duì)跟蹤過(guò)程中顏色變化具有較強(qiáng)的魯棒性，故首先采用FHOG 特征和CN 特征融合為多通道特征作為樣本的特征表達(dá)，然后采用通道權(quán)重自適應(yīng)方法訓(xùn)練相關(guān)濾波器。

傳統(tǒng)的多通道特征是將每一維的特征簡(jiǎn)單相加得到，對(duì)每個(gè)通道的特征等同對(duì)待，在相關(guān)濾波器計(jì)算相關(guān)響應(yīng)時(shí)，會(huì)使得具有較高分辨能力的通道特征容易受到分辨力率低的特征影響，從而影響目標(biāo)整體的特征表達(dá)。因此，若想更加準(zhǔn)備表觀目標(biāo)特征，需要對(duì)每維特征通道進(jìn)行全局權(quán)重占比分析，若通過(guò)計(jì)算分析，該通道具備較高分辨能力的話，則賦予較高權(quán)重，否則，賦予較低權(quán)重，其中分辨能力是指是否可以明顯地區(qū)分目標(biāo)與背景區(qū)域，在相關(guān)濾波中，每個(gè)通道的濾波器在不同區(qū)域的響應(yīng)值差距大小，可直觀反映該通道特征的分辨能力。

每個(gè)通道的辨別能力反映在其各個(gè)主區(qū)塊的響應(yīng)值上，采用一個(gè)通道中主區(qū)塊的第二大響應(yīng)值與最大響應(yīng)值的比率表示一個(gè)通道的重要程度，若比值較小說(shuō)明該通道具有較高的分辨能力，權(quán)重應(yīng)增大，否則，權(quán)重應(yīng)減小。權(quán)重指標(biāo)的計(jì)算方法為：

其中，wk是指計(jì)算得到第k 個(gè)通道的權(quán)重，k 表示通道數(shù)量，第二大響應(yīng)值與最大響應(yīng)值的比率，‘1/2’是指為了在多個(gè)相似物體出現(xiàn)在目標(biāo)周圍時(shí)，使得通道具有正確判斷目標(biāo)的能力的人工預(yù)設(shè)閾值。

采用自適應(yīng)多通道相關(guān)濾波器的最小化式進(jìn)行訓(xùn)練并更新[5]：

其中，xk∈RD和hk∈RD表示的是第k 個(gè)通道的循環(huán)位移矩陣和濾波器，k 表示濾波器的數(shù)量，y ∈RD是最大相關(guān)響應(yīng)，?代表的是空域中的相關(guān)操作。此處為防止過(guò)擬合，使用正則化方法，λ 是正則項(xiàng)。

為了使得計(jì)算效率提高，可采用傅里葉變換，使其在頻域中表示為：

其中，h∧=是每個(gè)通道的傅里葉變換的K×D 維矢量，可簡(jiǎn)化為：

求解可得：

其中：

1.2 相關(guān)粒子濾波

為了提高在長(zhǎng)期跟蹤過(guò)程中，對(duì)跟蹤目標(biāo)尺度變化的抗干擾性。本文提出將改進(jìn)相關(guān)濾波器和粒子濾波器相融合作為跟蹤模塊。粒子濾波的理論基礎(chǔ)是序列重要性采樣，在狀態(tài)空間中釋放大量和當(dāng)前目標(biāo)狀態(tài)有關(guān)的帶權(quán)離散隨機(jī)粒子，將每個(gè)粒子的狀態(tài)和當(dāng)前目標(biāo)的狀態(tài)相比較，給予相似度高的粒子更大的權(quán)重，將權(quán)重最大的粒子定義為下一時(shí)刻的目標(biāo)，重新釋放粒子，不斷重復(fù)此過(guò)程。利用粒子濾波對(duì)目標(biāo)周圍進(jìn)行重要性采樣，通過(guò)計(jì)算粒子與相關(guān)濾波器的相關(guān)響應(yīng)值，找到最大相關(guān)響應(yīng)所對(duì)應(yīng)的粒子位置，即為預(yù)測(cè)框，并對(duì)粒子進(jìn)行重采樣，不斷重復(fù)此過(guò)程，達(dá)到跟蹤的目的。濾波融合的具體步驟為：

步驟一：初始化每個(gè)粒子的狀態(tài)和權(quán)重。

步驟二：對(duì)每個(gè)粒子，將其坐標(biāo)使用高斯隨機(jī)分布計(jì)算出某個(gè)新位置，將粒子轉(zhuǎn)移到該新位置。

步驟三：對(duì)于新位置的粒子，對(duì)其進(jìn)行前文所述的多通道特征提取，作為其表觀模型y。

步驟四：計(jì)算每個(gè)粒子與相關(guān)濾波器的相關(guān)響應(yīng)值，其計(jì)算公式為：

其中，Rn為第n 個(gè)粒子的相關(guān)響應(yīng)值，hk為第k個(gè)相關(guān)濾波器，yn為第n 個(gè)的表觀模型，xˉ為跟蹤目標(biāo)的表觀模型。

步驟五：找到相關(guān)響應(yīng)值最大的粒子所對(duì)應(yīng)的位置，即為跟蹤預(yù)測(cè)框。

步驟六：將N 個(gè)粒子的相關(guān)響應(yīng)值進(jìn)行歸一化，使其和為1，也就是轉(zhuǎn)化為每個(gè)粒子的權(quán)重。

步驟七：對(duì)粒子進(jìn)行重采樣，剔除權(quán)重較小的粒子，更新粒子的權(quán)重。

步驟八：重復(fù)步驟二到步驟七。

1.3 重定位

本文算法設(shè)計(jì)跟蹤目標(biāo)重定位模塊，當(dāng)發(fā)生目標(biāo)跟蹤丟失，能快速重定位跟蹤目標(biāo)。在跟蹤過(guò)程中，采用跟蹤相應(yīng)指標(biāo)對(duì)跟蹤器得出的預(yù)測(cè)目標(biāo)進(jìn)行狀態(tài)判斷。跟蹤響應(yīng)指標(biāo)APCE（Average Peak-to Correlation Energy，平均峰值震蕩程度）[5]，當(dāng)跟蹤正常時(shí)，相關(guān)濾波器中噪聲較少，相關(guān)響應(yīng)圖中呈波峰尖銳、波谷平坦?fàn)睿覙O大值與極小值相差較大，而當(dāng)跟蹤異常時(shí)，干擾較多，響應(yīng)極值的差較小。APCE 計(jì)算方法如下所示：

其中Rmax代表最大相關(guān)響應(yīng)值，Rmin代表最小相關(guān)響應(yīng)值，R(w,h)代表在( )

w,h 位置上的相關(guān)響應(yīng)值。

當(dāng)APCE 值在一定閾值范圍內(nèi)時(shí)，表示跟蹤成功，輸出跟蹤結(jié)果，否則，將當(dāng)前幀定義為關(guān)鍵幀，對(duì)跟蹤目標(biāo)進(jìn)行重定位。首先采用尺寸為w×h×s 的搜索框，對(duì)當(dāng)前幀進(jìn)行從左到右，從上到下地掃描，其中，w，h為上一幀目標(biāo)框的長(zhǎng)和寬，s 為縮放因子，s=1.1a，a=( - 10：1：10 )，橫向掃描步長(zhǎng)為，縱向掃描步長(zhǎng)為，再掃描完成后，調(diào)整縮放因子大小，重復(fù)進(jìn)行掃描，得到不同位置和不同尺寸的候選圖像塊集。將之前保存跟蹤成功目標(biāo)框的圖像塊集作為訓(xùn)練集，同時(shí)將候選圖像塊集與訓(xùn)練圖像塊集的尺度統(tǒng)一到最近跟蹤成功目標(biāo)框的尺度，并進(jìn)行歸一化。利用KNN（K-最近鄰分類算法），找出最相似目標(biāo)的圖像塊作為當(dāng)前幀跟蹤目標(biāo)框。

1.4 算法具體步驟

本文提出的算法步驟如下，算法流程如圖2 所示。

圖2 本文算法流程圖

步驟一：初始化視頻流，人工標(biāo)定第一幀圖像的目標(biāo)框，利用此目標(biāo)框初始化跟蹤模塊中的相關(guān)濾波器和粒子濾波器。

步驟二：在跟蹤模塊中，將相關(guān)濾波器和粒子濾波器融合，計(jì)算粒子的相關(guān)響應(yīng)值，找到最大相關(guān)響應(yīng)值所對(duì)應(yīng)的粒子，即預(yù)測(cè)框。

步驟三：在狀態(tài)判斷模塊中，計(jì)算其預(yù)測(cè)框的跟蹤響應(yīng)指標(biāo)值，來(lái)指示跟蹤狀態(tài)。若跟蹤成功，執(zhí)行步驟四，五，若跟蹤失敗，執(zhí)行步驟六，七，八。

步驟四：則將當(dāng)前預(yù)測(cè)框作為目標(biāo)框輸出，并用于更新跟蹤模塊中的相關(guān)粒子濾波器和存入目標(biāo)圖像的訓(xùn)練圖像塊集，以備進(jìn)行重定位。

步驟五：將當(dāng)前幀進(jìn)行不同尺度、不同位置地采集圖像塊，作為候選圖像塊集。

步驟六：將訓(xùn)練圖像塊集與候選圖像塊集的圖像塊尺度大小統(tǒng)一到同一尺度并做歸一化操作。

步驟七：利用機(jī)器學(xué)習(xí)KNN 算法與訓(xùn)練圖像塊集找出候選圖像塊集中最相似目標(biāo)的圖像塊作為當(dāng)前幀的跟蹤目標(biāo)框。

步驟八：重復(fù)步驟二到步驟八。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)硬件環(huán)境為Intel i5-6400 CPU，主頻為2.7GHz，內(nèi)存為16G 的計(jì)算機(jī)，算法開(kāi)發(fā)平臺(tái)為MATLAB R2016a。實(shí)驗(yàn)采用OTB[6]數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，數(shù)據(jù)集中有不同場(chǎng)景的視頻序列，其包含運(yùn)動(dòng)模糊、光照變化、目標(biāo)形變、背景干擾、局部遮擋、目標(biāo)消失、尺寸變化等場(chǎng)景，并使用跟蹤精度和跟蹤成功率兩個(gè)指標(biāo)對(duì)跟蹤結(jié)果進(jìn)行評(píng)價(jià)。

本文算法在OTB 數(shù)據(jù)集上與經(jīng)典的相關(guān)濾波跟蹤算法KCF、SRDCF[7]、MEEM[8]、CSRDCF[9]、Staple[10]算法進(jìn)行對(duì)比實(shí)驗(yàn)，其跟蹤精度和跟蹤成功率如表1 所示。

實(shí)驗(yàn)結(jié)果表明本文算法的跟蹤精度達(dá)到了82.7%，跟蹤成功率達(dá)到了62.3%，相比與其他經(jīng)典的基于相關(guān)濾波目標(biāo)跟蹤算法，文本算法具備較為優(yōu)異的跟蹤精度和跟蹤成功率。

為了對(duì)比算法性能，文本算法與經(jīng)典的長(zhǎng)期跟蹤算法TLD 和LCT[11]算法進(jìn)行對(duì)比實(shí)驗(yàn)，其跟蹤精度和跟蹤成功率如表2 所示，LCT 是在TLD 算法上進(jìn)行的改進(jìn)，相比TLD 來(lái)說(shuō)，其長(zhǎng)期跟蹤性能更為優(yōu)異。

表2

實(shí)驗(yàn)結(jié)果表明，本文算法在跟蹤精度上，比TLD 算法高出21.9%，在跟蹤成功率上比比TLD 算法高出18.6%，總體來(lái)說(shuō)跟蹤性能優(yōu)異。在OTB 數(shù)據(jù)集中的視頻序列中，本文算法能更有效地在目標(biāo)信息出現(xiàn)干擾時(shí)，長(zhǎng)期準(zhǔn)確地跟蹤目標(biāo)。

3 結(jié)語(yǔ)

本文提出一種改進(jìn)核相關(guān)濾波的目標(biāo)跟蹤算法，該算法對(duì)濾波器的特征表達(dá)和訓(xùn)練方法進(jìn)行改進(jìn)，并針對(duì)跟蹤目標(biāo)尺度變化時(shí)，跟蹤性能較差的情況，將相關(guān)濾波和粒子濾波融合作為跟蹤器，提高了濾波器的跟蹤性能，引入跟蹤狀態(tài)判斷機(jī)制，能有效并及時(shí)地反饋跟蹤狀態(tài)，并且在跟蹤目標(biāo)失敗時(shí)，能夠?qū)δ繕?biāo)進(jìn)行重定位。實(shí)驗(yàn)結(jié)果表明，本文提出的算法在跟蹤精度和成功率上具有較高水平。另外，需進(jìn)一步研究如何降低計(jì)算成本問(wèn)題，以提高跟蹤的實(shí)時(shí)性。

表1