李健寧，曹文君，劉曉利

(南京理工大學(xué) 瞬態(tài)物理重點(diǎn)實(shí)驗(yàn)室， 南京 210094)

一直以來(lái)，基于相關(guān)濾波的跟蹤算法憑借其魯棒性強(qiáng)、計(jì)算量小、跟蹤速度快等特點(diǎn)，獲得了廣泛的關(guān)注及應(yīng)用，在歷年來(lái)的視覺(jué)目標(biāo)跟蹤挑戰(zhàn)賽中有著非常好的表現(xiàn)。

MOSSE算法[2]是最早將相關(guān)濾波算法應(yīng)用于目標(biāo)跟蹤中，提取圖像的灰度特征進(jìn)行相關(guān)濾波等一系列操作，實(shí)現(xiàn)目標(biāo)跟蹤，速度高達(dá)669 fps，在同期算法中遙遙領(lǐng)先，但是精度很低。CSK算法[3]是在MOSSE算法基礎(chǔ)上引用循環(huán)矩陣假設(shè)和核函數(shù)的思想，在同樣提取灰度特征的前提下，跟蹤效果卻有了顯著提高。KCF[4]在CSK的特征提取方面做了調(diào)整，提取圖像的HOG特征使得單通道的圖像特征擴(kuò)展為多通道圖像特征，有利于跟蹤效果的提升。而CN[5]算法則是采用顏色特征代替灰度特征，結(jié)果顯示顏色特征可以為跟蹤算法帶來(lái)卓越的性能，但是應(yīng)對(duì)目標(biāo)遮擋時(shí)表現(xiàn)效果不佳。此外，以上算法均沒(méi)有解決目標(biāo)尺度變化的問(wèn)題，而DSST算法[6]在解決目標(biāo)尺度變化問(wèn)題時(shí)，采用的是將位置估計(jì)和尺度估計(jì)分開(kāi)進(jìn)行，先求最佳的位置，再求最佳的尺度，需要分兩步計(jì)算。

由于特征對(duì)于一個(gè)跟蹤系統(tǒng)來(lái)說(shuō)至關(guān)重要，好的特征可以提高跟蹤系統(tǒng)的準(zhǔn)確率，因此本文提出了融合圖像的顏色、HOG及灰度等多特征信息得到更具表現(xiàn)力的特征，增強(qiáng)跟蹤器的精度。其次，但目標(biāo)出現(xiàn)部分遮擋，甚至完全遮擋時(shí)，CN算法的表現(xiàn)效果極為不佳，本文提出引入尺度金字塔的方法[7]，在目標(biāo)被遮擋后再出現(xiàn)時(shí)可以多尺度搜索目標(biāo)，同時(shí)做到尺度自適應(yīng)。與DSST的區(qū)別在于，取得最大值的點(diǎn)對(duì)應(yīng)的圖像即是位置最佳也是尺度最佳，實(shí)現(xiàn)尺度自適應(yīng)跟蹤。通過(guò)多特征的融合和尺度池的引用來(lái)改進(jìn)CN算法應(yīng)對(duì)目標(biāo)遮擋問(wèn)題。通過(guò)在數(shù)據(jù)集OTB-13[8]上進(jìn)行跟蹤實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明與一些傳統(tǒng)的跟蹤算法相比較，本文提出的改進(jìn)算法在目標(biāo)出現(xiàn)遮擋情況時(shí)跟蹤精度有明顯的提升。

1 CN相關(guān)濾波算法簡(jiǎn)介

CN是基于顏色特征拓展的CSK分類器，結(jié)合光照信息和復(fù)雜的顏色特征可以提供非常好的表現(xiàn)。本文工作是基于CN基礎(chǔ)上，下面首先簡(jiǎn)要介紹該算法。

1.1 CSK分類器

CN算法以CSK分類器為基礎(chǔ)，CSK是在一個(gè)單獨(dú)的圖像碎片中從目標(biāo)中得到核心的最小方形分類器。CN算法使用了一個(gè)結(jié)構(gòu)風(fēng)險(xiǎn)最小化的函數(shù)：

(1)

從式(1)可以看出，函數(shù)分為兩部分，第1部分是一個(gè)損失函數(shù)，損失函數(shù)里的f(x)就是最后要求的判別函數(shù)；而第2部分是一個(gè)結(jié)構(gòu)化的懲罰因子。CN算法采用核函數(shù)的最小二乘法求解方程，公式如下：

(2)

1.2 低維度自適應(yīng)顏色屬性

CN算法提出一種自適應(yīng)維度減少的方法，能夠在存儲(chǔ)有用信息的同時(shí)大大減少顏色維數(shù)，從而有效提升算法的運(yùn)行速度。降維方法使用的是PCA(主成分分析)中降維的思想，將11維特征降為2維。通過(guò)最小化代價(jià)函數(shù)，為當(dāng)前幀p找到一個(gè)合適的降維映射，計(jì)算公式如下：

(3)

(4)

(5)

為獲得魯棒性好的映射矩陣，在式(3)中添加了平滑項(xiàng)如下：

(6)

2 多特征融合及尺度自適應(yīng)的相關(guān)濾波跟蹤算法

以CN算法的不足和缺點(diǎn)做出以下改進(jìn)。

2.1 多特征融合

CN跟蹤器在CSK跟蹤器基礎(chǔ)上聯(lián)合顏色特征(Color Name)[5]和灰度特征來(lái)描述目標(biāo)，大量的實(shí)驗(yàn)結(jié)果表明在背景復(fù)雜、目標(biāo)旋轉(zhuǎn)、非剛性形變等情況下，顏色特征在視覺(jué)跟蹤中有著卓越的性能，但是當(dāng)出現(xiàn)光照變化、目標(biāo)遮擋或快速運(yùn)動(dòng)時(shí)，單獨(dú)的CN很難有效地判別出目標(biāo)，跟蹤效果表現(xiàn)不佳。而HOG特征[9-10]恰恰彌補(bǔ)了CN的這個(gè)缺點(diǎn)，兩者互補(bǔ)，從不同方面對(duì)圖像進(jìn)行表達(dá)。本文的多特征融合采用了一種簡(jiǎn)單的矢量疊加方式，核相關(guān)公式如下：

(7)

(8)

式(7)中x是傳統(tǒng)算法中提取的單獨(dú)特征，而式(8)中xC是三種特征的融合，?表示卷積操作。

2.2 特征壓縮

特征的質(zhì)量是影響跟蹤器效果的關(guān)鍵因素，而特征信息的大小對(duì)跟蹤器的速度也有著重要的影響。CN顏色特征與HOG梯度直方圖特征的融合雖在很大程度上改善了跟蹤器的性能，但是由于CN特征和HOG特征的維度過(guò)大，影響跟蹤算法的計(jì)算速度。因此需要對(duì)特征信息進(jìn)行一定的壓縮降維操作。

本文采用PCA降維技術(shù)，通過(guò)線性變換將原始數(shù)據(jù)變?yōu)楦骶S度都線性無(wú)關(guān)的表示，用于提取數(shù)據(jù)的主要特征成分。具體計(jì)算公式如1.2節(jié)中式(3)～式(6)。

2.3 尺度自適應(yīng)

此外，CN算法無(wú)法應(yīng)對(duì)目標(biāo)出現(xiàn)遮擋和發(fā)生尺度變化，本文在目標(biāo)搜索策略中引入尺度金字塔方法，使用雙線性插值擴(kuò)展圖像的表示空間。在目標(biāo)(ST=(Sx,Sy))附近多個(gè)尺度下提取候選區(qū)域的圖像特征，在比較的階段對(duì)當(dāng)前候選區(qū)域的目標(biāo)采樣了k個(gè)尺度(S={t1,t2,…,tk})的計(jì)算，與上一幀的目標(biāo)進(jìn)行比較，將響應(yīng)圖中的最大值作為當(dāng)前幀中的目標(biāo)，以適應(yīng)目標(biāo)的尺度變化，計(jì)算方式如下：

(9)

其中，zti是tist尺度下的樣本。

濾波器更新方式如下：

(10)

2.4 算法流程

本文提出的算法流程具體描述如下：

1) 循環(huán)采樣k個(gè)尺度下目標(biāo)樣本調(diào)整尺度以適應(yīng)響應(yīng)計(jì)算，根據(jù)公式(8)計(jì)算響應(yīng)值；

2) 在7個(gè)尺度下選取最大響應(yīng)值對(duì)應(yīng)的目標(biāo)最終位置和尺寸；

3) 根據(jù)最終的位置和尺寸得到最新的目標(biāo)模板，計(jì)算濾波器模型；

4) 根據(jù)式(10)更新濾波器模型；

5) 使用更新后的濾波器模型進(jìn)行下一幀的跟蹤。

輸出：目標(biāo)的位置和尺度，濾波器模型。

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

本文提出的結(jié)合多尺度測(cè)量改進(jìn)顏色特征應(yīng)對(duì)目標(biāo)遮擋的跟蹤算法根據(jù)權(quán)威評(píng)價(jià)指標(biāo)在OTB標(biāo)準(zhǔn)數(shù)據(jù)集上驗(yàn)證了算法的性能，OTB-13包含51個(gè)被標(biāo)注的視頻序列，這些視頻序列又包含了11種不同挑戰(zhàn)因素。本文參考文獻(xiàn)中的OPE評(píng)價(jià)方法，對(duì)改進(jìn)算法的各方面性能進(jìn)行分析。

3.1 實(shí)驗(yàn)環(huán)境及算法參數(shù)設(shè)置

本文改進(jìn)的算法是在Matlab&Mex混合編譯環(huán)境下實(shí)現(xiàn)的，計(jì)算機(jī)的配置為Intel Core i5-4200U CPU@1.60 GHz。算法中融合了灰度特征，降維處理后的顏色特征和HOG特征，尺度池采用了7個(gè)尺度。改進(jìn)算法中的主要參數(shù)設(shè)置如表1所示。

3.2 多特征融合及多尺度比較性能分析

為探究特征的融合及尺度的多樣性對(duì)跟蹤器性能的影響，實(shí)驗(yàn)分析結(jié)果如表1所示。

表1 主要參數(shù)設(shè)置

如圖1所示，單獨(dú)使用灰度特征、單獨(dú)使用CN特征、結(jié)合CN特征和HOG特征、在多尺度下只結(jié)合灰度特征和CN特征以及本文提出方法的特征，結(jié)果表明本文提出的在多尺度下結(jié)合3種特征的方法，無(wú)論是綜合結(jié)果還是遮擋、旋轉(zhuǎn)、尺度變化和快速運(yùn)動(dòng)等情況，跟蹤效果都是最佳。

3.3 與CN跟蹤器的對(duì)比分析

選取7組視頻序列分別用改進(jìn)的算法和CN算法進(jìn)行跟蹤測(cè)試，影響因素及跟蹤效果如圖2所示。

通過(guò)下述7組視頻序列對(duì)改進(jìn)算法進(jìn)行定性分析，如圖2所示，Jogging-1_1序列受全部遮擋影響，發(fā)生完全遮擋時(shí)，兩個(gè)算法均停留在目標(biāo)消失的位置，當(dāng)目標(biāo)再次出現(xiàn)時(shí)，CN算法仍停留在原處，而改進(jìn)算法可以準(zhǔn)確檢測(cè)到目標(biāo)，繼續(xù)跟蹤。Trellis_1序列發(fā)生面外旋轉(zhuǎn)時(shí)，CN算法同時(shí)受復(fù)雜背景的影響，跟蹤漂移，而改進(jìn)算法可以很好應(yīng)對(duì)這些影響繼續(xù)跟蹤。Car4_1序列中，在跟蹤汽車行駛過(guò)程中，汽車存在尺度的變化，CN算法無(wú)法做到尺度的自適應(yīng)且跟蹤偏離目標(biāo)中心，改進(jìn)算法能夠輕松適應(yīng)尺度變化跟蹤目標(biāo)。Woman_1序列存在部分超出視野，CN算法定位在視野邊緣，跟蹤失敗，改進(jìn)算法可以有效跟蹤。Faceocc2_1序列中目標(biāo)出現(xiàn)面內(nèi)旋轉(zhuǎn)和遮擋，CN算法均偏移目標(biāo)中心，改進(jìn)算法能夠始終準(zhǔn)確定位跟蹤。Fish_1序列中由于出現(xiàn)光照變化，CN算法發(fā)生漂移，改進(jìn)算法卻很好的鎖定目標(biāo)。Girl_1序列中包含面外旋轉(zhuǎn)和語(yǔ)義遮擋干擾，發(fā)生面外旋轉(zhuǎn)時(shí)，CN算法逐漸偏移目標(biāo)中心，當(dāng)出現(xiàn)語(yǔ)義遮擋時(shí)，CN算法無(wú)法捕捉目標(biāo)，跟隨干擾目標(biāo)偏移，而改進(jìn)的算法自始至終能夠很好的捕捉跟蹤正確目標(biāo)。

表2是分別對(duì)CN和改進(jìn)算法的跟蹤結(jié)果。從表2實(shí)驗(yàn)數(shù)據(jù)可以看出：無(wú)論是從中心距離精度、中心位置誤差還是重疊率的結(jié)果來(lái)看，改進(jìn)算法都有著更高的性能。

3.4 與各主流跟蹤器的比較

本文使用統(tǒng)一的評(píng)價(jià)指標(biāo)與其他5種主流的跟蹤算法進(jìn)行了對(duì)比評(píng)價(jià)，算法中都使用了傳統(tǒng)的手工提取特征，這些算法包括CN、CSK、KCF、DSST、CT。

如圖3所示，在上述所有6種算法中，本文改進(jìn)的算法NEW在數(shù)據(jù)集OTB-13上具有最好的性能。對(duì)OTB-13數(shù)據(jù)集中出現(xiàn)的遮擋、超出視野、快速運(yùn)動(dòng)轉(zhuǎn)等3種挑戰(zhàn)因素進(jìn)行分析，可以看出：改進(jìn)的算法NEW均能較好的應(yīng)對(duì)，相比CN算法跟蹤效果有顯著提升。

圖1 OTB-13數(shù)據(jù)集跟蹤結(jié)果和4種挑戰(zhàn)環(huán)境下的結(jié)果

中心距離精度/%CN改進(jìn)算法重疊率/%CN改進(jìn)算法中心位置誤差(像素)CN改進(jìn)算法Jogging-1_124.497.422.596.7100.07.25Trellis_179.4100.066.899.324.25.06Car4_120.6100.022.898.835.67.73Woman_125.093.824.388.8266.012.30Faceocc2_161.175.462.283.425.512.00Fish_139.9100.039.9100.037.66.66Girl_186.2100.052.898.411.64.13

圖3 OTB-13數(shù)據(jù)集跟蹤結(jié)果和3種挑戰(zhàn)環(huán)境下的結(jié)果比較

4 結(jié)論

本文在CN框架下，提出了一種結(jié)合尺度金字塔改進(jìn)顏色特征應(yīng)對(duì)目標(biāo)遮擋的跟蹤算法。融合CN顏色特征，灰度特征和HOG梯度直方圖特征，結(jié)合尺度金字塔，探究特征和多尺度比較對(duì)跟蹤器在目標(biāo)遮擋情況下的性能影響。多特征的融合可以更好地描述目標(biāo)圖像信息，提高跟蹤器的精度和魯棒性，而多尺度比較可以實(shí)現(xiàn)在發(fā)生目標(biāo)遮擋后在一定范圍內(nèi)搜索目標(biāo)，保證跟蹤效果。上述的實(shí)驗(yàn)結(jié)果也表明，本文提出的算法在目標(biāo)遮擋，超出視野，語(yǔ)義遮擋，面內(nèi)旋轉(zhuǎn)，面外旋轉(zhuǎn)，尺度變化以及形變等情況下，都保持較高的性能和良好的魯棒性，具有重要的理論和應(yīng)用研究?jī)r(jià)值。