錢堂慧，羅志清，李果家，李應(yīng)蕓，李顯凱

(昆明理工大學(xué) 國土資源工程學(xué)院，昆明 650093) (*通信作者電子郵箱oscarluofu@yahoo.com.cn)

核相關(guān)濾波跟蹤算法的尺度自適應(yīng)改進(jìn)

錢堂慧，羅志清*，李果家，李應(yīng)蕓，李顯凱

(昆明理工大學(xué) 國土資源工程學(xué)院，昆明 650093) (*通信作者電子郵箱oscarluofu@yahoo.com.cn)

針對基于檢測的核相關(guān)濾波跟蹤(CSK)算法難以適應(yīng)目標(biāo)尺度變化的問題，提出多尺度核相關(guān)濾波分類器以實(shí)現(xiàn)尺度自適應(yīng)目標(biāo)跟蹤。首先,采用多尺度圖像構(gòu)建樣本集，訓(xùn)練多尺度核相關(guān)濾波分類器，通過分類器對目標(biāo)的尺度估計實(shí)現(xiàn)目標(biāo)的最佳尺度檢測;然后,在最佳尺度下采集樣本在線學(xué)習(xí)更新分類器，實(shí)現(xiàn)尺度自適應(yīng)的目標(biāo)跟蹤。對比實(shí)驗(yàn)與分析表明，本文算法在目標(biāo)跟蹤過程中能夠正確適應(yīng)目標(biāo)的尺度變化，相比CSK算法，偏心距誤差減少至其1/5～1/3，能滿足復(fù)雜場景長時間跟蹤的需求。

目標(biāo)跟蹤；多尺度圖像；自適應(yīng)；核相關(guān)濾波

0 引言

目標(biāo)跟蹤算法的分類有很多種，按視頻數(shù)據(jù)的處理方式可分成數(shù)據(jù)驅(qū)動(Data Driven)和模型驅(qū)動(Model Driven)兩種[1]。數(shù)據(jù)驅(qū)動類型的處理方式并不依賴于已有的先驗(yàn)知識，而是根據(jù)直接從圖像中獲取目標(biāo)的運(yùn)動狀態(tài)信息進(jìn)行跟蹤，將視覺目標(biāo)跟蹤過程看作一個信息處理過程，屬于這種跟蹤方法的有背景差分、幀間差分、光流法等[2-4]。模型驅(qū)動的處理方式依賴于先驗(yàn)知識和訓(xùn)練好的模板，根據(jù)已有的模板或先驗(yàn)數(shù)據(jù)對圖像序列進(jìn)行匹配或計算后驗(yàn)概率，采用匹配計算時，與模板距離最近的候選目標(biāo)被認(rèn)為是被跟蹤的運(yùn)動目標(biāo)，采用后驗(yàn)概率計算時，后驗(yàn)概率最大的候選目標(biāo)認(rèn)為是所要跟蹤的目標(biāo)。模型驅(qū)動的方法在引入機(jī)器學(xué)習(xí)后逐漸形成判別式學(xué)習(xí)跟蹤方法，最典型的有Boosting[5-6]、支持向量機(jī)(Support Vector Machine, SVM)[7]和隨機(jī)森林(Random Forest , RF)[8]等。

基于機(jī)器學(xué)習(xí)的跟蹤方法將跟蹤視為二分類問題，充分利用目標(biāo)和背景信息進(jìn)行在線或者離線學(xué)習(xí)，尋找規(guī)律，將目標(biāo)從新的圖像中區(qū)分出來。文獻(xiàn)[9]將傳統(tǒng)的檢測技術(shù)和跟蹤技術(shù)相結(jié)合，提出跟蹤-學(xué)習(xí)-檢測(Tracking-Learning-Detection, TLD)的跟蹤模型，在此框架上，Henriques等[10]提出基于檢測的核相關(guān)濾波跟蹤( Circulant Structure of tracking-by-detection with Kernels, CSK)算法，該算法采用密采樣的策略，用循環(huán)矩陣結(jié)構(gòu)來組織單張圖像采集的樣本集，將一幀中多個子窗口的處理歸為對一個循環(huán)矩陣的處理，并引入核技巧使得線性最小二乘分類能解決非線性問題，最后用核相關(guān)濾波將空間域卷積轉(zhuǎn)換至頻率域計算，并用快速傅里葉變換提高運(yùn)算效率。這使得算法能夠充分利用目標(biāo)和背景信息獲得精準(zhǔn)目標(biāo)跟蹤的同時，還控制了運(yùn)算量，提高了跟蹤速度，對目標(biāo)形變、光照變化、背景干擾以及部分遮擋等都有很強(qiáng)的適應(yīng)能力。然而由于缺少對目標(biāo)的尺度估計，跟蹤過程中目標(biāo)始終保持初始化尺度，雖然能夠精確定位，卻不能隨目標(biāo)尺度的變化給出相應(yīng)的目標(biāo)輪廓。文獻(xiàn)[11-12]雖然對CSK的目標(biāo)表征單一性進(jìn)行了改進(jìn)，使算法能利用方向梯度直方圖(Histogram of Oriented Gradient, HOG)和顏色等復(fù)雜特征來表征目標(biāo)，卻仍然沒有考慮目標(biāo)的尺度變化。本文在CSK算法基礎(chǔ)上，通過多尺度圖像構(gòu)建多尺度樣本集，訓(xùn)練多尺度核相關(guān)濾波分類器，以多尺度分類器的尺度估計功能構(gòu)成目標(biāo)尺度監(jiān)控機(jī)制，實(shí)時更新目標(biāo)尺度，實(shí)現(xiàn)尺度自適應(yīng)的目標(biāo)跟蹤算法。

1 尺度自適應(yīng)目標(biāo)跟蹤

CSK實(shí)現(xiàn)目標(biāo)跟蹤的關(guān)鍵步驟是學(xué)習(xí)訓(xùn)練和目標(biāo)檢測。為了監(jiān)控目標(biāo)的尺度變化，在采樣訓(xùn)練時，先對圖像進(jìn)行縮放處理，即對目標(biāo)尺度進(jìn)行預(yù)先估計，接著用循環(huán)矩陣結(jié)構(gòu)分別對各個尺度的圖像進(jìn)行密采樣，組成多尺度的循環(huán)樣本集序列，然后將樣本集系列代入結(jié)構(gòu)風(fēng)險最小化策略，訓(xùn)練多尺度分類器，即求得各個尺度的分類模型參數(shù)，最后根據(jù)各個尺度的模型參數(shù)，對下一幀圖像進(jìn)行目標(biāo)檢測和尺度估計，實(shí)現(xiàn)尺度自適應(yīng)的目標(biāo)跟蹤。

1.1 縮放移位建立多尺度樣本集序列

多尺度樣本集序列是一序列不同尺度的循環(huán)樣本集，每個樣本集都由原圖像縮放后采集的基樣本循環(huán)移位密采樣得到。

1)縮放圖像建立多尺度基樣本序列。多尺度基樣本序列是對原圖像進(jìn)行縮放后的圖像分別采樣得到的一序列不同尺度的正樣本，也叫基樣本。具體步驟如下：

①設(shè)置縮放比例，將所有的縮放比例組成一個向量scales，向量的元素scalesi由下式給出：

scalesi=1±am;m=0,1,…,M,i=1,2,…,2M+1

(1)

其中:a∈(0,1)是縮放比例的步長，為正(+)時scalesi>1，是放大尺度，為負(fù)(-)時scalesi<1，是縮小尺度;2M+1是總的縮放比例數(shù)，m=0時尺度不變。

②對輸入的當(dāng)前幀F(xiàn)rame按照設(shè)置好的縮放比例進(jìn)行縮放操作：

Framei=ProcessFun(Frame,scalesi);i=0,1,…,2M+1

(2)

其中：ProcessFun是基于雙線性插值[13-14]的尺度縮放函數(shù)，F(xiàn)ramei表示對當(dāng)前幀縮放后的多尺度圖像序列。

③按照固定尺寸對多尺度圖像序列Framei進(jìn)行目標(biāo)采樣，得到多尺度基樣本序列xi。采樣窗口的中心點(diǎn)為目標(biāo)的中心點(diǎn)，坐標(biāo)隨尺度大小作相應(yīng)變化。

2)循環(huán)移位構(gòu)建多尺度樣本集序列。多尺度樣本集序列是對不同尺度的基樣本進(jìn)行循環(huán)移位密采樣得到的一序列不同尺度的樣本集。循環(huán)移位密采樣的過程，為了表述簡單，以單通道一維情況為例進(jìn)行推導(dǎo)，結(jié)果可擴(kuò)展到單通道二維圖像。用一個n×1的向量x=(x1,x2,…,xn)表示基樣本，標(biāo)記為正，然后以x為基礎(chǔ)，進(jìn)行循環(huán)移位得到一系列負(fù)樣本，這可以通過一個置換矩陣p來進(jìn)行操作：

(3)

pi上標(biāo)i表示置換矩陣循環(huán)移位的位數(shù)，基于x循環(huán)移位后的所有樣本表示為：

xi=pix; ?i=0,1,…,n-1

(4)

將所有的樣本組成一個循環(huán)矩陣X，即為一個樣本集：

(5)

對不同尺度的所有基樣本都進(jìn)行循環(huán)移位密采樣后就可以得到一個多尺度樣本集序列Xk，表示為：

(6)

其中:xk(k=0,1,…，2M+1)表示基樣本序列，一個尺度對應(yīng)一個基樣本和一個基于該樣本的樣本集。

一維圖像循環(huán)樣本集實(shí)例見圖1。在二維圖像采樣時，只要以目標(biāo)為中心截取一個大于目標(biāo)尺度的圖像塊作為基樣本，按照上述規(guī)則進(jìn)行上下和左右循環(huán)移位，就可以得到一個包含正負(fù)樣本的循環(huán)樣本集。圖2表示對一個二維基樣本上下循環(huán)移位采樣的過程。

圖1 一維圖像循環(huán)樣本集

圖2 二維基樣本在豎直方向移位采樣

1.2 訓(xùn)練多尺度核相關(guān)濾波分類器

對于單個尺度的循環(huán)樣本集，通過嶺回歸可求解得到該尺度下的最優(yōu)模型參數(shù)，又因?yàn)闃颖炯难h(huán)結(jié)構(gòu)，可借用卷積濾波理論[15]將空間域卷積運(yùn)算轉(zhuǎn)換到頻域進(jìn)行。嶺回歸是損失函數(shù)為平方損失的結(jié)構(gòu)風(fēng)險最小化策略，目的是求解使得所有樣本(x1,y1),(x2,y2),…,(xn,yn)誤差平方和最小的模型參數(shù)。設(shè)x為n×1的向量，線性分類模型為f(x)=wTx，則最小化結(jié)構(gòu)風(fēng)險泛函為：

(7)

其中，λ是控制過擬合的正則化參數(shù)。

若樣本在原始特征空間線性可分，嶺回歸是線性回歸問題，求解這個關(guān)于樣本集的大型線性方程組十分復(fù)雜，但由于樣本集的循環(huán)結(jié)構(gòu)，向量與樣本集中每個樣本的點(diǎn)積操作恰好是空間卷積濾波過程，因此可轉(zhuǎn)換到頻域進(jìn)行計算，簡化了計算的復(fù)雜度，這就是著名的對偶相關(guān)濾波(Dual Correlation Filter, DCF)[16]。

若樣本在原始特征空間線性不可分，則通過一個映射函數(shù)φ(x)將輸入的特征值映射到一個更高維的特征空間實(shí)現(xiàn)線性可分。在此情況下求解模型參數(shù)需要引入核技巧和表現(xiàn)定理。

核技巧：高維空間兩個樣本特征的點(diǎn)積可通過一個核函數(shù)在原始空間計算得到：

〈φ(x),φ(x′)〉=k(x,x′)

(8)

其中，核函數(shù)k有多項(xiàng)式核和高斯核等。

表現(xiàn)定理(Representer Theorem)[17]：在映射空間，模型參數(shù)w可以表示為所有樣本的線性組合：

(9)

根據(jù)式(8)和式(9)有：

(10)

將式(9)、(10)代入式(7)得：

(11)

用y表示由yi組成的向量，α表示由αi組成的向量，I為單位矩陣，用K表示由元素Kij=k(xi,xj)=k(pix,pjx)組成的核矩陣，對式(11)求解關(guān)于α的最小值得：

α=(K+λI)-1y

(12)

文獻(xiàn)[10]中已證明，由元素Kij=k(pix,pjx)組成的核矩陣也是循環(huán)結(jié)構(gòu)的，因此，α的計算過程是一個空間濾波的過程，而空間濾波C(u)v的點(diǎn)乘操作相當(dāng)于u與v的卷積，再由卷積定理有：

C(u)v=u?v=F-1(F*(u)·F(v))

(13)

其中：?表示卷積，·表示逐元點(diǎn)乘，F(xiàn)和F-1分別表示傅里葉變換和逆變換，*表示復(fù)共軛。

根據(jù)式(13)，式(12)可以轉(zhuǎn)換到頻域計算：

(14)

這種通過引入核技巧，并用頻域代替時域計算線性回歸最優(yōu)解的方法稱為核相關(guān)濾波(Kernelized Correlation Filter, KCF)[11]。這里的向量k是樣本的自相關(guān)核kxx。

根據(jù)核相關(guān)濾波的方法，對每個尺度的循環(huán)樣本集都進(jìn)行嶺回歸分析，將得到一組不同尺度的模型參數(shù)：

(15)

其中：2M+1為總的尺度數(shù)，yk和kk分別為對應(yīng)尺度的標(biāo)記和自相關(guān)核。

將訓(xùn)練得到的單尺度最優(yōu)分類模型參數(shù)式(14)代回分類模型，對新輸入的待檢測圖塊z，計算其分類響應(yīng)值：

(16)

(17)

根據(jù)式(13)將式(17)換至頻率域計算：

(18)

(19)

1.3 位置檢測與尺度估計

根據(jù)多尺度核相關(guān)濾波分類器的響應(yīng)值進(jìn)行目標(biāo)的位置檢測和尺度估計。式(15)為多尺度模型參數(shù)的訓(xùn)練式，式(19)為多尺度目標(biāo)檢測的分類器，從這兩個式子可以看出，輸入的數(shù)據(jù)只是不同尺度的基樣本向量、檢測圖塊向量和相應(yīng)的核向量， 要將式(15)和式(19)推廣到二維圖像只需將輸入數(shù)據(jù)換成二維基樣本、二維檢測圖塊和對應(yīng)的核矩陣。響應(yīng)值的形式還依賴于樣本的標(biāo)記形式，本文采用連續(xù)性標(biāo)記方式對二維基樣本進(jìn)行可信度標(biāo)記(見圖3)，目標(biāo)中心可信度最高(為1)，隨著離目標(biāo)中心距離的增加可信度逐漸降低，計算方法見實(shí)驗(yàn)的預(yù)處理部分。

本文多尺度核相關(guān)濾波分類器的響應(yīng)值為一序列代表可信度的矩陣(見圖3)，以矩陣最大元素值作為新目標(biāo)最佳尺度和最佳位置的可信度，最大元素值最大的矩陣對應(yīng)的尺度為新目標(biāo)的最佳尺度，最大元素值在該矩陣中的位置為新目標(biāo)的最佳中心位置。圖3中，待檢測圖塊通過分類器檢測后，得到對應(yīng)的5個響應(yīng)值矩陣，其中最大可信度為0.98，對應(yīng)的樣本尺度與基樣本尺度比值為1.0(因?yàn)槌叨葲]有發(fā)生變化)，該尺度即為新目標(biāo)的最佳尺度，最大可信度在響應(yīng)值矩陣中的位置為新目標(biāo)的位置，也就是矩陣中的亮點(diǎn)位置。

圖3 位置檢測與尺度估計

1.4 尺度自適應(yīng)目標(biāo)跟蹤流程

尺度自適應(yīng)的目標(biāo)跟蹤器具有目標(biāo)檢測和尺度估計兩個功能，跟蹤流程主要包括構(gòu)建多尺度樣本集序列、訓(xùn)練多尺度分類器、實(shí)現(xiàn)目標(biāo)檢測和尺度估計以及在線更新等幾個步驟，見圖4。

目標(biāo)狀態(tài)信息包括目標(biāo)的位置信息和尺度信息。流程的循環(huán)由2個更新實(shí)現(xiàn)，一個是目標(biāo)檢測完成后，由下一幀更新當(dāng)前幀，另一個是由新的目標(biāo)狀態(tài)信息更新上一幀目標(biāo)狀態(tài)信息，如此不斷循環(huán)，直到視頻序列的最后一幀結(jié)束。對每幀圖像(除第一幀外)都要進(jìn)行2次圖像塊的截取操作，第一次以上一幀中檢測到的目標(biāo)位置為坐標(biāo)截取圖像塊，作為檢測圖塊，第二次以當(dāng)前幀中目標(biāo)的位置為坐標(biāo)截取圖像塊，作為基樣本圖塊，第一幀圖像是以給定的目標(biāo)狀態(tài)信息直接進(jìn)行樣本圖像塊的截取。

分類器的在線更新包括實(shí)時更新分類參數(shù)和用于計算互相關(guān)核的基樣本，分類參數(shù)的更新由新樣本訓(xùn)練得到的參數(shù)和前面所有參數(shù)線性組合完成，基樣本的更新由新樣本和前面所有基樣本線性組合完成。新樣本根據(jù)新的最佳尺度對目標(biāo)采樣得到，線性組合時，如果新目標(biāo)有尺度變化，前面所有幀的分類參數(shù)和基樣本都要先通過縮放處理與新目標(biāo)保持相同尺度后，再線性組合。因?yàn)榫€性組合要考慮前面所有幀，本文采用迭代加和的方式進(jìn)行更新。如果用new_α表示新參數(shù)，now_α表示前面所有幀參數(shù)的線性組合：

now_α=(1-interp_factor)*ProcessFun(now_α,scale)+interp_factor*new_α

(20)

如果用new_x表示新樣本，now_x表示前面所有幀樣本的線性組合：

now_x=(1-interp_factor)*ProcessFun(now_x,scale)+interp_factor*new_x

(21)

其中，interp_factor表示迭代參數(shù)，決定新參數(shù)和新樣本在線性組合中所占比重，ProcessFun是式(2)中的圖像縮放函數(shù)，scale表示舊尺度和新尺度的比值。

圖4 尺度自適應(yīng)目標(biāo)跟蹤流程

2 對比實(shí)驗(yàn)與分析

為了驗(yàn)證本文算法的優(yōu)劣，選擇尺寸變化、跟蹤精度以及跟蹤幀率三個指標(biāo)進(jìn)行定性分析，并與CSK算法進(jìn)行比較。實(shí)驗(yàn)硬件環(huán)境為IntelXeonE3-1231V3 3.40GHzCPU，8GBRAM；軟件環(huán)境為MatlabR2012b。實(shí)驗(yàn)數(shù)據(jù)為實(shí)景拍攝的boy序列和VOT測試集中目標(biāo)具有尺度變化特性的3個視頻幀序列。

參數(shù)的設(shè)定與CSK一樣。高斯核函數(shù)的δ=0.2，空間帶寬s=1/16，正則化參數(shù)λ=0.01，插值因子interp_factor=0.075。另外，多尺度樣本數(shù)設(shè)為5，即M=2，縮放步長a=0.04，scales=(0.92,0.96,1.0,1.04,1.08)。

2.1 預(yù)處理

本文直接以圖像的灰度值作為表觀目標(biāo)的特征進(jìn)行處理和計算。由于傅里葉變換的周期性不遵循于圖像邊緣，非周期圖像組成循環(huán)矩陣時，對邊不連續(xù)性會導(dǎo)致噪聲傅里葉表示，因此需要對樣本矩陣進(jìn)行處理。處理的方法是用一個余弦窗進(jìn)行平滑處理，假設(shè)樣本矩陣為n×n的Xraw，計算公式如下：

(22)

從式(22)可以看出，將樣本矩陣的邊緣加權(quán)值為0，保證了對圖像塊作周期延拓時圖像邊緣的連續(xù)性。

在訓(xùn)練分類器的時候需要對樣本進(jìn)行標(biāo)記，也即規(guī)定輸出值的形式，通常的做法是將離目標(biāo)中心近的樣本標(biāo)記為正，離得遠(yuǎn)的標(biāo)記為負(fù)。由于本文的核最小二乘平方損失允許連續(xù)數(shù)值，因此本文用一個高斯函數(shù)對樣本進(jìn)行連續(xù)性標(biāo)記，標(biāo)記值為可信度，輸出的響應(yīng)值也是連續(xù)的可信度。高斯函數(shù)標(biāo)記的基本思路是讓接近目標(biāo)中心位置(i′,j′)的可信度為1，然后隨著離目標(biāo)中心距離的增加，可信度遞減到0，并帶一個參數(shù)s(空間帶寬)，計算公式如下：

yij=exp(-((i-i′)2+(j-j′)2)/s2); ?i,j=0,1,…,n-1

(23)

樣本的連續(xù)標(biāo)記方式使得輸出的分類響應(yīng)值是空間平滑的，這樣確定的目標(biāo)位置要比二值標(biāo)記的精確得多。

2.2 實(shí)驗(yàn)結(jié)果與分析

圖5為本文改進(jìn)算法和CSK算法在4個測試序列上的跟蹤效果圖。矩形跟蹤框?yàn)楸疚母倪M(jìn)算法，橢圓跟蹤框?yàn)镃SK算法，可以看出，CSK算法的跟蹤框尺度始終保持不變，而本文改進(jìn)算法的跟蹤框能隨著目標(biāo)尺寸的變化作相應(yīng)的變化。這說明本文算法克服了CSK的缺點(diǎn)，實(shí)現(xiàn)了目標(biāo)尺度的自適應(yīng)跟蹤。

目標(biāo)跟蹤精度根據(jù)目標(biāo)跟蹤軌跡與目標(biāo)真實(shí)軌跡的差距來評價。方法是計算視頻中每一幀跟蹤中心位置與實(shí)際目標(biāo)中心坐標(biāo)位置的距離，距離d越小表示跟蹤精度越高，反之越低。距離d由式(24)得到：

(24)

其中，(xt,yt)表示當(dāng)前幀的跟蹤中心位置，(xc,yc)表示當(dāng)前幀目標(biāo)實(shí)際中心位置。

從圖6中可以看出，在水平方向上，本文算法與CSK算法跟蹤精度相差不大，而在豎直方向上本文算法明顯比CSK算法精度高。這是因?yàn)楸疚乃惴ǖ哪繕?biāo)跟蹤框尺度能隨著目標(biāo)尺度的變化作相應(yīng)的變化，而CSK算法的跟蹤框尺度始終保持不變，導(dǎo)致目標(biāo)在豎直方向上發(fā)生較大尺度變化時(參見圖5)，CSK算法的跟蹤框雖然還在目標(biāo)上，中心位置卻已遠(yuǎn)離目標(biāo)中心，而最根本的原因是CSK算法不能適應(yīng)目標(biāo)的尺度變化，導(dǎo)致采樣訓(xùn)練時沒有采集到目標(biāo)的全貌，也沒有足夠的背景信息，最終導(dǎo)致分類器精度下降，跟蹤精度降低。本文的算法能根據(jù)目標(biāo)的尺度實(shí)時更新跟蹤框的尺度，隨時保證采樣的質(zhì)量和分類器的精度，提高了跟蹤精度。圖7是根據(jù)式(24)計算得到的本文算法、CSK算法跟蹤軌跡與真實(shí)軌跡的誤差圖。

圖6 boy序列跟蹤軌跡

圖7 跟蹤框中心偏移目標(biāo)中心距離圖

從圖7可以看出，本文算法跟蹤框中心位置偏移目標(biāo)中心的距離都在5個像素之內(nèi)，比CSK算法低得多，特別是對長時間的目標(biāo)跟蹤效果更加明顯。跟蹤軌跡與真實(shí)軌跡的誤差可以作為跟蹤目標(biāo)的置信度，如果這個誤差大于一定閾值，就判定為跟蹤失敗，誤差越小跟蹤精度越高，反之越低。

下面對實(shí)驗(yàn)結(jié)果進(jìn)行總體定量評價，跟蹤精度根據(jù)估計目標(biāo)中心位置偏移實(shí)際目標(biāo)中心位置平均距離(偏心距)來評定，見表1；跟蹤速度(Frames-Per-Second,PFS)由幀數(shù)與跟蹤時長的比值來評定，見表2。結(jié)果評價較優(yōu)的以下劃線顯示。

表1 估計目標(biāo)中心位置偏移實(shí)際目標(biāo)中心位置平均距離像素

表2 跟蹤速度 幀/s

通過表1和表2可以看出，本文算法的跟蹤精度明顯優(yōu)于CSK算法，偏心距誤差減少至其1/5～1/3，但也因此損失了跟蹤速度。雖然跟蹤速度有所降低，但是仍然沒有影響到視覺的流暢性，因?yàn)槿搜鄣囊曈X暫留，只要幀率(FPS)大于24就感覺流暢了。另外，目標(biāo)尺度(包含的像素總數(shù))對跟蹤速度也有影響，在其他變量相同的情況下，尺度越小，跟蹤速度越快，反之越慢。

3 結(jié)語

本文采用不同尺度圖像構(gòu)建多尺度樣本集，訓(xùn)練多尺度核相關(guān)濾波分類器，在目標(biāo)檢測的基礎(chǔ)上增加了尺度估計功能，通過在線更新目標(biāo)尺度形成尺度監(jiān)控機(jī)制，成功實(shí)現(xiàn)了CSK跟蹤算法的尺度自適應(yīng)改進(jìn)，同時提高了算法跟蹤精度和魯棒性。不足之處是算法復(fù)雜度對跟蹤速度有所影響；此外，本文算法的檢測器只能在局部區(qū)域進(jìn)行目標(biāo)檢測，當(dāng)目標(biāo)在幀間突然發(fā)生大位移，超出檢測區(qū)域，會導(dǎo)致跟蹤失敗，因此，考慮多核處理和GPU并行架構(gòu)對算法的實(shí)時性進(jìn)行改善，增加目標(biāo)跟蹤失敗的補(bǔ)救機(jī)制，增強(qiáng)算法的實(shí)用性，將是下一步研究的重點(diǎn)。

)

[1] 陳東成.基于機(jī)器學(xué)習(xí)的目標(biāo)跟蹤技術(shù)研究[D].北京:中國科學(xué)院大學(xué),2015:6-7.(CHENDC.Researchofthetechniquesofobjecttrackingbasedonmachinelearning[D].Beijing:UniversityoftheChineseAcademyofSciences, 2015: 6-7.)

[2]CHENGYH,WANGJ.Amotionimagedetectionmethodbasedontheinter-framedifferencemethod[J].AppliedMechanicsandMaterials, 2014, 490: 1283-1286.

[3]LAIH,ZHUY,NONGZ.Animprovedbackgroundsubtractionapproachintargetdetectionandtracking[C]//ICMV2013:Proceedingsofthe6thInternationalConferenceonMachineVision.Bellingham,WA:SPIE, 2013, 9067: 10-13.

[4]WEDELA,POCKT,ZACHC,etal.AnimprovedalgorithmforTV-L1optical flow [M]// Statistical and Geometrical Approaches to Visual Motion Analysis, LNCS 5604. Berlin: Springer, 2008: 23-45.

[5] GRABNER H, LEISTNER C, BISCHOF H. Semi-supervised on- line boosting for robust tracking [C]// ECCV ’08: Proceedings of the 10th European Conference on Computer Vision. Berlin: Springer, 2008: 234-247.

[6] BABENKO B, YANG M-H, BELONQIE S. Robust object tracking with online multiple instance learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1619-1632.

[7] AVIDAN S. Support vector tracking [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(8): 1064-1072.

[8] SAFFARI A, LEISTNER C, SANTNER J, et al. On-line random forests [C]// Proceedings of the 2009 IEEE 12th International Conference on Computer Vision Workshops. Piscataway, NJ: IEEE, 2009: 1393-1400.

[9] KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409-1422.

[10] HENRIQUES J F, CAESIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels [C]// ECCV ’12: Proceedings of the 12th European Conference on Computer Vision. Berlin: Springer, 2012: 702-715.

[11] HENRIQUES J F, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[12] DANELLJAN M, KHAN F S, FELSBERG M, et al. Adaptive color attributes for real-time visual tracking [C]// CVPR ’14: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2014: 1090-1097.

[13] 李英明，夏海宏.雙二次B-樣條插值圖像縮放[J].中國圖象圖形學(xué)報,2011,16(10):1937-1943.(LI Y M, XIA H H. Double two B-spline interpolation image scaling [J]. Journal of Image and Graphics, 2011, 16(10): 1937-1943.)

[14] 夏海宏.圖像縮放及其GPU實(shí)現(xiàn)[D].杭州:浙江大學(xué),2010:10-11.(XIA H H. Image scaling and its GPU implementation [D]. Hangzhou: Zhejiang University, 2010: 10-11.)

[15] 阮秋琦.數(shù)字圖像處理學(xué)[M].北京:電子工業(yè)出版社,2013:130-135.(RUAN Q Q. Digital Image Processing [M]. Beijing: Publishing House of Electronics Industry, 2013: 130-135.)

[16] BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters [C]// Proceedings of the 2010 Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2010: 2544-2550.

[17] SCH?LKOPF B, SMOLA A J. Learning with kernels: support vector machines, regularization, optimization, and beyond [M]. Cambridge, MA: MIT Press, 2001.

[18] ORON S, BAR-HILLEL A, LEVI D, et al. Locally orderless tracking [C]// CVPR ’12: Proceedings of the 2012 IEEE Conference on Computer Vision an Pattern Recognition. Washington, DC: IEEE Computer Society, 2012: 1940-1947.

[19] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]// CVPR ’05: Proceedings of the 2005 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2005: 886-893.

[20] VAPNIK V N. Statistical learning theory [J]. Encyclopedia of the Sciences of Learning, 2010, 41(4): 3185-3185.

QIAN Tanghui, born in 1989, M. S. candidate. His research interests include target tracking.

LUO Zhiqing, born in 1963, M. S., associate professor. His research interests include digital mapping, GIS.

LI Guojia, born in 1992, M. S. candidate. Her research interests include visual tracking.

LI Yingyun, born in 1991, M. S. candidate. Her research interests include smoke identification.

LI Xiankai, born in 1992, M. S. candidate. His research interests include moving object detection.

Scale adaptive improvement of kernel correlation filter tracking algorithm

QIAN Tanghui, LUO Zhiqing*, LI Guojia, LI Yingyun, LI Xiankai

(CollegeofLandandResourcesEngineering,KunmingUniversityofScienceandTechnology,KunmingYunnan650093,China)

To solve the problem that Circulant Structure of tracking-by-detection with Kernels (CSK) is difficult to adapt to the target scale change, a multi-scale kernel correlation filter classifier was proposed to realize the scale adaptive target tracking. Firstly, the multi-scale image was used to construct the sample set, the multi-scale kernel correlation filtering classifier was trained by the sample set, for target size estimation to achieve the goal of the optimal scale detection, and then the samples collected on the optimal target scale were used to update the classifier on-line to achieve the scale-adaptive target tracking. The comparative experiments and analysis illustrate that the proposed algorithm can adapt to the scale change of the target in the tracking process, the error of the eccentricity is reduced to 1/5 to 1/3 that of CSK algorithm, which can meet the needs of long time tracking in complex scenes.

target tracking; multi-scale image; self-adaption; Kernel Correlation Filter (KCF)

2016- 09- 26;

2016- 10- 21。

錢堂慧(1989—)，男，云南曲靖人，碩士研究生，主要研究方向：目標(biāo)跟蹤； 羅志清(1963—)，男，云南玉溪人，副教授，碩士，主要研究方向：數(shù)字化測圖、GIS； 李果家(1992—)，女，云南昆明人，碩士研究生，主要研究方向：視覺跟蹤； 李應(yīng)蕓(1991—)，女，云南保山人，碩士研究生，主要研究方向：煙霧識別； 李顯凱(1992—)，男，云南楚雄人，碩士研究生，主要研究方向：運(yùn)動目標(biāo)檢測。

http://www.cnki.net/kcms/detail/51.1307.TP.20161122.1415.002.html。

1001- 9081(2017)03- 0811- 06

10.11772/j.issn.1001- 9081.2017.03.811

TP

A