錢堂慧，羅志清，李果家，李應(yīng)蕓，李顯凱

(昆明理工大學(xué) 國(guó)土資源工程學(xué)院，昆明 650093) (*通信作者電子郵箱oscarluofu@yahoo.com.cn)

核相關(guān)濾波跟蹤算法的尺度自適應(yīng)改進(jìn)

錢堂慧，羅志清*，李果家，李應(yīng)蕓，李顯凱

(昆明理工大學(xué) 國(guó)土資源工程學(xué)院，昆明 650093) (*通信作者電子郵箱oscarluofu@yahoo.com.cn)

針對(duì)基于檢測(cè)的核相關(guān)濾波跟蹤(CSK)算法難以適應(yīng)目標(biāo)尺度變化的問(wèn)題，提出多尺度核相關(guān)濾波分類器以實(shí)現(xiàn)尺度自適應(yīng)目標(biāo)跟蹤。首先,采用多尺度圖像構(gòu)建樣本集，訓(xùn)練多尺度核相關(guān)濾波分類器，通過(guò)分類器對(duì)目標(biāo)的尺度估計(jì)實(shí)現(xiàn)目標(biāo)的最佳尺度檢測(cè);然后,在最佳尺度下采集樣本在線學(xué)習(xí)更新分類器，實(shí)現(xiàn)尺度自適應(yīng)的目標(biāo)跟蹤。對(duì)比實(shí)驗(yàn)與分析表明，本文算法在目標(biāo)跟蹤過(guò)程中能夠正確適應(yīng)目標(biāo)的尺度變化，相比CSK算法，偏心距誤差減少至其1/5～1/3，能滿足復(fù)雜場(chǎng)景長(zhǎng)時(shí)間跟蹤的需求。

目標(biāo)跟蹤；多尺度圖像；自適應(yīng)；核相關(guān)濾波

0 引言

目標(biāo)跟蹤算法的分類有很多種，按視頻數(shù)據(jù)的處理方式可分成數(shù)據(jù)驅(qū)動(dòng)(Data Driven)和模型驅(qū)動(dòng)(Model Driven)兩種[1]。數(shù)據(jù)驅(qū)動(dòng)類型的處理方式并不依賴于已有的先驗(yàn)知識(shí)，而是根據(jù)直接從圖像中獲取目標(biāo)的運(yùn)動(dòng)狀態(tài)信息進(jìn)行跟蹤，將視覺(jué)目標(biāo)跟蹤過(guò)程看作一個(gè)信息處理過(guò)程，屬于這種跟蹤方法的有背景差分、幀間差分、光流法等[2-4]。模型驅(qū)動(dòng)的處理方式依賴于先驗(yàn)知識(shí)和訓(xùn)練好的模板，根據(jù)已有的模板或先驗(yàn)數(shù)據(jù)對(duì)圖像序列進(jìn)行匹配或計(jì)算后驗(yàn)概率，采用匹配計(jì)算時(shí)，與模板距離最近的候選目標(biāo)被認(rèn)為是被跟蹤的運(yùn)動(dòng)目標(biāo)，采用后驗(yàn)概率計(jì)算時(shí)，后驗(yàn)概率最大的候選目標(biāo)認(rèn)為是所要跟蹤的目標(biāo)。模型驅(qū)動(dòng)的方法在引入機(jī)器學(xué)習(xí)后逐漸形成判別式學(xué)習(xí)跟蹤方法，最典型的有Boosting[5-6]、支持向量機(jī)(Support Vector Machine, SVM)[7]和隨機(jī)森林(Random Forest , RF)[8]等。

基于機(jī)器學(xué)習(xí)的跟蹤方法將跟蹤視為二分類問(wèn)題，充分利用目標(biāo)和背景信息進(jìn)行在線或者離線學(xué)習(xí)，尋找規(guī)律，將目標(biāo)從新的圖像中區(qū)分出來(lái)。文獻(xiàn)[9]將傳統(tǒng)的檢測(cè)技術(shù)和跟蹤技術(shù)相結(jié)合，提出跟蹤-學(xué)習(xí)-檢測(cè)(Tracking-Learning-Detection, TLD)的跟蹤模型，在此框架上，Henriques等[10]提出基于檢測(cè)的核相關(guān)濾波跟蹤( Circulant Structure of tracking-by-detection with Kernels, CSK)算法，該算法采用密采樣的策略，用循環(huán)矩陣結(jié)構(gòu)來(lái)組織單張圖像采集的樣本集，將一幀中多個(gè)子窗口的處理歸為對(duì)一個(gè)循環(huán)矩陣的處理，并引入核技巧使得線性最小二乘分類能解決非線性問(wèn)題，最后用核相關(guān)濾波將空間域卷積轉(zhuǎn)換至頻率域計(jì)算，并用快速傅里葉變換提高運(yùn)算效率。這使得算法能夠充分利用目標(biāo)和背景信息獲得精準(zhǔn)目標(biāo)跟蹤的同時(shí)，還控制了運(yùn)算量，提高了跟蹤速度，對(duì)目標(biāo)形變、光照變化、背景干擾以及部分遮擋等都有很強(qiáng)的適應(yīng)能力。然而由于缺少對(duì)目標(biāo)的尺度估計(jì)，跟蹤過(guò)程中目標(biāo)始終保持初始化尺度，雖然能夠精確定位，卻不能隨目標(biāo)尺度的變化給出相應(yīng)的目標(biāo)輪廓。文獻(xiàn)[11-12]雖然對(duì)CSK的目標(biāo)表征單一性進(jìn)行了改進(jìn)，使算法能利用方向梯度直方圖(Histogram of Oriented Gradient, HOG)和顏色等復(fù)雜特征來(lái)表征目標(biāo)，卻仍然沒(méi)有考慮目標(biāo)的尺度變化。本文在CSK算法基礎(chǔ)上，通過(guò)多尺度圖像構(gòu)建多尺度樣本集，訓(xùn)練多尺度核相關(guān)濾波分類器，以多尺度分類器的尺度估計(jì)功能構(gòu)成目標(biāo)尺度監(jiān)控機(jī)制，實(shí)時(shí)更新目標(biāo)尺度，實(shí)現(xiàn)尺度自適應(yīng)的目標(biāo)跟蹤算法。

1 尺度自適應(yīng)目標(biāo)跟蹤

CSK實(shí)現(xiàn)目標(biāo)跟蹤的關(guān)鍵步驟是學(xué)習(xí)訓(xùn)練和目標(biāo)檢測(cè)。為了監(jiān)控目標(biāo)的尺度變化，在采樣訓(xùn)練時(shí)，先對(duì)圖像進(jìn)行縮放處理，即對(duì)目標(biāo)尺度進(jìn)行預(yù)先估計(jì)，接著用循環(huán)矩陣結(jié)構(gòu)分別對(duì)各個(gè)尺度的圖像進(jìn)行密采樣，組成多尺度的循環(huán)樣本集序列，然后將樣本集系列代入結(jié)構(gòu)風(fēng)險(xiǎn)最小化策略，訓(xùn)練多尺度分類器，即求得各個(gè)尺度的分類模型參數(shù)，最后根據(jù)各個(gè)尺度的模型參數(shù)，對(duì)下一幀圖像進(jìn)行目標(biāo)檢測(cè)和尺度估計(jì)，實(shí)現(xiàn)尺度自適應(yīng)的目標(biāo)跟蹤。

1.1 縮放移位建立多尺度樣本集序列

多尺度樣本集序列是一序列不同尺度的循環(huán)樣本集，每個(gè)樣本集都由原圖像縮放后采集的基樣本循環(huán)移位密采樣得到。

1)縮放圖像建立多尺度基樣本序列。多尺度基樣本序列是對(duì)原圖像進(jìn)行縮放后的圖像分別采樣得到的一序列不同尺度的正樣本，也叫基樣本。具體步驟如下：

①設(shè)置縮放比例，將所有的縮放比例組成一個(gè)向量scales，向量的元素scalesi由下式給出：

scalesi=1±am;m=0,1,…,M,i=1,2,…,2M+1

(1)

其中:a∈(0,1)是縮放比例的步長(zhǎng)，為正(+)時(shí)scalesi>1，是放大尺度，為負(fù)(-)時(shí)scalesi<1，是縮小尺度;2M+1是總的縮放比例數(shù)，m=0時(shí)尺度不變。

②對(duì)輸入的當(dāng)前幀F(xiàn)rame按照設(shè)置好的縮放比例進(jìn)行縮放操作：

Framei=ProcessFun(Frame,scalesi);i=0,1,…,2M+1

(2)

其中：ProcessFun是基于雙線性插值[13-14]的尺度縮放函數(shù)，F(xiàn)ramei表示對(duì)當(dāng)前幀縮放后的多尺度圖像序列。

③按照固定尺寸對(duì)多尺度圖像序列Framei進(jìn)行目標(biāo)采樣，得到多尺度基樣本序列xi。采樣窗口的中心點(diǎn)為目標(biāo)的中心點(diǎn)，坐標(biāo)隨尺度大小作相應(yīng)變化。

2)循環(huán)移位構(gòu)建多尺度樣本集序列。多尺度樣本集序列是對(duì)不同尺度的基樣本進(jìn)行循環(huán)移位密采樣得到的一序列不同尺度的樣本集。循環(huán)移位密采樣的過(guò)程，為了表述簡(jiǎn)單，以單通道一維情況為例進(jìn)行推導(dǎo)，結(jié)果可擴(kuò)展到單通道二維圖像。用一個(gè)n×1的向量x=(x1,x2,…,xn)表示基樣本，標(biāo)記為正，然后以x為基礎(chǔ)，進(jìn)行循環(huán)移位得到一系列負(fù)樣本，這可以通過(guò)一個(gè)置換矩陣p來(lái)進(jìn)行操作：

(3)

pi上標(biāo)i表示置換矩陣循環(huán)移位的位數(shù)，基于x循環(huán)移位后的所有樣本表示為：

xi=pix; ?i=0,1,…,n-1

(4)

將所有的樣本組成一個(gè)循環(huán)矩陣X，即為一個(gè)樣本集：

(5)

對(duì)不同尺度的所有基樣本都進(jìn)行循環(huán)移位密采樣后就可以得到一個(gè)多尺度樣本集序列Xk，表示為：

(6)

其中:xk(k=0,1,…，2M+1)表示基樣本序列，一個(gè)尺度對(duì)應(yīng)一個(gè)基樣本和一個(gè)基于該樣本的樣本集。

一維圖像循環(huán)樣本集實(shí)例見(jiàn)圖1。在二維圖像采樣時(shí)，只要以目標(biāo)為中心截取一個(gè)大于目標(biāo)尺度的圖像塊作為基樣本，按照上述規(guī)則進(jìn)行上下和左右循環(huán)移位，就可以得到一個(gè)包含正負(fù)樣本的循環(huán)樣本集。圖2表示對(duì)一個(gè)二維基樣本上下循環(huán)移位采樣的過(guò)程。

圖1 一維圖像循環(huán)樣本集

圖2 二維基樣本在豎直方向移位采樣

1.2 訓(xùn)練多尺度核相關(guān)濾波分類器

對(duì)于單個(gè)尺度的循環(huán)樣本集，通過(guò)嶺回歸可求解得到該尺度下的最優(yōu)模型參數(shù)，又因?yàn)闃颖炯难h(huán)結(jié)構(gòu)，可借用卷積濾波理論[15]將空間域卷積運(yùn)算轉(zhuǎn)換到頻域進(jìn)行。嶺回歸是損失函數(shù)為平方損失的結(jié)構(gòu)風(fēng)險(xiǎn)最小化策略，目的是求解使得所有樣本(x1,y1),(x2,y2),…,(xn,yn)誤差平方和最小的模型參數(shù)。設(shè)x為n×1的向量，線性分類模型為f(x)=wTx，則最小化結(jié)構(gòu)風(fēng)險(xiǎn)泛函為：

(7)

其中，λ是控制過(guò)擬合的正則化參數(shù)。

若樣本在原始特征空間線性可分，嶺回歸是線性回歸問(wèn)題，求解這個(gè)關(guān)于樣本集的大型線性方程組十分復(fù)雜，但由于樣本集的循環(huán)結(jié)構(gòu)，向量與樣本集中每個(gè)樣本的點(diǎn)積操作恰好是空間卷積濾波過(guò)程，因此可轉(zhuǎn)換到頻域進(jìn)行計(jì)算，簡(jiǎn)化了計(jì)算的復(fù)雜度，這就是著名的對(duì)偶相關(guān)濾波(Dual Correlation Filter, DCF)[16]。

若樣本在原始特征空間線性不可分，則通過(guò)一個(gè)映射函數(shù)φ(x)將輸入的特征值映射到一個(gè)更高維的特征空間實(shí)現(xiàn)線性可分。在此情況下求解模型參數(shù)需要引入核技巧和表現(xiàn)定理。

核技巧：高維空間兩個(gè)樣本特征的點(diǎn)積可通過(guò)一個(gè)核函數(shù)在原始空間計(jì)算得到：

〈φ(x),φ(x′)〉=k(x,x′)

(8)

其中，核函數(shù)k有多項(xiàng)式核和高斯核等。

表現(xiàn)定理(Representer Theorem)[17]：在映射空間，模型參數(shù)w可以表示為所有樣本的線性組合：

(9)

根據(jù)式(8)和式(9)有：

(10)

將式(9)、(10)代入式(7)得：

(11)

用y表示由yi組成的向量，α表示由αi組成的向量，I為單位矩陣，用K表示由元素Kij=k(xi,xj)=k(pix,pjx)組成的核矩陣，對(duì)式(11)求解關(guān)于α的最小值得：

α=(K+λI)-1y

(12)

文獻(xiàn)[10]中已證明，由元素Kij=k(pix,pjx)組成的核矩陣也是循環(huán)結(jié)構(gòu)的，因此，α的計(jì)算過(guò)程是一個(gè)空間濾波的過(guò)程，而空間濾波C(u)v的點(diǎn)乘操作相當(dāng)于u與v的卷積，再由卷積定理有：

C(u)v=u?v=F-1(F*(u)·F(v))

(13)

其中：?表示卷積，·表示逐元點(diǎn)乘，F(xiàn)和F-1分別表示傅里葉變換和逆變換，*表示復(fù)共軛。

根據(jù)式(13)，式(12)可以轉(zhuǎn)換到頻域計(jì)算：

(14)

這種通過(guò)引入核技巧，并用頻域代替時(shí)域計(jì)算線性回歸最優(yōu)解的方法稱為核相關(guān)濾波(Kernelized Correlation Filter, KCF)[11]。這里的向量k是樣本的自相關(guān)核kxx。

根據(jù)核相關(guān)濾波的方法，對(duì)每個(gè)尺度的循環(huán)樣本集都進(jìn)行嶺回歸分析，將得到一組不同尺度的模型參數(shù)：

(15)

其中：2M+1為總的尺度數(shù)，yk和kk分別為對(duì)應(yīng)尺度的標(biāo)記和自相關(guān)核。

將訓(xùn)練得到的單尺度最優(yōu)分類模型參數(shù)式(14)代回分類模型，對(duì)新輸入的待檢測(cè)圖塊z，計(jì)算其分類響應(yīng)值：

(16)

(17)

根據(jù)式(13)將式(17)換至頻率域計(jì)算：

(18)

(19)

1.3 位置檢測(cè)與尺度估計(jì)

根據(jù)多尺度核相關(guān)濾波分類器的響應(yīng)值進(jìn)行目標(biāo)的位置檢測(cè)和尺度估計(jì)。式(15)為多尺度模型參數(shù)的訓(xùn)練式，式(19)為多尺度目標(biāo)檢測(cè)的分類器，從這兩個(gè)式子可以看出，輸入的數(shù)據(jù)只是不同尺度的基樣本向量、檢測(cè)圖塊向量和相應(yīng)的核向量， 要將式(15)和式(19)推廣到二維圖像只需將輸入數(shù)據(jù)換成二維基樣本、二維檢測(cè)圖塊和對(duì)應(yīng)的核矩陣。響應(yīng)值的形式還依賴于樣本的標(biāo)記形式，本文采用連續(xù)性標(biāo)記方式對(duì)二維基樣本進(jìn)行可信度標(biāo)記(見(jiàn)圖3)，目標(biāo)中心可信度最高(為1)，隨著離目標(biāo)中心距離的增加可信度逐漸降低，計(jì)算方法見(jiàn)實(shí)驗(yàn)的預(yù)處理部分。

本文多尺度核相關(guān)濾波分類器的響應(yīng)值為一序列代表可信度的矩陣(見(jiàn)圖3)，以矩陣最大元素值作為新目標(biāo)最佳尺度和最佳位置的可信度，最大元素值最大的矩陣對(duì)應(yīng)的尺度為新目標(biāo)的最佳尺度，最大元素值在該矩陣中的位置為新目標(biāo)的最佳中心位置。圖3中，待檢測(cè)圖塊通過(guò)分類器檢測(cè)后，得到對(duì)應(yīng)的5個(gè)響應(yīng)值矩陣，其中最大可信度為0.98，對(duì)應(yīng)的樣本尺度與基樣本尺度比值為1.0(因?yàn)槌叨葲](méi)有發(fā)生變化)，該尺度即為新目標(biāo)的最佳尺度，最大可信度在響應(yīng)值矩陣中的位置為新目標(biāo)的位置，也就是矩陣中的亮點(diǎn)位置。

圖3 位置檢測(cè)與尺度估計(jì)

1.4 尺度自適應(yīng)目標(biāo)跟蹤流程

尺度自適應(yīng)的目標(biāo)跟蹤器具有目標(biāo)檢測(cè)和尺度估計(jì)兩個(gè)功能，跟蹤流程主要包括構(gòu)建多尺度樣本集序列、訓(xùn)練多尺度分類器、實(shí)現(xiàn)目標(biāo)檢測(cè)和尺度估計(jì)以及在線更新等幾個(gè)步驟，見(jiàn)圖4。

目標(biāo)狀態(tài)信息包括目標(biāo)的位置信息和尺度信息。流程的循環(huán)由2個(gè)更新實(shí)現(xiàn)，一個(gè)是目標(biāo)檢測(cè)完成后，由下一幀更新當(dāng)前幀，另一個(gè)是由新的目標(biāo)狀態(tài)信息更新上一幀目標(biāo)狀態(tài)信息，如此不斷循環(huán)，直到視頻序列的最后一幀結(jié)束。對(duì)每幀圖像(除第一幀外)都要進(jìn)行2次圖像塊的截取操作，第一次以上一幀中檢測(cè)到的目標(biāo)位置為坐標(biāo)截取圖像塊，作為檢測(cè)圖塊，第二次以當(dāng)前幀中目標(biāo)的位置為坐標(biāo)截取圖像塊，作為基樣本圖塊，第一幀圖像是以給定的目標(biāo)狀態(tài)信息直接進(jìn)行樣本圖像塊的截取。

分類器的在線更新包括實(shí)時(shí)更新分類參數(shù)和用于計(jì)算互相關(guān)核的基樣本，分類參數(shù)的更新由新樣本訓(xùn)練得到的參數(shù)和前面所有參數(shù)線性組合完成，基樣本的更新由新樣本和前面所有基樣本線性組合完成。新樣本根據(jù)新的最佳尺度對(duì)目標(biāo)采樣得到，線性組合時(shí)，如果新目標(biāo)有尺度變化，前面所有幀的分類參數(shù)和基樣本都要先通過(guò)縮放處理與新目標(biāo)保持相同尺度后，再線性組合。因?yàn)榫€性組合要考慮前面所有幀，本文采用迭代加和的方式進(jìn)行更新。如果用new_α表示新參數(shù)，now_α表示前面所有幀參數(shù)的線性組合：

now_α=(1-interp_factor)*ProcessFun(now_α,scale)+interp_factor*new_α

(20)

如果用new_x表示新樣本，now_x表示前面所有幀樣本的線性組合：

now_x=(1-interp_factor)*ProcessFun(now_x,scale)+interp_factor*new_x

(21)

其中，interp_factor表示迭代參數(shù)，決定新參數(shù)和新樣本在線性組合中所占比重，ProcessFun是式(2)中的圖像縮放函數(shù)，scale表示舊尺度和新尺度的比值。

圖4 尺度自適應(yīng)目標(biāo)跟蹤流程

2 對(duì)比實(shí)驗(yàn)與分析

為了驗(yàn)證本文算法的優(yōu)劣，選擇尺寸變化、跟蹤精度以及跟蹤幀率三個(gè)指標(biāo)進(jìn)行定性分析，并與CSK算法進(jìn)行比較。實(shí)驗(yàn)硬件環(huán)境為IntelXeonE3-1231V3 3.40GHzCPU，8GBRAM；軟件環(huán)境為MatlabR2012b。實(shí)驗(yàn)數(shù)據(jù)為實(shí)景拍攝的boy序列和VOT測(cè)試集中目標(biāo)具有尺度變化特性的3個(gè)視頻幀序列。

參數(shù)的設(shè)定與CSK一樣。高斯核函數(shù)的δ=0.2，空間帶寬s=1/16，正則化參數(shù)λ=0.01，插值因子interp_factor=0.075。另外，多尺度樣本數(shù)設(shè)為5，即M=2，縮放步長(zhǎng)a=0.04，scales=(0.92,0.96,1.0,1.04,1.08)。

2.1 預(yù)處理

本文直接以圖像的灰度值作為表觀目標(biāo)的特征進(jìn)行處理和計(jì)算。由于傅里葉變換的周期性不遵循于圖像邊緣，非周期圖像組成循環(huán)矩陣時(shí)，對(duì)邊不連續(xù)性會(huì)導(dǎo)致噪聲傅里葉表示，因此需要對(duì)樣本矩陣進(jìn)行處理。處理的方法是用一個(gè)余弦窗進(jìn)行平滑處理，假設(shè)樣本矩陣為n×n的Xraw，計(jì)算公式如下：

(22)

從式(22)可以看出，將樣本矩陣的邊緣加權(quán)值為0，保證了對(duì)圖像塊作周期延拓時(shí)圖像邊緣的連續(xù)性。

在訓(xùn)練分類器的時(shí)候需要對(duì)樣本進(jìn)行標(biāo)記，也即規(guī)定輸出值的形式，通常的做法是將離目標(biāo)中心近的樣本標(biāo)記為正，離得遠(yuǎn)的標(biāo)記為負(fù)。由于本文的核最小二乘平方損失允許連續(xù)數(shù)值，因此本文用一個(gè)高斯函數(shù)對(duì)樣本進(jìn)行連續(xù)性標(biāo)記，標(biāo)記值為可信度，輸出的響應(yīng)值也是連續(xù)的可信度。高斯函數(shù)標(biāo)記的基本思路是讓接近目標(biāo)中心位置(i′,j′)的可信度為1，然后隨著離目標(biāo)中心距離的增加，可信度遞減到0，并帶一個(gè)參數(shù)s(空間帶寬)，計(jì)算公式如下：

yij=exp(-((i-i′)2+(j-j′)2)/s2); ?i,j=0,1,…,n-1

(23)

樣本的連續(xù)標(biāo)記方式使得輸出的分類響應(yīng)值是空間平滑的，這樣確定的目標(biāo)位置要比二值標(biāo)記的精確得多。

2.2 實(shí)驗(yàn)結(jié)果與分析

圖5為本文改進(jìn)算法和CSK算法在4個(gè)測(cè)試序列上的跟蹤效果圖。矩形跟蹤框?yàn)楸疚母倪M(jìn)算法，橢圓跟蹤框?yàn)镃SK算法，可以看出，CSK算法的跟蹤框尺度始終保持不變，而本文改進(jìn)算法的跟蹤框能隨著目標(biāo)尺寸的變化作相應(yīng)的變化。這說(shuō)明本文算法克服了CSK的缺點(diǎn)，實(shí)現(xiàn)了目標(biāo)尺度的自適應(yīng)跟蹤。

目標(biāo)跟蹤精度根據(jù)目標(biāo)跟蹤軌跡與目標(biāo)真實(shí)軌跡的差距來(lái)評(píng)價(jià)。方法是計(jì)算視頻中每一幀跟蹤中心位置與實(shí)際目標(biāo)中心坐標(biāo)位置的距離，距離d越小表示跟蹤精度越高，反之越低。距離d由式(24)得到：

(24)

其中，(xt,yt)表示當(dāng)前幀的跟蹤中心位置，(xc,yc)表示當(dāng)前幀目標(biāo)實(shí)際中心位置。

從圖6中可以看出，在水平方向上，本文算法與CSK算法跟蹤精度相差不大，而在豎直方向上本文算法明顯比CSK算法精度高。這是因?yàn)楸疚乃惴ǖ哪繕?biāo)跟蹤框尺度能隨著目標(biāo)尺度的變化作相應(yīng)的變化，而CSK算法的跟蹤框尺度始終保持不變，導(dǎo)致目標(biāo)在豎直方向上發(fā)生較大尺度變化時(shí)(參見(jiàn)圖5)，CSK算法的跟蹤框雖然還在目標(biāo)上，中心位置卻已遠(yuǎn)離目標(biāo)中心，而最根本的原因是CSK算法不能適應(yīng)目標(biāo)的尺度變化，導(dǎo)致采樣訓(xùn)練時(shí)沒(méi)有采集到目標(biāo)的全貌，也沒(méi)有足夠的背景信息，最終導(dǎo)致分類器精度下降，跟蹤精度降低。本文的算法能根據(jù)目標(biāo)的尺度實(shí)時(shí)更新跟蹤框的尺度，隨時(shí)保證采樣的質(zhì)量和分類器的精度，提高了跟蹤精度。圖7是根據(jù)式(24)計(jì)算得到的本文算法、CSK算法跟蹤軌跡與真實(shí)軌跡的誤差圖。

圖6 boy序列跟蹤軌跡

圖7 跟蹤框中心偏移目標(biāo)中心距離圖

從圖7可以看出，本文算法跟蹤框中心位置偏移目標(biāo)中心的距離都在5個(gè)像素之內(nèi)，比CSK算法低得多，特別是對(duì)長(zhǎng)時(shí)間的目標(biāo)跟蹤效果更加明顯。跟蹤軌跡與真實(shí)軌跡的誤差可以作為跟蹤目標(biāo)的置信度，如果這個(gè)誤差大于一定閾值，就判定為跟蹤失敗，誤差越小跟蹤精度越高，反之越低。

下面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行總體定量評(píng)價(jià)，跟蹤精度根據(jù)估計(jì)目標(biāo)中心位置偏移實(shí)際目標(biāo)中心位置平均距離(偏心距)來(lái)評(píng)定，見(jiàn)表1；跟蹤速度(Frames-Per-Second,PFS)由幀數(shù)與跟蹤時(shí)長(zhǎng)的比值來(lái)評(píng)定，見(jiàn)表2。結(jié)果評(píng)價(jià)較優(yōu)的以下劃線顯示。

表1 估計(jì)目標(biāo)中心位置偏移實(shí)際目標(biāo)中心位置平均距離像素

表2 跟蹤速度 幀/s

通過(guò)表1和表2可以看出，本文算法的跟蹤精度明顯優(yōu)于CSK算法，偏心距誤差減少至其1/5～1/3，但也因此損失了跟蹤速度。雖然跟蹤速度有所降低，但是仍然沒(méi)有影響到視覺(jué)的流暢性，因?yàn)槿搜鄣囊曈X(jué)暫留，只要幀率(FPS)大于24就感覺(jué)流暢了。另外，目標(biāo)尺度(包含的像素總數(shù))對(duì)跟蹤速度也有影響，在其他變量相同的情況下，尺度越小，跟蹤速度越快，反之越慢。

3 結(jié)語(yǔ)

本文采用不同尺度圖像構(gòu)建多尺度樣本集，訓(xùn)練多尺度核相關(guān)濾波分類器，在目標(biāo)檢測(cè)的基礎(chǔ)上增加了尺度估計(jì)功能，通過(guò)在線更新目標(biāo)尺度形成尺度監(jiān)控機(jī)制，成功實(shí)現(xiàn)了CSK跟蹤算法的尺度自適應(yīng)改進(jìn)，同時(shí)提高了算法跟蹤精度和魯棒性。不足之處是算法復(fù)雜度對(duì)跟蹤速度有所影響；此外，本文算法的檢測(cè)器只能在局部區(qū)域進(jìn)行目標(biāo)檢測(cè)，當(dāng)目標(biāo)在幀間突然發(fā)生大位移，超出檢測(cè)區(qū)域，會(huì)導(dǎo)致跟蹤失敗，因此，考慮多核處理和GPU并行架構(gòu)對(duì)算法的實(shí)時(shí)性進(jìn)行改善，增加目標(biāo)跟蹤失敗的補(bǔ)救機(jī)制，增強(qiáng)算法的實(shí)用性，將是下一步研究的重點(diǎn)。

)

[1] 陳東成.基于機(jī)器學(xué)習(xí)的目標(biāo)跟蹤技術(shù)研究[D].北京:中國(guó)科學(xué)院大學(xué),2015:6-7.(CHENDC.Researchofthetechniquesofobjecttrackingbasedonmachinelearning[D].Beijing:UniversityoftheChineseAcademyofSciences, 2015: 6-7.)

[2]CHENGYH,WANGJ.Amotionimagedetectionmethodbasedontheinter-framedifferencemethod[J].AppliedMechanicsandMaterials, 2014, 490: 1283-1286.

[3]LAIH,ZHUY,NONGZ.Animprovedbackgroundsubtractionapproachintargetdetectionandtracking[C]//ICMV2013:Proceedingsofthe6thInternationalConferenceonMachineVision.Bellingham,WA:SPIE, 2013, 9067: 10-13.

[4]WEDELA,POCKT,ZACHC,etal.AnimprovedalgorithmforTV-L1optical flow [M]// Statistical and Geometrical Approaches to Visual Motion Analysis, LNCS 5604. Berlin: Springer, 2008: 23-45.

[5] GRABNER H, LEISTNER C, BISCHOF H. Semi-supervised on- line boosting for robust tracking [C]// ECCV ’08: Proceedings of the 10th European Conference on Computer Vision. Berlin: Springer, 2008: 234-247.

[6] BABENKO B, YANG M-H, BELONQIE S. Robust object tracking with online multiple instance learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1619-1632.

[7] AVIDAN S. Support vector tracking [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(8): 1064-1072.

[8] SAFFARI A, LEISTNER C, SANTNER J, et al. On-line random forests [C]// Proceedings of the 2009 IEEE 12th International Conference on Computer Vision Workshops. Piscataway, NJ: IEEE, 2009: 1393-1400.

[9] KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409-1422.

[10] HENRIQUES J F, CAESIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels [C]// ECCV ’12: Proceedings of the 12th European Conference on Computer Vision. Berlin: Springer, 2012: 702-715.

[11] HENRIQUES J F, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[12] DANELLJAN M, KHAN F S, FELSBERG M, et al. Adaptive color attributes for real-time visual tracking [C]// CVPR ’14: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2014: 1090-1097.

[13] 李英明，夏海宏.雙二次B-樣條插值圖像縮放[J].中國(guó)圖象圖形學(xué)報(bào),2011,16(10):1937-1943.(LI Y M, XIA H H. Double two B-spline interpolation image scaling [J]. Journal of Image and Graphics, 2011, 16(10): 1937-1943.)

[14] 夏海宏.圖像縮放及其GPU實(shí)現(xiàn)[D].杭州:浙江大學(xué),2010:10-11.(XIA H H. Image scaling and its GPU implementation [D]. Hangzhou: Zhejiang University, 2010: 10-11.)

[15] 阮秋琦.數(shù)字圖像處理學(xué)[M].北京:電子工業(yè)出版社,2013:130-135.(RUAN Q Q. Digital Image Processing [M]. Beijing: Publishing House of Electronics Industry, 2013: 130-135.)

[16] BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters [C]// Proceedings of the 2010 Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2010: 2544-2550.

[17] SCH?LKOPF B, SMOLA A J. Learning with kernels: support vector machines, regularization, optimization, and beyond [M]. Cambridge, MA: MIT Press, 2001.

[18] ORON S, BAR-HILLEL A, LEVI D, et al. Locally orderless tracking [C]// CVPR ’12: Proceedings of the 2012 IEEE Conference on Computer Vision an Pattern Recognition. Washington, DC: IEEE Computer Society, 2012: 1940-1947.

[19] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]// CVPR ’05: Proceedings of the 2005 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2005: 886-893.

[20] VAPNIK V N. Statistical learning theory [J]. Encyclopedia of the Sciences of Learning, 2010, 41(4): 3185-3185.

QIAN Tanghui, born in 1989, M. S. candidate. His research interests include target tracking.

LUO Zhiqing, born in 1963, M. S., associate professor. His research interests include digital mapping, GIS.

LI Guojia, born in 1992, M. S. candidate. Her research interests include visual tracking.

LI Yingyun, born in 1991, M. S. candidate. Her research interests include smoke identification.

LI Xiankai, born in 1992, M. S. candidate. His research interests include moving object detection.

Scale adaptive improvement of kernel correlation filter tracking algorithm

QIAN Tanghui, LUO Zhiqing*, LI Guojia, LI Yingyun, LI Xiankai

(CollegeofLandandResourcesEngineering,KunmingUniversityofScienceandTechnology,KunmingYunnan650093,China)

To solve the problem that Circulant Structure of tracking-by-detection with Kernels (CSK) is difficult to adapt to the target scale change, a multi-scale kernel correlation filter classifier was proposed to realize the scale adaptive target tracking. Firstly, the multi-scale image was used to construct the sample set, the multi-scale kernel correlation filtering classifier was trained by the sample set, for target size estimation to achieve the goal of the optimal scale detection, and then the samples collected on the optimal target scale were used to update the classifier on-line to achieve the scale-adaptive target tracking. The comparative experiments and analysis illustrate that the proposed algorithm can adapt to the scale change of the target in the tracking process, the error of the eccentricity is reduced to 1/5 to 1/3 that of CSK algorithm, which can meet the needs of long time tracking in complex scenes.

target tracking; multi-scale image; self-adaption; Kernel Correlation Filter (KCF)

2016- 09- 26;

2016- 10- 21。

錢堂慧(1989—)，男，云南曲靖人，碩士研究生，主要研究方向：目標(biāo)跟蹤； 羅志清(1963—)，男，云南玉溪人，副教授，碩士，主要研究方向：數(shù)字化測(cè)圖、GIS； 李果家(1992—)，女，云南昆明人，碩士研究生，主要研究方向：視覺(jué)跟蹤； 李應(yīng)蕓(1991—)，女，云南保山人，碩士研究生，主要研究方向：煙霧識(shí)別； 李顯凱(1992—)，男，云南楚雄人，碩士研究生，主要研究方向：運(yùn)動(dòng)目標(biāo)檢測(cè)。

http://www.cnki.net/kcms/detail/51.1307.TP.20161122.1415.002.html。

1001- 9081(2017)03- 0811- 06

10.11772/j.issn.1001- 9081.2017.03.811

TP

A