李玄 劉倩玉

【摘 要】基于視覺(jué)的目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)的一個(gè)重要應(yīng)用，對(duì)于視覺(jué)跟蹤系統(tǒng)來(lái)說(shuō)，跟蹤算法的性能極為關(guān)鍵。本文提出了一種快速魯棒的壓縮跟蹤方法，這種方法通過(guò)檢測(cè)的方式來(lái)實(shí)現(xiàn)跟蹤，即它通過(guò)在每一幀檢測(cè)目標(biāo)來(lái)實(shí)現(xiàn)對(duì)目標(biāo)的持續(xù)跟蹤。加權(quán)壓縮特征的使用使得算法在存在遮擋的情況下效果很好，同時(shí)極限學(xué)習(xí)機(jī)的使用保證了跟蹤速度的提升。實(shí)驗(yàn)結(jié)果表明算法的跟蹤準(zhǔn)確度很高，速度快，魯棒性好，特別適用于一些存在著快速運(yùn)動(dòng)以及遮擋的場(chǎng)合。

【關(guān)鍵詞】目標(biāo)跟蹤；加權(quán)壓縮特征；極限學(xué)習(xí)機(jī)

中圖分類(lèi)號(hào)： TP391.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 2095-2457（2018）08-0022-003

A fast and robust weighted compressive tracking method

LI Xuan1 LIU Qian-yu2

（1.Xi'an Institute of Navigation Technology，Xi'an 710068，Shaanxi，China；

2.Xi'an Microelectronic Technology Institute，Xi'an 710000，Shaanxi，China）

【Abstract】Visual tracking system plays an important role in various computer vision applications. The tracking algorithm is very crucial for visual tracking system. A robust weighted compressive tracking method is proposed in this article. The proposed algorithm belongs to tracking by detection methods which regards tracking as detecting target in each frame. The use of weighted compressive features benefits the circumstance of occlusion while ELM guarantees the tracking speed of the algorithm. The experiment shows that the algorithm has good performance in terms of efficiency， accuracy and tracking speed. It is very robust and efficient in the case of abrupt movement and occlusion.

【Key words】Target tracking；Weighted compressive features；Extreme machine learning

0 摘要

視覺(jué)跟蹤是計(jì)算機(jī)視覺(jué)的一個(gè)重要應(yīng)用，很多場(chǎng)合都用到視覺(jué)跟蹤，比如說(shuō)監(jiān)控、火控系統(tǒng)、車(chē)輛導(dǎo)航、智能機(jī)器人、行為識(shí)別以及導(dǎo)彈制導(dǎo)。對(duì)攝像機(jī)中的目標(biāo)進(jìn)行跟蹤是一項(xiàng)富有挑戰(zhàn)性的工作，主要是由于以下三個(gè)因素：（1）跟蹤系統(tǒng)需要對(duì)目標(biāo)的姿態(tài)變化、旋轉(zhuǎn)以及遮擋具有很強(qiáng)的魯棒性；（2）跟蹤系統(tǒng)應(yīng)該能夠有效應(yīng)對(duì)相機(jī)或者目標(biāo)的突然運(yùn)動(dòng)；（3）跟蹤系統(tǒng)應(yīng)該能在一些對(duì)實(shí)時(shí)性要求較高的場(chǎng)合具有很好的表現(xiàn)。

通常來(lái)說(shuō)，跟蹤系統(tǒng)應(yīng)該包含以下三個(gè)要素：外觀模型、運(yùn)動(dòng)模型以及在當(dāng)前幀搜尋目標(biāo)位置的策略。本文主要關(guān)注的是外觀模型。它是由物體的表現(xiàn)模型和統(tǒng)計(jì)模型兩部分構(gòu)成。物體的表現(xiàn)模型主要關(guān)注的是如何用不同的特征去設(shè)計(jì)一個(gè)魯棒的特征描述子。統(tǒng)計(jì)特征模型研究的是如何根據(jù)特征描述子用一些統(tǒng)計(jì)學(xué)的方法去搜尋目標(biāo)位置。

視覺(jué)跟蹤領(lǐng)域的物體表現(xiàn)模型可以被分為2類(lèi)：全局特征描述方式和局部特征描述方式。全局特征描述方式模擬的是對(duì)象外觀的整體特征。原始像素值和顏色直方圖比較簡(jiǎn)單有效，是兩種使用最為廣泛的全局特征描述子。例如，均值漂移[1-3]使用顏色直方圖來(lái)查找 下一幀的目標(biāo)位置。和全局特征描述方式不同，Haar-like 特征或Hog特征等局部特征描述方式在光照變化、姿態(tài)改變以及非剛性形變中表現(xiàn)良好，這是因?yàn)樗鼈兛梢跃幋a物體表現(xiàn)模型的局部結(jié)構(gòu)信息。

通過(guò)檢測(cè)來(lái)實(shí)現(xiàn)跟蹤的方法將跟蹤看成一個(gè)檢測(cè)問(wèn)題，近年來(lái)已經(jīng)引起了很多關(guān)注。通過(guò)檢測(cè)來(lái)實(shí)現(xiàn)跟蹤的方法可以被分為兩類(lèi)，一類(lèi)是生成模型，一類(lèi)是判別模型。生成模型通過(guò)學(xué)習(xí)得到一個(gè)模型來(lái)表示目標(biāo)對(duì)象，然后使用它以最小的重建誤差搜索圖像區(qū)域。這方面的典型代表就是跟蹤算法，通過(guò)一系列目標(biāo)與其他模板的稀疏線性組合對(duì)物體進(jìn)行建模，但是這種方法的計(jì)算復(fù)雜度非常高。判別模型將跟蹤問(wèn)題看成一個(gè)目標(biāo)鄰域內(nèi)的二值分類(lèi)問(wèn)題，判斷將目標(biāo)和背景分割開(kāi)來(lái)的決策邊界。

本文的主要目的是尋找一個(gè)更加有效的物體表現(xiàn)模型以及更加魯棒的統(tǒng)計(jì)模型，并提出了一種簡(jiǎn)單有效的算法。它嚴(yán)格意義上屬于判別模型，將跟蹤問(wèn)題看成一個(gè)目標(biāo)鄰域內(nèi)的二值分類(lèi)問(wèn)題，目標(biāo)是尋找一個(gè)能將目標(biāo)和背景區(qū)分開(kāi)來(lái)的最佳決策邊界。為了減少邊界被遮擋產(chǎn)生的干擾以及圖像質(zhì)量的不利影響，本文應(yīng)用高斯核函數(shù)生成加權(quán)特征圖像。本文的外觀模型通過(guò)測(cè)量矩陣從加權(quán)多尺度圖像特征空間中提取加權(quán)壓縮特征。盡管壓縮特征的尺寸遠(yuǎn)遠(yuǎn)低于原始的加權(quán)多尺度圖像特征空間的維度，加權(quán)壓縮特征可以保留絕大部分的顯著信息。最后，本文使用ELM[4-6]（極限學(xué)習(xí)機(jī)）來(lái)對(duì)正樣本以及負(fù)樣本進(jìn)行區(qū)分，選取最有可能是目標(biāo)的那個(gè)正樣本。

1 加權(quán)壓縮特征

為了提取加權(quán)壓縮特征，執(zhí)行以下一系列步驟：

首先用一個(gè)高斯低通濾波器來(lái)對(duì)每一個(gè)樣本進(jìn)行卷積：

式（1）中f（x，y）表示原始圖像中每一點(diǎn)的像素值，k（.）代表高斯核函數(shù)。（x0，y0）表示樣本的中心點(diǎn)坐標(biāo)。根據(jù)每一點(diǎn)到中心點(diǎn)的距離來(lái)為它們添加權(quán)重。兩者之間距離越短，權(quán)重越大，距離越長(zhǎng)，權(quán)重越小。這樣做的好處是會(huì)減小容易受到外界干擾的邊緣的影響，可以進(jìn)一步提高跟蹤算法的有效性、準(zhǔn)確性以及魯棒性。

文章《實(shí)時(shí)壓縮跟蹤》[7]首次提出了壓縮特征[11-12]，它采取了非常稀疏測(cè)量矩陣來(lái)對(duì)正樣本以及負(fù)樣本進(jìn)行特征提取。非常稀疏測(cè)量矩陣近似保留了原始信號(hào)兩兩之間的距離，并且減小了計(jì)算負(fù)擔(dān)。

為了更好地解決尺度問(wèn)題，本文提取了目標(biāo)的多尺度特征，具體方法如下：用一系列的多尺度矩形濾波器{h1，1，…，hw，h}與每一個(gè)加權(quán)樣本z∈Rw×h做卷積，多尺度矩形濾波器的定義如下：

式（2）中i和j分別是矩形濾波器的寬和長(zhǎng)。矩形濾波器的寬的最大值是加權(quán)樣本的寬度，高的最大值是加權(quán)樣本的高度，卷積過(guò)后可以得到一張高維多尺度特征圖像I∈R。把高維多尺度特征圖像的每一列拿出來(lái)連成一個(gè)超高維向量X，它的維數(shù)是在106到1010之間。為了降低計(jì)算復(fù)雜度，提高跟蹤速度，本文采取了壓縮感知[8]領(lǐng)域的非常稀疏測(cè)量矩陣來(lái)提取高維多尺度加權(quán)特征向量中的有用信息，如式（3）所示：

非常稀疏測(cè)量矩陣R的定義如下：

非常稀疏測(cè)量矩陣R可以用一個(gè)隨機(jī)數(shù)發(fā)生器來(lái)產(chǎn)生。當(dāng)s等于2或者3時(shí)，非常稀疏測(cè)量矩陣滿足Johnson-Lindenstrauss定理和有限等距性質(zhì)[7]。一方面，低維加權(quán)壓縮特征子空間保留了原始加權(quán)多尺度特征空間的大部分信息，可以以最小誤差完美重構(gòu)原始信號(hào)。另一方面，v的維度比原始信號(hào)X的維度要小得多，這樣可以減輕計(jì)算負(fù)擔(dān)，提高跟蹤速度。此外，非常稀疏測(cè)量矩陣中的大部分元素都是0，這樣就可以降低存儲(chǔ)負(fù)擔(dān)。

2 極限學(xué)習(xí)機(jī)[4-6]

極限學(xué)習(xí)機(jī)最開(kāi)始的時(shí)候是針對(duì)SLFNs（單隱層前饋神經(jīng)網(wǎng)絡(luò)）提出的，后來(lái)被擴(kuò)展到廣義SLFN中。在網(wǎng)絡(luò)權(quán)重初始化的時(shí)候隨機(jī)選擇輸入權(quán)重和隱藏層偏差，訓(xùn)練過(guò)程中不需要再調(diào)整它們，這樣會(huì)使得確保訓(xùn)練精度的同時(shí)顯著加快訓(xùn)練速度。此外，ELM克服了BP算法的局限性，如過(guò)度訓(xùn)練和局部最小化等問(wèn)題。 總而言之，ELM的結(jié)構(gòu)比其他網(wǎng)絡(luò)簡(jiǎn)單，其泛化能力也得到了很大的提高。

針對(duì)廣義SLFN所提出的的極限學(xué)習(xí)機(jī)算法的輸出函數(shù)定義如下：

式（7）中hi（xj）=h（wixj+bi），wi=[wi1，wi2，…win]T表示第i個(gè)隱藏層節(jié)點(diǎn)和n個(gè)輸出節(jié)點(diǎn)之間的權(quán)重向量。bi是第i個(gè)隱藏層節(jié)點(diǎn)的偏置向量。式（7）中，βi=[βi1，βi2，…bim]T，βim表示第i個(gè)隱含節(jié)點(diǎn)和第m個(gè)輸出節(jié)點(diǎn)之間的權(quán)重。ELM不再使用標(biāo)準(zhǔn)優(yōu)化方法而是使用最小二乘法來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

β=H+T（10）

式（10）中H+是矩陣H的Moore-Penrose廣義逆矩陣，它可以通過(guò)正交投影法得到。當(dāng)HTH是奇異的時(shí)候，H+=（HTH）-1HT。當(dāng)HTH是非奇異的時(shí)候，H+=HT（HHT）-1。

3 所提算法

作為一種通過(guò)檢測(cè)來(lái)實(shí)現(xiàn)跟蹤的方法，本文所提算法的主要目標(biāo)是尋找一個(gè)能將背景和目標(biāo)區(qū)分開(kāi)來(lái)的最好方式，并進(jìn)一步找到當(dāng)前時(shí)刻最有可能存在目標(biāo)的位置。具體步驟如圖1所示。

本文設(shè)置ELM輸出節(jié)點(diǎn)的數(shù)目為2，假設(shè)第一幀目標(biāo)位置已知，在當(dāng)前目標(biāo)位置的鄰域內(nèi)提取一系列的正樣本，同時(shí)在遠(yuǎn)離當(dāng)前目標(biāo)的位置處提取一系列的負(fù)樣本，將正樣本的標(biāo)簽設(shè)為[1 0]，將負(fù)樣本的標(biāo)簽設(shè)為[0 1]。在訓(xùn)練的過(guò)程中，利用N個(gè)樣本根據(jù)式（10）去調(diào)整ELM的系數(shù)，以求以最小的誤差將正負(fù)樣本區(qū)分開(kāi)來(lái)。預(yù)測(cè)階段，在下一幀中原始目標(biāo)附近的區(qū)域選取目標(biāo)候選，用訓(xùn)練好的分類(lèi)器選取得分最高的目標(biāo)候選作為真實(shí)的目標(biāo)。詳細(xì)過(guò)程如下所示。

對(duì)于每個(gè)目標(biāo)候選，本文使用已經(jīng)訓(xùn)練好的ELM分類(lèi)器去預(yù)測(cè)輸出。輸出神經(jīng)元給出2個(gè)值，分別是z1和z2，然后再用softmax函數(shù)去計(jì)算每個(gè)目標(biāo)候選分別屬于目標(biāo)和背景的概率p（y=1|x）和p（y=0|x），如式（11）所示。p（y=1|x）和p（y=0|x）加起來(lái)為1，根據(jù)式（12），將分類(lèi)響應(yīng)最大的目標(biāo)候選作為當(dāng)前幀的真實(shí)目標(biāo)。

算法的詳細(xì)步驟如表1 所示。

5 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證所提算法的有效性，本文在擁有Pentium Core 2.5 GHz GPU和6GB RAM 的計(jì)算機(jī)上利用Visual Studio 2013進(jìn)行了實(shí)驗(yàn)。本文重復(fù)測(cè)試10次，并從2方面來(lái)評(píng)估算法的性能。一方面是平均中心誤差，可以通過(guò)計(jì)算人工標(biāo)定的真實(shí)目標(biāo)位置和預(yù)測(cè)位置之間的差異來(lái)得到，度量標(biāo)準(zhǔn)是像素。第二個(gè)指標(biāo)是平均每秒跟蹤幀數(shù)，這是跟蹤算法速度的客觀評(píng)價(jià)指標(biāo)。

兩個(gè)實(shí)驗(yàn)分別研究的是算法對(duì)遮擋的魯棒性以及對(duì)于快速運(yùn)動(dòng)和旋轉(zhuǎn)的魯棒性，第一個(gè)實(shí)驗(yàn)中，一個(gè)男孩邊跳邊轉(zhuǎn)動(dòng)他的臉，第二個(gè)實(shí)驗(yàn)中，一個(gè)女孩用一本書(shū)遮住了她的大部分臉并逐漸移開(kāi)。 本文還通過(guò)實(shí)驗(yàn)將快速魯棒的加權(quán)壓縮跟蹤方法和其余三種方法進(jìn)行了對(duì)比，它們分別是TLD跟蹤算法、l1跟蹤算法以及均值漂移跟蹤算法。本文利用平均中心誤差（CLE）和平均每秒跟蹤幀數(shù)（FPS）作為跟蹤精度和跟蹤速度的評(píng)價(jià)指標(biāo)，來(lái)對(duì)2段實(shí)驗(yàn)視頻進(jìn)行了評(píng)估，實(shí)驗(yàn)結(jié)果如表 2 所示。

由表2可知，快速魯棒的加權(quán)壓縮跟蹤方法和其他三種方法相比，具有更高的效率，準(zhǔn)確性和快速性。其中一個(gè)原因是加權(quán)壓縮特征的使用通過(guò)給目標(biāo)中心的像素值添加更大的權(quán)重，保留了目標(biāo)中心區(qū)域的有效信息，給容易受到外部環(huán)境干擾的目標(biāo)邊緣區(qū)域處的像素值添加更小的權(quán)重，可以有效抵抗遮擋的干擾。另一個(gè)原因是和大部分神經(jīng)網(wǎng)絡(luò)一樣，經(jīng)過(guò)訓(xùn)練的ELM分類(lèi)器可以有效存儲(chǔ)目標(biāo)和背景的有用信息。和其他神經(jīng)網(wǎng)絡(luò)相比，它的結(jié)構(gòu)更為簡(jiǎn)單，參數(shù)總量更小。訓(xùn)練時(shí)并不需要計(jì)算輸入層、隱藏層以及輸出層之間的權(quán)重和偏置，只需要計(jì)算輸入層到輸出層之間的權(quán)重即可，極大地減輕了計(jì)算負(fù)擔(dān)，提高了計(jì)算速度。下面會(huì)詳細(xì)解釋本文算法在兩段視頻上的效果。

快速運(yùn)動(dòng)， 低光照和姿態(tài)變化 圖 2 中藍(lán)色、綠色、紅色和黑色的框分別代表了加權(quán)壓縮跟蹤方法、TLD跟蹤算法、均值漂移跟蹤算法以及 跟蹤算法的實(shí)驗(yàn)效果。在第一段視頻中男孩的面部隨著他的跳躍發(fā)生了快速的劇烈運(yùn)動(dòng)，并且在跳躍的過(guò)程中發(fā)生了旋轉(zhuǎn)等姿態(tài)變化，光照條件也較為昏暗，這對(duì)進(jìn)行實(shí)時(shí)準(zhǔn)確的跟蹤都是一個(gè)不小的挑戰(zhàn)。本文所提算法的幀率最高，為41幀每秒，平均中心誤差最小，為12個(gè)像素，性能效果遠(yuǎn)遠(yuǎn)優(yōu)于其他三種方法。

遮擋在第二段視頻中，目標(biāo)經(jīng)歷了很?chē)?yán)重的遮擋。只有本文所提算法和TLD算法的實(shí)驗(yàn)效果很好。毫無(wú)疑問(wèn)，這是由于所提算法使用了加權(quán)壓縮特征。將加權(quán)多尺度特征空間投影到維數(shù)遠(yuǎn)遠(yuǎn)降低的加權(quán)壓縮特征空間，這樣做不僅可以減輕計(jì)算負(fù)擔(dān)，極大地提高跟蹤速度，同時(shí)低維特征空間保留了原始加權(quán)多尺度特征空間的絕大部分信息，利用低維壓縮特征去訓(xùn)練分類(lèi)器并預(yù)測(cè)目標(biāo)位置并不會(huì)降低跟蹤的準(zhǔn)確性、有效性以及魯棒性。此外ELM分類(lèi)器的快速訓(xùn)練特性在保證跟蹤精度的同時(shí)提高了跟蹤的實(shí)時(shí)性。

5 結(jié)論

本文提出了一種快速魯棒的加權(quán)壓縮跟蹤方法。它通過(guò)從目標(biāo)和背景的多尺度特征空間中提取它們的加權(quán)壓縮特征，充分利用了目標(biāo)和背景兩方面的信息，并利用訓(xùn)練方便快速的ELM分類(lèi)器來(lái)對(duì)目標(biāo)和背景進(jìn)行分類(lèi)，尋找當(dāng)前時(shí)刻目標(biāo)的位置。實(shí)驗(yàn)結(jié)果表明，算法在存在遮擋和快速運(yùn)動(dòng)情況下的實(shí)驗(yàn)效果均很好，既保證了跟蹤精度，又提高了跟蹤速度。未來(lái)還應(yīng)進(jìn)一步驗(yàn)證算法在復(fù)雜背景下的實(shí)驗(yàn)性能。

【Reference】

[1]SMITH S M，BRADY J M.SUSAN-a new approach to low level image processing[J].International Journal of Computer Vision.1997，23（1）：45-78.

[2]CHENG Y.Mean Shift，mode seeking，and clustering[J].IEEE Transactions on Pattern Analysis and MachineIntelligence.1995，17（8）：790-799.

[3]COMANICIU D，P M.Mean Shift：A robust application toward feature space analysis [J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2002，24（5）：603～619.

[4]HUANG G B，ZHU Q U，SIEW C K.Extreme learning machine：a new learning scheme of feedforward neural networks [C]，Proceedings of IJCNN.Budapest，2004：985-990.

[5]HUANG G B， ZHU Q U， SIEW C K. Extreme learning machine： theory and applications [J]. Neurocomputing， 2006， 70（1-3）：489-501.

[6]HUANG G B， CHEN L， SIEW C K. Universal approximation using incremental constructive feedforward networks with random hidden nodes [J]. IEEE Transactions on Neural Networks， 2006， 17（4）：879.

[7]ZHANG K H， ZHANG L， YANG M S. Real-time compressive tracking [C]， Proceedings of European Conference on Computer Vision ， Florence， 2012： 864-877.

[8]DONOHO D L. Compressed sensing [J]. IEEE Transactions on Information Theory， 2006， 52（4）：1289-1306.

[9]KALAL Z， MIKOLAJCZYK K， MATAS J. Tracking-learning-detection [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2012， 34（7）：1409-1422.

[10]MEI X， LING H B. Robust visual tracking using L1 minimization[C]. Proceedings of ICCV， Kyoto， 2009：1436-1443.

[11] SUBBAN R， GURIA S， PASUPATHI P， et al. Real-time compressive tracking -a study and review[J]. International Journal of Emerging Technologies in Computational and Applied Sciences， 2014， 7（2）：14-146.

[12]LI G， WANG W， WANG Y， et al. Nano-manipulation based on real-time compressive tracking[J]. IEEE Transactions on Nanotechnology， 2015， 14（5）：837-846.

[13]PAN S， SHI L， GUO S. A kinect-based real-time compressive tracking prototype system for amphibious spherical robots[J]. Sensors， 2015， 15（4）：8232.