岳晨晨，侯志強(qiáng)*，余旺盛，蒲 磊，馬素剛

于魯棒PCA的視覺(jué)跟蹤算法

岳晨晨1,2，侯志強(qiáng)1,2*，余旺盛3，蒲 磊3，馬素剛1,2

1西安郵電大學(xué)計(jì)算機(jī)學(xué)院，陜西 西安 710121；2西安郵電大學(xué)陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；3空軍工程大學(xué)信息與導(dǎo)航學(xué)院，陜西 西安 710077

目前使用顏色屬性特征表征目標(biāo)的幾種主流算法中，均使用主成分分析法(PCA)處理顏色屬性特征，而PCA方法假設(shè)輸入數(shù)據(jù)中存在的噪聲必須服從高斯分布，該方法存在明顯不足。針對(duì)這一問(wèn)題，本文根據(jù)魯棒主成分分析法(Robust PCA)對(duì)顏色屬性特征進(jìn)行處理。將輸入圖像從原始RGB顏色空間映射至顏色屬性空間，得到11種不同的顏色屬性層；之后，基于Robust PCA處理顏色屬性特征，使得映射后的圖片信息都集中在少數(shù)層上，在保留原始圖片大量信息的前提下濾除噪聲。本文將使用Robust PCA處理后的顏色屬性特征用于原始CN算法框架中并設(shè)置不同的降維層數(shù)對(duì)比其帶來(lái)的算法性能差異。在OTB100中，與原始CN框架相比，算法成功率提升1.0%，精度提升0.9%。經(jīng)實(shí)驗(yàn)數(shù)據(jù)證明，通過(guò)Robust PCA處理后的顏色屬性特征具有更強(qiáng)的魯棒性，可以更好地發(fā)揮出其優(yōu)勢(shì)并提升算法性能。

目標(biāo)跟蹤；PCA；魯棒PCA；顏色屬性

1 引 言

在目標(biāo)跟蹤領(lǐng)域，圖像特征的提取方式一直是一個(gè)普遍關(guān)注的問(wèn)題，不同的圖像描述方式會(huì)直接影響跟蹤算法的性能[1]。2010年，Blome等[2]提出MOSSE算法，其利用圖像灰度信息學(xué)習(xí)一個(gè)輸出平方誤差和MOSSE相關(guān)濾波跟蹤器，并運(yùn)用傅里葉變換計(jì)算目標(biāo)與待測(cè)樣本集之間相關(guān)性。Henriques等[3]在MOSSE 的基礎(chǔ)上提出了采用循環(huán)矩陣結(jié)構(gòu)和核空間映射的CSK方法，但其只用到了較為簡(jiǎn)單的灰度特征。Danelljan等[4]提出了基于顏色屬性的相關(guān)濾波跟蹤算法，該方法是在CSK的基礎(chǔ)上將灰度特征改為了顏色屬性(color name，CN)特征。2014年，Henriques等[5]在CSK的基礎(chǔ)上引入了核方法，并采用了HOG (histogram of oriented gradients)多維特征對(duì)目標(biāo)外觀進(jìn)行描述[6]，使得算法性能得到很大提升。上述算法采用單一特征來(lái)表征圖像。Li等[7]提出SAMF算法，該算法采用CN 和 HOG 特征進(jìn)行串聯(lián)來(lái)表示目標(biāo)，其中CN特征為未經(jīng)處理的11維特征。Bertinetto等[8]提出一種特征互補(bǔ)的跟蹤方法，使用顏色直方圖與HOG特征來(lái)共同表征目標(biāo)，從而提高跟蹤器效果。Martin等[9]使用CN與HOG來(lái)表征目標(biāo)，其中CN特征是經(jīng)過(guò)PCA后得到的2維特征，該算法取得了非常優(yōu)異的結(jié)果。近年來(lái)，基于深度學(xué)習(xí)的跟蹤算法雖然實(shí)現(xiàn)了成功的應(yīng)用[10-11]，但其跟蹤精度仍未達(dá)到令人滿意的效果。Goutam等[12]發(fā)現(xiàn)在卷積過(guò)程中為了增強(qiáng)提取到的特征對(duì)目標(biāo)外觀變化的不變性使得空間分辨率降低，而手工特征可以彌補(bǔ)該不足，因此采用深度特征和手工特征共同來(lái)表征目標(biāo)。

然而，目前使用CN特征來(lái)表征目標(biāo)的主流算法中[3,7,9,13-14]普遍采用PCA對(duì)其進(jìn)行處理。PCA方法是通過(guò)找出數(shù)據(jù)中最重要的元素和結(jié)構(gòu)，使原始數(shù)據(jù)信息集中在更少的維度上且對(duì)原有的復(fù)雜數(shù)據(jù)進(jìn)行降維，但該方法在處理存在嚴(yán)重噪聲或大的離群點(diǎn)的輸入數(shù)據(jù)時(shí)會(huì)受到限制，使集中在低維空間上的圖像信息不是輸入數(shù)據(jù)中最重要的信息[15]。而Robust PCA本質(zhì)上也是尋找數(shù)據(jù)在低維空間上的最佳投影問(wèn)題，通過(guò)將原始數(shù)據(jù)分解為一個(gè)低秩和稀疏矩陣來(lái)去除噪聲。不管噪聲的強(qiáng)弱，Robust PCA均能夠從較大的且稀疏噪聲污染的觀測(cè)數(shù)據(jù)中恢復(fù)出本質(zhì)上低秩的數(shù)據(jù)。

受這種思想的啟發(fā)，本文提出使用Robust PCA對(duì)CN特征進(jìn)行處理，得到經(jīng)過(guò)Robust PCA處理后CN特征降維至不同層時(shí)對(duì)算法性能的影響，并與原方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，使用Robust PCA處理CN特征進(jìn)行處理可以更好地發(fā)揮出其優(yōu)勢(shì)，進(jìn)一步提高算法性能。

2 相關(guān)理論

2.1 顏色屬性特征

CN特征是一種基于潛在語(yǔ)義模型的顏色空間，包括黑色、藍(lán)色、棕色、灰色、綠色、橘色、粉色、紫色、紅色、白色、黃色11種語(yǔ)義顏色標(biāo)簽[16]。通過(guò)將輸入圖像從RGB空間映射到CN空間來(lái)建立觀測(cè)到的顏色和本質(zhì)顏色之間的映射關(guān)系，適應(yīng)光照等變化造成的顏色失真，實(shí)現(xiàn)圖像特征的魯棒表示[17]。如圖1所示。

圖1 原始CN分層結(jié)果。(a0) 為帶椒鹽噪聲的原始圖像；(a1) ~(a11) 原始CN特征

2.2 PCA處理顏色屬性特征

文獻(xiàn)[4]中選擇使用PCA方法對(duì)CN特征進(jìn)行處理，并取最后降維至2層的信息來(lái)表征目標(biāo)。根據(jù)最大方差原理，選擇原始數(shù)據(jù)中方差最大的方向?yàn)榈谝?/p>

個(gè)新坐標(biāo)軸[19]，與第一個(gè)坐標(biāo)軸正交的平面中方差最大的為第二個(gè)新坐標(biāo)軸。依次類推，從原始的空間中順序地找組相互正交的坐標(biāo)軸[20]，其中大部分方差都包含在前面?zhèn)€坐標(biāo)軸中，后面的坐標(biāo)軸所含的方差幾乎為0。因此，可忽略掉后面方差為0的坐標(biāo)軸，以此達(dá)到降維的目的。具體操作如下：

輸入特征矩陣，幀數(shù)，每一列為一個(gè)特征表示，設(shè)為。

1) 計(jì)算每一個(gè)特征的均值，進(jìn)行去中心化操作：

2) 計(jì)算特征矩陣的協(xié)方差：

3) 將協(xié)方差矩陣的特征值由大到小進(jìn)行排序，并計(jì)算特征向量，獲得映射矩陣。對(duì)協(xié)方差矩陣進(jìn)行奇異值分解(singular value decomposition，SVD)：

4) 將特征矩陣轉(zhuǎn)換到由個(gè)特征向量構(gòu)建的新空間中：

圖2為使用PCA方法對(duì)CN特征進(jìn)行處理的結(jié)果。與圖1相比，經(jīng)過(guò)PCA處理后的圖像信息基本都集中在了前幾層，后面幾個(gè)分層含有很少的信息，但PCA對(duì)原始數(shù)據(jù)中的噪聲要求滿足高斯分布。如圖2所示，使用PCA處理CN特征并沒(méi)有過(guò)濾掉輸入圖像中帶有的噪聲，當(dāng)圖像信息在前幾層上時(shí)，噪聲在每一層中依然存在。在非高斯分布的情況下，PCA方法得出的主元可能并不是最優(yōu)的。因此，本文采用另外一種方法處理CN特征，使得處理后的特征更加魯棒。

圖2 PCA處理后的CN特征。(a0) 帶椒鹽噪聲的圖像；(a1)~(a11) PCA處理后的CN特征

3 本文算法

3.1 Robust PCA算法原理

與PCA問(wèn)題一樣，Robust PCA本質(zhì)上也是尋找數(shù)據(jù)在低維空間上的最佳投影問(wèn)題[21]。Robust PCA考慮對(duì)于低秩數(shù)據(jù)觀測(cè)矩陣，如果其受到隨機(jī)(稀疏)噪聲的影響，則其低秩性就會(huì)被破壞變成滿秩[22]。所以該方法是通過(guò)將輸入數(shù)據(jù)分解成包含其真實(shí)結(jié)構(gòu)的低秩矩陣和稀疏噪聲矩陣之和，即從輸入數(shù)據(jù)中恢復(fù)出未受污染的原始數(shù)據(jù)[23]。

3.2 實(shí)現(xiàn)細(xì)節(jié)

Robust PCA認(rèn)為輸入圖像是由一個(gè)低秩矩陣與稀疏矩陣組成的，通過(guò)解決式(7)完全可以從恢復(fù)出想要的低秩矩陣。

其中：||×||表示一個(gè)矩陣的核范數(shù)，為從輸入數(shù)據(jù)中恢復(fù)出來(lái)的有用信息，為正則化參數(shù)。操作如下：

1) 對(duì)目標(biāo)函數(shù)進(jìn)行SVD分解：

2) 恢復(fù)低秩矩陣：

圖3為經(jīng)過(guò)Robust PCA處理后的CN特征。與圖2相比，可清晰看到，經(jīng)過(guò)Robust PCA處理后的圖片信息不僅集中在了少數(shù)的幾層上，且對(duì)每一個(gè)分層都濾除掉了大量噪聲。如圖3(a1)和3(b1)所示，分別為經(jīng)過(guò)Robust PCA處理后恢復(fù)出來(lái)的數(shù)據(jù)矩陣和噪聲矩陣。因此，利用Robust PCA對(duì)CN特征進(jìn)行處理可以濾除掉原始圖像中大量噪聲，提高圖像特征的分辨性以及魯棒性。

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文根據(jù)Robust PCA對(duì)CN特征進(jìn)行處理的效果，分別基于原始CN算法(記為Color_name tracking)和SAMF兩種經(jīng)典算法框架進(jìn)行評(píng)估，本文所有實(shí)驗(yàn)均在OTB100[24]平臺(tái)上進(jìn)行。

4.1 基于Color_name tracking算法

算法框架簡(jiǎn)介：Color_name tracking算法使用經(jīng)過(guò)PCA方法處理后的CN特征來(lái)表征目標(biāo)，且實(shí)驗(yàn)證明降維至2層時(shí)算法性能最好。

圖3 Robust PCA處理的CN特征。(a0) 噪聲圖；(a1)~(a11) 處理后的CN特征；(b1)~(b11) 處理后的噪聲

實(shí)驗(yàn)設(shè)計(jì)：利用Robust PCA方法對(duì)CN特征進(jìn)行處理，比較使用Robust PCA對(duì)CN降維至不同層算法性能差異，且與CSK, Color_name tracking和CT[25]這3種經(jīng)典算法進(jìn)行比較。

1) 定性分析

圖4為6組視頻序列進(jìn)行跟蹤后的實(shí)驗(yàn)結(jié)果。圖4(a)為Bolt視頻序列，該視頻難點(diǎn)在于存在多種相似物的干擾，在第262幀，當(dāng)目標(biāo)姿態(tài)發(fā)生較大變化時(shí)只有本章算法準(zhǔn)確跟蹤目標(biāo)。圖4(b)為T(mén)iger1視頻序列，在第226幀目標(biāo)發(fā)生遮擋時(shí)，CT、CSK算法均已跟丟目標(biāo)，在第296幀目標(biāo)出現(xiàn)時(shí)，對(duì)比算法仍未跟上目標(biāo)。圖4(c)為Jogging-1視頻序列，視頻難點(diǎn)是目標(biāo)在運(yùn)動(dòng)過(guò)程中存在多次遮擋。在第80幀時(shí)，當(dāng)目標(biāo)剛從被遮擋區(qū)域恢復(fù)出來(lái)時(shí)本文算法仍能跟上目標(biāo)，但其他對(duì)比算法均跟丟目標(biāo)。圖4(d)為Soccer視頻序列，視頻難點(diǎn)是目標(biāo)在運(yùn)動(dòng)中多次被遮擋、發(fā)生運(yùn)動(dòng)模糊且存在較多相似目標(biāo)。當(dāng)目標(biāo)被遮擋時(shí)使用基于RPCA的視覺(jué)跟蹤算法依舊可以定位到目標(biāo)。在整個(gè)視頻序列中，本文算法和Color_name tracking算法取得較好結(jié)果。

2) 定量分析

設(shè)置Robust PCA對(duì)CN特征進(jìn)行處理分別降維至2、3、4、5層，并將其應(yīng)用于Color_name tracking算法中，與原文中使用經(jīng)過(guò)PCA處理的CN特征且降維至2層的算法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表1。通過(guò)使用Robust PCA對(duì)CN降維至2層時(shí)取得性能最好，比原文中使用PCA對(duì)CN降維至2層成功率提升1.0%，精度提升0.9%。使用Robust PCA對(duì)CN降維至3、4和5層時(shí)成功率分別提升0.6%、0.3%和0.3%，精度提升0.4%，0.2%和0.1%。

圖4 視覺(jué)跟蹤實(shí)驗(yàn)結(jié)果

表1 Robust PCA對(duì)CN降維至不同層時(shí)算法結(jié)果比較

注：每個(gè)算法對(duì)應(yīng)的最優(yōu)值標(biāo)為黑體，次優(yōu)算法標(biāo)為下劃

根據(jù)表1中實(shí)驗(yàn)結(jié)果，本文選取了Robust PCA對(duì)CN降維至2層的算法。選用OTB100視頻組對(duì)跟蹤性能進(jìn)行整體評(píng)判，且采用跟蹤成功率和精度2個(gè)流行的度量指標(biāo)進(jìn)行定量分析。

圖5為本文算法與其他3種經(jīng)典算法在OTB100數(shù)據(jù)集上評(píng)估結(jié)果。從圖5可以看出，與原始Color_name tracking算法相比，使用經(jīng)過(guò)Robust PCA對(duì)CN特征處理后的特征來(lái)表征目標(biāo)，使得算法在精度方面提高了0.9%，在成功率方面提高了1.0%。不論是在精度還是在成功率方面，使用經(jīng)過(guò)Robust PCA處理后的CN特征表征目標(biāo)比使用CN所有層都呈現(xiàn)出良好的跟蹤性能。

圖6為將使用魯棒PCA處理后CN特征用于跟蹤算法時(shí)，在具有圖6(a)光照變化、圖6(b)遮擋、圖6(c)快速移動(dòng)屬性視頻序列上的性能評(píng)估。

由第3節(jié)特征分析結(jié)果及上述實(shí)驗(yàn)結(jié)果可知，在Color_name tracking算法框架下，經(jīng)過(guò)Robust PCA處理后的CN特征，并不是每一層都包括了大量的目標(biāo)信息，如果不進(jìn)行降維處理選擇所有的CN特征來(lái)表征目標(biāo)，包含少量目標(biāo)信息的顏色屬性分層并不會(huì)增強(qiáng)圖形特征的魯棒性。在表征目標(biāo)時(shí)該類特征會(huì)影響特征的分辨性，降低特征魯棒性。經(jīng)過(guò)多次實(shí)驗(yàn)證明，使用經(jīng)過(guò)Robust PCA處理后的CN特征，在Color_name tracking算法框架下在降維至2層時(shí)的效果最優(yōu)，且該算法速度達(dá)92 f/s。

4.2 基于SAMF算法

算法框架簡(jiǎn)介：SAMF算法融合HOG特征和CN特征的來(lái)表征目標(biāo)，其中的CN特征使用的是未經(jīng)過(guò)處理的11維特征。

實(shí)驗(yàn)設(shè)計(jì)：在SAMF算法中利用Robust PCA方法對(duì)CN特征進(jìn)行處理，比較使用Robust PCA對(duì)CN降維至不同層時(shí)算法性能差異，且與SAMF、KCF、Color_name tracking、CSK這4種經(jīng)典算法進(jìn)行比較。

圖5 精度曲線(a)和成功率曲線(b)

圖6 基于屬性的評(píng)估結(jié)果。(a) 光照變化；(b) 遮擋；(c) 快速移動(dòng)

1) 定性分析

圖7為6組視頻序列進(jìn)行跟蹤后的實(shí)驗(yàn)結(jié)果。圖7(a)為Girl視頻序列，跟蹤目標(biāo)是一個(gè)女生，視頻難點(diǎn)在于目標(biāo)在運(yùn)動(dòng)過(guò)程中發(fā)生多次旋轉(zhuǎn)且存在嚴(yán)重遮擋。經(jīng)過(guò)RPCA處理后的CN特征具有很強(qiáng)的分辨性與魯棒性，從圖中可清晰看出，當(dāng)目標(biāo)發(fā)生很大旋轉(zhuǎn)甚至被遮擋時(shí)，使用本章特征的算法依舊可以跟上目標(biāo)。圖7(b)為Jumping視頻序列，跟蹤目標(biāo)為跳繩的人，視頻難點(diǎn)是目標(biāo)運(yùn)動(dòng)速度較快且發(fā)生運(yùn)動(dòng)模糊，但本章算法可以一直準(zhǔn)確定位目標(biāo)。圖7(c)為Couple視頻序列，跟蹤目標(biāo)為行人。視頻難點(diǎn)在于目標(biāo)存在遮擋且姿態(tài)發(fā)生較大改變。在第111幀中，只有本章算法可以準(zhǔn)確定位目標(biāo)，在第136幀，當(dāng)出現(xiàn)相似目標(biāo)干擾時(shí)，使用RPCA處理后的CN特征具有更強(qiáng)的分辨性。圖7(d)為Freeman4視頻序列，視頻難點(diǎn)在于目標(biāo)較小且在運(yùn)動(dòng)中出現(xiàn)大量相似目標(biāo)且存在遮擋。在80幀目標(biāo)被遮擋只暴露很小部分時(shí)，只有本章算法能準(zhǔn)確跟蹤目標(biāo)，其他對(duì)比算法均已丟失目標(biāo)。

2) 定量分析

設(shè)置Robust PCA對(duì)CN特征處理分別降維至2、3、4、5層，并將其應(yīng)用于SAMF算法中，與原文中直接使用CN 11維特征的算法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表2。通過(guò)使用Robust PCA對(duì)CN降維至5層時(shí)取得性能最好，比原文中使用11維CN特征成功率提升1.4%，精度提升2.1%。使用Robust PCA對(duì)CN降維至3和4層時(shí)成功率分別提升0.3%和0.5%，精度提升0.8%和0.9%。降維至2層時(shí)成功率下降0.4%，但精度提升0.2%。通過(guò)表2整個(gè)實(shí)驗(yàn)結(jié)果的比較，可以看出，使用Robust PCA對(duì)CN特征處理后，對(duì)跟蹤精度的影響較大。

根據(jù)表2中實(shí)驗(yàn)結(jié)果，本文選取了Robust PCA對(duì)CN降維至5層的算法與對(duì)比算法進(jìn)行比較。選用 OTB100視頻組對(duì)跟蹤性能進(jìn)行整體評(píng)判，且采用跟蹤成功率和精度2個(gè)流行的度量指標(biāo)進(jìn)行定量分析。

圖8為本文算法與其他4種經(jīng)典算法在OTB100數(shù)據(jù)集上評(píng)估結(jié)果。與原始SAMF算法相比，使用經(jīng)過(guò)Robust PCA對(duì)CN特征進(jìn)行處理后的特征表征目標(biāo)時(shí)，算法精度提升2.1%，成功率提升1.4%。圖9為將使用魯棒PCA處理后CN特征用于SAMF算法時(shí)，在光照變化、遮擋和形變屬性上的性能評(píng)估。

圖7 視覺(jué)跟蹤實(shí)驗(yàn)結(jié)果

表2 Robust PCA對(duì)CN降維至不同層時(shí)算法結(jié)果比較

注：每個(gè)算法對(duì)應(yīng)的最優(yōu)值標(biāo)為黑體，次優(yōu)算法標(biāo)為下劃

圖8 本文算法與其他4種算法在OTB100數(shù)據(jù)集上評(píng)估結(jié)果。(a) 精度曲線；(b) 成功率曲線

圖9 基于魯棒PCA處理后CN特征用于SAMF算法的屬性評(píng)估結(jié)果。(a) 光照變化；(b) 遮擋；(c) 快速移動(dòng)

在原始SAMF算法框架中，使用的是未經(jīng)處理后的11層CN特征與HOG特征共同表征目標(biāo)。由上述實(shí)驗(yàn)結(jié)果可知，在SAMF算法框架下，使用經(jīng)過(guò)Robust PCA處理后的CN特征并降維至5層時(shí)與HOG特征共同表征目標(biāo)帶來(lái)的算法性能最優(yōu)。將本文算法用于該算法框架下，更加清晰地證明了在特征層數(shù)的選擇上并不是越多越好，使用經(jīng)過(guò)Robust PCA處理后的CN特征將包含少量目標(biāo)信息的特征層濾除掉并過(guò)濾掉圖像中噪聲，增強(qiáng)圖像特征的分辨性與魯棒性，并提高算法的性能，且該算法速度為11 f/s。

5 結(jié) 論

本文使用Robust PCA對(duì)CN特征進(jìn)行處理，并將處理后的CN特征用于Color_name tracking和SAMF框架中，給出降維至不同層時(shí)算法性能比較和使用該特征的算法與原始算法的性能比較。實(shí)驗(yàn)結(jié)果表明，使用經(jīng)過(guò)Robust PCA對(duì)CN特征進(jìn)行處理帶來(lái)的算法性能優(yōu)于使用PCA對(duì)CN特征進(jìn)行處理和未經(jīng)處理的CN特征的算法性能。在橫向比較中，發(fā)現(xiàn)在Color_name tracking框架中，使用魯棒主成分分析法降維至2層的算法性能最優(yōu)。在SAMF框架中，使用魯棒主成分分析法對(duì)CN特征降維至5層時(shí)的效果最優(yōu)。在實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，使用魯棒主成分分析法對(duì)CN特征進(jìn)行處理時(shí)，對(duì)跟蹤算法的精度影響較大。在后續(xù)工作中，我們將繼續(xù)深入研究該現(xiàn)象背后的原理，參考文獻(xiàn)[10]中的結(jié)論，并將其與深度特征進(jìn)行融合，充分發(fā)揮手工特征的優(yōu)勢(shì)。

[1] Hou Z Q, Wang L P, Guo J X,. An object tracking algorithm based on color, space and texture information[J]., 2018, 45(5): 170643.

侯志強(qiáng), 王利平, 郭建新, 等. 基于顏色、空間和紋理信息的目標(biāo)跟蹤[J]. 光電工程, 2018, 45(5): 170643.

[2] Bolme D S, Beveridge J R, Draper B A,. Visual object tracking using adaptive correlation filters[C]//, San Francisco, CA, USA, 2010.

[3] Henriques J F, Caseiro R, Martins P,. Exploiting the circulant structure of tracking-by-detection with kernels[M]//Fitzgibbon A, Lazebnik S, Perona P,–. Berlin Heidelberg: Springer, 2012.

[4] Danelljan M, Khan F S, Felsberg M,. Adaptive color attributes for real-time visual tracking[C]//, Columbus, 2014.

[5] Henriques J F, Caseiro R, Martins P,. High-speed tracking with kernelized correlation filters[J]., 2015, 37(3): 583–596.

[6] Liu X, Chen Y. Target tracking based on adaptive fusion of multi-feature[J]., 2016, 43(3): 58–65.

劉行, 陳瑩. 自適應(yīng)多特征融合目標(biāo)跟蹤[J]. 光電工程, 2016, 43(3): 58–65.

[7] Li Y, Zhu J K. A scale adaptive kernel correlation filter tracker with feature integration[C]//, Zurich, Switzerland, 2014.

[8] Bertinetto L, Valmadre J, Golodetz S,. Staple: complementary learners for real-time tracking[C]//, Las Vegas, NV, USA, 2016.

[9] Danelljan M, Bhat G, Khan F S,. ECO: efficient convolution operators for tracking[C]//, Honolulu, HI, USA, 2017: 6931–6939.

[10] Song Y B, Ma C, Gong L J,. Crest: convolutional residual learning for visual tracking[C]//, Venice, Italy, 2017: 2574–2583.

[11] Nam H, Han B. Learning multi-domain convolutional neural networks for visual tracking[C]//, Las Vegas, NV, USA, 2016: 4293–4302.

[12] Bhat G, Johnander J, Danelljan M,. Unveiling the power of deep tracking[C]//, Munich, Germany, 2018.

[13] Luke?ic A, Vojir T, Cehovin Zajc L,. Discriminative correlation filter with channel and spatial reliability[C]//, Honolulu, HI, USA, 2017: 4847–4856.

[14] Danelljan M, H?ger G, Khan F S,. Learning spatially regularized correlation filters for visual tracking[C]//, Santiago, Chile, 2015: 4310–4318.

[15] Abdi H, Williams L J. Principal component analysis[J].:, 2010, 2(4): 433–459.

[16] Zhang J M, Ma S G, Sclaroff S. MEEM: robust tracking via multiple experts using entropy minimization[C]//, Zurich, Switzerland, 2014.

[17] van de Weijer J, Schmid C, Verbeek J. Learning color names from real-world images[C]//, Minneapolis, MN, USA, 2007: 1–8.

[18] van de Weijer J, Schmid C, Verbeek J,. Learning color names for real-world applications[J]., 2009, 18(7): 1512–1523.

[19] Shlens J. A tutorial on principal component analysis[Z]. arXiv: 1404.1100[cs:CV], 2014.

[20] Bi D Y, Ku T, Zha Y F,. Scale-adaptive object tracking based on color names histogram[J]., 2016, 38(5): 1099–1106.

畢篤彥, 庫(kù)濤, 查宇飛, 等. 基于顏色屬性直方圖的尺度目標(biāo)跟蹤算法研究[J]. 電子與信息學(xué)報(bào), 2016, 38(5): 1099–1106.

[21] Shahid N, Perraudin N, Kalofolias V,. Fast robust PCA on graphs[J]., 2016, 10(4): 740–756.

[22] Netrapalli P, Niranjan U N, Sanghavi S,. Non-convex robust PCA[C]//, Montreal, Quebec, Canada, 2014: 1107–1115.

[23] Xu H, Caramanis C, Sanghavi S. Robust PCA via outlier pursuit[C]//, Vancouver, British Columbia, Canada, 2010: 2496–2504.

[24] Wu Y, Lim J, Yang M H. Object tracking benchmark[J]., 2015, 37(9): 1834–1848.

[25] Zhang K H, Zhang L, Yang M H. Real-time compressive tracking[C]//, Florence, Italy, 2012: 864–877.

Visual tracking algorithm based on robust PCA

Yue Chenchen1,2, Hou Zhiqiang1,2*, Yu Wangsheng3, Pu Lei3, Ma Sugang1,2

1School of Computer Science and Technology, Xi'an University of Posts and Telecommunications, Xi'an, Shaanxi 710121, China;2Shaanxi Key Laboratory of Network Data Analysis and Intelligent Processing, Xi'an University of Posts and Telecommunications, Xi'an, Shaanxi 710121, China;3Information and Navigation Institute of Air Force Engineering University, Xi'an, Shaanxi 710077, China

The color name feature processed by Robust PCA. (a0) Original image with salt & pepper noise; (a1)~(a2) CN features processed by Robust PCA; (b1)~(b2) The noise of processed by CN features

Overview:In the field of image processing, the way of exacting image feature has always been one of the fundamental tasks. Different image descriptions will affect the performance of tracking algorithm directly. There are so many domestic and international researchers proposed classical image features, which can be sorted as two class: 1) based on deep learning, which have gained excellent results, including VGGNet and DenseNet, but it needs a large number of data to train the model and has several restrictions on the experimental platform; 2) based on manual features, which can be took on any platform in exit and also have obtained remarkable performance in image processing, including scale-invariant feature transform (SIFT), histogram of oriented gradient (HOG), and color name (CN). So, making a profound study on manual features is crucial. At present, several mainstream algorithms using CN all adopt principal component analysis (PCA) to process the feature. However, PCA assumes that the noise of input data must obey Gaussian distribution, which is a conspicuous defect. Aim to address this problem, in this paper, we take robust principal component analysis (Robust PCA) to process CN features. The method projects the original RGB color space to a robust color space–CN space, which means that the input image is layered to 11 layers according to CN feature. Then, it processes the CN features by the Robust PCA, so that the mapped image information is concentrated on a few layers, retaining a great quantity of image information and filting out noise. The processed feature is used for Color-name tracking frame at the standard benchmark OTB100, with mainly 11 challenges (e.g., occlusion, deformation). We set up different layers to compare the performance differences of the algorithm. The experimental results show that the success rate increases by 1.0% and the accuracy increases by 0.9% at OTB100. Compared with other classical algorithms, this way shows better robust and distinguishability of feature on visual tracking in most cases. Therefore, using Robust PCA to process CN feature can be significantly applied to other image processing applications. However, this way still has shortages, such as filtering the noise of target not completely in the visual tracking process. In follow-up work, we will further optimize the feature with different ways and try our best to combine the processed feature with deep learning-features to obtain excellent features in visual tracking and to remain applicable to other image processing applications simultaneously.

Citation: Yue C C, Hou Z Q, Yu W S,Visual tracking algorithm based on robust PCA[J]., 2020, 47(7): 190278

Visual tracking algorithm based on robust PCA

Yue Chenchen1,2, Hou Zhiqiang1,2*, Yu Wangsheng3, Pu Lei3, Ma Sugang1,2

1School of Computer Science and Technology, Xi'an University of Posts and Telecommunications, Xi'an, Shaanxi 710121, China;2Shaanxi Key Laboratory of Network Data Analysis and Intelligent Processing, Xi'an University of Posts and Telecommunications, Xi'an, Shaanxi 710121, China;3Information and Navigation Institute of Air Force Engineering University, Xi'an, Shaanxi 710077, China

At present, several mainstream algorithms using color name (CN) all adopt principal component analysis (PCA) to process the feature. However, PCA assumes that the noise of input data must obey Gaussian distribution, which is a conspicuous defect. Aim to address this problem, in this paper, we take robust principal component analysis (Robust PCA) to process CN features. The method projects the original RGB color space to a robust color space–CN space, which means that the input image is stratified to 11 layers according to color name. Then, it processes the CN features by the Robust PCA, so that the mapped image information is concentrated on a few layers, retaining a great quantity of image information and filting out noise. The processed feature is used for Color-tracking frame at the standard benchmark OTB100, and we set up different layers to compare the performance differences of the algorithm. The experimental results show that the success rate increases by 1.0% and the accuracy increases by 0.9% at OTB100. The result illustrates that the Robust PCA method can better bring color name feature superiority into full play and improve the performance of the algorithm effectively.

visual tracking; PCA; robust PCA; color name

TP391.4

A

10.12086/oee.2020.190278

: Yue C C, Hou Z Q, Yu W S,. Visual tracking algorithm based on robust PCA[J]., 2020,47(7): 190278

岳晨晨，侯志強(qiáng)，余旺盛，等. 基于魯棒PCA的視覺(jué)跟蹤算法[J]. 光電工程，2020，47(7): 190278

Supported by National Natural Science Foundation of China (61703423, 61473309)

* E-mail: hzq@xupt.edu.cn

2019-05-27；

2019-11-21

國(guó)家自然科學(xué)基金資助項(xiàng)目(61703423，61473309)

岳晨晨(1996-)，女，碩士研究生，主要從事計(jì)算機(jī)視覺(jué)、目標(biāo)跟蹤的研究。E-mail：felicitychen1023@163.com

侯志強(qiáng)(1973-)，男，博士，教授，博士生導(dǎo)師，研究方向?yàn)閳D像處理、計(jì)算機(jī)視覺(jué)和信息融合。E-mail: hzq@xupt.edu.cn