林淑彬, 丁飛飛, 楊文元*

(1.閩南師范大學(xué) 計算機學(xué)院, 漳州 363000)(2.閩南師范大學(xué) 福建省粒計算及其應(yīng)用重點實驗室, 漳州 363000)

視覺目標跟蹤[1]是計算機視覺中的重要組成部分,涉及圖像處理、人工智能[2]、模式識別、自動控制等不同領(lǐng)域,在軍事科學(xué)、醫(yī)療診斷、人機交互、無人駕駛、安全監(jiān)控等方面有廣泛應(yīng)用,因此得到極大關(guān)注，發(fā)展快速.由于受目標局部遮擋、運動模糊、快速運動、變形、光照變化、相似背景、平面旋轉(zhuǎn)和尺度變化等因素[3]影響,視覺目標跟蹤仍然是極具挑戰(zhàn)性的工作.近年來,有多種跟蹤方法用于處理不同的目標跟蹤問題,其中基于判別相關(guān)濾波器(discriminative correlation filter, DCF)[4]和基于顏色特征的跟蹤方法尤其引人矚目.

在基于DCF的跟蹤器中,相關(guān)運算可在頻域中進行[5],因此DCF具有計算效率高的優(yōu)點.DCF通過跟蹤訓(xùn)練濾波器模型中目標的位置,提取出HOG特征,并訓(xùn)練出一個濾波器模板,對于下一幀目標區(qū)域,提取出HOG特征[6],與濾波器模板作相關(guān)運算.重復(fù)上述步驟進行后續(xù)幀的目標跟蹤[7]與模型訓(xùn)練,實現(xiàn)模型在線訓(xùn)練與目標實時跟蹤[8-9].憑借HOG特性,DCF表現(xiàn)出色,每秒能以數(shù)百幀的速度運行.

顏色特征[10]是在圖像檢索中應(yīng)用最為廣泛的視覺特征,因為顏色往往和圖像中所包含的物體或場景相關(guān).此外,與其他視覺特征相比,顏色特征對圖像本身的尺寸、方向、視角的依賴性較小,從而具有較高的魯棒性.顏色特征是一種全局特征,它描述了圖像或圖像區(qū)域所對應(yīng)的物體表面性質(zhì).顏色直方圖是最常用的表達顏色特征的方法,能簡單描述一幅圖像中顏色的全局分布.其優(yōu)點是不受圖像旋轉(zhuǎn)和平移變化影響[11-12],進一步歸一化還可以提升應(yīng)對尺度變化的性能.

在復(fù)雜運動場景下,目標跟蹤的性能會受影響,為了讓跟蹤器獲得更好的效果,將跟蹤器的多種特征融合[13].受DCF算法啟發(fā),文中提出一種融合雙HOG特征和顏色特征的目標跟蹤(color HOG feature correction filter, CHOG)方法.首先在當前幀目標區(qū)域構(gòu)造兩個HOG特征,分割為HOG1和HOG2,再利用DCF框架對兩個特征進行濾波處理,使它們都各自獨立地跟蹤目標,接著從處理好的兩個特征中選擇出最優(yōu)特征;然后利用顏色直方圖提取當前幀目標區(qū)域的顏色特征,將數(shù)字圖像中的像素值進行相應(yīng)轉(zhuǎn)換,用數(shù)值表示顏色特征;最后融合前兩個部分并獲得特征響應(yīng)圖,在響應(yīng)圖中尋找最大值的位置,就是預(yù)測出的新目標位置.該方法使用多維特征和改進的濾波器訓(xùn)練,進一步提高了性能和計算效率.CHOG跟蹤器在OTB-2013和OTB-2015[15]兩個基準數(shù)據(jù)集上與KCF[4]、Staple[9]、DSST[16]、SRDCF[17]、SAMF[18]、LCT[19]6個跟蹤器進行了比較.在背景雜亂、平面外旋轉(zhuǎn)和形狀變化等方面表現(xiàn)出良好的跟蹤效果.

1 相關(guān)工作

1.1 判別相關(guān)濾波器

文獻[20]中首次將相關(guān)濾波(correlation filter, CF)用在跟蹤領(lǐng)域,提出一種使用誤差最小平方和濾波器(minimum output sum of squared error filter, MOSSE)的跟蹤器.相關(guān)濾波用來描述信號處理領(lǐng)域中兩個信號之間的相似程度.相關(guān)濾波目標跟蹤方法的基本思想是跟蹤中的兩個信號越相似,其相關(guān)值越高,越接近目標區(qū)域.相關(guān)濾波模板如圖1.

圖1 相關(guān)濾波模型Fig.1 Correlation filtering model

MOSSE的思想是找到一個跟蹤濾波器,使它在目標上的響應(yīng)輸出值最大:

g=f⊙h

(1)

式中,g、f、h分別為響應(yīng)輸出、輸入的圖像、濾波模板.進行卷積計算很耗時,因此對其采用快速傅里葉變換,把卷積[21]計算換成點乘操作,極大地減少計算量,從而將式(1)變?yōu)?

G=F·H*

(2)

得到

H*=G/F

(3)

在實際跟蹤過程中,為了提高濾波器模板的魯棒性[22],以目標的m個樣本作為參考,其模型為:

(4)

為了得到其最小值,將上式進行轉(zhuǎn)換求導(dǎo)，得到濾波器模型：

(5)

考慮濾波器的魯棒性,對模型進行策略更新:

(6)

(7)

(8)

將模型更新分為分子At和分母Bt兩個部分,η為學(xué)習(xí)率.

CF通過MOSSE算法顯示出了巨大潛力,大量基于CF的跟蹤算法相繼出現(xiàn).文獻[4]中利用訓(xùn)練塊的循環(huán)結(jié)構(gòu),提出具有HOG特征的核空間，訓(xùn)練相關(guān)濾波器.SRDCF(spatially regularized discriminative caorrelation filter)跟蹤器[23]通過對相關(guān)濾波系數(shù)進行空間位置懲罰減輕邊界效應(yīng).文獻[24]中提出C-COT跟蹤算法,它是一種基于判別式學(xué)習(xí)的特征點跟蹤方法,融合了具有不同空間分辨率的多個卷積層的學(xué)習(xí)框架.DCF在多通道特征上[25]作優(yōu)化,成為視頻跟蹤領(lǐng)域應(yīng)用廣泛的跟蹤算法.其核心思想是在跟蹤的目標位置訓(xùn)練一個跟蹤器,使用該跟蹤器去檢測預(yù)測的目標位置,再用檢測結(jié)果來更新訓(xùn)練集從而更新目標跟蹤器.在訓(xùn)練目標跟蹤器時采用HOG特征[24]來描述感興趣區(qū)域,選取的目標中心區(qū)域劃分為正樣本,目標周圍區(qū)域劃分為負樣本.DCF通過目標的循環(huán)移位構(gòu)建正負樣本,利用循環(huán)矩陣的特殊性[26],借助于FFT變換,將卷積變換[17]為頻域的點乘,大大降低計算的復(fù)雜度,提高了處理速度.

1.2 顏色特征

一些特征提取算法中,一個高復(fù)雜度特征的提取能夠解決目標檢測等問題,需要以更高的處理效果為代價.而顏色特征[10，19]并不需要進行大量計算,只需將數(shù)字圖像中的像素值進行相應(yīng)轉(zhuǎn)換,表現(xiàn)為數(shù)值即可.因此顏色特征以其低復(fù)雜度成為一個較好的特征,而顏色直方圖是在許多圖像檢索中被廣泛采用的顏色特征.顏色直方圖所描述的是不同色彩在整幅圖像中所占的比例,而并不關(guān)心每種色彩所處的空間位置,即無法描述圖像中的對象或物體,它特別適于描述那些難以進行自動分割的圖像.顏色直方圖可基于不同的顏色空間,最常用的是RGB顏色空間[27].

在圖像處理中,可以將一個具體的像素點所呈現(xiàn)的顏色分多種方法分析,并提取出其顏色特征分量.如通過手工標記區(qū)域提取一個特定區(qū)域的顏色特征,用該區(qū)域在一個顏色空間3個分量各自的平均值表示,或者可以建立3個顏色直方圖.計算顏色直方圖需要進行顏色量化[14],常用的做法是將顏色空間的各個分量均勻地進行劃分.即將顏色空間劃分成若干個小的顏色區(qū)間,每個小區(qū)間成為直方圖的一個維度,然后通過計算顏色落在每個小區(qū)間內(nèi)的像素數(shù)量，得到顏色直方圖.一般來說,顏色小區(qū)間的數(shù)目越多,直方圖對顏色的分辨能力就越強.然而,維度數(shù)目很大的顏色直方圖會增加計算負擔,不利于圖像檢索[28].這時可以采用一種有效減少直方圖維數(shù)的方法，即只選用那些數(shù)值最大的維度來構(gòu)造特征[29],因為這些表示主要顏色的維度能夠表達圖像中大部分像素的顏色.實驗證明這種方法不會降低顏色直方圖的檢索效果.

2 融合雙HOG特征和顏色特征的目標跟蹤

針對運動場景變化對目標跟蹤的影響,在HOG特征和顏色特征基礎(chǔ)上,文中提出融合雙HOG特征和顏色特征的相關(guān)濾波目標跟蹤方法,系統(tǒng)框圖如圖2.

圖2 融合雙HOG特征和顏色特征的目標跟蹤系統(tǒng)框圖Fig.2 Block diagram of target tracking system integrating dual HOG feature and color feature

2.1 特征提取

在計算機視覺和圖像處理中,方向梯度直方圖是圖像局部區(qū)域的梯度特征量的統(tǒng)計.HOG特征的提取過程為:首先對原圖進行灰度化、gamma壓縮和歸一化;然后把圖像劃分成多個大小一樣的單元,并統(tǒng)計各自相應(yīng)的梯度直方圖信息;接著把元胞所有特征串聯(lián)起來,構(gòu)成大的相互有重疊的塊,統(tǒng)計整個塊的直方圖特征;為了進一步減少光照及噪聲影響,再對每個塊內(nèi)的梯度直方圖進行歸一化處理,進一步減輕光照影響;最后將整個窗口中所有塊的HOG特征向量串聯(lián)起來.

針對HOG特征在目標跟蹤中的特性,以其作為進行目標位置估計的濾波器.由于HOG的低級特性,為31維度,所以不進行從粗到細的融合,只是簡單地將它們連接起來.為了獲得更多特征,將圖像塊中所有像素的平均灰度值作為1維特征,并將其與HOG特征連接到一個32維向量中,然后將其平均分解為兩個16維特征,分別記為HOG1和HOG2.兩個16維特征線索各自進行相關(guān)濾波響應(yīng),最后選擇出響應(yīng)值最大的特征.

訓(xùn)練濾波器的目的是找到一個函數(shù)f(p)=wdp使樣本xi及其回歸目標yi的平方誤差最小：

(9)

λ為正則化參數(shù),控制過度擬合.

求解w得到:

w=(XHX+λI)-1XHy

(10)

式中，XH為復(fù)共軛轉(zhuǎn)置矩陣.

所有循環(huán)矩陣都可以通過離散傅立葉變換進行對角化,所求線性回歸解為:

(11)

因此,通過式(11)計算具有相同大小x的特征圖矩形區(qū)域p的響應(yīng)值R,并搜索出R的最大值:

(12)

式中,d為特征維數(shù),取值范圍為1～D.

顏色信息以一種簡單的方式應(yīng)用于訓(xùn)練樣本中,以增強空間可靠性:

X′=X·C

(13)

式中：X為數(shù)據(jù)矩陣；C為基于直方圖計算目標區(qū)域的每個像素得分而獲得的顏色掩碼.

最后,將顏色信息X′和搜索出的HOG特征最大值Rmax進行融合,從而識別出新的目標位置P.

2.2 算法

根據(jù)上述過程,融合雙HOG特征和顏色特征的目標跟蹤算法CHOG步驟如下：

輸入:視頻系列S1…Sn,以及第1幀的跟蹤目標位置

輸出:視頻系列的跟蹤目標位置P1…Pn

(1) 提取第1幀跟蹤目標位置P1;

(2) 初始化目標跟蹤器;

(3) 計算第t幀的HOG特征,并分割成HOG1和HOG2,分別進行相關(guān)濾波處理;

(4) 分別利用循環(huán)矩陣進行傅里葉變換,選擇濾波處理的最佳結(jié)果;

(5) 提取第t幀的顏色屬性特征;

(6) 融合最佳HOG特征和顏色屬性特征，得到特征響應(yīng)圖;

(7) 根據(jù)響應(yīng)圖尋找目標位置,即預(yù)測出的新目標位置Pt+1.返回步驟(3)，直到視頻結(jié)束.

3 實驗結(jié)果及分析

為了驗證CHOG跟蹤算法的性能,在OTB-2013和OTB-2015兩個基準數(shù)據(jù)集上進行實驗,將該跟蹤器算法與6個先進跟蹤器算法Staple、SAMF、LCT、KCF、SRDCF、DSST進行對比.

3.1 實驗裝置及參數(shù)設(shè)置

實驗環(huán)境為MATLAB R2018b,CPU為i7-3770處理器,內(nèi)存8GB,64位的Windows10操作系統(tǒng).

正則化參數(shù)λ設(shè)置為0.01,學(xué)習(xí)率η設(shè)置為0.025,對所有實驗序列使用相同的參數(shù)設(shè)置.圖像元胞大小設(shè)置為1×1,用圖像灰度特征增強HOG特征,將固定的圖像塊大小設(shè)置為初始目標大小.其他的按DCF方法中的參數(shù)來構(gòu)造HOG特征和顏色特征.

3.2 實驗結(jié)果

在OTB-2013和OTB-2015基準數(shù)據(jù)集上進行實驗,CHOG目標跟蹤方法在精度和成功率方面的性能都較好.圖3是部分視頻跟蹤效果比較.圖4、5是在運行100個序列后的精度圖,表1是各算法評價指標的精度對比,從圖和表中可看出CHOG跟蹤器在很多環(huán)境因素變化中優(yōu)于其他跟蹤器,下面從性能和效率上進行分析.

圖3 各跟蹤器效果比較Fig.3 Comparison of each tracker

圖4 各算法屬性跟蹤精度和成功率對比Fig.4 Comparison chart of tracking accuracy and success rate of each algorithm attribute

(1) 在性能上，Staple、SAMF和LCT算法均以SRDCF為基線,能夠有效緩解邊界效應(yīng),且優(yōu)于標準DCF.DSST采用了新穎的尺度算子,更好地融合了尺度特征.CHOG算法以簡單的DCF和顏色特征為基準,上述策略和其他新技術(shù)也可以集成到該方法中進一步提高性能.從圖4、5中可以看出,CHOG跟蹤器的成功率和跟蹤精度分別是0.785和0.858,SRDCF次之，成功率和跟蹤精度分別為0.769和0.821.CHOG在目標跟蹤中取得了較優(yōu)異的性能,在背景雜亂、平面外旋轉(zhuǎn)、形狀變化、尺度變化等方面均優(yōu)于其他算法.

圖5 各算法評價指標對比Fig.5 Comparison chart of eualuation indexs of each algorithm

(2) 在效率上，由于CHOG算法為基于多特征的相關(guān)濾波跟蹤器提供了較好的替代方案,提高了跟蹤效率,其他具有多種特征的跟蹤算法也可以從該方法中受益.從圖5和表1可看出,CHOG跟蹤器在處理目標快速運動和運動模糊方面的跟蹤精度和成功率比較弱,都低于SRDCF跟蹤算法,而在抗干擾方面其跟蹤精度取得了最佳效果.總體上,CHOG跟蹤器顯示的結(jié)果與其他跟蹤器具有可比性,并且在各種跟蹤指標上均領(lǐng)先其他跟蹤器.

表1 各算法評價指標的精度對比

4 結(jié)論

文中提出了融合雙HOG特征和顏色特征的目標跟蹤方法.通過構(gòu)造雙HOG特征并融合顏色特征，減少運動場景變化對目標跟蹤的影響,在背景雜亂、平面外旋轉(zhuǎn)、形狀變化等方面獲得了較好的魯棒性，但在處理目標快速運動和運動模糊等方面性能相對較弱.下一步工作將采用深度特征,并嘗試在實驗中加入YOLO3、FastRCnn等跟蹤算法,以減少快速運動和運動模糊的不良影響,提高跟蹤性能.