李 武,侯志強(qiáng),魏國劍,余旺盛
(空軍工程大學(xué) 信息與導(dǎo)航學(xué)院,陜西 西安710077)
目標(biāo)跟蹤一直是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn),在戰(zhàn)場(chǎng)監(jiān)控、無人機(jī)的自主導(dǎo)航等軍事領(lǐng)域以及智能交通監(jiān)控、視頻監(jiān)控、壓縮編碼、三維重構(gòu)、氣象分析、輔助醫(yī)療等民用領(lǐng)域廣泛應(yīng)用。如何適應(yīng)目標(biāo)的表觀變化,實(shí)時(shí)調(diào)整目標(biāo)運(yùn)動(dòng)所引起的尺度變化,是目標(biāo)跟蹤所面臨的挑戰(zhàn)之一。Comaniciu等人[1]提出了增量試探法,通過計(jì)算上一幀尺度及其增量±10%3個(gè)尺度下的Mean Shift跟蹤,選取相似性系數(shù)最大的跟蹤窗所對(duì)應(yīng)的帶寬為最佳帶寬,這種方法存在小尺度游蕩和尺度跟蹤滯后的問題[2]。Bradski[3]提出了基于不變矩的方法:利用Mean Shift迭代收斂至候選目標(biāo)位置,計(jì)算跟蹤窗口內(nèi)像素的二階中心矩確定目標(biāo)的尺度因子。由于矩特征計(jì)算復(fù)雜,嚴(yán)重影響了算法的實(shí)時(shí)性。文獻(xiàn)[4]引入一個(gè)額外的尺度核,通過對(duì)采樣加權(quán)圖像進(jìn)行DOG濾波,在尺度空間進(jìn)行Mean Shift迭代找到最佳核窗寬。該方法計(jì)算量大且使用Epanechnikov核等價(jià)于在尺度空間求各尺度的平均。彭寧嵩等人[5]利用匹配角點(diǎn)求解仿射模型參數(shù)來確定目標(biāo)的尺度,該方法僅適用于剛體或者形變較小的目標(biāo)。林慶等人提出多尺度圖像信息量度量方法[6],根據(jù)信息量的變化選擇跟蹤窗的尺度。由于難以找到徹底區(qū)分目標(biāo)和背景的信息描述,因此,該算法很難適應(yīng)場(chǎng)景變化。文獻(xiàn)[7]利用對(duì)數(shù)極坐標(biāo)變換域的相關(guān)匹配確定目標(biāo)尺度。該方法局限于跟蹤圓形目標(biāo)。在分析對(duì)數(shù)極坐標(biāo)變換的基礎(chǔ)上,本文提出了一種基于橢圓對(duì)數(shù)極坐標(biāo)變換的尺度變化目標(biāo)跟蹤算法。與傳統(tǒng)方法相比較,本文算法不受目標(biāo)外觀形狀的限制,充分利用了目標(biāo)中心和外圍的信息,具有較好的魯棒性。
目標(biāo)跟蹤過程實(shí)際上就是描述目標(biāo)和定位目標(biāo)的過程,對(duì)于尺度變化的目標(biāo)跟蹤,定位過程又分為空間定位和尺度定位。本文利用Mean Shift算法對(duì)目標(biāo)進(jìn)行空間定位,進(jìn)而在橢圓對(duì)數(shù)極坐標(biāo)變換域映射目標(biāo)和候選目標(biāo),通過相關(guān)匹配自適應(yīng)目標(biāo)的尺度變化。
Mean Shift是一種實(shí)用的跟蹤算法,具有計(jì)算量小,對(duì)邊緣遮擋、目標(biāo)旋轉(zhuǎn)、變形和背景運(yùn)動(dòng)等復(fù)雜情況不敏感等優(yōu)點(diǎn)。Mean Shift目標(biāo)模型描述有核函數(shù)加權(quán)直方圖和背景加權(quán)直方圖[8-9]。背景加權(quán)表示能夠抑制目標(biāo)跟蹤窗內(nèi)的背景因素,突出目標(biāo)特征。本文目標(biāo)模板qu采用背景加權(quán),目標(biāo)候選pu采用核函數(shù)加權(quán),其相應(yīng)公式如下:
式中:Ch為歸一化系數(shù),xi為候選目標(biāo)像素當(dāng)前幀的位置;h表示核窗寬,通常取目標(biāo)跟蹤窗寬一半。
核窗寬固定的Mean Shift跟蹤算法難以有效跟蹤尺度增大的跟蹤目標(biāo),實(shí)際上,只要目標(biāo)的伸縮平移變化處于跟蹤框范圍內(nèi),Mean Shift空間定位的準(zhǔn)確性就不受影響[5],因此,為了減小空間定位誤差,本文采用1.2倍的上一幀跟蹤窗進(jìn)行目標(biāo)空間定位。
對(duì)于非圓形目標(biāo),基于對(duì)數(shù)極坐標(biāo)變換的方法往往直接作圓形處理,或者直接選擇目標(biāo)中心最大內(nèi)切圓形區(qū)域?yàn)楦檯^(qū)域,或者選擇目標(biāo)的最大外接圓形區(qū)域?yàn)楦檯^(qū)域,如圖1所示。這種粗糙的處理方式要么減少了描述目標(biāo)特征像素的多樣性,降低了目標(biāo)的抗噪能力,要么引入了較多的背景信息,降低了目標(biāo)與背景的區(qū)分度,同時(shí),受目標(biāo)形變和顏色一致性的影響,持續(xù)跟蹤的穩(wěn)定性會(huì)大大降低。
圖1 基于對(duì)數(shù)極坐標(biāo)變換的方法Fig.1 Algorithm based on LPT
圖像橢圓對(duì)數(shù)極坐標(biāo)變換的思想是通過橢圓極坐標(biāo)變換將圖像從笛卡爾坐標(biāo)系(Cartesian coordinates)轉(zhuǎn)換至極坐標(biāo)系,然后再取對(duì)數(shù)變換到橢圓對(duì)數(shù)極坐標(biāo)系,變換過程如圖2所示。對(duì)數(shù)極坐標(biāo)變換:
式中:a、b分別表示初始幀人工框定的目標(biāo)寬和高;(x0,y0)表示目標(biāo)的中心坐標(biāo),也就是所謂的變換中心;α為
圖2 橢圓對(duì)數(shù)極坐標(biāo)變換原理圖Fig.2 Schematic of ELPT
細(xì)化參數(shù)k1、k2解決了算法中“值域太窄”和“存在小數(shù)”的問題[10],即直接變換后的點(diǎn)(r,θ)較小且存在多個(gè)(x,y)對(duì)應(yīng)同一個(gè)(r,θ)的問題,對(duì)圖像進(jìn)行放大并作取整或者插值運(yùn)算,提高了圖像取樣的精確度和分辨率。通過對(duì)數(shù)極坐標(biāo)變換,將笛卡爾坐標(biāo)系下的尺度旋轉(zhuǎn)問題轉(zhuǎn)化為對(duì)數(shù)極坐標(biāo)系下的平移問題,k1,k2計(jì)算式:
式中:p、Q表示對(duì)數(shù)極坐標(biāo)變換后圖像的大??;[·]為取整運(yùn)算。
傳統(tǒng)基于LPT的跟蹤方法局限于跟蹤圓形目標(biāo),對(duì)于非圓形目標(biāo),往往需要作近圓處理,或者直接選擇目標(biāo)跟蹤框中心最大內(nèi)切圓形區(qū)域?yàn)楦檯^(qū)域。由于這樣的粗糙處理減少了描述目標(biāo)特征的像素,必然會(huì)造成目標(biāo)在跟蹤過程中抗噪能力下降,且受目標(biāo)顏色一致性的影響,跟蹤性能會(huì)有所降低?;跈E圓對(duì)數(shù)極坐標(biāo)變換拓寬了對(duì)目標(biāo)形狀的限制,充分利用了目標(biāo)的像素信息。
通過空間定位確定圖像序列第k幀的目標(biāo)形心Ok后,對(duì)目標(biāo)搜索窗口Tk內(nèi)的圖像以O(shè)k為中心進(jìn)行橢圓對(duì)數(shù)極坐標(biāo)變換,形成Ik(r,θ)。橢圓對(duì)數(shù)極坐標(biāo)變換對(duì)目標(biāo)不同區(qū)域進(jìn)行不同的分辨率描述,對(duì)中心區(qū)域進(jìn)行高分辨率描述,周邊區(qū)域進(jìn)行粗糙表達(dá),突出了跟蹤目標(biāo)的中心區(qū)域,抑制邊緣像素的背景干擾,對(duì)短半軸區(qū)域進(jìn)行高分辨率描述,長半軸進(jìn)行粗糙表達(dá),體現(xiàn)了“多退少補(bǔ)”的思想,突出了目標(biāo)的整體均衡性。通過變換,將笛卡爾坐標(biāo)系下的尺度問題轉(zhuǎn)化為對(duì)數(shù)極坐標(biāo)系下的平移問題。在橢圓對(duì)數(shù)極坐標(biāo)變換域中,目標(biāo)的尺度變化總是沿著r軸進(jìn)行的,所以對(duì)r軸進(jìn)行積分求和將產(chǎn)生旋轉(zhuǎn)不變的一維映射函數(shù)Sk(r):
采用歸一化的相關(guān)函數(shù)作為映射函數(shù)Sk(r)和Sk-1(r)的相似性測(cè)度:
式中:Sk表示模板圖像的r軸映射;μk表示Sk的均值。
根據(jù)相關(guān)系數(shù)的最大值位置可以求得目標(biāo)沿r軸的平移量dr,從而恢復(fù)出當(dāng)前幀目標(biāo)的尺度。
式中:Wk-1、Wk分別表示第k-1幀和第k幀中目標(biāo)的尺度;k1為(5)式中的放大系數(shù)。
目標(biāo)運(yùn)動(dòng)常常伴隨姿態(tài)、尺度、光照等變化,固定的模板往往會(huì)因?yàn)闊o法適應(yīng)目標(biāo)表觀變化而造成跟蹤丟失或漂移,適時(shí)修正目標(biāo)的跟蹤模板是視頻長時(shí)間準(zhǔn)確穩(wěn)定跟蹤的有力保障。
對(duì)于橢圓對(duì)數(shù)極坐標(biāo)變換域的一維相關(guān)采用逐幀更新的方式,也就是說,相關(guān)匹配總是在當(dāng)前幀與上一幀的圖像之間進(jìn)行。
對(duì)于Mean Shift跟蹤,采用隔幀檢測(cè)(每隔4幀)和條件加權(quán)[11]的方法來更新模板。
對(duì)于尺度變化的目標(biāo)跟蹤,空間定位和尺度定位相互依賴??臻g定位是尺度定位的基礎(chǔ),空間定位不準(zhǔn)確,尺度定位就很難正確;反過來,尺度定位又是空間定位的條件,只有在正確的尺度范圍內(nèi)提取目標(biāo)特征,才能實(shí)現(xiàn)有效特征匹配。算法流程如圖3所示,具體如下:
步驟1:在視頻初始幀人工標(biāo)定跟蹤目標(biāo),計(jì)算目標(biāo)模型qu以及目標(biāo)橢圓對(duì)數(shù)極坐標(biāo)變換模型S0(r);
步驟2:取前一幀目標(biāo)的中心作為初始中心,目標(biāo)窗口的1.2倍為跟蹤尺度進(jìn)行Mean Shift空間定位;
步驟3:對(duì)目標(biāo)候選區(qū)域進(jìn)行橢圓對(duì)數(shù)極坐標(biāo)變換,并在一維映射中求取歸一化的相關(guān)系數(shù),根據(jù)式(12)即可求出目標(biāo)的當(dāng)前尺度;
步驟4:以步驟2的跟蹤結(jié)果為初始位置,步驟3的尺度為新的跟蹤尺度,進(jìn)行Mean Shift精確跟蹤;
步驟5:判斷模板更新條件,更新目標(biāo)模板及橢圓對(duì)數(shù)極坐標(biāo)變換模型;
步驟6:返回步驟2進(jìn)行下一幀跟蹤。
實(shí)驗(yàn)硬件平臺(tái)為主頻2.6GHz CPU,內(nèi)存2GB的計(jì)算機(jī),軟件平臺(tái)為Windows XP操作系統(tǒng),編譯環(huán)境為Matlab R2007a。實(shí)驗(yàn)中采用RGB顏色空間和16bin×16bin×16bin的直方圖,初始化在第一幀手工完成。Mean Shift采用Epanechnikov核。
圖3 跟蹤算法流程圖Fig.3 Flow chart of tracking algorithm
主要測(cè)試算法對(duì)逐漸變小和近圓形目標(biāo)的跟蹤能力。圖4為從Vehicle序列中截取的一段視頻跟蹤結(jié)果,幀長71幀?;诎褪舷禂?shù)的相似性度量經(jīng)常會(huì)在較小好的結(jié)果。但是,實(shí)驗(yàn)中算法在第50幀左右還是產(chǎn)生了一定的漂移,主要是因?yàn)樵摲椒ㄈ狈Ρ匾哪0甯聶C(jī)制,當(dāng)目標(biāo)遠(yuǎn)去之后,描述目標(biāo)像素減少,受光照等影響,目標(biāo)的表觀模型變化較劇烈,原有目標(biāo)模板已不適合繼續(xù)匹配下去。文獻(xiàn)[6]方法受限于復(fù)雜場(chǎng)景的制約,無法區(qū)分統(tǒng)計(jì)的信息屬于目標(biāo)信息還是背景信息。文獻(xiàn)[7]方法局限于處理圓形區(qū)域,因此對(duì)于近圓形目標(biāo),也能夠獲得比較好的跟蹤結(jié)果。本文算法適時(shí)更新目標(biāo)模板,改善了算法適應(yīng)目標(biāo)表觀變化的能力,增強(qiáng)了算法的穩(wěn)定性。
圖4 尺度縮小目標(biāo)跟蹤結(jié)果Fig.4 Tracking result of down-scale target
主要測(cè)試算法對(duì)于逐漸變大和非圓形目標(biāo)的跟蹤能力。圖5為從OneStopEnter序列中截取的一段視頻跟蹤結(jié)果,幀長230幀。從圖中可以明顯看到,對(duì)于逐漸增大的運(yùn)動(dòng)目標(biāo),文獻(xiàn)[1]方法發(fā)生漂移并最終陷入局部極值。文獻(xiàn)[6]方法對(duì)光照變化比較敏感,當(dāng)光照變亮后,雖然目標(biāo)變大,但是統(tǒng)計(jì)的目標(biāo)信息量反而變小,致使算法陷入了局部“陷阱”。文獻(xiàn)[7]方法對(duì)于非圓形目標(biāo)粗糙的圓形處理方式降低了算法抗干擾的能力,加之目標(biāo)運(yùn)動(dòng)過程中形變擾動(dòng)影響,算法持續(xù)跟蹤誤差較大。本文算法在跟蹤過程中能較好地自適應(yīng)目標(biāo)尺度變化,具有較好的跟蹤效果。
圖5 尺度增大目標(biāo)跟蹤結(jié)果Fig.5 Tracking result of up-scale target
圖6 顯示了四種算法的跟蹤誤差,即跟蹤結(jié)果的形心到目標(biāo)實(shí)際形心的歐氏距離。其中,目標(biāo)的實(shí)際形心坐標(biāo)通過人工逐幀標(biāo)注得到。
圖6 兩組實(shí)驗(yàn)中四種算法的跟蹤誤差比較Fig.6 Tracking error analysis of 4 algorithms in tests
為了定量分析本文算法的性能,求取跟蹤目標(biāo)在X、Y方向上的平均跟蹤誤差和正確跟蹤率,見表1??梢钥闯?,本文算法的平均跟蹤誤差明顯低于其他兩種算法。其中,正確跟蹤率定義為正確跟蹤的視頻幀數(shù)與視頻總幀數(shù)之比。
表1 算法性能比較Table 1 Comparison of algorithm performance
針對(duì)傳統(tǒng)跟蹤算法不能很好解決尺度縮放目標(biāo)跟蹤的問題,本文在準(zhǔn)確定位目標(biāo)空間位置的基礎(chǔ)上,改進(jìn)了傳統(tǒng)基于對(duì)數(shù)極坐標(biāo)變換跟蹤算法局限于跟蹤圓形目標(biāo)的弊端。實(shí)驗(yàn)結(jié)果表明,算法能夠較好地跟蹤尺度變化目標(biāo),具有一定的實(shí)用價(jià)值。事實(shí)上,對(duì)于目標(biāo)的寬高比變化、運(yùn)動(dòng)模糊等問題本文算法還欠考慮,這也是有待進(jìn)一步研究的問題。
[1] COMANICIU D,RAMESH V,MEER P.Kernel-Based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-575.
[2] 左軍毅,梁彥,趙春暉,等.Mean Shift跟蹤算法中尺度自適應(yīng)策略的研究[J].中國圖象圖形學(xué)報(bào),2008,13(9):1751-1758.ZUO Jun-yi,LIANG Yan,ZHAO Chun-hui,et al.Researches on acale adaptation strategy in Mean Shift tracking algorithm[J].Journal of Image and Graphics,2008,13(9),1751-1758.(in Chinese with an English abstract)
[3] BRADSKI G R .Real time face and object tracking as a component of a perceptual user interface[C].Stoughton:Printing House,1998.
[4] COLLINS R T.Mean Shift blob tracking through scale space:Proceedings of IEEE Conference on computer vision and pattern recognition,Madison,Wisconsin,June 18-20.2003[C].USA:IEEE,2003.
[5] 彭寧嵩,楊杰,劉志,等.Mean-Shift跟蹤算法中核函數(shù)窗寬的自動(dòng)選?。跩].軟件學(xué)報(bào),2005,16(9):1542-1550.PENG Ning-song,YANG Jie,LIU Zhi,et al.Automatic selection of Kernel-bandwidth for mean-shift object tracking[J].Journal of Software,2005,16(9):1542-1550.(in Chinese with an English abstract)
[6] 林慶,陳遠(yuǎn)祥,王士同,等.目標(biāo)窗口尺寸自適應(yīng)變化的Mean-Shift跟蹤算法[J].計(jì)算機(jī)應(yīng)用,2009,29(12):3329-3331.LIN Qing,CHEN Yuan-xiang,WANG Shi-tong,et al.Mean Shift tracking algorithm with adaptive bandwidth of target[J].Journal of Computer Applications,2009,29(12),3329-3331.(in Chinese with an English abstract)
[7] 孫小煒,李言俊,陳義.基于人眼視覺非均勻特性的實(shí)時(shí) Mean Shift跟蹤方法[J].光子學(xué)報(bào),2009,38(3):719-724.SUN Xiao-wei.,LI Yan-jun.,CHEN Yi.Real time mean shift tracking method based on human vision non-uniform sampling[J].Acta Photonica Sinica,2009,38(3):719-724.(in Chinese with an English abstract)
[8] 趙高鵬,薄煜明.基于自適應(yīng)選擇的金字塔均值漂移跟蹤方法[J].光子學(xué)報(bào),2011,40(1):154-160.ZHAO Gao-peng.,BO Yi-ming.Pyramid mean shift tracking algorithm based on adaptive feature selection[J].Acta Photonica Sinica,2011,40(1):154-160.(in Chinese with an English abstract)
[9] 胡波.基于改進(jìn)Mean Shift算法的實(shí)時(shí)視頻目標(biāo)跟蹤[J].光子學(xué)報(bào),2012,41(4):461–464.HU Bo,Real-time video target tracking based on improved mean shift arithmetic[J].Acta Photonica Sinica,2012,41(4):461-464.(in Chinese with an English abstract)
[10] 李劉林,沈海斌,潘輝.細(xì)化參數(shù)的對(duì)數(shù)極坐標(biāo)變換圖像紋理特征提取算法[J].浙江大學(xué)學(xué)報(bào):理學(xué)版,2009,36(2):162-164.LI Liu-lin,SHEN Hai-bin,PAN Hui.Robust feature extraction arithmetic based on parametrical logpolar transformation for texture image[J].Journal of Zhejiang University:Science Edition ,2009,36(2):162-164.(in Chinese with an English abstract)
[11] 王曉華,滕炯華,趙春暉.基于H分量檢測(cè)的模板更新魯棒分塊跟蹤方法[J].計(jì)算機(jī)應(yīng)用,2012,32(5):1261-1264.WANG Xiao-hua,TENG Jiong-hua,ZHAO Chunhui,Robust fragments-based tracking with hue detecting-based template updating[J].Journal of Computer Applications.2012,32(5):1261-1264.(in Chinese with an English abstract)