郭 健,侯中喜,魏艷艷,高顯忠
(1國(guó)防科學(xué)技術(shù)大學(xué)航天與材料工程學(xué)院,長(zhǎng)沙 410073;2陸軍航空兵學(xué)院,北京 100123)
對(duì)視頻圖像中目標(biāo)的跟蹤,尤其是對(duì)具有移動(dòng)背景的視頻目標(biāo)跟蹤問題,一直是工程技術(shù)中一個(gè)具有挑戰(zhàn)性的課題[1]。
粒子濾波算法以蒙特卡羅模擬方法來實(shí)現(xiàn)遞推貝葉斯濾波,適用于任何非線性系統(tǒng)和非高斯噪聲的情況[2]。但由于該算法計(jì)算量大,耗時(shí)長(zhǎng),在提出之初,很難用于視頻的實(shí)時(shí)跟蹤[3]。近年來,隨著計(jì)算機(jī)硬件水平的提高以及算法的改進(jìn),在視頻跟蹤領(lǐng)域,該算法又重新得到了重視。但在實(shí)際應(yīng)用中仍存在重采樣實(shí)現(xiàn)過于繁雜,目標(biāo)跟蹤中對(duì)亮度變化太過敏感等問題。
針對(duì)以上問題,文中對(duì)粒子濾波算法做了適當(dāng)?shù)母倪M(jìn):鑒于粒子濾波過程中,粒子退化現(xiàn)象并非每次迭代都很明顯,文中利用等價(jià)有效粒子數(shù)的概念來判斷下一幀的圖像是否需要重采樣,可大大降低視頻目標(biāo)跟蹤中的計(jì)算量,且對(duì)結(jié)果的影響很小。在圖像色彩基準(zhǔn)中,HSV基準(zhǔn)相較RGB基準(zhǔn)而言,對(duì)圖像亮度的變化敏感度較低,因此通過將視頻RGB色彩基準(zhǔn)轉(zhuǎn)換成HSV色彩基準(zhǔn),然后再根據(jù)巴塔恰里亞測(cè)度評(píng)價(jià)模板和匹配區(qū)域的可區(qū)分程度,將更有利于目標(biāo)的跟蹤。在目標(biāo)跟蹤過程中對(duì)目標(biāo)模板進(jìn)行實(shí)時(shí)更新,使算法更適應(yīng)目標(biāo)特性發(fā)生變化的情況,以實(shí)現(xiàn)對(duì)目標(biāo)跟蹤的魯棒性。
在給定觀測(cè)yk的條件下對(duì)狀態(tài)xk進(jìn)行估計(jì),其最小均方差估計(jì)(MMSE)為:
假設(shè)系統(tǒng)為非線性動(dòng)態(tài)系統(tǒng):
其中:xk、yk分別為系統(tǒng)k時(shí)刻的狀態(tài)向量和觀測(cè)輸出,vk、nk分別為系統(tǒng)噪聲和觀測(cè)噪聲。
Step2預(yù)測(cè):
人際領(lǐng)導(dǎo)力也是校長(zhǎng)要具備的一種重要能力。校長(zhǎng)只有使不同性格、不同背景的眾多個(gè)體協(xié)調(diào)、凝聚、團(tuán)結(jié)成一個(gè)強(qiáng)大的整體,才能實(shí)現(xiàn)學(xué)校發(fā)展的共同愿景。人際領(lǐng)導(dǎo)力的外在表現(xiàn)就是校長(zhǎng)與教師關(guān)系融洽,內(nèi)在表現(xiàn)則在于校長(zhǎng)對(duì)教師尊重、信任、關(guān)愛。
Step3加權(quán):
Step4權(quán)值歸一化:
Step6估計(jì):利用式(6)計(jì)算濾波值,令k=k+1,返回Step2。
重采樣方案的提出,主要是為解決粒子退化的問題,即算法經(jīng)過若干步迭代后,僅有少量粒子有非零的權(quán)值,而大量的粒子對(duì)應(yīng)的權(quán)值趨近于零。在實(shí)際應(yīng)用中發(fā)現(xiàn):重采樣并非在每個(gè)時(shí)刻的估計(jì)中都需要,因?yàn)樵谀繕?biāo)運(yùn)動(dòng)不是很劇烈的情況下,粒子退化的現(xiàn)象很弱,重采樣對(duì)估計(jì)量精確度的貢獻(xiàn)很小。因此可利用等價(jià)有效粒子數(shù)的概念來判斷下一幀的圖像是否需要重采樣,具體操作步驟如下:
1)選擇合適的量度量當(dāng)前粒子權(quán)值所代表的有效粒子個(gè)數(shù)。對(duì)粒子有效性的度量需滿足:當(dāng)權(quán)值集中于少數(shù)粒子時(shí)度量值小,表示等價(jià)有效粒子數(shù)少;權(quán)值分散于多個(gè)粒子時(shí)度量值大,表示等價(jià)有效粒子數(shù)多。由此可將度量值選為:
2)設(shè)定重采樣門限N_threshold。該值通常取為0.7N,也可在實(shí)際測(cè)試中經(jīng)多次調(diào)整后選定。
3)由N_eff判斷該時(shí)刻是否需要進(jìn)行重采樣。對(duì)于N_eff>N_threshold的時(shí)刻可以跳過重采樣這一步驟,從而減小計(jì)算量。
在目標(biāo)外觀大小改變或部分被遮擋的情況下,顏色特征在目標(biāo)跟蹤具有較強(qiáng)的適應(yīng)性。通常視頻的顏色格式為RGB真彩模式,因此應(yīng)用中廣泛采用的顏色特征提取方法是將R、G、B顏色分量各分為8個(gè)等級(jí),用直方圖表示成[5],然后計(jì)算模板和匹配區(qū)域的近似程度。然而在實(shí)際應(yīng)用中這種顏色特征的提取方式存在一個(gè)很大的問題就是在圖像亮度發(fā)生變化的時(shí)候,RGB顏色直方圖會(huì)發(fā)生很大的變化,影響模板和目標(biāo)的匹配性能。但應(yīng)用HSV色彩基準(zhǔn)便可較好的解決這一問題。RGB顏色基準(zhǔn)與HSV顏色基準(zhǔn)表示方式見圖1、圖2。
圖1 RGB顏色基準(zhǔn)
圖2 HSV顏色基準(zhǔn)
因?yàn)镠SV色彩基準(zhǔn)中V分量獨(dú)立的代表顏色中的亮度變化,在顏色分級(jí)的策略中,可通過減少V的等級(jí)來弱化顏色直方圖對(duì)亮度的敏感程度,具體操作步驟如下:
1)將當(dāng)前幀的RGB色彩基準(zhǔn)轉(zhuǎn)化為HSV色彩基準(zhǔn),轉(zhuǎn)化公式如下:
2)將HSV色彩離散成m=8×8×4個(gè)區(qū)間,把當(dāng)前粒子搜索空間像素點(diǎn)的色彩離散到對(duì)應(yīng)的區(qū)間,形成HSV色彩直方圖h(x?i)。x?i為匹配空間中心點(diǎn)的位置坐標(biāo)。
3)為增強(qiáng)當(dāng)粒子搜索區(qū)域的邊界屬于背景,或是目標(biāo)被遮擋的情況下,粒子濾波性能的魯棒性,通常取權(quán)重函數(shù)[6]:
然后對(duì)直方圖h(x?i)進(jìn)行加權(quán),求得粒子搜索區(qū)域的顏色密度分布函數(shù):
其中I表示粒子搜索區(qū)域內(nèi)像素點(diǎn)的個(gè)數(shù)。
4)根據(jù)巴塔恰里亞測(cè)度評(píng)價(jià)模板和匹配區(qū)域的可區(qū)分程度。設(shè)模板和粒子搜索區(qū)域的顏色密度分布函數(shù)分別為則巴塔恰里亞系數(shù)為:
計(jì)算中ρ越大,表示該粒子搜索區(qū)域的圖像與模板圖像的匹配程度越高,ρ=1時(shí)表示完全匹配,并以此來對(duì)粒子權(quán)重進(jìn)行更新。
為驗(yàn)證文中改進(jìn)方案的有效性,可用Matlab編寫程序?qū)λ惴ㄟM(jìn)行試驗(yàn)。文中的試驗(yàn)程序是在CPU為雙核1.73G,內(nèi)存1G的PC機(jī)上運(yùn)行,采用單因子變量法對(duì)算法的有效性進(jìn)行分析與驗(yàn)證。
重采樣改進(jìn)策略的運(yùn)用,主要是基于對(duì)粒子退化程度的考慮,為此可選取一段目標(biāo)和背景的變化都比較緩慢的Bottle測(cè)試視頻進(jìn)行試驗(yàn)。試驗(yàn)中,粒子數(shù)選為200。N_threshold=0.7N,圖3為未使用選擇重采樣策略得到的目標(biāo)跟蹤軌跡,圖4為使用選擇重采樣策略得到的跟蹤軌跡。
由圖中可以看出,兩者跟蹤的軌跡相差不大,都很好的跟蹤到了目標(biāo)。對(duì)重采樣方案做了5次試驗(yàn),并比較了重采樣的次數(shù)。試驗(yàn)結(jié)果如表1所示。
圖3 未使用選擇重采樣
圖4 使用選擇重采樣
表1 Bottle測(cè)試視頻跟蹤過程中的重采樣率
由結(jié)果中看出,實(shí)施新的重采樣策略以后,對(duì)重采樣的計(jì)算量減少了45%左右,大大減少了運(yùn)算量,有利于算法在嵌入式硬件電路上的實(shí)現(xiàn)。
為驗(yàn)證文中所述方案的有效性,可先將兩幅背景相同,只有目標(biāo)亮度發(fā)生變化的圖像進(jìn)行分析。圖5作為模板,對(duì)圖6中的目標(biāo)分別用RGB色彩基準(zhǔn)和HSV色彩基準(zhǔn)建立顏色密度分布函數(shù),如圖所示。
圖5 模板的RGB色彩和HSV色彩分布函數(shù)
圖6 跟蹤目標(biāo)的RGB色彩和HSV色彩分布函數(shù)
由圖中可以看出,以RGB色彩基準(zhǔn)建立的顏色密度分布函數(shù)形狀變化很大;而以HSV為色彩基準(zhǔn)時(shí)顏色密度分布函數(shù)形狀變化并不劇烈,從而更有利于目標(biāo)和模板的匹配。
以亮度變化比較顯著的Flight測(cè)試視頻進(jìn)行試驗(yàn),采用兩種方法的視頻跟蹤圖像分別如圖7、圖8所示。
由圖中可以看出,以RGB色彩基準(zhǔn)作為目標(biāo)特征提取,在亮度變化比較大的情況下,丟失了目標(biāo),而用HSV色彩基準(zhǔn)則很好的解決了這一問題。
圖7 以RGB色彩基準(zhǔn)跟蹤目標(biāo)
粒子濾波是近年來在視頻目標(biāo)跟蹤領(lǐng)域中受到廣泛關(guān)注的熱點(diǎn)算法,由于其在目標(biāo)發(fā)生變形或是部分被遮擋情況時(shí)良好的自適應(yīng)性能和魯棒性能,可以預(yù)見,該算法將更廣泛的應(yīng)用到專用目標(biāo)跟蹤與檢測(cè)的嵌入式硬件電路中,這就要求盡量的減小算法的運(yùn)算量,提高其在特定環(huán)境下的性能。在對(duì)該算法的應(yīng)用研究中發(fā)現(xiàn)使用選擇性重采樣策略和HSV色彩基準(zhǔn)可減少算法的運(yùn)算量,提高算法在亮度變化劇烈的環(huán)境中的魯棒性,試驗(yàn)證實(shí)這些改進(jìn)策略是有效的。
圖8 以HSV色彩基準(zhǔn)跟蹤目標(biāo)
[1]Crisand D A.A survey of convergence results on particle filtering methods for practitioners[J].IEEE Transactions on Signal Processing,2002,50(3):736-740.
[2]姚劍敏,辛琦,郭太良.一種基于粒子濾波的自適應(yīng)相關(guān)跟蹤算法[J].武漢理工大學(xué)學(xué)報(bào),2008,30(1):6-9.
[3]Carpenter J,Clifford P.An improved particle filter for nonlinear problems[J].IEEE Proceedings on Radar and Sonar Navigation,1999,146(1):2-7.
[4]Christophe Andrieu A D.Particle filtering for partially observed Gaussian state space models[J].J.R.Statist,2002,64(4):827-832.
[5]劉洋,李玉山,張大樸,等.基于動(dòng)態(tài)目標(biāo)建模的粒子濾波視覺跟蹤算法[J].光子學(xué)報(bào),2008,37(2):375-379.
[6]Erik Cuevas D Z.Particle filter in vision tracking[J].Technical Report,2005,5(13):1-11.