韓華,丁永生,2,郝礦榮,2
(1.東華大學(xué)信息科學(xué)與技術(shù)學(xué)院,上海 201620;2.數(shù)字化紡織服裝技術(shù)教育部工程研究中心,上海 201620)
綜合顏色和小波紋理特征的免疫粒子濾波視覺跟蹤
韓華1,丁永生1,2,郝礦榮1,2
(1.東華大學(xué)信息科學(xué)與技術(shù)學(xué)院,上海 201620;2.數(shù)字化紡織服裝技術(shù)教育部工程研究中心,上海 201620)
針對(duì)標(biāo)準(zhǔn)粒子濾波視覺跟蹤時(shí)的缺陷,尤其是其“樣貧”和目標(biāo)特征不明顯等問題,提出了結(jié)合小波紋理特征的免疫粒子濾波算法.小波紋理特征的加入,使得單純依靠顏色特征不能很好適應(yīng)環(huán)境變化的情況得到了改善.同時(shí)通過加入免疫優(yōu)化算法,提高了粒子的多樣性,尤其是在發(fā)生遮擋時(shí)減少了“樣貧”的影響.通過實(shí)驗(yàn)驗(yàn)證了所提算法的有效性和魯棒性.與基于單一特征的跟蹤方法相比,該算法能穩(wěn)健地實(shí)現(xiàn)對(duì)復(fù)雜場(chǎng)景下目標(biāo)的跟蹤.
粒子濾波;免疫粒子濾波;小波紋理特征;相似性度量;視覺跟蹤
從20世紀(jì)90年代以來,基于粒子濾波的視覺跟蹤算法研究一直是視覺跟蹤的研究熱點(diǎn).近年來,依據(jù)序列圖像對(duì)感興趣區(qū)域進(jìn)行持續(xù)跟蹤問題引起了人們的廣泛關(guān)注.目前視頻跟蹤的難點(diǎn)在于:1)由于復(fù)雜背景的影響,在目標(biāo)運(yùn)動(dòng)區(qū)域提取方面缺乏有效的手段;2)由于目標(biāo)被障礙物遮擋的影響,使測(cè)量數(shù)據(jù)出現(xiàn)斷續(xù)現(xiàn)象;3)密集目標(biāo)的軌跡交叉跟蹤問題.針對(duì)上述問題,Isard和Blake在1998年提出了Condensation目標(biāo)輪廓跟蹤方法[1],并將其應(yīng)用到視覺跟蹤.該方法用統(tǒng)計(jì)自回歸過程對(duì)目標(biāo)的運(yùn)動(dòng)進(jìn)行建模,將系統(tǒng)狀態(tài)先驗(yàn)密度作為建議分布,并利用目標(biāo)輪廓線的概率分布作為樣本的觀測(cè)密度.Nummiaro等[2]提出了利用顏色特征的粒子濾波視覺跟蹤方法,采用核函數(shù)直方圖建立目標(biāo)的顏色概率密度分布模型,并以此建立樣本的觀測(cè)似然函數(shù).為了提高粒子濾波視覺跟蹤方法的穩(wěn)健性,Isard等提出了基于重要采樣算法的視覺跟蹤方法,在每幀跟蹤中,首先從整個(gè)圖像進(jìn)行全局的膚色檢測(cè),然后從檢測(cè)到膚色的區(qū)域進(jìn)行采樣[1].另外,單一的顏色特征往往不能全面地描述目標(biāo)的真實(shí)特征,而顏色、紋理、形狀等特征對(duì)不同的環(huán)境有不同的魯棒性.田卉等[3]在顏色特征的基礎(chǔ)上又增加了小波紋理特征對(duì)目標(biāo)進(jìn)行描述,以增加目標(biāo)跟蹤的準(zhǔn)確性.樣貧是粒子濾波為克服粒子退化而引入重采樣過程時(shí)帶來的,樣貧會(huì)嚴(yán)重影響粒子對(duì)目標(biāo)狀態(tài)的描述能力.為此文中通過免疫優(yōu)化的策略來解決重采樣帶來的樣貧問題,在重采樣之前加入免疫優(yōu)化算法可以增加粒子多樣性,增加有效粒子數(shù).
粒子濾波算法是一種基于序貫重要性采樣的,非線性、非高斯的濾波方法,是指通過尋找一組在狀態(tài)空間中不斷傳遞的隨機(jī)樣本,對(duì)概率密度函數(shù)P(xk|Z1∶k)進(jìn)行估計(jì),獲得狀態(tài)最小方差的估計(jì)過程.這些樣本被稱為“粒子”,隨著粒子數(shù)量的增加,粒子的概率密度函數(shù)將逐漸逼近狀態(tài)的概率密度,粒子濾波估計(jì)也便達(dá)到了最優(yōu)貝葉斯估計(jì)的效果.通常,對(duì)動(dòng)態(tài)時(shí)變系統(tǒng)描述如下:
式中:Xk∈表示k時(shí)刻系統(tǒng)狀態(tài),Zk∈表示測(cè)量,Uk、Vk分別為獨(dú)立同分布的系統(tǒng)噪聲和觀測(cè)噪聲.Bayes意義下,許多非線性問題的數(shù)值解需由高維積分才能得到,而基于隨機(jī)采樣運(yùn)算的 Monte Carlo方法可將高維積分轉(zhuǎn)化為有限樣本的求和[4].假設(shè)目標(biāo)狀態(tài)Xk服從一階Markov過程,狀態(tài)Xk與量測(cè)序列Zk獨(dú)立,X0的先驗(yàn)分布為p(X0).從p(X0∶k|Z1∶k)中隨機(jī)抽取N個(gè)獨(dú)立同分布的樣本{Xi0∶k;i=1,2,…,N},則狀態(tài)后驗(yàn)概率密度(PDF)可以由經(jīng)驗(yàn)分布逼近為[5]
在實(shí)際中,由于p(Xk|Z1∶k)可能是多變量、非標(biāo)準(zhǔn)概率分布,通常無法直接從狀態(tài)的PDF直接采樣,這樣就需要借助采樣算法[5].重要性函數(shù)是指概率分布與p(Xk|Z1∶k)相同,且概率密度分布q(X0∶k|Z1∶k) 已知,容易被采樣的分布.從重要性函數(shù)q(X0∶k|Z1∶k) 中隨機(jī)抽取N個(gè)樣本{;i=1,2,…,N},則狀態(tài)的PDF可用求取加權(quán)和的形式來逼近[4]:
粒子濾波算法主要包括3個(gè)步驟:1)粒子采樣,從建議分布中隨機(jī)抽取一組新的粒子;2)粒子權(quán)值計(jì)算,根據(jù)觀測(cè)概率分布和貝葉斯公式計(jì)算各個(gè)粒子的權(quán)值;3)狀態(tài)估計(jì)輸出;4)重采樣,重采樣是為了避免退化現(xiàn)象.在標(biāo)準(zhǔn)粒子濾波中,經(jīng)常出現(xiàn)的退化現(xiàn)象表現(xiàn)為:經(jīng)過多次遞推運(yùn)算后,除了少數(shù)粒子外,多數(shù)粒子的權(quán)值可忽略不計(jì),從而使大量運(yùn)算浪費(fèi)在幾乎不起作用的粒子的更新上,甚至最后只剩下一個(gè)權(quán)值很大的有效粒子,從而產(chǎn)生一個(gè)退化分布[6],最終導(dǎo)致許多狀態(tài)更新對(duì)估計(jì)不起作用,有效粒子數(shù)定義為[7-8]
由式(2)可以看出,Neff很難計(jì)算,所以有效粒子數(shù)可用其近似值計(jì)算:
很明顯,一個(gè)或幾個(gè)有效粒子是不能近似狀態(tài)的概率分布的.通常,避免退化現(xiàn)象的方法有3種:1)增加粒子數(shù)量,但是粒子數(shù)量的增加會(huì)導(dǎo)致計(jì)算復(fù)雜度增加;2)選取有效的建議分布,經(jīng)典的采樣策略有拒絕采樣法、重要性采樣法和馬爾可夫-蒙特卡洛采樣法.近年來,人們對(duì)粒子濾波采樣方法進(jìn)行了廣泛的改進(jìn)研究,但是Liu和Chen[9]指出這些改進(jìn)的方法都基本依賴于這3種經(jīng)典采樣策略理論,因此對(duì)采樣策略的改進(jìn)很難有較大的突破;3)重采樣,重采樣法就是在權(quán)值計(jì)算后引入重采樣.重采樣對(duì)粒子集{,}進(jìn)行重新采樣,權(quán)值大的粒子被多次抽取,而權(quán)值小的粒子被隨機(jī)剔除[6].雖然重采樣可以消除權(quán)值小的粒子在粒子濾波中的影響,但是同時(shí)又引入了新的負(fù)面問題,那就是“樣貧”.這是因?yàn)橹夭蓸訉⒏邫?quán)值的粒子過度復(fù)制,有效粒子數(shù)減少,從而導(dǎo)致新粒子集的信息容量降低,經(jīng)過若干次遞推計(jì)算后,有效粒子幾乎被耗盡.而免疫粒子濾波方法可以用來解決重采樣帶來的“樣貧”問題,具體通過在重采樣之前加入交叉、變異等操作,使得粒子集向新的區(qū)域擴(kuò)散,從而保證了粒子集的多樣性.
免疫優(yōu)化是受生物免疫機(jī)制的啟發(fā)而形成的一種新型的算法,它模擬了生物免疫系統(tǒng)產(chǎn)生抗體抵御外來入侵抗原的自適應(yīng)能力,實(shí)現(xiàn)了入侵抗原識(shí)別、多樣抗體生成、自我調(diào)節(jié)、免疫記憶等功能.生物免疫系統(tǒng)雖然復(fù)雜,但是其呈現(xiàn)出來的抵御抗原的自適應(yīng)能力確實(shí)十分明顯的.將外來侵犯的抗原和免疫系統(tǒng)產(chǎn)生的抗體分別與實(shí)際求解問題的目標(biāo)函數(shù)和問題的候選解相對(duì)應(yīng),即被跟蹤目標(biāo)的狀態(tài)與抗原相對(duì)應(yīng),粒子與抗體相對(duì)應(yīng).免疫優(yōu)化算法模擬了免疫系統(tǒng)的抗體多樣性保持機(jī)制,實(shí)現(xiàn)了免疫系統(tǒng)的自我調(diào)節(jié)功能,即利用抗體的濃度選擇機(jī)制,實(shí)現(xiàn)對(duì)抗體的促進(jìn)和抑制作用,保持抗體的多樣性.抗體的選擇概率pi由適應(yīng)度概率pfi和濃度抑制概率pdi2部分組成,具體如下所示[10]:
式中:α和β分別為調(diào)節(jié)常數(shù);N為抗體總數(shù),Ci為抗體濃度,即相似抗體所占比重;F(·)為抗體適應(yīng)度函數(shù),Ci、F(·)分別如下所示.
式中:抗體間親和度采用Euclidean距離評(píng)價(jià).考慮進(jìn)化只能向著適應(yīng)度函數(shù)值增大的方向進(jìn)行,因此適應(yīng)度函數(shù)可構(gòu)造成狀態(tài)估計(jì)與真實(shí)狀態(tài)之間均方根誤差的倒數(shù),即
免疫優(yōu)化粒子濾波充分運(yùn)用抗體濃度促進(jìn)與抑制、交叉、變異、記憶等免疫算法的機(jī)制,不僅能夠保證高權(quán)值的粒子仍能夠添加到記憶單元,還能夠調(diào)節(jié)抗體的濃度,而且高頻變異和粒子交叉能使原有的粒子集發(fā)散開來,從而獲得新的粒子,這些新的粒子是增加原有粒子集多樣性的保障.
由于視頻中運(yùn)動(dòng)目標(biāo)含有的信息量非常大,因此基于單特征的跟蹤方法往往不能完全描述目標(biāo)的特征.為了提高跟蹤算法的有效性,通常需要綜合多種特征共同描述目標(biāo).因此,在運(yùn)用傳統(tǒng)加權(quán)顏色直方圖描述目標(biāo)的同時(shí),采用基于小波的圖像紋理特征描述.
假設(shè)將視頻目標(biāo)的顏色分布離散化為B級(jí)(RGB空間一般取B=8×8×8),顏色量化函數(shù)b(lm):R2→{1,2,…,B},表示把位置lm處的像素顏色值量化并將其分配到顏色分布相應(yīng)的顏色級(jí).因此,對(duì)于視頻目標(biāo)狀態(tài)X,其顏色分布定義為[2]
式中:l表示視頻目標(biāo)的中心(x,y),由目標(biāo)X確定;M表示目標(biāo)區(qū)域的總像素?cái)?shù);表示目標(biāo)區(qū)域的大小;k(·)表示核函數(shù)(一般選高斯核函數(shù));δ(·)為Kronecker Deita函數(shù);C為歸一化常數(shù),且
對(duì)于視頻目標(biāo)觀測(cè)概率分布的計(jì)算,在視頻跟蹤的初始幀選定參考目標(biāo)Xc,利用上述方法建立參考目標(biāo)的顏色分布{q(u)}u=1,2,…,B.在第k幀,設(shè)視頻目標(biāo)狀態(tài)Xk的第i個(gè)采樣所對(duì)應(yīng)的圖像區(qū)域顏色分布為{p(u)}u=1,2,…,B,樣本表示視頻目標(biāo)在第k幀的一假定狀態(tài).于是,樣本與參考目標(biāo)Xc的相似性度量可利用其顏色分布的相似性度量建立,在此用Bhattacharyya系數(shù)來建立,且 Bhattacharyya系數(shù)定義為[11]
則樣本與參考目標(biāo)Xc的相似性度量可定義為
式中:Dc(p,q)成為Bhattacharyya距離.
紋理描述了圖像區(qū)域的統(tǒng)計(jì)特性和全局特征,具有旋轉(zhuǎn)不變性和較強(qiáng)的抗噪能力.在此采用二維旋轉(zhuǎn)復(fù)合小波在12個(gè)不同方向上提取圖像紋理特征.二維旋轉(zhuǎn)復(fù)合濾波結(jié)合了二叉樹旋轉(zhuǎn)復(fù)合小波濾波器(DT-RCWF)和二叉樹復(fù)合小波濾波器(DTCWF)[12].
對(duì)圖像利用DT-RCWF和 DT-CWF進(jìn)行3級(jí)分解,提取能量特征和標(biāo)準(zhǔn)差特征分別為:
式中:Wmn(i,j)表示第m級(jí)n方向小波分解子帶中像素為(i,j)的灰度值;M×N表示小波分解子帶的大小;μmn表示m級(jí)n方向小波分解子帶的灰度均值,則圖像的紋理相似度可定義為
目標(biāo)的觀測(cè)量由顏色觀測(cè)量和紋理觀測(cè)量兩部分組成.顏色觀測(cè)量可表示為
式中:λc為控制參數(shù),pc(|)值越大,則候選目標(biāo)與目標(biāo)模板顏色越接近,候選目標(biāo)為真實(shí)目標(biāo)的可能性也越大.
紋理觀測(cè)量可表示為
式中:λT為控制參數(shù).通常單一特征不足以表達(dá)目標(biāo)的真實(shí)特征,綜合多種特征可以實(shí)現(xiàn)各特征間信息互補(bǔ),提高視頻跟蹤的魯棒性.因此在X時(shí)刻下,由式(3)、(4)可將目標(biāo)X的后驗(yàn)概率表示為
將式(5)代入式(1)即可求得每個(gè)粒子的權(quán)值,如下所示:
綜上,將該算法流程總結(jié)如下:
5)適應(yīng)度計(jì)算;
6)記憶單元更新,用當(dāng)前種群中適應(yīng)度高的抗體替換記憶單元中適應(yīng)度低的抗體,否則將當(dāng)前種群中適應(yīng)度高的抗體直接加入記憶單元,為保持抗體多樣性,在替換時(shí)必須替換與加入抗體親和度最高的原有抗體;
7)抗體濃度的促進(jìn)與抑制,若當(dāng)前種群中抗體的濃度高則減少其選擇概率,反之,則增高;
8)交叉運(yùn)算;
9)變異運(yùn)算;
10)循環(huán)6)~9),直到全局誤差ek≤ε,將記憶單元作為新的粒子集;
11)重采樣;
12)令k=k+1,返回2),對(duì)新的粒子集進(jìn)行采樣.
為了驗(yàn)證所提出算法的跟蹤效果,將該算法用于實(shí)際監(jiān)控場(chǎng)景中目標(biāo)的跟蹤.其中既有與目標(biāo)顏色相近的背景的干擾,還有來自具有相似顏色特征的干擾目標(biāo)的遮擋.實(shí)驗(yàn)證明,本文提出的算法,在這2種情況的干擾下仍能保持良好的跟蹤效果.
圖1是基于顏色特征的標(biāo)準(zhǔn)粒子濾波對(duì)該場(chǎng)景目標(biāo)的跟蹤情況.從圖中可以看到在剛開始的時(shí)候,粒子濾波算法可以很好地跟蹤到目標(biāo),但是當(dāng)目標(biāo)經(jīng)過與其有相似顏色特征的樓梯口時(shí),標(biāo)準(zhǔn)粒子濾波對(duì)目標(biāo)的跟蹤有了偏差.另外當(dāng)后面的人經(jīng)過目標(biāo)時(shí),由于發(fā)生了遮擋,使得算法最終丟失了目標(biāo).
圖1 標(biāo)準(zhǔn)粒子濾波顏色特征跟蹤結(jié)果Fig.1 Color tracking results of standard particle filter
圖2是標(biāo)準(zhǔn)粒子濾波基于顏色和小波紋理特征的目標(biāo)跟蹤結(jié)果[3].從圖中可以看出,由于結(jié)合了小波紋理特征,使得目標(biāo)的特征信息更加全面,因此在第115幀前后,對(duì)于有相似顏色的背景的干擾,算法的跟蹤效果有了改善.但是,當(dāng)發(fā)生遮擋時(shí),標(biāo)準(zhǔn)粒子濾波的跟蹤效果依然不理想,最后還是丟失了目標(biāo).
圖2 標(biāo)準(zhǔn)粒子濾波顏色、小波紋理特征跟蹤結(jié)果Fig.2 Color and texture tracking results of standard particle filter
圖2中目標(biāo)最終仍丟失最主要的原因是當(dāng)發(fā)生遮擋時(shí),粒子主要集中在遮擋人身上,從而使其丟失了目標(biāo)的特征.為改善這種狀況,嘗試采用免疫優(yōu)化算法來增加粒子的多樣性,消除“樣貧”的影響,使得當(dāng)遮擋發(fā)生時(shí),粒子可以在擴(kuò)展的領(lǐng)域采樣,這樣就增加了目標(biāo)特征被采樣的幾率,最終提高了跟蹤的魯棒性.圖3是免疫粒子濾波基于顏色和小波紋理特征,對(duì)同一目標(biāo)跟蹤的結(jié)果.可以看出,提出的算法不僅能克服背景的干擾,而且對(duì)于遮擋情況也能很好地解決.
圖3 免疫粒子濾波顏色、小波紋理特征跟蹤結(jié)果Fig.3 Color and texture tracking results of immune particle filter
通過仿真實(shí)驗(yàn)看到,標(biāo)準(zhǔn)粒子濾波在有相似顏色背景和遮擋干擾的情況下,跟蹤結(jié)果并不理想.而本文提出的算法,1)充分利用了顏色和圖像的小波紋理特征來描述目標(biāo),使得在跟蹤信息不全時(shí)仍能取得較好的跟蹤效果;2)對(duì)于粒子濾波固有的“樣貧”問題,采用免疫優(yōu)化算法來增加粒子的多樣性,增加粒子采樣區(qū)域,使得目標(biāo)被采樣的幾率增大.實(shí)驗(yàn)證明提出的算法對(duì)復(fù)雜環(huán)境下目標(biāo)的跟蹤更加穩(wěn)健.
[1]ISARD M,BLAKE A.Condensation-conditional density propagation for visual tracking[J].International Journal of Computer Vision,1998,29(1):5-28.
[2]NUMMIARO K,KOLLER-MEIER E,Van GOOL L.An adaptive color-based particle filter[J].Image and Vision Computing,2003,21(1):99-110.
[3]田卉,沈庭芝,趙三元,等.綜合顏色和紋理特征的粒子濾波人臉跟蹤算法[J].北京理工大學(xué)學(xué)報(bào),2010,30(4):469-473.
TIAN Hui,SHEN Tingzhi,ZHAO Sanyuan,et al.Face tracking algorithm combing color and texture features based on particle filter[J].Transactions of Beijing Institute of Technology,2010,30(4):469-473.
[4]SCHONFELD H K.Fast object tracking using adaptive block matching[J].IEEE Transactions on Multimedia,2005,7(5):853-859.
[5]QU W,SCHONFELD D.Real-time distributed multi-object tracking using multiple interactive trackers and a magneticinertia potential model[J].IEEE Transactions on Multimedia,2007,9(3):511-519.
[6]ARULAMPALAM M S,MASKELL S,GORDON N,et al.A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J].IEEE Transactions on Signal Processing,2002,50(2):174-188.
[7]LIU J S.Metropolized independent sampling with comparison to rejection sampling and importance sampling[J].Statistics and Computing,1996,6(2):113-119.
[8]KONG A,LIU J S,WONG W H.Sequential imputations and Bayesian missing data problems[J].Journal of the A-merican Statistical Association,1994,89(425):278-288.
[9]LIU J S,CHEN R,Sequential Monte carlo Methods for dynamic systems[J].Journal of the American Statistical Association,1998(93):1032-1044.
[10]丁永生,劉寶,任立紅,等.基于生物網(wǎng)絡(luò)的智能控制與優(yōu)化[M].北京:科學(xué)出版社,2010,1:63-69.
[11]HUANG S J.Enhancement of thermal unit commitment using immune algorithms based optimization approaches[J].International Journal of Electrical Power & Energy Systems,1999,21(4):245-252.
[12]MANESH K P K,BISWAS B N,Chatterji.Texture image retrieval using new rotated complex wavelet filters[J].IEEE Transactions on Systems,Man and Cybernetics,2005,35(6):1168-1178.
韓華,女,1983年生,博士研究生,主要研究方向?yàn)橹悄芤曨l處理.
丁永生,男,1967年生,教授,博士生導(dǎo)師,主要研究方向?yàn)橹悄芟到y(tǒng)、網(wǎng)絡(luò)智能、DNA計(jì)算、人工免疫系統(tǒng)、生物網(wǎng)絡(luò)結(jié)構(gòu)、智能機(jī)器人、生物信息學(xué)、數(shù)字化紡織服裝、智能決策與分析等.
郝礦榮,女,1964年生,教授,博士生導(dǎo)師,主要研究方向?yàn)闄C(jī)器視覺、模式識(shí)別、智能機(jī)器人、智能控制等.
An immune particle filter video tracking method based on color and wavelet texture
HAN Hua1,DING Yongsheng1,2,HAO Kuangrong1,2
(1.College of Information Sciences and Technology,Donghua University,Shanghai 201620,China;2.Engineering Research Center of Digitized Textile& Fashion Technology,Ministry of Education,Shanghai 201620,China)
Focusing on the drawbacks of standard particle filters in visual tracking,a new immune particle filter was proposed based on color and wavelet texture feature to avoid“sample impoverishment”and incomplete feature.Since the wavelet feature was added,the poor performance of only one feature was improved when the environment changed.In addition,the proposed immune optimization algorithm improved the diversity of particles,especially the decline of the impact of sample impoverishment when occlusion occurs.At last,the effectiveness and robustness of the proposed method was verified by experiments.In contrast to the single feature tracking method,the proposed method can track targets with complex backgrounds more steadily.
particle filter;immune particle filter;wavelet texture;similarity measurement
TP277
A
1673-4785(2011)04-0289-06
10.3969/j.issn.1673-4785.2011.04.002
2010-12-08.
國家自然科學(xué)基金重點(diǎn)資助項(xiàng)目(61134009);國家自然科學(xué)基金資助項(xiàng)目(60975059,60775052);國家ITER計(jì)劃國內(nèi)配套研究資助項(xiàng)目(2010GB108004);教育部高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金資助項(xiàng)目(20090075110002);上海市優(yōu)秀學(xué)術(shù)帶頭人計(jì)劃資助項(xiàng)目(11XD1400100);上海市科學(xué)技術(shù)委員會(huì)重點(diǎn)基礎(chǔ)研究資助項(xiàng)目(10JC1400200,09JC1400900);上海市科學(xué)技術(shù)委員會(huì)技術(shù)標(biāo)準(zhǔn)專項(xiàng)資助項(xiàng)目(10DZ0506500).
丁永生.E-mail:ysding@dhu.edu.cn.