張巧榮,張慧娟
(河南財(cái)經(jīng)政法大學(xué)計(jì)算機(jī)與信息工程學(xué)院,河南 鄭州 450002)
基于視覺(jué)注意機(jī)制的目標(biāo)跟蹤方法*
張巧榮,張慧娟
(河南財(cái)經(jīng)政法大學(xué)計(jì)算機(jī)與信息工程學(xué)院,河南 鄭州 450002)
提出一種基于視覺(jué)注意機(jī)制的運(yùn)動(dòng)目標(biāo)跟蹤方法。該方法借鑒人類(lèi)的視覺(jué)注意機(jī)制的研究成果,建立視覺(jué)注意機(jī)制的計(jì)算模型,計(jì)算視頻中各部分內(nèi)容的視覺(jué)顯著性。結(jié)合視覺(jué)顯著性計(jì)算結(jié)果,提取視頻圖像中的顯著性目標(biāo)。利用顏色分布模型作為目標(biāo)的特征表示模型,與視頻中各顯著目標(biāo)進(jìn)行特征匹配,實(shí)現(xiàn)目標(biāo)的跟蹤。在多個(gè)視頻序列中進(jìn)行實(shí)驗(yàn),并給出相應(yīng)的實(shí)驗(yàn)結(jié)果及分析。實(shí)驗(yàn)結(jié)果表明,提出的目標(biāo)檢測(cè)與跟蹤算法是正確有效的。
目標(biāo)檢測(cè);目標(biāo)跟蹤;視覺(jué)注意;視覺(jué)顯著性;顯著圖
隨著信息技術(shù)的快速發(fā)展,視頻已經(jīng)成為現(xiàn)代社會(huì)信息的主要來(lái)源。視頻監(jiān)控在交通管理、民用安防以及軍事等領(lǐng)域發(fā)揮著作用。智能視頻監(jiān)控技術(shù)已經(jīng)成為計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域的研究熱點(diǎn)。運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤在智能視頻監(jiān)控中是一個(gè)非常重要的研究領(lǐng)域,其結(jié)果是行為分析、理解等后續(xù)處理的基礎(chǔ)[1]。
目前目標(biāo)跟蹤算法框架主要可以分為兩類(lèi):全局性的目標(biāo)跟蹤算法和局部性的目標(biāo)跟蹤算法。全局性的目標(biāo)跟蹤算法主要利用目標(biāo)模板與圖像之間的相似性尋找極大值點(diǎn),通過(guò)在全局圖像中窮盡搜索的方式定位目標(biāo),例如模板匹配法[2]和協(xié)方差跟蹤法等[3]。局部性的目標(biāo)跟蹤算法則在局部范圍內(nèi)找到與目標(biāo)模型最為接近的圖像區(qū)域,例如均值漂移法[4,5]和粒子濾波[6,7]等。全局性跟蹤算法可以實(shí)現(xiàn)全局定位目標(biāo),但對(duì)目標(biāo)形狀變化較敏感。局部性跟蹤算法能夠適應(yīng)目標(biāo)的形狀變化,能夠得到目標(biāo)準(zhǔn)確的狀態(tài),但是不能處理目標(biāo)在全局范圍內(nèi)轉(zhuǎn)移或快速運(yùn)動(dòng)的情況,丟失目標(biāo)后不能自動(dòng)恢復(fù)。
為了滿(mǎn)足實(shí)時(shí)的需要,要求計(jì)算機(jī)能夠快速地在視頻信息中搜索感興趣目標(biāo)并進(jìn)行跟蹤。然而要處理的視頻數(shù)據(jù)是海量的,而計(jì)算機(jī)的處理能力卻是有限的。
為了有效地減少處理的信息量,降低計(jì)算復(fù)雜度,一些研究者逐漸開(kāi)始關(guān)注生物視覺(jué)智能特別是人類(lèi)視覺(jué)智能,試圖從中發(fā)掘出可供計(jì)算機(jī)視覺(jué)借鑒的新思路和新方法[8,9]。視覺(jué)生理學(xué)和視覺(jué)心理學(xué)的研究表明,視覺(jué)注意機(jī)制可以用于解決當(dāng)前視覺(jué)目標(biāo)跟蹤算法中的通用性和實(shí)用性問(wèn)題。借助于視覺(jué)注意機(jī)制,從復(fù)雜的視覺(jué)信息中篩選出少量的有用信息提供給目標(biāo)檢測(cè)和跟蹤算法,提高信息處理的效率[7]。
本文根據(jù)人類(lèi)視覺(jué)注意機(jī)制的研究成果,提出一種基于視覺(jué)注意的目標(biāo)檢測(cè)和跟蹤方法。首先建立視覺(jué)注意的計(jì)算模型,根據(jù)該計(jì)算模型計(jì)算視頻圖像中各部分內(nèi)容的視覺(jué)顯著性。
結(jié)合顯著性計(jì)算結(jié)果,檢測(cè)提取圖像中的顯著目標(biāo)。對(duì)相鄰幀中各顯著目標(biāo)進(jìn)行特征匹配,實(shí)現(xiàn)目標(biāo)的跟蹤。
圖1為本文提出的用于目標(biāo)檢測(cè)和跟蹤的視覺(jué)注意計(jì)算模型。針對(duì)輸入視頻的每一幀圖像提取亮度特征及顏色特征,根據(jù)亮度特征及顏色特征計(jì)算圖像的空域顯著圖;根據(jù)每幀圖像及相鄰幀提取運(yùn)動(dòng)特征,計(jì)算時(shí)域顯著圖;將空域顯著圖及時(shí)域顯著圖進(jìn)行融合,生成綜合顯著圖。
Figure 1 Computational model of visual attention圖1 視覺(jué)注意計(jì)算模型
2.1 特征提取
首先利用公式(1)進(jìn)行顏色空間轉(zhuǎn)換,將輸入圖像從RGB空間轉(zhuǎn)為HSI空間,提取其H通道和S通道作為顏色特征,I通道作為亮度特征。
(1)
運(yùn)動(dòng)特征可以由公式(2)得到:
(2)
其中,f(x,y,t)和f(x,y,t-1)分別為像素(x,y)在t時(shí)刻和t-1時(shí)刻的幀圖像中的取值。
2.2 顯著性計(jì)算
視覺(jué)顯著性是由于輸入圖像中各部分與其周?chē)h(huán)境的特征對(duì)比引起的,差異越大越顯著。因此,本文通過(guò)計(jì)算特征圖中各區(qū)域相對(duì)于其周?chē)I(lǐng)域的局部特征對(duì)比來(lái)計(jì)算特征顯著性。
(3)
其中,f(x,y)表示像素(x,y)的特征值,M*N為特征圖像的大小。
在頻域中,相位譜和幅度譜分別包含了不同的圖像信息。幅度譜表示圖像中每一個(gè)頻率下信號(hào)變化的大小,而相位譜則指明了信號(hào)變化的位置。視覺(jué)顯著性計(jì)算的目的就是通過(guò)計(jì)算圖像中各像素的顯著程度,從而找出比較顯著的位置。利用圖像的相位譜得到的重構(gòu)圖像中具有較大值的位置就對(duì)應(yīng)于原始圖像中特征值出現(xiàn)較大變化的位置,而這些位置的集合就是 “顯著區(qū)域”。因此,僅利用相位譜對(duì)輸入圖像進(jìn)行重構(gòu),再進(jìn)行傅里葉反變換得到的重構(gòu)圖像就是反映原始圖像視覺(jué)顯著性的顯著圖[10],如公式(4)所示:
(4)
2.3 特征融合
根據(jù)前面的方法分別得到亮度、顏色以及運(yùn)動(dòng)顯著圖后,首先對(duì)亮度和顏色顯著圖進(jìn)行融合,生成空域顯著圖;然后將空域顯著圖與時(shí)域顯著圖(運(yùn)動(dòng)特征顯著圖)進(jìn)行融合,生成綜合顯著圖。
視覺(jué)心理學(xué)的研究成果表明,運(yùn)動(dòng)特征相對(duì)于亮度、顏色等視覺(jué)特征更容易引起注意。在一個(gè)視覺(jué)場(chǎng)景中,人們?cè)谟^察該場(chǎng)景時(shí)首先注意到的就是運(yùn)動(dòng)的物體;如果場(chǎng)景中沒(méi)有運(yùn)動(dòng)物體,則人類(lèi)視覺(jué)系統(tǒng)更容易被一些視覺(jué)反差較強(qiáng)的特征吸引。因此,本文在特征融合時(shí)采用動(dòng)態(tài)加權(quán)策略,如公式(5)所示:
(5)
其中,SS和ST分別表示空域和時(shí)域顯著圖,wS和wT為其權(quán)值,Const為一常量,PVarT為衡量運(yùn)動(dòng)特征顯著程度的值。
從公式(5)可以看出,如果存在顯著的運(yùn)動(dòng)特征,則PVarT就比較大,相應(yīng)的wT就較大,wS就比較小,融合時(shí),給予時(shí)域顯著圖較大的權(quán)值;否則,給予空間顯著圖較大的權(quán)值。
最終得到的綜合顯著圖是一幅灰度圖像,其大小和輸入圖像大小相同,各個(gè)像素的取值表示了輸入圖像中對(duì)應(yīng)位置的顯著性大小。
為實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的跟蹤,需要先將目標(biāo)從視頻序列中分割出來(lái)并分別加以標(biāo)記。目前圖像分割算法很多,絕大多數(shù)分割算法雖然結(jié)果精確,但算法復(fù)雜度較高,不能滿(mǎn)足實(shí)時(shí)性的要求。
本文采用一種基于視覺(jué)顯著性的目標(biāo)檢測(cè)與分割方法。利用第2節(jié)的方法得到綜合顯著圖之后,在綜合顯著圖中那些顯著值大于或等于指定閾值T的像素稱(chēng)為顯著點(diǎn),小于指定閾值T的像素稱(chēng)為非顯著點(diǎn)。利用公式(6)對(duì)綜合顯著圖進(jìn)行閾值分割:
(6)
閾值T可以通過(guò)公式(7)計(jì)算得到:
(7)
其中,fL=0,1,2,…,L表示顯著圖中像素灰度值取值范圍,L為顯著圖中像素灰度值的最大值,p(t)表示灰度值為t的概率,pi為灰度值為i的概率。
分割后得到的二值圖像B(x,y)中取值為1的像素即為顯著點(diǎn),取值為0的像素即為非顯著點(diǎn)。提取所有連續(xù)的顯著點(diǎn)就得到了圖像中的一些顯著區(qū)域,這些顯著區(qū)域?qū)?yīng)視頻圖像中的顯著目標(biāo)。
4.1 跟蹤算法
本文目標(biāo)跟蹤算法如下:
Step1初始化,將首次分割出來(lái)的n個(gè)目標(biāo)存入目標(biāo)庫(kù),包括每個(gè)目標(biāo)的標(biāo)號(hào)、位置、尺寸、顏色分布及消失計(jì)數(shù)(初始為0)。
Step2提取下一幀圖像,計(jì)算視覺(jué)顯著性,檢測(cè)分割顯著目標(biāo)。
Step3按照顯著性大小提取最顯著目標(biāo),與目標(biāo)庫(kù)中目標(biāo)分別進(jìn)行匹配。如果找到匹配的目標(biāo),將目標(biāo)庫(kù)中與之匹配的目標(biāo)標(biāo)號(hào)賦給當(dāng)前顯著目標(biāo),并更新目標(biāo)庫(kù)目標(biāo)的信息;如果未找到匹配的目標(biāo),說(shuō)明出現(xiàn)新目標(biāo),將其信息加入目標(biāo)庫(kù)。
Step4重復(fù)步驟3,直到當(dāng)前幀中所有顯著目標(biāo)處理完畢。
Step5當(dāng)前幀所有目標(biāo)處理完后,如果目標(biāo)庫(kù)中存在未匹配的目標(biāo),則可能該目標(biāo)暫時(shí)消失,為了避免該目標(biāo)因?yàn)檎趽趸蚱渌蛭礄z測(cè)到,將此目標(biāo)的消失計(jì)數(shù)值加1。當(dāng)目標(biāo)的消失計(jì)數(shù)值到達(dá)一定閾值時(shí),認(rèn)為該目標(biāo)已經(jīng)消失,從目標(biāo)庫(kù)中刪除。轉(zhuǎn)到步驟2,繼續(xù)運(yùn)行。
目標(biāo)跟蹤算法流程如圖2所示。
Figure 2 Diagram of object tracking algorithm圖2 跟蹤算法流程圖
4.2 目標(biāo)模型
目標(biāo)模型用顏色直方圖表示[8]。假設(shè)整個(gè)顏色空間被分為m個(gè)子區(qū)域,計(jì)算輸入圖像中的顏色向量落到每個(gè)子區(qū)域的像素的個(gè)數(shù),生成含有m個(gè)柱子的顏色直方圖。同時(shí),增加核函數(shù)k(d)融合空間信息,計(jì)算像素位置對(duì)顏色分布的影響,k(d)的計(jì)算方法如公式(8)所示:
(8)
其中,d為某像素點(diǎn)到圖像中心的距離。
Figure 3 Results of visual attention calculation and object detection圖3 視覺(jué)注意計(jì)算及目標(biāo)檢測(cè)結(jié)果
(9)
4.3 特征匹配
將當(dāng)前目標(biāo)顏色分布模型與目標(biāo)庫(kù)中目標(biāo)的顏色分布模型分別進(jìn)行匹配,采用兩個(gè)顏色分布模型之間的的Bhattacharyya距離來(lái)作為兩目標(biāo)的相似性判定值[9],如果兩個(gè)目標(biāo)的相似值小于某個(gè)閾值,則認(rèn)為特征匹配。
(10)
為了驗(yàn)證本文提出的利用視覺(jué)注意機(jī)制的目標(biāo)跟蹤算法的正確性和有效性,我們?cè)贗ntel Pentium 2.53 GHz、內(nèi)存2 GB的微機(jī)上,利用Visual C++編程實(shí)現(xiàn),在公開(kāi)測(cè)試視頻數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),檢測(cè)算法的性能。
5.1 視覺(jué)注意及目標(biāo)檢測(cè)結(jié)果
分別對(duì)室內(nèi)環(huán)境和室外環(huán)境進(jìn)行實(shí)驗(yàn),圖3為部分視覺(jué)注意計(jì)算及目標(biāo)檢測(cè)結(jié)果。
5.2 跟蹤結(jié)果
分別對(duì)室內(nèi)環(huán)境和室外環(huán)境進(jìn)行跟蹤實(shí)驗(yàn),圖4為一個(gè)室內(nèi)測(cè)試視頻和一個(gè)室外視頻的跟蹤結(jié)果。視頻中,目標(biāo)在運(yùn)動(dòng)過(guò)程中存在光照、姿態(tài)以及形狀的變化,本文算法可以精確地跟蹤目標(biāo)。室外視頻中有多個(gè)運(yùn)動(dòng)目標(biāo),本文方法可以正確地分割提取運(yùn)動(dòng)目標(biāo),并能正確地處理新目標(biāo)出現(xiàn)以及目標(biāo)消失的情況。
其中室外測(cè)試視頻的跟蹤過(guò)程中,目標(biāo)模型及目標(biāo)庫(kù)的變化情況如表1所示。
5.3 算法性能比較分析
與基于顏色特征的粒子濾波算法進(jìn)行了實(shí)驗(yàn)比較,圖5是其中一個(gè)測(cè)試視頻的跟蹤對(duì)比結(jié)果。從圖5中可以看出,當(dāng)存在較強(qiáng)的光照變化時(shí),粒子濾波算法的跟蹤結(jié)果逐漸出現(xiàn)偏差,最終丟失目標(biāo),而本文方法則能夠正確地對(duì)目標(biāo)進(jìn)行跟蹤。
為了衡量跟蹤算法的性能,采用跟蹤結(jié)果與Ground Truth的x坐標(biāo)誤差、y坐標(biāo)誤差以及非重疊區(qū)域比來(lái)度量跟蹤結(jié)果的準(zhǔn)確程度[11]。非重疊區(qū)域比的計(jì)算方法如公式(11)所示:
(11)
Table 1 Process of object tracking表1 跟蹤過(guò)程
Figure 4 Tracking results圖4 跟蹤結(jié)果
Figure 5 Comparison results of tracking results圖5 跟蹤結(jié)果對(duì)比
表2為兩種方法在幾組實(shí)驗(yàn)中跟蹤結(jié)果的平均x、y坐標(biāo)誤差以及非重疊區(qū)域比。從表2可以看出,本文提出的利用視覺(jué)機(jī)制的跟蹤算法的結(jié)果無(wú)論x、y坐標(biāo)誤差還是非重疊區(qū)域比都小于基于顏色特征的粒子濾波跟蹤結(jié)果。
時(shí)間上,在粒子個(gè)數(shù)為200的情況下,基于顏色特征的粒子濾波跟蹤算法平均每幀耗時(shí)22 ms,本文方法平均每幀耗時(shí)10 ms。因此,本文方法既保證了跟蹤結(jié)果的正確性,又消耗較少的時(shí)間。
Table 2 Comparison of tracking errorand the non-overlapping regions表2 兩種方法的跟蹤誤差及非重疊區(qū)域比
本文提出了一種利用視覺(jué)機(jī)制的目標(biāo)檢測(cè)與跟蹤算法。首先建立一個(gè)動(dòng)態(tài)視覺(jué)注意計(jì)算模型,用于對(duì)視頻圖像進(jìn)行分析。提取視頻圖像的顏色、亮度以及運(yùn)動(dòng)等特征進(jìn)行視覺(jué)顯著性計(jì)算,結(jié)合顯著性度量結(jié)果從視頻中提取運(yùn)動(dòng)目標(biāo)。采用顏色分布模型作為目標(biāo)的表示模型,通過(guò)在顯著目標(biāo)之間進(jìn)行特征匹配進(jìn)行目標(biāo)跟蹤。在多個(gè)視頻序列中進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明本文提出的利用視覺(jué)注意機(jī)制的目標(biāo)檢測(cè)和跟蹤算法是正確有效的。
本文算法采用顏色分布模型作為目標(biāo)的表示模型,然而長(zhǎng)時(shí)間的遮擋、劇烈的特征、光照變化會(huì)引起目標(biāo)的顏色分布模型發(fā)生變化,使得跟蹤失敗,因此,除了顏色特征之外,進(jìn)一步考慮其它更為有效的特征、對(duì)目標(biāo)進(jìn)行更合理的表示、實(shí)現(xiàn)更為魯棒的目標(biāo)跟蹤是本文需要進(jìn)一步努力的方向。
[1] Zhou Shang-bo,Hu Peng,Liu Yu-jiong.Target tracking based on improved Mean-Shift and adaptive Kalman filter [J]. Journal of Computer Applications, 2010, 30(6):1573-1576.(in Chinese)
[2] Xu Dong, Xu Wen-li. Tracking moving object with structure template[J]. Journal of Electronics & Information Technology, 2005, 27(7):1021-1024.
[3] Liu Qing, Dou Qin, Guo Jian-ming, et al. Covariance tracking based on multi-characteristic combination [J].Engineering Journal of Wuhan University, 2009, 42(4):512-515. (in Chinese)
[4] Liu Xian-ru,Cai Zi-xing.Real time object tracking using Mean shift combined UKF[J]. Journal of Central South University (Science and Technology), 2011, 42(5):1338-1343. (in Chinese)
[5] Li Yuan-zheng, Lu Zhao-yang, Gao Quan-xue. Particle filter and mean shift tracking method based on multi-feature fusion[J]. Journal of Electronics & Information Technology, 2010,32(2):411-415. (in Chinese)
[6] Wang Yi-mu, Pan Yun, Yan Xiao-lang. An improved color-based particle filter and its full hardware implementation[J]. Journal of Electronics & Information Technology,2011,33(2):448-454. (in Chinese)
[7] Zhu Ming-qing, Wang Zhi-ling, Chen Zong-hai. Human visual intelligence and particle filter based robust object tracking algorithm[J]. Control and Decision, 2012, 27(11):1720-1724. (in Chinese)
[8] Zeng Zhi-hong, Zhou Chang-le, Lin Kun-hui, et al. Visual attention computational model based on tracking target[J]. Computer Engineering, 2008, 34(23):241-243. (in Chinese)
[9] Zhang G, Yuan Z, Zhang N, et al. Visual saliency based on object tracking [C]∥Proc of the Asian Conference on Computer Vision, 2009:193-203.
[10] Hou Xiao-di,Zhang Li-qing.Saliency detection:A spectral residual approach[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition (CVPR’07), 2007:1-8.
[11] Li Pei-hua. A novel color based particle filter algorithm for object tracking[J]. Chinese Journal of Computers, 2009, 32(12):2454-2463. (in Chinese)
附中文參考文獻(xiàn):
[1] 周尚波,胡鵬,柳玉炯. 基于改進(jìn)Mean-Shift與自適應(yīng)Kalman濾波的視頻目標(biāo)跟蹤[J]. 計(jì)算機(jī)應(yīng)用, 2010, 30(6):1573-1576.
[3] 劉清,竇琴,郭建明,等. 基于多特征組合的協(xié)方差目標(biāo)跟蹤方法[J].武漢大學(xué)學(xué)報(bào)(工學(xué)版), 2009, 42(4):512-515.
[4] 劉獻(xiàn)如,蔡自興. UKF與Mean shift算法相結(jié)合的實(shí)時(shí)目標(biāo)跟蹤[J]. 中南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2011, 42(5):1338-1343.
[5] 李遠(yuǎn)征,盧朝陽(yáng),高全學(xué). 基于多特征融合的均值遷移粒子濾波跟蹤算法[J].電子與信息學(xué)報(bào), 2010,32(2):411-415.
[6] 王一木,潘赟,嚴(yán)曉浪.基于顏色的粒子濾波算法的改進(jìn)與全硬件實(shí)現(xiàn)[J].電子與信息學(xué)報(bào),2011,33(2):448-454.
[7] 朱明清,王智靈,陳宗海. 基于人類(lèi)視覺(jué)智能和粒子濾波的魯棒目標(biāo)跟蹤算法[J].控制與決策, 2012, 27(11):1720-1724.
[8] 曾志宏, 周昌樂(lè), 林坤輝,等. 目標(biāo)跟蹤的視覺(jué)注意計(jì)算模型[J]. 計(jì)算機(jī)工程, 2008, 34(23):241-243.
[11] 李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J].計(jì)算機(jī)學(xué)報(bào), 2009, 32(12):2454-2463.
ZHANGQiao-rong,born in 1978,PhD,associate professor,her research interests include image processing, and artificial intelligence.
Objecttrackingbasedonvisualattention
ZHANG Qiao-rong,ZHANG Hui-juan
(College of Computer and Information Engineering,Henan University of Economics and Law,Zhengzhou 450002,China)
An algorithm for moving object tracking based on visual attention mechanism is proposed. Human visual attention mechanism is introduced in the proposed algorithm and a computational model of visual attention is constructed. Based on the computational model, the visual saliency of each part in videos is computed. Salient objects are detected according to the visual saliency results. Using the color distribution model as the representation model of the object, objects are tracked by calculating the similarity of salient objects in the two successive frames by. The algorithm is tested on many video sequences. Experimental and analysis results show that the proposal is robust and effective for object detection and tracking in videos.
Object detection;object tracking;visual attention;visual saliency;saliency map
1007-130X(2014)08-1549-06
2012-10-16;
:2013-03-26
河南省基礎(chǔ)與前沿技術(shù)研究計(jì)劃資助項(xiàng)目(122300410379);河南省教育廳科學(xué)技術(shù)研究重點(diǎn)資助項(xiàng)目(14A520025)
TP391.4
:A
10.3969/j.issn.1007-130X.2014.08.022
張巧榮(1978-),女,河南鄭州人,博士,副教授,研究方向?yàn)閳D像處理和人工智能。E-mail:zqrzqh@126.com
通信地址::450002 河南省鄭州市文化路80號(hào)河南財(cái)經(jīng)政法大學(xué)計(jì)算機(jī)與信息工程學(xué)院
Address:College of Computer and Information Engineering,Henan University of Economics and Law,80 Wenhua Rd,Zhengzhou 450002,Henan,P.R.China