張巧榮，張慧娟

(河南財經(jīng)政法大學(xué)計算機與信息工程學(xué)院，河南 鄭州 450002)

基于視覺注意機制的目標(biāo)跟蹤方法*

張巧榮，張慧娟

(河南財經(jīng)政法大學(xué)計算機與信息工程學(xué)院，河南 鄭州 450002)

提出一種基于視覺注意機制的運動目標(biāo)跟蹤方法。該方法借鑒人類的視覺注意機制的研究成果，建立視覺注意機制的計算模型，計算視頻中各部分內(nèi)容的視覺顯著性。結(jié)合視覺顯著性計算結(jié)果，提取視頻圖像中的顯著性目標(biāo)。利用顏色分布模型作為目標(biāo)的特征表示模型，與視頻中各顯著目標(biāo)進行特征匹配，實現(xiàn)目標(biāo)的跟蹤。在多個視頻序列中進行實驗，并給出相應(yīng)的實驗結(jié)果及分析。實驗結(jié)果表明，提出的目標(biāo)檢測與跟蹤算法是正確有效的。

目標(biāo)檢測；目標(biāo)跟蹤；視覺注意；視覺顯著性；顯著圖

1 引言

隨著信息技術(shù)的快速發(fā)展，視頻已經(jīng)成為現(xiàn)代社會信息的主要來源。視頻監(jiān)控在交通管理、民用安防以及軍事等領(lǐng)域發(fā)揮著作用。智能視頻監(jiān)控技術(shù)已經(jīng)成為計算機視覺和模式識別領(lǐng)域的研究熱點。運動目標(biāo)檢測和跟蹤在智能視頻監(jiān)控中是一個非常重要的研究領(lǐng)域，其結(jié)果是行為分析、理解等后續(xù)處理的基礎(chǔ)[1]。

目前目標(biāo)跟蹤算法框架主要可以分為兩類：全局性的目標(biāo)跟蹤算法和局部性的目標(biāo)跟蹤算法。全局性的目標(biāo)跟蹤算法主要利用目標(biāo)模板與圖像之間的相似性尋找極大值點，通過在全局圖像中窮盡搜索的方式定位目標(biāo)，例如模板匹配法[2]和協(xié)方差跟蹤法等[3]。局部性的目標(biāo)跟蹤算法則在局部范圍內(nèi)找到與目標(biāo)模型最為接近的圖像區(qū)域，例如均值漂移法[4,5]和粒子濾波[6,7]等。全局性跟蹤算法可以實現(xiàn)全局定位目標(biāo)，但對目標(biāo)形狀變化較敏感。局部性跟蹤算法能夠適應(yīng)目標(biāo)的形狀變化，能夠得到目標(biāo)準確的狀態(tài)，但是不能處理目標(biāo)在全局范圍內(nèi)轉(zhuǎn)移或快速運動的情況，丟失目標(biāo)后不能自動恢復(fù)。

為了滿足實時的需要，要求計算機能夠快速地在視頻信息中搜索感興趣目標(biāo)并進行跟蹤。然而要處理的視頻數(shù)據(jù)是海量的，而計算機的處理能力卻是有限的。

為了有效地減少處理的信息量，降低計算復(fù)雜度，一些研究者逐漸開始關(guān)注生物視覺智能特別是人類視覺智能，試圖從中發(fā)掘出可供計算機視覺借鑒的新思路和新方法[8,9]。視覺生理學(xué)和視覺心理學(xué)的研究表明，視覺注意機制可以用于解決當(dāng)前視覺目標(biāo)跟蹤算法中的通用性和實用性問題。借助于視覺注意機制，從復(fù)雜的視覺信息中篩選出少量的有用信息提供給目標(biāo)檢測和跟蹤算法，提高信息處理的效率[7]。

本文根據(jù)人類視覺注意機制的研究成果，提出一種基于視覺注意的目標(biāo)檢測和跟蹤方法。首先建立視覺注意的計算模型，根據(jù)該計算模型計算視頻圖像中各部分內(nèi)容的視覺顯著性。

結(jié)合顯著性計算結(jié)果，檢測提取圖像中的顯著目標(biāo)。對相鄰幀中各顯著目標(biāo)進行特征匹配，實現(xiàn)目標(biāo)的跟蹤。

2 視覺注意計算模型

圖1為本文提出的用于目標(biāo)檢測和跟蹤的視覺注意計算模型。針對輸入視頻的每一幀圖像提取亮度特征及顏色特征，根據(jù)亮度特征及顏色特征計算圖像的空域顯著圖；根據(jù)每幀圖像及相鄰幀提取運動特征，計算時域顯著圖；將空域顯著圖及時域顯著圖進行融合，生成綜合顯著圖。

Figure 1 Computational model of visual attention圖1 視覺注意計算模型

2.1 特征提取

首先利用公式(1)進行顏色空間轉(zhuǎn)換，將輸入圖像從RGB空間轉(zhuǎn)為HSI空間，提取其H通道和S通道作為顏色特征，I通道作為亮度特征。

(1)

運動特征可以由公式(2)得到:

(2)

其中，f(x,y,t)和f(x,y,t-1)分別為像素(x,y)在t時刻和t-1時刻的幀圖像中的取值。

2.2 顯著性計算

視覺顯著性是由于輸入圖像中各部分與其周圍環(huán)境的特征對比引起的，差異越大越顯著。因此，本文通過計算特征圖中各區(qū)域相對于其周圍領(lǐng)域的局部特征對比來計算特征顯著性。

(3)

其中，f(x,y)表示像素(x,y)的特征值，M*N為特征圖像的大小。

在頻域中，相位譜和幅度譜分別包含了不同的圖像信息。幅度譜表示圖像中每一個頻率下信號變化的大小，而相位譜則指明了信號變化的位置。視覺顯著性計算的目的就是通過計算圖像中各像素的顯著程度，從而找出比較顯著的位置。利用圖像的相位譜得到的重構(gòu)圖像中具有較大值的位置就對應(yīng)于原始圖像中特征值出現(xiàn)較大變化的位置，而這些位置的集合就是 “顯著區(qū)域”。因此，僅利用相位譜對輸入圖像進行重構(gòu)，再進行傅里葉反變換得到的重構(gòu)圖像就是反映原始圖像視覺顯著性的顯著圖[10]，如公式(4)所示：

(4)

2.3 特征融合

根據(jù)前面的方法分別得到亮度、顏色以及運動顯著圖后，首先對亮度和顏色顯著圖進行融合，生成空域顯著圖;然后將空域顯著圖與時域顯著圖(運動特征顯著圖)進行融合，生成綜合顯著圖。

視覺心理學(xué)的研究成果表明，運動特征相對于亮度、顏色等視覺特征更容易引起注意。在一個視覺場景中，人們在觀察該場景時首先注意到的就是運動的物體；如果場景中沒有運動物體，則人類視覺系統(tǒng)更容易被一些視覺反差較強的特征吸引。因此，本文在特征融合時采用動態(tài)加權(quán)策略，如公式(5)所示：

(5)

其中，SS和ST分別表示空域和時域顯著圖，wS和wT為其權(quán)值，Const為一常量，PVarT為衡量運動特征顯著程度的值。

從公式(5)可以看出，如果存在顯著的運動特征，則PVarT就比較大，相應(yīng)的wT就較大，wS就比較小，融合時，給予時域顯著圖較大的權(quán)值;否則，給予空間顯著圖較大的權(quán)值。

最終得到的綜合顯著圖是一幅灰度圖像，其大小和輸入圖像大小相同，各個像素的取值表示了輸入圖像中對應(yīng)位置的顯著性大小。

3 目標(biāo)檢測與分割

為實現(xiàn)運動目標(biāo)的跟蹤，需要先將目標(biāo)從視頻序列中分割出來并分別加以標(biāo)記。目前圖像分割算法很多，絕大多數(shù)分割算法雖然結(jié)果精確，但算法復(fù)雜度較高，不能滿足實時性的要求。

本文采用一種基于視覺顯著性的目標(biāo)檢測與分割方法。利用第2節(jié)的方法得到綜合顯著圖之后，在綜合顯著圖中那些顯著值大于或等于指定閾值T的像素稱為顯著點，小于指定閾值T的像素稱為非顯著點。利用公式(6)對綜合顯著圖進行閾值分割：

(6)

閾值T可以通過公式(7)計算得到:

(7)

其中，fL=0,1,2,…,L表示顯著圖中像素灰度值取值范圍，L為顯著圖中像素灰度值的最大值，p(t)表示灰度值為t的概率，pi為灰度值為i的概率。

分割后得到的二值圖像B(x,y)中取值為1的像素即為顯著點，取值為0的像素即為非顯著點。提取所有連續(xù)的顯著點就得到了圖像中的一些顯著區(qū)域，這些顯著區(qū)域?qū)?yīng)視頻圖像中的顯著目標(biāo)。

4 目標(biāo)跟蹤

4.1 跟蹤算法

本文目標(biāo)跟蹤算法如下：

Step1初始化，將首次分割出來的n個目標(biāo)存入目標(biāo)庫，包括每個目標(biāo)的標(biāo)號、位置、尺寸、顏色分布及消失計數(shù)(初始為0)。

Step2提取下一幀圖像，計算視覺顯著性，檢測分割顯著目標(biāo)。

Step3按照顯著性大小提取最顯著目標(biāo)，與目標(biāo)庫中目標(biāo)分別進行匹配。如果找到匹配的目標(biāo)，將目標(biāo)庫中與之匹配的目標(biāo)標(biāo)號賦給當(dāng)前顯著目標(biāo)，并更新目標(biāo)庫目標(biāo)的信息；如果未找到匹配的目標(biāo)，說明出現(xiàn)新目標(biāo)，將其信息加入目標(biāo)庫。

Step4重復(fù)步驟3，直到當(dāng)前幀中所有顯著目標(biāo)處理完畢。

Step5當(dāng)前幀所有目標(biāo)處理完后，如果目標(biāo)庫中存在未匹配的目標(biāo)，則可能該目標(biāo)暫時消失，為了避免該目標(biāo)因為遮擋或其他原因未檢測到，將此目標(biāo)的消失計數(shù)值加1。當(dāng)目標(biāo)的消失計數(shù)值到達一定閾值時，認為該目標(biāo)已經(jīng)消失，從目標(biāo)庫中刪除。轉(zhuǎn)到步驟2，繼續(xù)運行。

目標(biāo)跟蹤算法流程如圖2所示。

Figure 2 Diagram of object tracking algorithm圖2 跟蹤算法流程圖

4.2 目標(biāo)模型

目標(biāo)模型用顏色直方圖表示[8]。假設(shè)整個顏色空間被分為m個子區(qū)域，計算輸入圖像中的顏色向量落到每個子區(qū)域的像素的個數(shù)，生成含有m個柱子的顏色直方圖。同時，增加核函數(shù)k(d)融合空間信息，計算像素位置對顏色分布的影響，k(d)的計算方法如公式(8)所示：

(8)

其中，d為某像素點到圖像中心的距離。

Figure 3 Results of visual attention calculation and object detection圖3 視覺注意計算及目標(biāo)檢測結(jié)果

(9)

4.3 特征匹配

將當(dāng)前目標(biāo)顏色分布模型與目標(biāo)庫中目標(biāo)的顏色分布模型分別進行匹配，采用兩個顏色分布模型之間的的Bhattacharyya距離來作為兩目標(biāo)的相似性判定值[9]，如果兩個目標(biāo)的相似值小于某個閾值，則認為特征匹配。

(10)

5 實驗結(jié)果與分析

為了驗證本文提出的利用視覺注意機制的目標(biāo)跟蹤算法的正確性和有效性，我們在Intel Pentium 2.53 GHz、內(nèi)存2 GB的微機上，利用Visual C++編程實現(xiàn)，在公開測試視頻數(shù)據(jù)集上進行實驗，檢測算法的性能。

5.1 視覺注意及目標(biāo)檢測結(jié)果

分別對室內(nèi)環(huán)境和室外環(huán)境進行實驗，圖3為部分視覺注意計算及目標(biāo)檢測結(jié)果。

5.2 跟蹤結(jié)果

分別對室內(nèi)環(huán)境和室外環(huán)境進行跟蹤實驗，圖4為一個室內(nèi)測試視頻和一個室外視頻的跟蹤結(jié)果。視頻中，目標(biāo)在運動過程中存在光照、姿態(tài)以及形狀的變化，本文算法可以精確地跟蹤目標(biāo)。室外視頻中有多個運動目標(biāo)，本文方法可以正確地分割提取運動目標(biāo)，并能正確地處理新目標(biāo)出現(xiàn)以及目標(biāo)消失的情況。

其中室外測試視頻的跟蹤過程中，目標(biāo)模型及目標(biāo)庫的變化情況如表1所示。

5.3 算法性能比較分析

與基于顏色特征的粒子濾波算法進行了實驗比較，圖5是其中一個測試視頻的跟蹤對比結(jié)果。從圖5中可以看出，當(dāng)存在較強的光照變化時，粒子濾波算法的跟蹤結(jié)果逐漸出現(xiàn)偏差，最終丟失目標(biāo)，而本文方法則能夠正確地對目標(biāo)進行跟蹤。

為了衡量跟蹤算法的性能，采用跟蹤結(jié)果與Ground Truth的x坐標(biāo)誤差、y坐標(biāo)誤差以及非重疊區(qū)域比來度量跟蹤結(jié)果的準確程度[11]。非重疊區(qū)域比的計算方法如公式(11)所示：

(11)

Table 1 Process of object tracking表1 跟蹤過程

Figure 4 Tracking results圖4 跟蹤結(jié)果

Figure 5 Comparison results of tracking results圖5 跟蹤結(jié)果對比

表2為兩種方法在幾組實驗中跟蹤結(jié)果的平均x、y坐標(biāo)誤差以及非重疊區(qū)域比。從表2可以看出，本文提出的利用視覺機制的跟蹤算法的結(jié)果無論x、y坐標(biāo)誤差還是非重疊區(qū)域比都小于基于顏色特征的粒子濾波跟蹤結(jié)果。

時間上，在粒子個數(shù)為200的情況下，基于顏色特征的粒子濾波跟蹤算法平均每幀耗時22 ms，本文方法平均每幀耗時10 ms。因此，本文方法既保證了跟蹤結(jié)果的正確性，又消耗較少的時間。

Table 2 Comparison of tracking errorand the non-overlapping regions表2 兩種方法的跟蹤誤差及非重疊區(qū)域比

6 結(jié)束語

本文提出了一種利用視覺機制的目標(biāo)檢測與跟蹤算法。首先建立一個動態(tài)視覺注意計算模型，用于對視頻圖像進行分析。提取視頻圖像的顏色、亮度以及運動等特征進行視覺顯著性計算，結(jié)合顯著性度量結(jié)果從視頻中提取運動目標(biāo)。采用顏色分布模型作為目標(biāo)的表示模型，通過在顯著目標(biāo)之間進行特征匹配進行目標(biāo)跟蹤。在多個視頻序列中進行實驗，實驗結(jié)果表明本文提出的利用視覺注意機制的目標(biāo)檢測和跟蹤算法是正確有效的。

本文算法采用顏色分布模型作為目標(biāo)的表示模型，然而長時間的遮擋、劇烈的特征、光照變化會引起目標(biāo)的顏色分布模型發(fā)生變化，使得跟蹤失敗，因此，除了顏色特征之外，進一步考慮其它更為有效的特征、對目標(biāo)進行更合理的表示、實現(xiàn)更為魯棒的目標(biāo)跟蹤是本文需要進一步努力的方向。

[1] Zhou Shang-bo,Hu Peng,Liu Yu-jiong.Target tracking based on improved Mean-Shift and adaptive Kalman filter [J]. Journal of Computer Applications, 2010, 30(6):1573-1576.(in Chinese)

[2] Xu Dong, Xu Wen-li. Tracking moving object with structure template[J]. Journal of Electronics & Information Technology, 2005, 27(7):1021-1024.

[3] Liu Qing, Dou Qin, Guo Jian-ming, et al. Covariance tracking based on multi-characteristic combination [J].Engineering Journal of Wuhan University, 2009, 42(4):512-515. (in Chinese)

[4] Liu Xian-ru,Cai Zi-xing.Real time object tracking using Mean shift combined UKF[J]. Journal of Central South University (Science and Technology), 2011, 42(5):1338-1343. (in Chinese)

[5] Li Yuan-zheng, Lu Zhao-yang, Gao Quan-xue. Particle filter and mean shift tracking method based on multi-feature fusion[J]. Journal of Electronics & Information Technology, 2010,32(2):411-415. (in Chinese)

[6] Wang Yi-mu, Pan Yun, Yan Xiao-lang. An improved color-based particle filter and its full hardware implementation[J]. Journal of Electronics & Information Technology,2011,33(2):448-454. (in Chinese)

[7] Zhu Ming-qing, Wang Zhi-ling, Chen Zong-hai. Human visual intelligence and particle filter based robust object tracking algorithm[J]. Control and Decision, 2012, 27(11):1720-1724. (in Chinese)

[8] Zeng Zhi-hong, Zhou Chang-le, Lin Kun-hui, et al. Visual attention computational model based on tracking target[J]. Computer Engineering, 2008, 34(23):241-243. (in Chinese)

[9] Zhang G, Yuan Z, Zhang N, et al. Visual saliency based on object tracking [C]∥Proc of the Asian Conference on Computer Vision, 2009:193-203.

[10] Hou Xiao-di,Zhang Li-qing.Saliency detection:A spectral residual approach[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition (CVPR’07), 2007:1-8.

[11] Li Pei-hua. A novel color based particle filter algorithm for object tracking[J]. Chinese Journal of Computers, 2009, 32(12):2454-2463. (in Chinese)

附中文參考文獻：

[1] 周尚波,胡鵬,柳玉炯. 基于改進Mean-Shift與自適應(yīng)Kalman濾波的視頻目標(biāo)跟蹤[J]. 計算機應(yīng)用, 2010, 30(6):1573-1576.

[3] 劉清,竇琴,郭建明，等. 基于多特征組合的協(xié)方差目標(biāo)跟蹤方法[J].武漢大學(xué)學(xué)報(工學(xué)版), 2009, 42(4):512-515.

[4] 劉獻如,蔡自興. UKF與Mean shift算法相結(jié)合的實時目標(biāo)跟蹤[J]. 中南大學(xué)學(xué)報(自然科學(xué)版), 2011, 42(5):1338-1343.

[5] 李遠征,盧朝陽,高全學(xué). 基于多特征融合的均值遷移粒子濾波跟蹤算法[J].電子與信息學(xué)報, 2010,32(2):411-415.

[6] 王一木,潘赟,嚴曉浪.基于顏色的粒子濾波算法的改進與全硬件實現(xiàn)[J].電子與信息學(xué)報,2011,33(2):448-454.

[7] 朱明清,王智靈,陳宗海. 基于人類視覺智能和粒子濾波的魯棒目標(biāo)跟蹤算法[J].控制與決策, 2012, 27(11):1720-1724.

[8] 曾志宏, 周昌樂, 林坤輝，等. 目標(biāo)跟蹤的視覺注意計算模型[J]. 計算機工程, 2008, 34(23):241-243.

[11] 李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J].計算機學(xué)報, 2009, 32(12):2454-2463.

ZHANGQiao-rong,born in 1978,PhD,associate professor,her research interests include image processing, and artificial intelligence.

Objecttrackingbasedonvisualattention

ZHANG Qiao-rong,ZHANG Hui-juan

(College of Computer and Information Engineering,Henan University of Economics and Law,Zhengzhou 450002,China)

An algorithm for moving object tracking based on visual attention mechanism is proposed. Human visual attention mechanism is introduced in the proposed algorithm and a computational model of visual attention is constructed. Based on the computational model, the visual saliency of each part in videos is computed. Salient objects are detected according to the visual saliency results. Using the color distribution model as the representation model of the object, objects are tracked by calculating the similarity of salient objects in the two successive frames by. The algorithm is tested on many video sequences. Experimental and analysis results show that the proposal is robust and effective for object detection and tracking in videos.

Object detection;object tracking;visual attention;visual saliency;saliency map

1007-130X(2014)08-1549-06

2012-10-16;

：2013-03-26

河南省基礎(chǔ)與前沿技術(shù)研究計劃資助項目(122300410379)；河南省教育廳科學(xué)技術(shù)研究重點資助項目(14A520025)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.08.022

張巧榮(1978-),女，河南鄭州人，博士，副教授，研究方向為圖像處理和人工智能。E-mail:zqrzqh@126.com

通信地址：：450002 河南省鄭州市文化路80號河南財經(jīng)政法大學(xué)計算機與信息工程學(xué)院

Address:College of Computer and Information Engineering,Henan University of Economics and Law,80 Wenhua Rd,Zhengzhou 450002,Henan,P.R.China