陳德凱，原 玲，郝祿國，張文忠

(廣東工業(yè)大學 信息工程學院，廣東 廣州510006)

圖像目標跟蹤一直是計算機視覺領域研究的熱門課題，在人機交流、醫(yī)療診查、智能交通、視頻監(jiān)控、視頻檢索和壓縮等方面都有重要應用。均值漂移(Mean Shift)理論用于目標跟蹤是由Comaniciu 在2000 年CVPR(Computer Vision Pattern Recognition)會議上第一次提出來的，自提出以來眾多研究者由于它的計算開銷小、跟蹤性能好對它格外關注［1］。

針對以單一特征進行跟蹤的MS(Mean Shift)算法存在的不足［2－3］，本文提出了一種改進的基于幀間差分法多特征聯(lián)合MS 算法。算法第一步提取出目標的顏色和邊緣特征，同時利用幀間差分法［4－5］提取目標的運動特征，用運動特征分別與這兩個特征聯(lián)合，從而得到新的運動－顏色和運動－邊緣特征;第二步，基于加權求和的思想提出一種多特征融合方法，自適應將以上兩種新的特征嵌入到MS 跟蹤算法框架中［6－7］。為了進一步提高搜索的效率，算法最后利用Kalman 濾波器預測目標在下一幀中出現(xiàn)的位置［8］。實驗結果表明，本文提出的算法提高了經典MS 算法對復雜背景、目標變形、光照變化以及遮擋等多種情況的抗干擾性。

1 新的目標模型

1.1 幀間差分法原理

兩幀圖像的差可以反映出圖像中運動物體邊緣輪廓像素的運動信息，利用這一原理將連續(xù)兩幀圖像對應位置的像素相減，就可以將圖像中移動的目標檢測并提取出來。兩幀差法基本的過程如圖1 所示［9］。

圖1 幀間差分法原理圖

幀間差分法的計算表達式為式(1)和(2)

式中:Dk為差別圖像;Rk為二值化的差別圖像;fk和fk－1分別為當前幀和上一幀圖像;T 為判斷閾值;幀間差分法實驗如圖2 所示。

圖2 幀間差分法實驗

1.2 顏色特征模型

假設目標在圖像序列上一幀的估計位置為y，{x }

i i=1，…，n 表示y 周圍目標候選區(qū)域的像素位置，目標的顏色直方圖可以通過下式建立其中，δ(·)為Kronecker delta 函數(shù);b(xi)是統(tǒng)計像素點到相應顏色區(qū)間的函數(shù);Bc為顏色映射級數(shù);C 為歸一化常數(shù)，使得=1;u 為直方圖的顏色索引。

通過統(tǒng)計目標顏色直方圖各顏色區(qū)間的像素點的個數(shù)，可以得到目標顏色概率密度分布Mc，T，假設對應的顏色特征觀測概率模型為pcolor(ZiMc，T)，令

其中:Zi表示xi處的觀測值表示時間t 像素xi是目標圖像中一點的概率，那么一幀圖像對應的顏色概率密度分布圖就可以通過圖像中每個像素的值求得。

1.3 邊緣特征模型

由于受光照、顏色影響較小，邊緣是視頻圖像中物體的重要特征。使用sobel 算子計算該像素點在x 方向和y 方向上的梯度值?I/?x 和?I/?y，則該邊緣點的梯度幅值G(x)和方向α 分別為

其中，α ∈[0° ，360°]。

目標的邊緣特征直方圖he= { he(v})Bev=1通過下式建立

其中:b*(xi)是統(tǒng)計像素點到相應顏色區(qū)間的函數(shù);C*是使得歸一化常數(shù);Be為邊緣映射級數(shù)。

通過統(tǒng)計目標邊緣直方圖各顏色區(qū)間的像素點的個數(shù)，可以得到目標邊緣概率密度分布Me，T，假設對應的邊緣特征觀測概率模型為，令

其中，Zi表示xi處的觀測值，pe(xi，t)表示時間t 像素xi為目標圖像中一點的概率，那么一幀圖像對應的邊緣概率密度分布圖就可以通過圖像中每個像素的值求得。

1.4 新的運動-顏色和運動-邊緣特征模型

為了增加嘈雜環(huán)境下目標跟蹤的穩(wěn)定性，提出采用幀間差分法提取目標的運動特征，然后利用它分別與顏色或邊緣特征聯(lián)合，得到新的運動－顏色和運動－邊緣特征。具體計算方法如下

其中，pm－c(xi，t)為當前幀運動－顏色概率分布圖;pm－e(xi，t)為運動－邊緣概率分布圖;Rk為差分二值圖像。

2 目標跟蹤算法

2.1 基于加權求和的多特征自適應融合算法

本文提出一種基于加權求和的多特征自適應融合算法。該算法依據(jù)前一幀目標的狀態(tài)，分析各個特征信息的重要性，然后基于該重要性在當前幀中為這些特征分配相應的權值。其優(yōu)點在于可以自適應調整各個特征的權重，充分發(fā)揮在不同跟蹤環(huán)境下各個特征的互補優(yōu)勢，為跟蹤增加穩(wěn)定性。設第t 幀為當前幀，則其中各個特征的權重計算方法如下:

1)計算第t－1 幀中目標參考模型各個特征的直方圖href(t )

－1，并計算目標候選模型各個特征所對應的直方圖hcan(t )

－1。然后通過計算Bhattacharyya 系數(shù)來衡量這兩個直方圖之間的相似程度

2)假設參考模型與候選模型中第j 個特征的直方圖的Bhattacharyya 距離為，則當前幀中第j 個特征的權重為

t 越大;相反，當兩直方圖越不相似時，^wj( )

t 的值越小。也可以這樣描述為，若第t－1 幀中第j 個特征起的重要性越大，特征j 的權重就變大，那么下一幀中該特征的權重就可以自動準確的分配出來。

圖3 多特征自適應融合過程圖

2.2 跟蹤算法

得到概率密度分布圖后，在當前幀中以前一幀目標所在位置為中心，在其周圍位置尋找概率密度最大區(qū)域，從而搜索目標新位置。滿足一定條件下，MS 算法會收斂到概率密度分布的穩(wěn)定點，這個穩(wěn)定點就是搜索窗內密度峰值的峰值點，即

當g(x)為常數(shù)時，式(15)為MS 算法求搜索窗口質心的函數(shù)，則搜索窗口的零階和一階矩分別為［10］

搜索窗的質心為

基于幀間差分多特征融合的Mean Shift 跟蹤算法流程用以下步驟描述:

步驟1，選擇跟蹤目標，以選擇區(qū)域作為初始搜索窗口，并初始化Kalman 預測器;

步驟2，計算目標模型的pc(xi，t)和pe(xi，t);

步驟3，在后續(xù)幀中，以Kalman 預測器在下一幀圖像中預測的目標位置為中心確定MS 算法進行目標跟蹤的搜索區(qū)域;

步驟4，通過幀間差分法獲得運動特征，計算pm－c(xi，t)和pm－e(xi，t);

步驟5，利用式(11)～(14)，即新的多特征自適應融合算法將融合，得到整體的概率密度分布圖p(xi，t);

步驟6，在融合后的概率密度分布圖上，通過式(17)計算目標的新位置y1，如果迭代次數(shù)小于閾值且，其中ε 是允許最小誤差，則，返回步驟5。否則，迭代結束，轉至步驟7;

步驟7，利用目標匹配時的Bhattacharyya 系數(shù)來判斷遮擋嚴重程度。當目標沒有遮擋或遮擋不嚴重時，則利用MS 算法得到的目標位置來更新Kalman 預測器中的參數(shù);當目標被遮擋嚴重時，則利用Kalman 預測器得到的預測值更新其參數(shù)，并用該預測值作為目標當前位置［11］。返回步驟2，直至視頻結束。

3 實驗結果與分析

為了測試本文算法的性能，在配置為Intel Core i3－3110M、2.40 GHz 主頻、4 Gbyte 內存、獨立顯卡的計算機上進行算法仿真實驗。軟件開發(fā)環(huán)境為Visual Studio 2010，其中算法的實現(xiàn)借助了開放源代碼的計算機視覺庫OpenCV 中的部分函數(shù)。表1 列出了實驗所用視頻的參數(shù)。

表1 視頻參數(shù)

3.1 相鄰相似顏色背景干擾、旋轉、光照變化發(fā)生時的目標跟蹤

實驗對象Video 1 為一群舞者在復雜的燈光條件下跳舞的視頻序列，如圖4 所示。舞者穿的上衣與黑色背景相似，第30 ～80 幀其中一個舞者轉了一個圈，第80 ～100 幀這個舞者受到舞臺燈光的強烈照射。利用文獻［12］算法，當舞者突然旋轉時(第33 幀)，跟蹤結果出現(xiàn)誤差，到第54 幀時，跟蹤目標丟失。這是因為當相似背景顏色干擾了顏色直方圖的分布時，可以利用邊緣特征對顏色變化不敏感的優(yōu)點來彌補這一不足，但是當目標同時發(fā)生旋轉時，基于顏色特征和邊緣特征融合的MS 算法結果出現(xiàn)誤差，甚至丟失目標。而本文算法利用幀間差分法提取運動特征，繼而用運動特征分別與顏色和邊緣特征聯(lián)合來跟蹤目標，有效彌補了顏色特征和邊緣特征的優(yōu)點都不能發(fā)揮時的跟蹤短板，準確跟蹤到了目標。

圖4 相鄰相似顏色背景、光照變化、旋轉下的跟蹤

圖5 顯示了兩種算法的跟蹤位置誤差，即跟蹤窗口的質心位置與目標實際質心位置的誤差絕對值。其中，對目標的實際質心的位置采用逐幀手工標定得到。由圖可以看到，相比于算法［12］，本文提出的算法所得到的跟蹤位置誤差更小。

圖5 跟蹤位置誤差對比

3.2 被遮擋時的目標跟蹤

實驗對象Video 2 來自PETS2009［13］圖像數(shù)據(jù)集，如圖6所示。一個穿白顏色衣服的女人穿過人群時被一塊路牌遮擋。在文獻［14］算法下，由于目標被行人和路牌遮擋，從第33 幀開始跟蹤出現(xiàn)誤差，并在后續(xù)幀中將目標錯誤的鎖定在燈桿上，丟失了目標。而本文算法利用Kalman 預測器對目標運動軌跡進行預測，圓形跟蹤窗口為Kalman 預測器的預測值，當白衣女人被行人和路牌嚴重遮擋甚至完全遮擋時，仍能實現(xiàn)對白衣女人的準確跟蹤。圖7 顯示了算法［14］和本文提出的算法的跟蹤位置誤差對比。

圖6 被遮擋時的目標跟蹤

圖7 跟蹤位置誤差對比

文章最后通過圖像序列平均跟蹤位置誤差和跟蹤時間這2 個指標對所提算法的性能進行了定量分析，見表2?？梢钥闯觯疚乃惴ǖ钠骄櫸恢谜`差顯著低于文獻［12］、［14］的算法，顯示了優(yōu)越性。在跟蹤時間方面，雖然本文算法增加了運動特征引導顏色特征和邊緣特征，以及利用Kalman 預測器對遮擋進行預測，增加了平均跟蹤時間，但增加的時間并不明顯。

表2 平均跟蹤位置誤差與跟蹤時間

4 結語

提出了一種基于幀間差分多特征融合的MS 跟蹤算法，與只使用顏色特征和邊緣特征融合的MS 跟蹤算法相比，本文算法在顏色特征和邊緣特征均不能有效跟蹤的復雜情景中仍能進行準確的跟蹤。采用Kalman 預測器對目標在下一幀中的軌跡進行預測，對目標被嚴重遮擋時具有一定的抗遮擋能力。從直觀跟蹤效果和定量分析兩方面可以看出，本文算法能夠在相鄰相似顏色背景、旋轉和光照變化以及遮擋發(fā)生條件下實現(xiàn)準確跟蹤，提高了MS 目標跟蹤算法的魯棒性。

［1］COMANICIU D，RAMESH V，MEER P.Real－time tracking of nonrigid objects using mean shift［C］//Proc.IEEE Conf.Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2000:142－149.

［2］COMANICIU D，RAMESH V，MEER P.Kernel－based object tracking［J］.IEEE Trans. Pattern Analysis and Machine Intelligence，2003，25(5):564－575.

［3］劉惟錦，章毓晉.基于Kalman 濾波和邊緣直方圖的實時目標跟蹤［J］.清華大學學報:自然科學版，2008，48(7):1104－1107.

［4］張春林，李小堅. 基于幀間差分和背景差分結合的Camshift 目標跟蹤算法［J］.工業(yè)控制計算機，2014(6):118－120.

［5］鄔大鵬，程衛(wèi)平，于盛林. 基于幀間差分和運動估計的Camshift目標跟蹤算法［J］.光電工程，2010，37(1):55－60.

［6］王鑫，徐立軍. 圖像目標跟蹤技術［M］. 北京:人民郵電出版社，2012.

［7］劉晴，唐林波，趙保軍，等. 基于自適應多特征融合的均值遷移紅外目標跟蹤［J］.電子與信息學報，2012，34(5):1137－1141.

［8］BRADSKI G，KAEBLER A.學習OpenCV(中文版)［M］. 于仕琪，劉瑞禎，譯.北京:清華大學出版社，2009.

［9］初紅霞，宋起超，王希鳳，等.基于幀間差分與Camshift 相結合的目標跟蹤算法［J］.彈箭與制導學報，2008，28(3):85－88.

［10］丁業(yè)兵，王年，唐俊，等.基于顏色和邊緣特征CAMShift 目標跟蹤算法［J］. 華東理工大學學報:自然科學版，2012，38(1):69－74.

［11］閆鈞華，陳少華，艾淑芳，等. 基于Kalman 預測器的改進的CAMShift 目標跟蹤［J］.中國慣性技術學報，2014(4):536－542.［12］鄭玉鳳，馬秀榮，趙曉琳，等. 基于顏色和邊緣特征的均值遷移目標跟蹤算法［J］.光電子·激光，2011，22(8):1231－1235.

［13］FERRYMAN J. Eleventh IEEE International workshop on performance evaluation of tracking and surveillance［EB/OL］.［2015－04－15］. http://www. cvg. rdg. ac. uk/PETS2009/a. html，June 25，2009.

［14］袁廣林，薛模根，韓裕生，等.基于自適應多特征融合的mean shift目標跟蹤［J］.計算機研究與發(fā)展，2010，47(9):1663－1671.