徐燕華，李　榮，王華君，徐平平（.無錫太湖學院，江蘇 無錫　4064；.東南大學 信息科學與工程學院，江蘇 南京　89）

混合特征匹配結合Viterbi數(shù)據(jù)關聯(lián)的目標跟蹤算法

徐燕華1，李榮1，王華君1，徐平平2
（1.無錫太湖學院，江蘇 無錫214064；2.東南大學 信息科學與工程學院，江蘇 南京211189）

傳統(tǒng)跟蹤算法在視頻分辨率低、幀圖像模糊或噪聲較多時跟蹤效果較差。針對此情況，提出一種混合特征匹配結合Viterbi數(shù)據(jù)關聯(lián)的目標跟蹤算法。首先，采用直方圖反向投影技術對雙局部閾值圖像中的目標邊緣進行有效分割，克服了低對比度問題；然后，將鄰域特征、區(qū)域特征、運動方向特征和直方圖特征作為目標表征特征，建立混合特征代價函數(shù)；最后，采用Viterbi數(shù)據(jù)關聯(lián)計算代價總和，求得最相似目標。實驗結果表明，在幀圖像模糊或噪聲較多的情況下，目標跟蹤穩(wěn)定且有效，單目標跟蹤準確率為0.89，多目標跟蹤精度達0.975，召回率達0.920，優(yōu)于其他幾種同類跟蹤算法。

分割跟蹤；混合特征匹配；雙局部閾值；直方圖反向投影；Viterbi數(shù)據(jù)關聯(lián)

0引　言

目標跟蹤在軍事、安防、交通等領域應用極其廣泛［1-2］，目前是模式識別、圖像處理等學科領域的熱門研究課題。根據(jù)跟蹤目標的數(shù)量，目標跟蹤可分為單目標跟蹤和多目標跟蹤，兩者的處理方式有很大不同。多目標跟蹤涉及到目標特征相似或互斥情況，有時還需解決目標遮擋、重疊和分類問題［3-5］。單目標跟蹤僅需選取目標單個特征即可［6-7］。

傳統(tǒng)跟蹤算法在視頻分辨率低，幀圖像模糊或噪聲較多時跟蹤效果較差。針對此情況，本文選擇鄰域特征、區(qū)域特征、運動方向特征和直方圖特征等多個目標特征進行跟蹤，并給出了聯(lián)合特征代價函數(shù)以及數(shù)據(jù)關聯(lián)運算方法。

1　相關工作

近年來，許多學者對單目標跟蹤［4-7］和多目標跟蹤［8-10］進行了研究。

文獻［7］提出了TLD（Tracking-Learning-Detecting）算法。算法實現(xiàn)目標檢測和跟蹤同時進行，TLD算法使用NP學習方法檢測和糾正跟蹤過程中的錯誤，但NP不適合聯(lián)合學習，在多目標情況下無法使用該算法。

文獻［8］提出了一種基于視頻的多目標跟蹤算法。算法使用碼本模型檢測前景，提取每一幀的頭部和腳部特征，根據(jù)幾何約束關系計算目標高度，具有一定精度和魯棒性。但碼本模型僅適用于簡單場景中的前景提取。

文獻［9］提出標記點處理方法（Marked Point Processes，MPP）。算法能獲取所有未知目標的后驗概率，得出時空信息；并能識別和了解特定事件變化的外力。

針對復雜、低信噪比背景的紅外小目標跟蹤問題，文獻［10］提出用閾值分割和形態(tài)學濾波檢測目標，采用鄰域軌跡和Kalman濾波跟蹤目標，避免了噪聲干擾。但跟蹤的目標數(shù)量有限，也沒考慮目標遮擋消失問題。

本文提出一種新的帶圖像分割的多目標跟蹤算法。算法將多個有用的特征用于目標匹配，并設計了總代價函數(shù)，給出了代價函數(shù)的數(shù)據(jù)關聯(lián)計算方法。實驗視頻結果證明，本文算法能獲取良好的目標跟蹤效果。

2　目標分割

本文提出的自動分割算法由四個步驟組成，如圖1所示。

（1）進行局部雙閾值處理；

（2）利用基于直方圖反向投影的方法將兩個不同閾值處理生成的二值目標掩碼進行有效整合；

（3）利用區(qū)域和方差閾值移除噪聲和干擾目標；

（4）對分割后的目標邊界進行精提取。

圖1　目標自動分割流程圖

2.1局部雙閾值處理

Otsu算法［11］是一種常用的閾值確定算法。通過Otsu算法確定的閾值可將直方圖分為兩類，使合并后的類內方差最小。利用Otsu改進型方法對每個區(qū)域選取自適應閾值。對于較暗的目標，閾值的大小需接近背景，位置的大小值為：

式中：τ是Otsu方法獲取的閾值；μL（τ）表示直方圖中經過閾值τ分類后獲取較小的一類；p為偏移系數(shù)。利用式（1），通過設置不同大小的 p可以獲取兩個閾值，即τlow=τ-plow（τ-μL（τ）作為低閾值，τhigh=τ-phigh（τ-μL（τ））作為高閾值。通過這兩個閾值處理視頻幀中的局部區(qū)域可獲取兩個相應的目標掩碼Mlow和Mhigh，如文獻［12-13］所述，利用一個3×3的中值濾波算子處理兩個二值目標掩碼。

2.2直方圖反向投影

由于兩個目標掩碼包含有不同數(shù)量的背景像素，所以通過兩個目標掩碼中像素分布的比較和聚合對分割邊界進行精提取［14］。

首先，根據(jù)目標掩碼的Mlow和Mhigh分別計算出兩個灰度級別的直方圖Hlow（r）和Hhigh（r）。任何灰度大小r的比例直方圖定義如下所示：

其次，將比例直方圖反向投影到視頻幀域，即BP（x，y）=HR［I（x，y）］，1≤x≤W，1≤y≤H，其中，I（x，y）表示（x，y）所處位置的像素灰度值大小。對比例直方圖HR（r）的反向投影進行閾值處理，二值分割掩碼B（x，y）定義如下：

式中：θBP為范圍在0～1之間的一個閾值。

2.3區(qū)域和方差閾值處理

本文算法既利用直方圖對掩碼進行精確分割，還通過目標的區(qū)域和目標內像素值的方差去除區(qū)域內大于閾值上限或小于閾值下限的值。對于第k個分割目標Ok內的每個像素點（x，y），通過式（4）對其在前景掩碼中對應的像素進行修改。

使用每個分割目標內像素的方差對候選目標進行檢測。因前景目標擁有比背景或干擾目標更多的紋理特征，導致分割目標的方差可能更大。每個目標像素的方差為：

式中：īk表示第k個目標內像素的平均值。給定方差，利用式（6）對該目標的前景掩碼進行閾值處理。

2.4形態(tài)學處理

通過以上算法提取的前景目標，經常會出現(xiàn)一些噪聲。例如，直方圖反向投影在對目標邊界進行精提取時會生成斑點。本文進一步利用形態(tài)學操作精確提取分割邊界。首先利用結構元素對目標掩碼做開形態(tài)學操作；然后進行閉合操作。平滑目標邊界不會影響目標外形的細節(jié)信息［11］。

3　混合特征匹配跟蹤

對目標進行分割后，利用混合特征進行快速匹配。本文所提跟蹤算法利用目標整個壽命的時間相關性，而不僅僅是兩個視頻幀間的相關性。本文跟蹤系統(tǒng)流程圖如圖2所示。

圖2　本文的跟蹤系統(tǒng)

3.1混合特征匹配

混合特征匹配利用各種有用特征測量目標間的相似性。對于在時間t和t-1處的目標本文對四個線索進行如下調查。

（2）區(qū)域線索：為了消除區(qū)域間的視差問題，通過立體三角形計算目標的深度信息，對目標區(qū)域進行相應的歸一化處理，使得多目標相對立體相機具有相同的距離。兩個連續(xù)幀中關聯(lián)目標間區(qū)域的差異十分微小，利用連接組件算法計算目標區(qū)域，用A（·）表示。時刻t的目標Otj和時刻t-1的目標間區(qū)域的視差用表示。

根據(jù)運動趨勢或者運動方向可以選取預定義的參考向量。

（4）直方圖：本文采用32灰度級直方圖間的距離矩陣。

在本文所有視頻數(shù)據(jù)的每幀圖像上通過收集所有混合特征匹配候選者的特征值，系統(tǒng)計算出標準偏差。

匹配代價定義如式（9）所示：

式中｛σ｝表示特征的標準偏差。

3.2Viterbi數(shù)據(jù)關聯(lián)

在本文提出的Viterbi數(shù)據(jù)關聯(lián)［15］系統(tǒng)中，所利用的立體信息是指匹配目標的立體信息，即視頻幀中相同的目標作為一個目標進行觀察以執(zhí)行跟蹤，為此，需要計算混合特征匹配代價的總和，即其基本思想如圖3所示，框架是一種有向圖，每個節(jié)點在其壽命中都含有單獨的框架、開始節(jié)點（三角形）和結束節(jié)點（正方形）。彩色箭頭標記每個框架中的最優(yōu)路徑。從圖3可以看出，節(jié)點被劃分為有序子集接相鄰子集中任意的配對節(jié)點。節(jié)點表示一幀中存在的目標，將每個邊界設定為cij（t）。一條路徑（一系列的邊）的總代價為：

其中：

圖3　目標跟蹤有向圖形式

3.2.1單目標跟蹤

對于單目標跟蹤，本文利用文獻［15］尋找最小代價。利用零代價和初始化一個節(jié)點的觀察值，根據(jù)式（9）獲取每個節(jié)點nj（t），j=1，2，…，||N（t）。設定一個節(jié)點nj（t）的前身和累積代價分別為：

目標一旦離開視頻邊界，即到達框架的最后一級，則執(zhí)行回溯。在最后一級中，以代價最小的節(jié)點開始執(zhí)行回溯，根據(jù)事先在每一級中存儲的數(shù)據(jù)遍歷第一級以發(fā)現(xiàn)最優(yōu)路徑P*=argminPC（P）。

3.2.2多目標跟蹤

每個目標的起始幀可能不同，每個節(jié)點處的前期和最小代價也可能不同。本文為每個目標創(chuàng)建一個單獨的框架進行跟蹤，如圖3所示。根據(jù)式（11）和式（12），利用所有觀測值分別對每個目標進行數(shù)據(jù)關聯(lián)，其中大多數(shù)錯誤警告都是在分割后處理階段產生的，因此分割區(qū)域通常較小。對觀測的位置和區(qū)域進行測試以將新目標和錯誤警告區(qū)分開來。因此，僅當目標的預期位置距離幀邊界很近時才設定這個目標的跟蹤過程結束，這也阻止了因暫時遮擋而引起的目標刪除。其實就是為每個目標設置存活時間。圖3中給出了目標跟蹤總體框架，圖中節(jié)點在任何階段都允許包含多個路徑。

數(shù)據(jù)關聯(lián)中需要更新目標的位置和速度，設定幀t-1時刻第k個跟蹤目標的位置和速度分別為 xkt-1和數(shù)據(jù)關聯(lián)后，選取代價最小的觀測節(jié)點更新位置和速度，即：分別表示代價最小觀察節(jié)點的位置和速度，α表示更新比例。每一幀的數(shù)據(jù)關聯(lián)及總結算法如下所示：

4　實驗結果與分析

4.1參數(shù)說明及度量函數(shù)

視頻幀的尺寸為1 280×768像素，幀率為8 f/s。本文利用形態(tài)學做開操作時結構元素設定為7×7像素大小的模板（7×7為一個經驗值），表1為根據(jù)經驗設定的形態(tài)學操作模板中的參數(shù)大小。

為了對多目標跟蹤的精度進行評估，本文設計了兩種類型錯誤：假陽性（FP）和假陰性（FN），兩種類型錯誤的權重相同。本文規(guī)定了真陽性（TP）的數(shù)量并提供了運動目標總的個數(shù)。運動目標總的個數(shù)（TO）是所有圖像幀中目標的總和。主要跟蹤（MT）和主要丟失（ML）的分數(shù)進而測量有多少跟蹤成功或丟失，算法的精度分別定義為：

表1　實驗中所使用的參數(shù)值

4.2單目標跟蹤效果分析

圖4所示為一段比較模糊的足球比賽視頻序列幀。從圖4可以看出，比賽雙方運動員中的一方穿著相同，很難直接辨識。利用本文算法對圖4單目標進行跟蹤，并將實驗結果與文獻［4］提出的粒子群優(yōu)化算法（PSO-PF）和文獻［5］提出的局部背景加權算法（CBWH）進行比較。圖4（a）所示為本文算法結果，從圖中可以看出，選擇的運動員基本定位完整。即使有很多類似特征的運動員，因采用了目標運動方向特征和時間信息，目標也能準確定位，圖4（b）和圖4（c）分別是CBWH和PSO-PF跟蹤結果，可以看出CBWH在第三幀已偏離目標，PSO-PF在第二幀已偏離目標。比較三種算法，本文算法精確性能明顯優(yōu)于CBWH和PSO-PF兩種算法。

此外，測試了CBWH算法［5］和TLD算法［7］所使用的部分視頻，表2為各算法的跟蹤準確率比較。跟蹤準確率是指正確分割鎖定目標的時間比上總時間。總體來說，本文提出的單目標跟蹤算法跟蹤準確率高于其他兩種算法。

4.3多目標跟蹤效果分析

圖5為一段分辨率比較低的魚類視頻序列幀。從圖中可以看出，幀背景比較黑暗，圖像中目標姿態(tài)不斷變化。利用本文算法對圖5多目標進行跟蹤，并將實驗結果與文獻［9］提出的標記點處理算法MPP和文獻［10］提出的多目標Kalman跟蹤器進行比較。圖5是本文算法與MPP和Kalman的跟蹤分割結果圖。圖5（a）是本文算法結果，可以看出目標基本完全定位，圖5（b）和圖5（c）分別是MPP和Kalman跟蹤結果，其中紅色框是漏檢的目標。從圖5可以看出，本文算法漏檢率明顯低于MPP和Kalman算法。表3是精度和召回率比較，其中實驗總體目標數(shù)目設置為90個。從表3可以看出，本文算法精度和召回率明顯優(yōu)于MPP和Kalman算法。

圖4　單目標跟蹤結果比較

表2　各算法的平均跟蹤準確率

圖5　多目標跟蹤結果比較

表3　各算法的精度、召回率比較

5結　論

本文提出一種基于混合特征匹配的多目標分割跟蹤算法，算法可用于低對比度的多目標跟蹤。算法中采用的局部雙閾值能克服低對比度和噪聲對目標跟蹤的影響，并利用直方圖反向投影進行外形分割結果，利用四種特征進行目標匹配，并設計了總體代價函數(shù)以及代價函數(shù)的數(shù)據(jù)關聯(lián)計算。實驗結果表明，本文算法取得了較高的跟蹤成功率，具有很好的實際應用價值。

下一步的研究內容是對于不同的場景，如何自適應地選擇有效特征進行目標匹配。

［1］王健.基于目標跟蹤的交通違停事件檢測的研究［D］.合肥：中國科學技術大學，2011.

［2］史志剛.視頻序列中運動目標檢測與跟蹤技術研究［D］.西安：西安電子科技大學，2014.

［3］LI Z，LI G，TAN J，et al.Low observable moving target tracking based on modified PDA-AI［J］.Journal of infrared millimeter& terahertz waves，2010，31（10）：1245-1256.

［4］陳志敏，薄煜明，吳盤龍，等.基于自適應粒子群優(yōu)化的新型粒子濾波在目標跟蹤中的應用［J］.控制與決策，2013，28（2）：859-864.

［5］NING J，ZHANG L，ZHANG D，et al.Robust mean-shift tracking with corrected background-weighted histogram［J］.IET computer vision，2010，6（1）：62-69.

［6］COMANCIU D，VISVANATHAN R，MEER P.Kernel-based object tracking［J］.IEEE transactions on pattern analysis&machine intelligence，2003，25（5）：564-575.

［7］KALAL Z，MIKOLAJCZYK K，MATAS J.Tracking-learningdetection［J］.IEEE transactions on pattern analysis and machine intelligence，2012，34（7）：1409-1422.

［8］姜明新，王培昌，王洪玉.基于視頻多目標跟蹤的高度測量算法［J］.電子學報，2015，43（3）：591-596.

［9］IBE O C.Markov processes for stochastic modeling［M］.US：Chapman&Hall，1997.

［10］羅寰，于雷，廖俊，等.復雜背景下紅外弱小多目標跟蹤系統(tǒng)［J］.光學學報，2009，29（6）：1536-1541.

［11］李雨朋.基于Otsu算法的圖像分割研究［D］.鎮(zhèn)江：江蘇大學，2014.

［12］ZHAO Y，TAUBIN G.Real-time median filtering for embedded smart cameras［C］//Proceedings of 2006 IEEE International Conference on Computer Vision Systems.［S.l.］：IEEE，2006：55-57.

［13］CHANDRA E，KANAGALAKSHMI K.Noise suppression scheme using median filter in gray and binary images［J］.International journal of computer applications，2011，26（1）：49-57.

［14］KIM C，HWANG J N.Video object extraction for object-oriented applications［J］.Journal of VLSI signal processing systems for signal，image and video technology，2001，29（1/2）：7-21.

［15］VITERBI A J.A personal history of the Viterbi algorithm［J］. IEEE signal processing magazine，2006，23（4）：120-142.

［16］MUSICKI D，SONG T L，LEE H H，et al.Correlated Dopplerassisted target tracking in clutter［J］.IET radar sonar&navigation，2013，7（1）：94-100.

［17］柳培忠，阮曉虎，田震，等.一種基于多特征融合的視頻目標跟蹤方法［J］.智能系統(tǒng)學報，2014，17（3）：1-6.

Target tracking algorithm combining hybrid feature matching with Viterbi data association

XU Yanhua1，LI Rong1，WANG Huajun1，XU Pingping2
（1.Taihu University of Wuxi，Wuxi 214064，China；2.School of Information Science and Engineering，Southeast University，Nanjing 211189，China）

The tracking effect of the traditional tracking algorithms is poor due to the low video resolution，blurred frame image or heavy noise.To solve the above problems，a target tracking algorithm combining hybrid feature matching with Viterbi data association is proposed.The histogram back-projection technology is used to effectively segment the target edge in local bithreshold image to overcome the problem of low contrast.The neighborhood feature，regional feature，movement direction feature and histogram feature are taken as the target characterization features to establish the cost function of hybrid feature.The Viterbi data association is used to calculate the sum of cost function to obtain the most similar target.The experimental results show that，in the condition of blurred frame image or heavy noise，the proposed algorithm has stable and effective target tracking，the accuracy rate of single target tracking is 0.89，the accuracy rate of multi-target tracking is 0.975，the recall rate is 0.920，and the algorithm is superior to other similar tracking algorithms.

segmentation tracking；hybrid feature matching；local bi-threshold；histogram back projection；Viterbi data association

TN911.73-34；TP391

A

1004-373X（2016）17-0001-05

10.16652/j.issn.1004-373x.2016.17.001

2015-11-16

國家自然科學基金資助項目（61375028）；江蘇省高校自然科學研究項目（14KJD460004）

徐燕華（1979—），女，江蘇無錫人，碩士，講師。研究領域為目標跟蹤、圖像處理等。李榮（1978—），女，江蘇淮安人，碩士，講師。研究領域為目標跟蹤、圖像處理等。王華君（1979—），男，江蘇宜興人，碩士，講師。研究領域為目標跟蹤、圖像處理等。徐平平（1957—），女，江蘇南京人，博士，教授，博士生導師。 研究領域為圖像處理、目標跟蹤等。