曾巧玲，文貢堅

(國防科學(xué)技術(shù)大學(xué) 電子科學(xué)與工程學(xué)院, 長沙　410073)

?

運動目標(biāo)跟蹤綜述

曾巧玲，文貢堅

(國防科學(xué)技術(shù)大學(xué) 電子科學(xué)與工程學(xué)院, 長沙410073)

摘要：運動目標(biāo)跟蹤的任務(wù)是準(zhǔn)確、魯棒和實時地獲取序列圖像中的感興趣目標(biāo)，然而目標(biāo)跟蹤系統(tǒng)中存在許多固有限制因素。針對運動目標(biāo)跟蹤的研究任務(wù)和復(fù)雜性，討論分析了傳統(tǒng)運動目標(biāo)跟蹤方法的優(yōu)劣，闡述了各方法的最新發(fā)展。研究了當(dāng)前目標(biāo)跟蹤領(lǐng)域的2個熱點方向，并提出了基于多條件約束的目標(biāo)跟蹤技術(shù)方案。對基于序列圖像的運動目標(biāo)跟蹤技術(shù)的發(fā)展趨勢進(jìn)行了展望。

關(guān)鍵詞：運動目標(biāo)跟蹤；序列圖像

隨著數(shù)字化技術(shù)的不斷發(fā)展和推廣，視頻序列數(shù)據(jù)的應(yīng)用越來越廣泛。運動目標(biāo)跟蹤作為視頻數(shù)據(jù)分析的一大分支，對序列圖像中的運動目標(biāo)進(jìn)行提取和追蹤,為高層次的視頻理解和場景解釋提供依據(jù),在交通管制、視覺導(dǎo)航以及軍事偵察、戰(zhàn)場監(jiān)視等諸多領(lǐng)域有著廣闊的應(yīng)用前景。各國對運動目標(biāo)跟蹤技術(shù)在民用及軍事上的應(yīng)用給予了高度重視?；谛蛄袌D像的運動目標(biāo)跟蹤技術(shù)已經(jīng)成為一個重要的研究方向。

1　運動目標(biāo)跟蹤復(fù)雜性

基于視頻圖像的目標(biāo)跟蹤問題存在許多方面的限制因素，使得序列圖像中動目標(biāo)跟蹤技術(shù)的研究在理論和方法上都面臨著巨大的挑戰(zhàn)。

1) 跟蹤目標(biāo)的多樣性

首先，序列圖像中待跟蹤的對象往往是多個運動目標(biāo)，這些目標(biāo)具有不同的形狀、顏色等特征，難以利用統(tǒng)一的外觀特征模型來描述；其次，通常待跟蹤的機(jī)動目標(biāo)的運動規(guī)律十分復(fù)雜，簡單的運動模型往往不能精確描述目標(biāo)的運動特性；第三，在序列圖像獲取過程中，待跟蹤對象的運動也會導(dǎo)致其外觀特征的變化；此外，多個運動目標(biāo)之間可能發(fā)生相互遮擋，運動目標(biāo)本身也會出現(xiàn)變形。

2) 跟蹤場景的復(fù)雜性

首先，場景中光照的變化、大氣狀況的變化以及天氣等的影響會對跟蹤目標(biāo)造成嚴(yán)重干擾；其次，當(dāng)場景中存在與目標(biāo)外觀特征相似的地物時，運動目標(biāo)的跟蹤位置可能發(fā)生偏移，將增加運動目標(biāo)跟蹤的難度；另外，跟蹤目標(biāo)在運動過程中可能被場景中的物體遮擋，造成目標(biāo)運動軌跡中斷等問題。

3) 應(yīng)用需求的多樣性

機(jī)動目標(biāo)跟蹤算法的主要指標(biāo)包括跟蹤的準(zhǔn)確性、穩(wěn)定性、抗干擾性以及計算的實時性。然而，不同的應(yīng)用背景對序列圖像中運動目標(biāo)跟蹤算法的性能指標(biāo)不盡相同?，F(xiàn)有的許多跟蹤算法計算復(fù)雜度高，跟蹤精度受參數(shù)設(shè)置的影響嚴(yán)重，并且抗干擾性不高。

4) 目標(biāo)檢測存在誤差

目標(biāo)檢測過程中不可避免存在的誤檢、漏檢等現(xiàn)象，將會在目標(biāo)跟蹤時產(chǎn)生漂移，進(jìn)而影響目標(biāo)跟蹤的精度。

2　傳統(tǒng)目標(biāo)跟蹤方法分類與發(fā)展

本文對傳統(tǒng)的序列圖像中運動目標(biāo)跟蹤方法進(jìn)行歸納總結(jié)，并針對運動目標(biāo)跟蹤的復(fù)雜性，對比分析各方法的優(yōu)缺點以及跟蹤性能，闡述各方法的最新發(fā)展。

2.1目標(biāo)跟蹤方法分類及性能分析

2.1.1基于實時檢測的運動目標(biāo)跟蹤

基于實時檢測的跟蹤方法的基本思路是：利用正負(fù)樣本訓(xùn)練分類器，并用該分類器對目標(biāo)和背景進(jìn)行分類，實現(xiàn)目標(biāo)檢測的同時以置信度最高的圖像塊作為目標(biāo)位置[1]。該類方法的典型代表有Tracking Learning Detection(TLD)方法[2-4]、Online Boosting方法等[5-8]。

通?；趯崟r檢測的跟蹤方法是在線方法。該方法的優(yōu)點是利用當(dāng)前圖像幀的采樣數(shù)據(jù)更新分類器，因此對目標(biāo)的變化具有一定的自適應(yīng)能力。

然而，分類器的分類精度常依賴于目標(biāo)特征的表達(dá)能力，因此當(dāng)場景中出現(xiàn)較嚴(yán)重的目標(biāo)遮擋時該方法性能較差。同樣，該方法區(qū)分場景中相似目標(biāo)的能力也很有限。

2.1.2基于模板匹配的運動目標(biāo)跟蹤

基于模板匹配的目標(biāo)跟蹤方法主要包含3個方面：一是正確地表達(dá)運動目標(biāo)；二是對運動目標(biāo)與現(xiàn)有模板的相似性進(jìn)行度量；三是從眾多匹配結(jié)果中尋找運動目標(biāo)的最優(yōu)匹配。根據(jù)這3方面的差異，基于模板匹配的目標(biāo)跟蹤方法又可分為基于全局模型的跟蹤方法、基于區(qū)域模型的跟蹤方法、基于特征的跟蹤方法以及基于變形模型的跟蹤方法。

1) 基于全局模型的運動目標(biāo)跟蹤方法

基于全局模型的跟蹤方法針對運動目標(biāo)的外形特征建立模型，通過運動目標(biāo)與該模型的匹配實現(xiàn)目標(biāo)跟蹤，并不斷更新目標(biāo)模型。對運動目標(biāo)進(jìn)行外形建模時，通常采用線圖模型、2D模型、3D模型[9-10]以及稀疏編碼模型[11]。

基于全局模型的跟蹤方法具有較好的魯棒性，不易受觀測角度、遮擋物等的干擾，對于剛體目標(biāo)的運動變化捕捉能力強，相應(yīng)的模型匹配的精度高。

該方法的缺點在于其性能主要取決于建立的模型是否準(zhǔn)確，對運動過程中形狀隨機(jī)變化的目標(biāo)而言，獲取精確的幾何模型難度高，難以采用該類方法進(jìn)行有效跟蹤。

2) 基于區(qū)域模型的運動目標(biāo)跟蹤方法

基于區(qū)域模型的運動目標(biāo)跟蹤方法將運動目標(biāo)劃分為不同的部件，并對各部件分別建立模型；通過部件模型與目標(biāo)模型之間的匹配以及各部件之間的時空關(guān)聯(lián)實現(xiàn)運動目標(biāo)跟蹤。WREN CR等[12]將人體運動目標(biāo)劃分為頭部、四肢、軀體等10個部分，并利用各個區(qū)域塊的時空關(guān)聯(lián)實現(xiàn)人體目標(biāo)的跟蹤。

基于區(qū)域模型的跟蹤方法的優(yōu)點是：在運動目標(biāo)不被遮擋或目標(biāo)形變不大時，不僅跟蹤穩(wěn)定，而且能夠保證較高的跟蹤精度。

然而，當(dāng)運動目標(biāo)出現(xiàn)較嚴(yán)重遮擋或者尺寸的劇烈變化時，部件之間的關(guān)聯(lián)匹配難度很大，這將大大影響模型匹配的精度，甚至造成運動目標(biāo)的跟蹤丟失。此外，全圖搜索匹配區(qū)域非常耗時，影響系統(tǒng)的實時性。

3) 基于變形模型的運動目標(biāo)跟蹤方法

基于變形模型的跟蹤方法實質(zhì)上是一種基于目標(biāo)邊緣信息的方法，該類方法的典型代表是基于Snake模型的跟蹤方法。其主要思想是構(gòu)成一定形狀的輪廓線，在內(nèi)部力、外部力和約束力的作用下，反復(fù)對曲線的能量函數(shù)進(jìn)行迭代，使曲線上的輪廓點向使能量函數(shù)極小化的方向移動，從而實現(xiàn)運動目標(biāo)跟蹤[13-15]。

基于變形模型的跟蹤方法不需要利用目標(biāo)的任何先驗信息，且在跟蹤過程中充分運用了目標(biāo)輪廓的全局信息、幾何信息，跟蹤效果比較可靠。

然而，該類方法逐步迭代尋找最優(yōu)輪廓線，因此計算量大，算法實時性較差。另外，目標(biāo)在運動過程中發(fā)生劇烈形變時，Snake模型的跟蹤精度將受到影響。

4) 基于特征的運動目標(biāo)跟蹤方法

基于特征的跟蹤方法主要包括特征提取和特征匹配2個步驟。特征提取時一般選擇具有平移、旋轉(zhuǎn)、縮放不變性的全局特征譬如質(zhì)心、顏色、角點、Hu矩等[16]。首先，以運動目標(biāo)區(qū)域的特征信息作為目標(biāo)描述模型，然后利用特征匹配計算當(dāng)前幀提取的特征與目標(biāo)描述模型的相似程度，并選擇最可靠匹配作為跟蹤結(jié)果。該類方法應(yīng)用范圍廣泛，典型代表是MeanShift均值漂移算法[17-19]。

基于特征的跟蹤方法對目標(biāo)的形狀、尺度等變化不敏感，跟蹤的穩(wěn)定性好，甚至在目標(biāo)被部分遮擋的情況下，僅僅依賴能夠提取到的特征也能實現(xiàn)良好的跟蹤效果。

然而，大多數(shù)圖像特征對周圍環(huán)境譬如光照變化等敏感，增加了特征提取的難度。此外，當(dāng)背景特征與目標(biāo)特征相似或者跟蹤對象遮擋嚴(yán)重時，難以獲得準(zhǔn)確的特征匹配結(jié)果，將會導(dǎo)致跟蹤目標(biāo)錯誤甚至丟失。

2.1.3基于貝葉斯濾波的運動目標(biāo)跟蹤

貝葉斯方法是協(xié)調(diào)先驗信息和當(dāng)前信息的統(tǒng)一方法，基于貝葉斯濾波的跟蹤方法的實質(zhì)是利用當(dāng)前幀之前的先驗信息對目標(biāo)在當(dāng)前幀圖像的狀態(tài)進(jìn)行最優(yōu)估計[20]。該類方法的典型算法有卡爾曼濾波算法[21-27]、粒子濾波算法等[20，28-32]。

傳統(tǒng)的卡爾曼濾波是一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入輸出觀測數(shù)據(jù)，對系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計的算法。該算法能夠?qū)ΜF(xiàn)場采集的數(shù)據(jù)進(jìn)行實時的更新和處理，是目前應(yīng)用最為廣泛的濾波方法，但其致命缺陷在于使用范圍的局限——卡爾曼濾波只適用于線性高斯系統(tǒng)。

相比卡爾曼濾波算法，粒子濾波算法的思想基于蒙特卡洛方法，用隨機(jī)樣本來描述概率分布，然后在測量的基礎(chǔ)上調(diào)節(jié)各粒子的權(quán)重和樣本的位置，不斷逼近真實的概率分布。由于非參數(shù)化的特點，粒子濾波算法在處理非線性非高斯問題時效果顯著，應(yīng)用范圍相當(dāng)廣泛。

然而，粒子濾波算法常常由于要保證濾波精度而產(chǎn)生大量粒子，而所需粒子數(shù)越多，算法的復(fù)雜度就越高。此外，重采樣技術(shù)的應(yīng)用帶來了粒子退化的問題，制約了粒子濾波跟蹤運動目標(biāo)的性能。 針對傳統(tǒng)貝葉斯跟蹤方法的缺陷，新近提出了無跡粒子濾波算法(UPF)[33]、Rao-Blackwellized粒子濾波算法(RBPF)[34]等。另外，隨著生物智能的不斷發(fā)展，遺傳算法與粒子濾波的結(jié)合開始受到關(guān)注。有實驗表明：將改進(jìn)的遺傳算法應(yīng)用于粒子重采樣中，改善了樣本的多樣性，改進(jìn)后的基于遺傳算法的粒子濾波跟蹤算法不僅保持了較高的運算效率，而且較好地提高了跟蹤穩(wěn)定性和準(zhǔn)確性[35-38]。

2.2傳統(tǒng)目標(biāo)跟蹤方法的發(fā)展

傳統(tǒng)的目標(biāo)跟蹤方法由于其邏輯思路的不同而各有優(yōu)劣。各方法的發(fā)展與改進(jìn)不僅要考慮實際目標(biāo)跟蹤問題的復(fù)雜性，還要相互補充和借鑒。

1) 提高運動目標(biāo)特征描述能力

對被跟蹤目標(biāo)進(jìn)行高效、動態(tài)的特征描述，能夠保證目標(biāo)跟蹤算法在目標(biāo)外觀改變等復(fù)雜情況下，保持良好的準(zhǔn)確性和穩(wěn)定性。

由于顏色特征對平移、旋轉(zhuǎn)、尺度變換以及目標(biāo)遮擋等都具有比較強的魯棒性，因此常采用顏色特征來表征跟蹤目標(biāo)的外觀，目前顏色直方圖是最常用的顏色似然模型。但是，顏色直方圖忽略了像素的空間位置分布信息，當(dāng)跟蹤目標(biāo)周圍出現(xiàn)具有相似顏色分布的干擾目標(biāo)或背景時，跟蹤算法就有可能出現(xiàn)跟蹤偏差[39]。

針對復(fù)雜背景序列圖像中出現(xiàn)的顏色干擾、紋理干擾、形狀干擾等，基于多特征融合的外觀判別模型能夠更加精確地區(qū)分跟蹤對象與其他目標(biāo)、背景[39-42]。譬如基于傳統(tǒng)Snake模型最新提出的Velocity Snake模型[43]，就是將時間約束加入能量函數(shù)中，一定程度提高了跟蹤算法的穩(wěn)定性?；诙嗵卣魅诤系腗eanShift算法[1-3]避免了單一特征發(fā)生變化時對特征提取和匹配造成的不良影響，增強了算法的抗干擾能力。

另外，基于在線學(xué)習(xí)的外觀判別模型具有較高的自適應(yīng)能力[44]，能夠在目標(biāo)外觀變化時依然準(zhǔn)確地描述目標(biāo)特征，進(jìn)而提高模型匹配的精度。

2) 提高系統(tǒng)實時性

在實際應(yīng)用中機(jī)動目標(biāo)常常以成組的方式分布在相機(jī)或傳感器的視場范圍內(nèi)。因此，同時對這些分布式的目標(biāo)進(jìn)行跟蹤，提高實時追蹤運動目標(biāo)的能力是運動目標(biāo)跟蹤的一個關(guān)鍵問題。

傳統(tǒng)的目標(biāo)跟蹤方法往往對場景范圍內(nèi)所有區(qū)域進(jìn)行匹配搜索，尋找目標(biāo)的最優(yōu)匹配。這種搜索策略需要遍歷很多冗余區(qū)域，大大影響到跟蹤算法的實時性。

為此，常常需要多種方法相結(jié)合來縮小目標(biāo)搜索范圍。為達(dá)到該目的，可以采用基于貝葉斯理論的濾波算法對運動目標(biāo)在下一幀的狀態(tài)進(jìn)行預(yù)測，并在預(yù)測區(qū)域附近確定適當(dāng)?shù)乃阉鞣秶＠蠲裘舻萚45]、周鑫等[46]分別在TLD檢測器中引入Kalman濾波器和基于馬爾科夫模型的方向預(yù)測器，在降低計算量的同時增強了分類器對相似目標(biāo)的辨識能力。近年來提出的基于Kalman濾波的Snake模型[43，47-48]算法有效減少了傳統(tǒng)Snake跟蹤算法的計算量，提高了跟蹤效率。同樣地，MeanShift方法與Kalman濾波的結(jié)合縮小了模型匹配時的搜索范圍，成為當(dāng)前基于特征的目標(biāo)跟蹤方法發(fā)展的新趨勢[49-51]。

3) 提高算法通用性

目前的跟蹤算法大多基于特定的數(shù)據(jù)集和應(yīng)用場景，然而序列圖像的目標(biāo)跟蹤中具有的一些典型共性問題，譬如如何準(zhǔn)確跟蹤被遮擋的目標(biāo)，亟待提出更好的解決方案。

對于處于遮擋狀態(tài)的運動目標(biāo)來說，它在序列圖像上的外觀等信息不能正確表征該目標(biāo)。因此，處理運動目標(biāo)遮擋可從以下兩方面著手：一是對目標(biāo)所處的遮擋狀態(tài)進(jìn)行分析，再根據(jù)序列圖像的上下文知識以及目標(biāo)的運動規(guī)律，在一定范圍內(nèi)對遮擋目標(biāo)進(jìn)行軌跡預(yù)測；二是將基于區(qū)域的跟蹤方法的思想考慮進(jìn)來，對被跟蹤目標(biāo)的部件或者局部進(jìn)行跟蹤，進(jìn)而獲得目標(biāo)整體的跟蹤結(jié)果，如SHU G等提出的基于運動目標(biāo)分割的跟蹤方法，構(gòu)造多個目標(biāo)局部分類器，提高了遮擋情形下的目標(biāo)跟蹤精度[52]。

3　運動目標(biāo)跟蹤突破方向

傳統(tǒng)的目標(biāo)跟蹤方法依然處于蓬勃發(fā)展的階段，針對目標(biāo)跟蹤問題的種種復(fù)雜性，不斷涌現(xiàn)出新的、更全面的解決方案。然而，由于問題的復(fù)雜性和各傳統(tǒng)方法本身的缺陷，目前在目標(biāo)跟蹤領(lǐng)域仍有許多共性問題亟待解決。本文就該領(lǐng)域的2個最新的熱點方向展開深入研究，并提出基于多條件約束的運動目標(biāo)跟蹤技術(shù)方案。

3.1基于數(shù)據(jù)關(guān)聯(lián)的運動目標(biāo)跟蹤

實際應(yīng)用的跟蹤場景中多個目標(biāo)同時存在，并具有不同的運動規(guī)律。多目標(biāo)跟蹤算法的研究內(nèi)容就是如何在保持多個運動目標(biāo)屬性的同時獲得相應(yīng)的運動軌跡。

數(shù)據(jù)關(guān)聯(lián)作為多目標(biāo)跟蹤中最為核心的技術(shù)，受到了廣泛關(guān)注。數(shù)據(jù)關(guān)聯(lián)方法的主要思想是：以運動目標(biāo)檢測結(jié)果作為輸入，對多幀圖像數(shù)據(jù)中所有可能的軌跡同時計算關(guān)聯(lián)概率，采用特定的準(zhǔn)則對每條軌跡的真實性作出判斷，不斷剔除虛假軌跡，進(jìn)而獲得目標(biāo)真實軌跡及當(dāng)前位置。典型的基于數(shù)據(jù)關(guān)聯(lián)的跟蹤方法有聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法[53-56]、多假設(shè)檢驗方法[57-59]以及動態(tài)規(guī)劃方法[60-62]等。近年來，HUANG C等針對復(fù)雜場景中的多目標(biāo)跟蹤，提出了多層次數(shù)據(jù)關(guān)聯(lián)目標(biāo)跟蹤框架，將目標(biāo)軌跡的關(guān)聯(lián)問題轉(zhuǎn)化為求解目標(biāo)最大后驗概率問題，取得了較好的跟蹤精度[63-67]。XIANG J等[68]也在這個開放的跟蹤框架中引入了基于在線學(xué)習(xí)的霍夫森林模型，對目標(biāo)進(jìn)行了更有效的表達(dá)，實現(xiàn)了更準(zhǔn)確的多目標(biāo)跟蹤。

數(shù)據(jù)關(guān)聯(lián)方法的顯著優(yōu)點在于采用多幀檢測信息用于跟蹤，有效降低了單幀錯誤檢測帶來的誤差漂移，因此方法的抗干擾能力優(yōu)越。但是該方法的計算量隨著目標(biāo)數(shù)量增加而迅速增長，對硬件計算能力和存儲性能要求高，算法實時性受到限制。

3.2基于能量最小化的運動目標(biāo)跟蹤

人類視覺在目標(biāo)跟蹤方面具有先天優(yōu)勢，基于能量最小化的目標(biāo)跟蹤方法就是充分模擬人類認(rèn)知，根據(jù)同一目標(biāo)在運動過程中呈現(xiàn)出的外觀一致性、運動參數(shù)連續(xù)性、運動范圍有限性以及目標(biāo)遮擋等，建立合理的能量函數(shù)，并對該函數(shù)進(jìn)行迭代求解以獲得目標(biāo)在整個時間范圍內(nèi)的運動軌跡[69-71]。

基于能量函數(shù)最小化的跟蹤方法在關(guān)注運動目標(biāo)與背景間差異的同時，充分考慮場景中外觀相似、距離相近的目標(biāo)，因此該方法的跟蹤結(jié)果和邏輯思路具有一定的可靠性和借鑒意義。然而在實際應(yīng)用中，為了更加可信地表示多個目標(biāo)狀態(tài)信息，能量函數(shù)的建立需要綜合考慮跟蹤對象的外觀特征、運動規(guī)律以及物理約束等。因此，過于簡單的能量函數(shù)不能準(zhǔn)確反映目標(biāo)的運動過程，而過于復(fù)雜的目標(biāo)能量函數(shù)往往不能獲得最優(yōu)解。

針對能量函數(shù)建立與求解的矛盾，本文認(rèn)為有3種解決思路：一是對目標(biāo)檢測結(jié)果進(jìn)行采樣，得到有限的初始化解空間，加快能量函數(shù)的收斂速度[72-73]；二是尋找更加合理的模型或者函數(shù)表述跟蹤問題，譬如王長輝等采用在線學(xué)習(xí)條件隨機(jī)場模型對跟蹤問題進(jìn)行建模[74]；三是采用新的優(yōu)化方法求解能量函數(shù)的最小值，譬如MILAN A 等建立連續(xù)的能量函數(shù)，采用共軛梯度下降法獲得能量函數(shù)的局部極小值，并結(jié)合周期跨維躍遷方法，在多維空間中跳過弱局部極小值，不斷逼近全局最優(yōu)化解，最終得到可靠的軌跡組合[75-76]。

3.3基于多條件約束的運動目標(biāo)跟蹤

由于基于數(shù)據(jù)關(guān)聯(lián)的目標(biāo)跟蹤方法處理場景中相似目標(biāo)的能力不足，而基于能量最小化的目標(biāo)跟蹤方法又難以得到能量函數(shù)的全局最優(yōu)解。本文在傳統(tǒng)目標(biāo)跟蹤方法的基礎(chǔ)上以這2個研究方向作為突破口，提出基于多條件約束的動目標(biāo)跟蹤方法技術(shù)方案。

該方法以多幀目標(biāo)檢測結(jié)果為輸入，首先，利用相鄰幀上目標(biāo)屬性特征的一致性，通過在線學(xué)習(xí)方法建立外觀判別模型，以此保證該判別模型能夠隨目標(biāo)的外觀變化自適應(yīng)更新，由此形成一階屬性約束。其次，考慮相鄰幀上目標(biāo)運動距離的合理性，建立各個運動目標(biāo)的運動范圍圖，形成一階運動約束。第三，利用多幀序列圖像上目標(biāo)運動的連續(xù)性，建立基于速度、加速度自適應(yīng)變化的目標(biāo)機(jī)動模型，形成高階運動約束。另外，受傳統(tǒng)方法單幀檢測-跟蹤的啟發(fā)，根據(jù)相鄰幀間的目標(biāo)匹配關(guān)系來確定目標(biāo)是否被漏檢或被嚴(yán)重遮擋，進(jìn)而對漏檢或遮擋目標(biāo)進(jìn)行位置更新甚至補充。

由于同時考慮了目標(biāo)運動過程中的一階約束和高階約束，基于多條件約束的運動目標(biāo)跟蹤算法將對每一幀上的目標(biāo)形成多層次軌跡，并對多層次軌跡進(jìn)行逐步優(yōu)化求解，最終得到目標(biāo)物體在整個序列長度內(nèi)的真實軌跡，并獲得動目標(biāo)在每一幀中所在的位置。

4　結(jié)束語

基于序列圖像的運動目標(biāo)跟蹤融合了視頻圖像處理、計算機(jī)視覺、模式識別和人工智能等領(lǐng)域的知識，是當(dāng)今國際上的研究熱點。本文對基于序列圖像的運動目標(biāo)跟蹤技術(shù)展開了深入研究，對運動目標(biāo)跟蹤的復(fù)雜性、關(guān)鍵問題和主要方法進(jìn)行了綜述，對比分析了不同方法的優(yōu)劣，概括總結(jié)了各方法的前沿發(fā)展，提出了基于多條件約束的運動目標(biāo)跟蹤算法。隨著運動目標(biāo)跟蹤技術(shù)在理論研究方面的蓬勃發(fā)展，目前已經(jīng)有部分成果進(jìn)入實用化階段，但是當(dāng)前仍面臨著巨大挑戰(zhàn)，基于序列圖像的運動目標(biāo)跟蹤技術(shù)仍有廣闊的發(fā)展空間：

1) 正確、合理地將目標(biāo)先驗知識運用到運動目標(biāo)跟蹤算法中，提高算法的準(zhǔn)確性；

2) 建立高效、動態(tài)的目標(biāo)特征描述模型，提高算法抗干擾能力；

3) 對目標(biāo)的運動狀態(tài)變化進(jìn)行更復(fù)雜的建模，精確地刻畫目標(biāo)運動規(guī)律；

4) 多種跟蹤技術(shù)聯(lián)合應(yīng)用，克服單一技術(shù)的局限性；

5) 編寫并行化目標(biāo)跟蹤程序，提高系統(tǒng)實時跟蹤不同目標(biāo)的能力。

參考文獻(xiàn)：

[1]WANG W.Method for moving target detection and recognition in intelligent visual surveillance[D].Doctoral Dissertation.Xi’an:Xi’an Electronic and Science University,2013.[2]KALAL Z,MIKOLAJCZYK K,MATAS J.Tracking-Learning-Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012,34(7):1409-1422.[3]KALALZ Z,MIKOLAJCZYK K,MATAS J.Face-TLD:Tracking-Learning-Detection applied to faces[C]//International Conference on Image Processing.USA:[s.n.],2010:3789-3792.

[4]WANG R,SANG N,WANG R.Detection and tracking strategy for license plate detection in video[J].Optik-International Journal for Light and Electron Optics,2014,125(10):2283-2288.

[5]GRABNER H,BISCHOF H.On-Line boosting and vision[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2006:260-2267.

[6]GRABNER H,GRABNER M,BISCHOF H.Real-time tracking via on-line boosting[C]//Proceedings of British Machine Vision Conference.USA:[s.n.],2006:47-56.[7]FANG X.Online boosting for car detection[D].Beijing:Beijing University of Posts and Telecommunications,2009.[8]BABEKO B,YANG M H,BELONGIE S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011,33(8):1619-1632.

[9]LEUNG MK,YANG Y H.First Sight:A human body outline labeling system[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1995,17(4):359-377.

[10]LIANG J.Research on Motive target tracking arithmetic in video[D].Shanghai:Shanghai Jiao Tong University,2008.

[11]JIA X,LU H,YANG Y H.Visual tracking via adaptive structural local sparse appearance model[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Providence,R1,USA：[s.n.]，2012:1822-1829.

[12]WREN C R,AZARBAYEJANI A,DARRELL T.Pfinder:Real-time tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 1997,19(7):780-785.

[13]KASS ML,WITKIN A,TERZOPOULOS D.Snakes:active contour models[J].International Journal of Computer Vision， 1988,1(4):321-331.

[14]LI T,ZHANG Y,LIU Z,et al.An overview on Snakes models[J].Computer Engineering.2005,31(9):1-3.

[15]ROH M C,KIM T Y,PARK J H.Accurate object contour tracking based on boundary edge selection[J].Pattern Recognition，2007,40(3):931-943.

[16]YAN J.Intelligent monitoring of moving target in complex traffic scene[D].Beijing:University of Science and Technology of China,2014.

[17]FUKUNAGA K,LARY D HOSTETLER.The estimation of the gradient of a density function,with applications in pattern recognition[J].IEEE Transactions on Information Theory，1975,21(1):32-40.

[18]CHENG Y.MeanShift,mode seeking and clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1995,17(8):790-799.

[19]COMANICIU D,MEER P.Robust analysis of feature space:color image segmentation[M].USA:IEEE Los Alamitos，1997:750-755.

[20]GUO X,LI Y,GUO J.Research on Bayesian target tracking method[J].Computer Engineering，2009,35(12):137-142.

[21]WELCH G,BISHOP G.An Introduction to the Kalman Filter[R].USA：University of North Carolina at Chapel Hill,1995.

[22]JANG D S,KIM G Y,CHOI H K.Filter incorporated model updating for real-time tracking[C]//IEEE TENCON-Digital Signal Proceeding Application.USA:IEEE,1996:878-882.

[23]EFE M,ATHERTON D P.Maneuvering target tracking with an adaptive Kalman Filter[C]//Proceedings of the 37th IEEE Conference on Decision and Control Tampa.USA:IEEE,1998:737-742.

[24]JANG D S,CHOI H.Active models for tracking moving objects[J].Pattern Recognition,2000,33(7)：1135-1146.

[25]KUMAR P,SENGUPTA K,HUANG W.Cooperative multi-target tracking with efficient split and merge handling[J].IEEE Transactions on Circuits and Systems For Video Technology,2006,16(12):1477-1490.[26]HOU J.Research on fire detection of large space building based on video image[D].Beijing:Tsinghua University,2010.[27]LIU F,LUO P.Statistical signal processing[M].Changsha:National University of Defense Technology Press，1999.

[28]GORDON N,SALMOND D.Novel approach to nonlinear and non-Gaussian Bayesian state estimation[J].Proceedings of Institute Electric Engineering,1993,140(2):107-113.

[29]王紹玨.基于粒子濾波器的運動目標(biāo)跟蹤方法研究[D].長沙：中南大學(xué).2008.

[30]CHANG C I.An information-theoretic approach to spectral variability,similarity,and discrimination for hyperspectral image analysis[J].IEEE Transactions on Information Theory,2000,46(5):1927-1932.

[31]YOON CH,CHEON M,PARK M.Object tracking from image sequences using adaptive models in fuzzy particle filter[J].Information Sciences,2013:74-99.

[32]VERMAAK J,PEREZ P.Monte Carlo filtering for multi-target tracking and data association[J].IEEE Transactions on Aerospace and Electronic Systems,2005,41(1):309-331.

[33]RUI Y,CHEN Y.Better proposal distributions:objects tracking using unscented particle filter[C]//IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE,2001:786-793.

[34]VIHOLA M.Rao-Blackwellised Particle filtering in random set multi-target tracking[J].IEEE Transactions on Aerospace and Electronics Systems，2007,43(2):689.

[35]OSHMAN Y,CARMI A.Attitude estimation from vector observations using genetic-algorithm-embedded quaternion particle filter[J].Journal of Guidance Control and Dynamics,2006,29(4):879.

[36]YE Z,LIU Z.Tracking human hand motion using genetic particle filter[C]//IEEE International Conference on Systems,Man and Cybernetics.USA:[s.n.],2006:4942-4947.

[37]HO M,CHIANG C,CHEN Y.A genetic particle filter for moving object tracking[C]//The 4th International Conference on Image and Graphics，USA:[s.n.],2007:524.

[38]陳善靜,楊華,曾凱,等.基于遺傳算法的粒子濾波跟蹤算法[J].光電工程,2010,37(10):16-22.

[39]馬加慶.視頻運動目標(biāo)的跟蹤方法[M].北京：電子工業(yè)出版社,2013.

[40]孫學(xué)彬.基于多對象特征獲取的多目標(biāo)跟蹤算法研究[D].南寧：廣西大學(xué).2014.

[41]YANG X,FEI S,LI G,et al.Improved mean shift tracking algorithm based on complicated feature fusion[J].Control and decision making,2014,7(29):1297-1300.

[42]賈旭.基于局部外觀模型的目標(biāo)跟蹤方法研究[D].大連：大連理工大學(xué).2013.

[43]PETERFREUND N.Robust tracking of position and velocity with Kalman Snakes[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999,21(6):564-569.

[44]LI F,PAN P.The research and progress of dynamic models for maneuvering target tracking[J].Fire Control and Command Control，2007,32(10):1163-1167.

[45]LI M.Object tracking based on TLD[D].Xi’an:Xi’an Electronic and Science University,2013.

[46]周鑫,錢秋朦,葉永強,等.改進(jìn)后的TLD視頻目標(biāo)跟蹤方法[J].中國圖象圖形學(xué)報,2013,18(9)：1115-1123.

[47]岑峰,戚飛虎.短程線主動輪廓跟蹤算法的研究-在復(fù)雜背景和非剛性運動目標(biāo)跟蹤的應(yīng)用[J].計算機(jī)研究與發(fā)展,2003,40(2):283-288.

[48]王愛平.視頻目標(biāo)跟蹤技術(shù)研究[D].長沙：國防科學(xué)技術(shù)大學(xué),2011.

[49]COMANICIU D,RAMESH V.MeanShift and optimal prediction for efficient object tracking[C]//IEEE International Conference on Image Processing.USA:IEEE,2000:70-73.

[50]COMANICIU D,MEER P.MeanShift:A robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.

[51]金鵬，劉惠義，楊戰(zhàn)軍.一種改進(jìn)的視頻圖像檢測跟蹤算法[J].計算機(jī)與數(shù)字工程,2015,4(43):576-590.

[52]SHU G,DEHGHAN A,OREIFEJ O.Part-based multiple person tracking with partial occlusion handling[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE,2012:1815-1821.

[53]BARS Y,BIRMIWAL K.Consistency and robustness of PDAF for target tracking in cluttered environments[J].Automatica,1983,19(4):431-437.

[54]MESSAOUDI Z,OULDALI A,OUSSALAH M.Joint multiple target tracking and classification using controlled based cheap JPDA-multiple model particle filter in cluttered environment[C]//International Conference on Image and Signal Processing.USA:[s.n.],2008:562-569.

[55]LEE H,KO H.Predictive estimation method to track occluded multiple objects using joint probabilistic data association filter[C]//International Conference on Image Analysis and Processing.USA:[s.n.],2005:852-860.

[56]SHAFIQUE K,LEE M,HAERING N.A rank constrained continuous formulation of multi-frame multi-target tracking problem[C] //IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE,2008:1-8.

[57]BLOSTEIN S,HUANG T.Detecting small moving objects in image sequences using sequential hypothesis testing[J].IEEE Transactions on Signal Processing,1991,39(7):1611-1629.

[58]CHIA A Y S,HUANG W.Multiple objects tracking with multiple hypotheses dynamic updating[C]//International Conference on Image Processing.USA:[s.n.],2006:569-572.

[59]CHIA AYS,HUANG W,LI L.Multiple objects tracking with multiple hypotheses graph representation[C]// International Conference on Pattern Recognition.USA:[s.n.],2006:638-641.

[60]BARNIV Y.Dynamic programming solution for detecting dim moving targets[J].IEEE Transactions on Aerospace and Electronics Systems,1985,21(1):144-156.

[61]BARNIV Y,KELLA O.Dynamic programming solution for detecting dim moving targets Part Ⅱ:Analysis[J].IEEE Transactions on Aerospace and Electronics Systems,1987,23(6):776-788.

[62]曲長文,黃勇,蘇峰.基于動態(tài)規(guī)劃的多目標(biāo)檢測前跟蹤算法[J].電子學(xué)報,2006,34(12):2138-2141.

[63]HUANG C,WU B,NEVATIA R.Robust object tracking by hierarchical association of detection responses[C].European Conference on Computer Vision.USA:[s.n.],2008:788-801..

[64]WU B,NEVATIA R.Detection and tracking of multiple,partially occluded humans by Bayesian combination of edgelet based part detectors[J].International Journal of Computer Vision,2007(6):247-266.

[65]BABENKO B,YANG M,BELONGIE S.Visual tracking with online multiple instance learning[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2009:983-990.

[66]KUO C,HUANG C,NEVATIA R.Multi-target tracking by on-line learned discriminative appearance models[C]// IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2010:685-692.

[67]YANG B,NEVATIA R.An online learned CRF model for multi-target tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2012:2034-2041.

[68]XIANG J,SANG N,HOU J.An on-lined learned Hough forest model for multi-target tracking[C]//IEEE International Conference on Image Processing.USA:[s.n.],2014:2398-2402.

[69]韓崇昭，朱洪艷，段戰(zhàn)勝.多源信息融合[M].北京：清華大學(xué)出版社,2006.

[70]BERCLAZ J,FLEURET F,FUA P.Robust people tracking with global trajectory optimization[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2006:744-750.

[71]LEIBE B,SCHINDLER K,GOOL LV.Coupled detection and trajectory estimation for multi-object tracking[C]// International Conference on Computer Vision.USA:[s.n.],2007:1-8.

[72]HENRIQUES J,CASEIRO R,BATISTIA J.Globally optimal solution to multi-object tracking with merged measurements[C]//IEEE International Conference on Computer Vision.[S.l.]:IEEE,2011:2470-2477.

[73]PIRSIAVASH H,RAMANAN D,FOWLKES C.Globally-optimal greedy algorithms for tracking a variable number of objects[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2011:1201-1208.

[74]王長輝,羅晴.基于能量最小化的多目標(biāo)跟蹤算法研究[J].科學(xué)技術(shù)與工程,2014,14(17):253-259.

[75]ANDRIYENKO A,SCHINDLER K.Multi-target tracking by continuous energy minimization[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2011:1265-1272.

[76]MILAN A,SCHINDLER K.Continuous energy minimization for multi-target tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2014,36:58-72.

(責(zé)任編輯楊黎麗)

收稿日期：2016-01-12

作者簡介：曾巧玲(1994—)，女，碩士研究生，主要從事空間信息獲取與處理、計算機(jī)視覺研究；文貢堅(1972—)，教授，博士生導(dǎo)師，973首席科學(xué)家，主要從事攝影測量與遙感、空間信息獲取與處理研究。

doi:10.3969/j.issn.1674-8425(z).2016.07.018

中圖分類號：TP3.9

文獻(xiàn)標(biāo)識碼：A

文章編號：1674-8425(2016)07-0103-09

Review of Moving Target Tracking

ZENG Qiao-ling，WEN Gong-jian

(School of Electronic Science and Engineering,National University of Defense Technology, Changsha 410073, China)

Abstract:The top priority of moving targets tracking is extracting the objects interested accurately, robustly and in real-time. However, caused by the variety of targets, the complexity of scene and universality of application requirements, target tracking systems are suffering restriction for further development. Aiming at the tasks and difficulties in target tracking, this review was carried out to discuss the advantages and disadvantages of mainstream methods proposed currently and to summary about pros and cons of each method were given as well. On this basis, the review generalized several key issues in the future development of target tracking. To better solve these issues, we delved into two hot topics in the targets tracking research and raised a technical proposal of multi-targets tracking based on multiple constraints. Furthermore, the trends and promising prospects in moving targets tracking were presented.

Key words:moving targets tracking; sequence image

引用格式：曾巧玲，文貢堅.運動目標(biāo)跟蹤綜述[J].重慶理工大學(xué)學(xué)報(自然科學(xué))，2016(7):103-111.

Citation format：ZENG Qiao-ling，WEN Gong-jian.Review of Moving Target Tracking[J].Journal of Chongqing University of Technology(Natural Science)，2016(7):103-111.