劉德華

摘要：利用卡爾曼算法對(duì)運(yùn)動(dòng)目標(biāo)跟蹤展開研究，提出了一種基于卡爾曼預(yù)測(cè)的軌跡片段關(guān)聯(lián)目標(biāo)跟蹤算法。首先利用卡爾曼預(yù)測(cè)縮小搜索區(qū)域，對(duì)檢測(cè)結(jié)果進(jìn)行匹配關(guān)聯(lián)，生成可信的短軌跡片段；然后對(duì)每個(gè)軌跡片段通過卡爾曼預(yù)測(cè)迭代關(guān)聯(lián)，形成單個(gè)目標(biāo)的跟蹤軌跡集合。實(shí)驗(yàn)證明該方法可有效提高軌跡片段關(guān)聯(lián)跟蹤算法效率，解決目標(biāo)相互遮擋問題，實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)定跟蹤。

關(guān)鍵詞：目標(biāo)跟蹤；卡爾曼預(yù)測(cè)；軌跡片段關(guān)聯(lián)DOIDOI：10.11907/rjdk.162647 中圖分類號(hào)： TP312〖HT10.H〗文獻(xiàn)標(biāo)識(shí)碼： A

文章編號(hào)：16727800（2017）004006403

0引言 視頻目標(biāo)檢測(cè)跟蹤是計(jì)算機(jī)視覺領(lǐng)域重要的研究內(nèi)容，已經(jīng)應(yīng)用在交通監(jiān)控、汽車監(jiān)控等很多領(lǐng)域。視覺分析步驟包括視覺檢測(cè)（Visual detection）、視覺跟蹤（visual tracking）和視覺理解（visual understanding）[1]。視覺跟蹤是視覺理解的基礎(chǔ)，同時(shí)它又依賴于視覺檢測(cè)的結(jié)果。目標(biāo)檢測(cè)算法研究很多，但在一些復(fù)雜的場景，如目標(biāo)重疊、目標(biāo)遮擋、目標(biāo)消失或目標(biāo)的顏色與背景顏色相近等情況下，對(duì)跟蹤產(chǎn)生很大的干擾，使得跟蹤框跟蹤不到目標(biāo)，或者產(chǎn)生漂移現(xiàn)象，這對(duì)跟蹤算法提出了更高要求。 視頻目標(biāo)跟蹤研究可從目標(biāo)顏色特征、角點(diǎn)特征、輪廓特征等考慮。在視頻目標(biāo)跟蹤研究中，有些算法是根據(jù)目標(biāo)顏色來研究的，但在大多數(shù)情況下，跟蹤算法采用的是數(shù)學(xué)統(tǒng)計(jì)學(xué)方法。比較經(jīng)典的統(tǒng)計(jì)學(xué)方法有：多假設(shè)跟蹤（multiple hypothesis tracking）[2]和聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)（JPDAF）[3]。聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)假設(shè)被檢測(cè)的目標(biāo)個(gè)數(shù)是固定的，對(duì)于不同的假設(shè)，計(jì)算結(jié)果是一個(gè)概率值，錯(cuò)誤的假設(shè)概率會(huì)隨著時(shí)間的推移慢慢降低，最終排除掉。文獻(xiàn)[4]在聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)的基礎(chǔ)上，加上時(shí)間和空間約束，實(shí)現(xiàn)了對(duì)多目標(biāo)的跟蹤。但是聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)假定目標(biāo)個(gè)數(shù)不變，當(dāng)目標(biāo)數(shù)目改變時(shí)，跟蹤結(jié)果會(huì)有很大出入。多假設(shè)跟蹤原理與聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)相近，也是計(jì)算各個(gè)假設(shè)概率的值，然后將每個(gè)概率值聯(lián)合起來，最后把最大的值作為最終結(jié)果。與聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)不同的是場景中目標(biāo)個(gè)數(shù)可變。這兩種算法都有一個(gè)不足之處，就是在跟蹤場景中，當(dāng)跟蹤目標(biāo)一直在增加時(shí)，假設(shè)的空間指數(shù)也不斷增長，最終使得計(jì)算代價(jià)也不斷增長。 還有一些跟蹤算法是從軌跡片段關(guān)聯(lián)的思想來考慮的[5]，它分兩個(gè)階段：首先通過跟蹤軌跡生成較短的跟蹤片段；再根據(jù)這些短軌跡片段之間的聯(lián)系，生成一個(gè)長的完整的軌跡片段，達(dá)到跟蹤目的。文獻(xiàn)[6]、[7]根據(jù)軌跡片段關(guān)聯(lián)思想解決了目標(biāo)跟蹤過程中目標(biāo)被遮擋問題；文獻(xiàn)[8]根據(jù)軌跡片段關(guān)聯(lián)思想實(shí)現(xiàn)了對(duì)行人的穩(wěn)定跟蹤，并且算法具有很好的魯棒性。 文獻(xiàn)[9]中的Huang C等利用跟蹤片段分層，實(shí)現(xiàn)了多層關(guān)聯(lián)。文獻(xiàn)[10]用預(yù)設(shè)最大獨(dú)立權(quán)重的方法來合并兩個(gè)大小相同的短軌跡，關(guān)聯(lián)成一條完整的長軌跡。 文獻(xiàn)[11]、[12]通過同一個(gè)相似框架下的全局外觀約束，解決了文獻(xiàn)[10]的局限性。 本文綜合以上思想，提出一種基于卡爾曼預(yù)測(cè)的軌跡片段關(guān)聯(lián)目標(biāo)跟蹤算法。該算法將軌跡片段關(guān)聯(lián)和概率預(yù)測(cè)策略相結(jié)合，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)實(shí)時(shí)穩(wěn)定跟蹤。 該算法先在檢測(cè)器中輸入跟蹤視頻，然后在檢測(cè)器中得到響應(yīng)，最后采用卡爾曼預(yù)測(cè)的軌跡片段關(guān)聯(lián)算法對(duì)幀間被跟蹤目標(biāo)的運(yùn)動(dòng)參數(shù)（位置、速度和加速度）進(jìn)行預(yù)測(cè)匹配得到可靠的目標(biāo)短軌跡片段。對(duì)每個(gè)軌跡片段通過卡爾曼預(yù)測(cè)迭代關(guān)聯(lián)，通過高層軌跡片段關(guān)聯(lián)，將目標(biāo)的短軌跡片段合并成一個(gè)長的軌跡片段，達(dá)到跟蹤目的。通過實(shí)驗(yàn)仿真分析可知，本文算法可以有效提高跟蹤效率，當(dāng)目標(biāo)出現(xiàn)重疊以及丟失情況時(shí)，都可以很好地跟蹤目標(biāo)，實(shí)現(xiàn)了跟蹤算法的魯棒性。

1視頻片斷跟蹤 1.1算法概述 獲取f幀的前景檢測(cè)值，對(duì)這些檢測(cè)值作幀間匹配，以得到置信度較高的軌跡片段（每個(gè)軌跡片段幀數(shù)規(guī)定大于4幀），這樣是為了保證每一軌跡片段只屬于一個(gè)目標(biāo)。幀間匹配：在前后相鄰兩幀中，每幀圖像中目標(biāo)的位置與特征不會(huì)有明顯變化，因此在關(guān)聯(lián)前后兩幀圖像目標(biāo)時(shí)，將重點(diǎn)關(guān)聯(lián)目標(biāo)的位置與形狀特征，實(shí)現(xiàn)片段關(guān)聯(lián)。為了提高匹配準(zhǔn)確度和匹配效率，加入了卡爾曼預(yù)測(cè)，對(duì)其運(yùn)動(dòng)模型進(jìn)行預(yù)測(cè)和匹配。對(duì)前后兩幀中檢測(cè)到的目標(biāo)進(jìn)行預(yù)測(cè)，得到置信度較高的軌跡片段，進(jìn)而提高跟蹤的魯棒性。1.2算法實(shí)現(xiàn)1.2.1算法過程根據(jù)上一幀圖像確定搜索區(qū)域，利用卡爾曼預(yù)測(cè)來匹配當(dāng)前幀中的關(guān)聯(lián)點(diǎn)，找到最佳匹配點(diǎn)。在確定目標(biāo)起點(diǎn)位置時(shí)，同時(shí)將坐標(biāo)軸分開來考慮，并單獨(dú)用兩個(gè)卡爾曼算法預(yù)測(cè)，分別對(duì)應(yīng)跟蹤的x、y坐標(biāo)。將二維目標(biāo)跟蹤轉(zhuǎn)化為兩個(gè)一維的目標(biāo)跟蹤，以提高預(yù)測(cè)跟蹤效率。1.2.2卡爾曼預(yù)測(cè)方程矩陣

2視頻跟蹤〖BT2〗〖STHZ〗〖WTHZ〗2.1短軌跡片段關(guān)聯(lián)特征利用卡爾曼軌跡預(yù)測(cè)軌跡片段關(guān)聯(lián)算法，得到的短軌跡片段具有以下特征：①由于視頻中幀與幀之間時(shí)間相隔很短，因此關(guān)聯(lián)片段應(yīng)具有連續(xù)性、平滑性；②根據(jù)平滑特征，目標(biāo)運(yùn)動(dòng)時(shí)作曲線運(yùn)動(dòng)，可得到目標(biāo)運(yùn)動(dòng)的相關(guān)信息如速度、位置等。因此，本文可通過以上特征，再利用關(guān)聯(lián)算法得到一條長的軌跡片段?！糂T2〗〖STHZ〗〖WTHZ〗2.2長軌跡片段關(guān)聯(lián) 在短軌跡片段中提取頭部幀和尾部幀數(shù)據(jù)，對(duì)其中所有的軌跡片段頭部和尾部進(jìn)行卡爾曼預(yù)測(cè)，進(jìn)行目標(biāo)匹配，進(jìn)而把屬于同一個(gè)目標(biāo)的軌跡片段關(guān)聯(lián)在一起，形成長的軌跡片段，具體預(yù)測(cè)算法同上。這里需要指出的是，短軌跡片段的高層關(guān)聯(lián)只需要對(duì)相鄰的一個(gè)短軌跡片段首尾幀進(jìn)行預(yù)測(cè)，把相鄰的短軌跡片段的首尾幀作為卡爾曼預(yù)測(cè)的前幀和后幀，對(duì)部分參數(shù)進(jìn)行修改，包括τ。在短軌跡生成階段中的τ為幀間間隔時(shí)間，在長軌跡高層關(guān)聯(lián)中的τ為軌跡片段間隔時(shí)間，其它關(guān)聯(lián)步驟相同。綜合上述算法過程，就可得到一條完整的視頻跟蹤目標(biāo)軌跡?！糂T1〗〖STHZ〗〖WTHZ〗3實(shí)驗(yàn)仿真結(jié)果及分析 用MATLAB分別編寫傳統(tǒng)關(guān)聯(lián)算法程序和本文提出的算法程序，對(duì)240×220的視頻數(shù)據(jù)共800幀進(jìn)行仿真與分析。本文采用卡爾曼預(yù)測(cè)算法來關(guān)聯(lián)軌跡片段并達(dá)到跟蹤目的。在跟蹤前期，先根據(jù)卡爾曼預(yù)測(cè)算法來預(yù)測(cè)目標(biāo)區(qū)域，然后對(duì)前后幀進(jìn)行匹配，并找到確定的目標(biāo)區(qū)域，最后對(duì)結(jié)果進(jìn)行匹配關(guān)聯(lián)，生成短的軌跡片段；將短片段進(jìn)行關(guān)聯(lián)，再通過卡爾曼預(yù)測(cè)迭代關(guān)聯(lián)，形成單個(gè)目標(biāo)的跟蹤軌跡集合。 圖1是第396幀、第408幀、第414幀的跟蹤算法和基本的軌跡片段跟蹤算法的效果對(duì)比。

黑色跟蹤為改進(jìn)算法效果（運(yùn)行時(shí)間：12 800ms，平均：16ms/幀），白色為基本軌跡片段跟蹤算法效果（運(yùn)行時(shí)間：56000ms，平均：61 ms/幀）。

黑色跟蹤為改進(jìn)算法效果（總共 531幀 ，運(yùn)行時(shí)間：9292ms，平均：17.5ms/幀），白色為基本軌跡片段跟蹤算法效果（運(yùn)行時(shí)間：35 046ms，平均：67 ms/幀）。 當(dāng)多目標(biāo)跟蹤和目標(biāo)間相互遮擋時(shí)，一般的軌跡片段跟蹤算法有跟丟跟錯(cuò)情況，當(dāng)目標(biāo)再次出現(xiàn)時(shí)，要花費(fèi)較多時(shí)間來修正目標(biāo)跟蹤（整個(gè)過程跟蹤誤差很大），跟蹤不穩(wěn)定；而基于卡爾曼預(yù)測(cè)的跟蹤軌跡片段關(guān)聯(lián)跟蹤算法在多目標(biāo)和目標(biāo)間相互遮擋時(shí)跟蹤穩(wěn)定。 從上面的仿真結(jié)果可以看出，改進(jìn)后的算法在目標(biāo)之間相互遮擋下具有較強(qiáng)的跟蹤效果，解決了部分目標(biāo)跟丟跟錯(cuò)的問題。同時(shí)，在跟蹤效率問題上，改進(jìn)的跟蹤算法明顯優(yōu)于一般的軌跡片段關(guān)聯(lián)跟蹤算法，改進(jìn)算法在實(shí)時(shí)性上得到了很好的改善。

4結(jié)語 基于卡爾曼預(yù)測(cè)的軌跡片段目標(biāo)跟蹤算法首先利用卡爾曼預(yù)測(cè)縮小搜索區(qū)間，對(duì)檢測(cè)結(jié)果進(jìn)行匹配關(guān)聯(lián)，生成可信的短軌跡片段；然后對(duì)每個(gè)軌跡片段再次通過卡爾曼預(yù)測(cè)迭代關(guān)聯(lián)，形成單個(gè)目標(biāo)的跟蹤軌跡集合。實(shí)驗(yàn)結(jié)果表明，本文算法在目標(biāo)之間相互遮擋情況下具有較強(qiáng)的跟蹤效果，解決了部分目標(biāo)跟丟跟錯(cuò)問題。同時(shí)，在跟蹤效率問題上，改進(jìn)的跟蹤算法明顯優(yōu)于一般的軌跡片段關(guān)聯(lián)跟蹤算法，實(shí)時(shí)性好。

參考文獻(xiàn)：[1]WANG L， HU W， TAN T. Recent developments in human motion analysis[J]. Pattern recognition， 2003， 36（3）： 585601.

[2]ARRAS K O， GRZONKA S， LUBER M， et al. Efficient people tracking in laser range data using a multihypothesis legtracker with adaptive occlusion probabilities[C].Robotics and Automation，ICRA 2008，IEEE International Conference on，2008：17101715.

[3]SCHULZ D， BURGARD W， FOX D， et al. People tracking with mobile robots using samplebased joint probabilistic data association filters[J]. The International Journal of Robotics Research， 2003， 22（2）： 99116.

[4]BENNETT B， MAGEE D R， COHN A G， et al. Enhanced tracking and recognition of moving objects by reasoning about spatiotemporal continuity[J]. Image and Vision Computing， 2008， 26（1）： 6781.

[5]王江峰， 張茂軍， 熊志輝，等. 一種利用時(shí)空約束軌跡片段關(guān)聯(lián)的目標(biāo)跟蹤方法[J]. 計(jì)算機(jī)應(yīng)用研究， 2011， 3（3）：11651167.

[6]KAUCIC R， PERERA A G A， BROOKSBY G， et al. A unified framework for tracking through occlusions and across sensor gaps[C].Computer Vision and Pattern Recognition，CVPR 2005. IEEE Computer Society Conference on，2005（1）：990997.

[7]PERERA A G A， SRINIVAS C， HOOGS A， et al. Multiobject tracking through simultaneous long occlusions and splitmerge conditions[C].Computer Vision and Pattern Recognition， 2006 IEEE Computer Society Conference on，2006（1）：666673.

[8]SINGH V K， WU B， NEVATIA R. Pedestrian tracking by associating tracklets using detection residuals[C].Motion and video Computing， Workshop on IEEE， 2008： 18.

[9]HUANG C， WU B， NEVATIA R. Robust object tracking by hierarchical association of detection responses[M].Computer VisionECCV， Springer Berlin Heidelberg， 2008： 788801.

[10]BRENDEL W， AMER M， TODOROVIC S. Multiobject tracking as maximum weight independent set[C].Computer Vision and Pattern Recognition （CVPR）， 2011 IEEE Conference on， 2011： 12731280.

[11]BEN SHITRIT H， BERCLAZ J， FLEURET F， et al. Tracking multiple people under global appearance constraints[C].Computer Vision （ICCV）， 2011 IEEE International Conference on， 2011： 137144.

[12]PELLEGRINI S， ESS A， VAN GOOL L. Improving data association by joint modeling of pedestrian trajectories and groupings[M].Computer VisionECCV，Springer Berlin Heidelberg， 2010： 452465.

[13]徐劍， 段哲民. 卡爾曼預(yù)測(cè)器在目標(biāo)相關(guān)跟蹤中的應(yīng)用[J]. 計(jì)算機(jī)仿真， 2005， 22（11）：120122.

（責(zé)任編輯：杜能鋼）