劉德華
摘要:利用卡爾曼算法對運動目標跟蹤展開研究,提出了一種基于卡爾曼預測的軌跡片段關聯(lián)目標跟蹤算法。首先利用卡爾曼預測縮小搜索區(qū)域,對檢測結果進行匹配關聯(lián),生成可信的短軌跡片段;然后對每個軌跡片段通過卡爾曼預測迭代關聯(lián),形成單個目標的跟蹤軌跡集合。實驗證明該方法可有效提高軌跡片段關聯(lián)跟蹤算法效率,解決目標相互遮擋問題,實現(xiàn)對目標的穩(wěn)定跟蹤。
關鍵詞:目標跟蹤;卡爾曼預測;軌跡片段關聯(lián)DOIDOI:10.11907/rjdk.162647 中圖分類號: TP312〖HT10.H〗文獻標識碼: A
文章編號:16727800(2017)004006403
0引言 視頻目標檢測跟蹤是計算機視覺領域重要的研究內容,已經(jīng)應用在交通監(jiān)控、汽車監(jiān)控等很多領域。視覺分析步驟包括視覺檢測(Visual detection)、視覺跟蹤(visual tracking)和視覺理解(visual understanding)[1]。視覺跟蹤是視覺理解的基礎,同時它又依賴于視覺檢測的結果。目標檢測算法研究很多,但在一些復雜的場景,如目標重疊、目標遮擋、目標消失或目標的顏色與背景顏色相近等情況下,對跟蹤產(chǎn)生很大的干擾,使得跟蹤框跟蹤不到目標,或者產(chǎn)生漂移現(xiàn)象,這對跟蹤算法提出了更高要求。 視頻目標跟蹤研究可從目標顏色特征、角點特征、輪廓特征等考慮。在視頻目標跟蹤研究中,有些算法是根據(jù)目標顏色來研究的,但在大多數(shù)情況下,跟蹤算法采用的是數(shù)學統(tǒng)計學方法。比較經(jīng)典的統(tǒng)計學方法有:多假設跟蹤(multiple hypothesis tracking)[2]和聯(lián)合概率數(shù)據(jù)融合濾波技術(JPDAF)[3]。聯(lián)合概率數(shù)據(jù)融合濾波技術假設被檢測的目標個數(shù)是固定的,對于不同的假設,計算結果是一個概率值,錯誤的假設概率會隨著時間的推移慢慢降低,最終排除掉。文獻[4]在聯(lián)合概率數(shù)據(jù)融合濾波技術的基礎上,加上時間和空間約束,實現(xiàn)了對多目標的跟蹤。但是聯(lián)合概率數(shù)據(jù)融合濾波技術假定目標個數(shù)不變,當目標數(shù)目改變時,跟蹤結果會有很大出入。多假設跟蹤原理與聯(lián)合概率數(shù)據(jù)融合濾波技術相近,也是計算各個假設概率的值,然后將每個概率值聯(lián)合起來,最后把最大的值作為最終結果。與聯(lián)合概率數(shù)據(jù)融合濾波技術不同的是場景中目標個數(shù)可變。這兩種算法都有一個不足之處,就是在跟蹤場景中,當跟蹤目標一直在增加時,假設的空間指數(shù)也不斷增長,最終使得計算代價也不斷增長。 還有一些跟蹤算法是從軌跡片段關聯(lián)的思想來考慮的[5],它分兩個階段:首先通過跟蹤軌跡生成較短的跟蹤片段;再根據(jù)這些短軌跡片段之間的聯(lián)系,生成一個長的完整的軌跡片段,達到跟蹤目的。文獻[6]、[7]根據(jù)軌跡片段關聯(lián)思想解決了目標跟蹤過程中目標被遮擋問題;文獻[8]根據(jù)軌跡片段關聯(lián)思想實現(xiàn)了對行人的穩(wěn)定跟蹤,并且算法具有很好的魯棒性。 文獻[9]中的Huang C等利用跟蹤片段分層,實現(xiàn)了多層關聯(lián)。文獻[10]用預設最大獨立權重的方法來合并兩個大小相同的短軌跡,關聯(lián)成一條完整的長軌跡。 文獻[11]、[12]通過同一個相似框架下的全局外觀約束,解決了文獻[10]的局限性。 本文綜合以上思想,提出一種基于卡爾曼預測的軌跡片段關聯(lián)目標跟蹤算法。該算法將軌跡片段關聯(lián)和概率預測策略相結合,實現(xiàn)對運動目標實時穩(wěn)定跟蹤。 該算法先在檢測器中輸入跟蹤視頻,然后在檢測器中得到響應,最后采用卡爾曼預測的軌跡片段關聯(lián)算法對幀間被跟蹤目標的運動參數(shù)(位置、速度和加速度)進行預測匹配得到可靠的目標短軌跡片段。對每個軌跡片段通過卡爾曼預測迭代關聯(lián),通過高層軌跡片段關聯(lián),將目標的短軌跡片段合并成一個長的軌跡片段,達到跟蹤目的。通過實驗仿真分析可知,本文算法可以有效提高跟蹤效率,當目標出現(xiàn)重疊以及丟失情況時,都可以很好地跟蹤目標,實現(xiàn)了跟蹤算法的魯棒性。
1視頻片斷跟蹤 1.1算法概述 獲取f幀的前景檢測值,對這些檢測值作幀間匹配,以得到置信度較高的軌跡片段(每個軌跡片段幀數(shù)規(guī)定大于4幀),這樣是為了保證每一軌跡片段只屬于一個目標。幀間匹配:在前后相鄰兩幀中,每幀圖像中目標的位置與特征不會有明顯變化,因此在關聯(lián)前后兩幀圖像目標時,將重點關聯(lián)目標的位置與形狀特征,實現(xiàn)片段關聯(lián)。為了提高匹配準確度和匹配效率,加入了卡爾曼預測,對其運動模型進行預測和匹配。對前后兩幀中檢測到的目標進行預測,得到置信度較高的軌跡片段,進而提高跟蹤的魯棒性。1.2算法實現(xiàn)1.2.1算法過程根據(jù)上一幀圖像確定搜索區(qū)域,利用卡爾曼預測來匹配當前幀中的關聯(lián)點,找到最佳匹配點。在確定目標起點位置時,同時將坐標軸分開來考慮,并單獨用兩個卡爾曼算法預測,分別對應跟蹤的x、y坐標。將二維目標跟蹤轉化為兩個一維的目標跟蹤,以提高預測跟蹤效率。1.2.2卡爾曼預測方程矩陣
2視頻跟蹤〖BT2〗〖STHZ〗〖WTHZ〗2.1短軌跡片段關聯(lián)特征利用卡爾曼軌跡預測軌跡片段關聯(lián)算法,得到的短軌跡片段具有以下特征:①由于視頻中幀與幀之間時間相隔很短,因此關聯(lián)片段應具有連續(xù)性、平滑性;②根據(jù)平滑特征,目標運動時作曲線運動,可得到目標運動的相關信息如速度、位置等。因此,本文可通過以上特征,再利用關聯(lián)算法得到一條長的軌跡片段。〖BT2〗〖STHZ〗〖WTHZ〗2.2長軌跡片段關聯(lián) 在短軌跡片段中提取頭部幀和尾部幀數(shù)據(jù),對其中所有的軌跡片段頭部和尾部進行卡爾曼預測,進行目標匹配,進而把屬于同一個目標的軌跡片段關聯(lián)在一起,形成長的軌跡片段,具體預測算法同上。這里需要指出的是,短軌跡片段的高層關聯(lián)只需要對相鄰的一個短軌跡片段首尾幀進行預測,把相鄰的短軌跡片段的首尾幀作為卡爾曼預測的前幀和后幀,對部分參數(shù)進行修改,包括τ。在短軌跡生成階段中的τ為幀間間隔時間,在長軌跡高層關聯(lián)中的τ為軌跡片段間隔時間,其它關聯(lián)步驟相同。綜合上述算法過程,就可得到一條完整的視頻跟蹤目標軌跡?!糂T1〗〖STHZ〗〖WTHZ〗3實驗仿真結果及分析 用MATLAB分別編寫傳統(tǒng)關聯(lián)算法程序和本文提出的算法程序,對240×220的視頻數(shù)據(jù)共800幀進行仿真與分析。本文采用卡爾曼預測算法來關聯(lián)軌跡片段并達到跟蹤目的。在跟蹤前期,先根據(jù)卡爾曼預測算法來預測目標區(qū)域,然后對前后幀進行匹配,并找到確定的目標區(qū)域,最后對結果進行匹配關聯(lián),生成短的軌跡片段;將短片段進行關聯(lián),再通過卡爾曼預測迭代關聯(lián),形成單個目標的跟蹤軌跡集合。 圖1是第396幀、第408幀、第414幀的跟蹤算法和基本的軌跡片段跟蹤算法的效果對比。
黑色跟蹤為改進算法效果(運行時間:12 800ms,平均:16ms/幀),白色為基本軌跡片段跟蹤算法效果(運行時間:56000ms,平均:61 ms/幀)。
黑色跟蹤為改進算法效果(總共 531幀 ,運行時間:9292ms,平均:17.5ms/幀),白色為基本軌跡片段跟蹤算法效果(運行時間:35 046ms,平均:67 ms/幀)。 當多目標跟蹤和目標間相互遮擋時,一般的軌跡片段跟蹤算法有跟丟跟錯情況,當目標再次出現(xiàn)時,要花費較多時間來修正目標跟蹤(整個過程跟蹤誤差很大),跟蹤不穩(wěn)定;而基于卡爾曼預測的跟蹤軌跡片段關聯(lián)跟蹤算法在多目標和目標間相互遮擋時跟蹤穩(wěn)定。 從上面的仿真結果可以看出,改進后的算法在目標之間相互遮擋下具有較強的跟蹤效果,解決了部分目標跟丟跟錯的問題。同時,在跟蹤效率問題上,改進的跟蹤算法明顯優(yōu)于一般的軌跡片段關聯(lián)跟蹤算法,改進算法在實時性上得到了很好的改善。
4結語 基于卡爾曼預測的軌跡片段目標跟蹤算法首先利用卡爾曼預測縮小搜索區(qū)間,對檢測結果進行匹配關聯(lián),生成可信的短軌跡片段;然后對每個軌跡片段再次通過卡爾曼預測迭代關聯(lián),形成單個目標的跟蹤軌跡集合。實驗結果表明,本文算法在目標之間相互遮擋情況下具有較強的跟蹤效果,解決了部分目標跟丟跟錯問題。同時,在跟蹤效率問題上,改進的跟蹤算法明顯優(yōu)于一般的軌跡片段關聯(lián)跟蹤算法,實時性好。
參考文獻:[1]WANG L, HU W, TAN T. Recent developments in human motion analysis[J]. Pattern recognition, 2003, 36(3): 585601.
[2]ARRAS K O, GRZONKA S, LUBER M, et al. Efficient people tracking in laser range data using a multihypothesis legtracker with adaptive occlusion probabilities[C].Robotics and Automation,ICRA 2008,IEEE International Conference on,2008:17101715.
[3]SCHULZ D, BURGARD W, FOX D, et al. People tracking with mobile robots using samplebased joint probabilistic data association filters[J]. The International Journal of Robotics Research, 2003, 22(2): 99116.
[4]BENNETT B, MAGEE D R, COHN A G, et al. Enhanced tracking and recognition of moving objects by reasoning about spatiotemporal continuity[J]. Image and Vision Computing, 2008, 26(1): 6781.
[5]王江峰, 張茂軍, 熊志輝,等. 一種利用時空約束軌跡片段關聯(lián)的目標跟蹤方法[J]. 計算機應用研究, 2011, 3(3):11651167.
[6]KAUCIC R, PERERA A G A, BROOKSBY G, et al. A unified framework for tracking through occlusions and across sensor gaps[C].Computer Vision and Pattern Recognition,CVPR 2005. IEEE Computer Society Conference on,2005(1):990997.
[7]PERERA A G A, SRINIVAS C, HOOGS A, et al. Multiobject tracking through simultaneous long occlusions and splitmerge conditions[C].Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on,2006(1):666673.
[8]SINGH V K, WU B, NEVATIA R. Pedestrian tracking by associating tracklets using detection residuals[C].Motion and video Computing, Workshop on IEEE, 2008: 18.
[9]HUANG C, WU B, NEVATIA R. Robust object tracking by hierarchical association of detection responses[M].Computer VisionECCV, Springer Berlin Heidelberg, 2008: 788801.
[10]BRENDEL W, AMER M, TODOROVIC S. Multiobject tracking as maximum weight independent set[C].Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on, 2011: 12731280.
[11]BEN SHITRIT H, BERCLAZ J, FLEURET F, et al. Tracking multiple people under global appearance constraints[C].Computer Vision (ICCV), 2011 IEEE International Conference on, 2011: 137144.
[12]PELLEGRINI S, ESS A, VAN GOOL L. Improving data association by joint modeling of pedestrian trajectories and groupings[M].Computer VisionECCV,Springer Berlin Heidelberg, 2010: 452465.
[13]徐劍, 段哲民. 卡爾曼預測器在目標相關跟蹤中的應用[J]. 計算機仿真, 2005, 22(11):120122.
(責任編輯:杜能鋼)