劉 杰（廣西經(jīng)濟(jì)管理干部學(xué)院，廣西 南寧 530007）

一種基于多特征融合的自適應(yīng)目標(biāo)跟蹤策略

劉 杰
（廣西經(jīng)濟(jì)管理干部學(xué)院，廣西 南寧 530007）

為了提升目標(biāo)物體的跟蹤性能，分析了跟蹤系統(tǒng)的不足之處，針對(duì)多變場(chǎng)景中跟蹤目標(biāo)特征弱化問(wèn)題，采用了多特征融合的跟蹤模式，并設(shè)計(jì)了場(chǎng)景識(shí)別、多特征融合策略和特征學(xué)習(xí)模塊以改善目標(biāo)跟蹤系統(tǒng)的跟蹤性能，實(shí)驗(yàn)表明該方法對(duì)多變場(chǎng)景的跟蹤性能具有一定的改善作用。

目標(biāo)跟蹤；特征融合

隨著視覺監(jiān)控場(chǎng)景的日趨多樣化，智能視覺檢測(cè)系統(tǒng)需要應(yīng)對(duì)越來(lái)越復(fù)雜和實(shí)時(shí)變化的跟蹤場(chǎng)景，這對(duì)目標(biāo)跟蹤系統(tǒng)的實(shí)時(shí)性需求、跟蹤效果的設(shè)計(jì)和實(shí)現(xiàn)提出了巨大的挑戰(zhàn)。目標(biāo)跟蹤系統(tǒng)是智能視覺處理系統(tǒng)中至關(guān)重要的一環(huán)，其效果的好壞直接影響到最后的目標(biāo)物體位置的判定結(jié)果。隨著軟硬件水平和嵌入式芯片的處理能力的不斷攀升，目標(biāo)跟蹤系統(tǒng)的研究和設(shè)計(jì)也從單目標(biāo)的跟蹤過(guò)渡到多目標(biāo)的跟蹤，從穩(wěn)定單一場(chǎng)景的研究轉(zhuǎn)向多變復(fù)雜場(chǎng)景的研究。

但在多變的復(fù)雜場(chǎng)景下，要獲得較好的跟蹤效果存在一定的困難。其中的困難有：a.場(chǎng)景變化條件下，目標(biāo)特征呈現(xiàn)出不穩(wěn)定性，這將極大的影響了跟蹤的效果；b.場(chǎng)景變化條件下，多個(gè)目標(biāo)有可能會(huì)形成相互干擾，比如目標(biāo)重疊遮擋等。對(duì)于A類問(wèn)題，多數(shù)研究人員采用多特征的融合策略來(lái)解決，而對(duì)于B類問(wèn)題，研究人員普遍采用具有預(yù)估性能的跟蹤框架。但這些方法都只針對(duì)特定的場(chǎng)景和特定的跟蹤目標(biāo)，解決的問(wèn)題域相對(duì)較狹小。因此，如何針對(duì)多變場(chǎng)景的目標(biāo)跟蹤問(wèn)題，在視覺跟蹤系統(tǒng)的設(shè)計(jì)上加入自適應(yīng)修正補(bǔ)償與場(chǎng)景適應(yīng)能力，對(duì)目標(biāo)跟蹤領(lǐng)域的相關(guān)問(wèn)題的解決具有重要意義。

1 場(chǎng)景識(shí)別

足夠穩(wěn)定的跟蹤系統(tǒng)在設(shè)計(jì)上一定不會(huì)避開場(chǎng)景的識(shí)別問(wèn)題，在常規(guī)的標(biāo)準(zhǔn)場(chǎng)景下的某些跟蹤算法設(shè)計(jì)能夠取得非常好的效果，但到了非常規(guī)的多變場(chǎng)景有時(shí)候會(huì)糟糕的一塌糊涂。根據(jù)產(chǎn)生跟蹤差錯(cuò)的原因，可將的變化場(chǎng)景歸結(jié)為由于外部原因所造成的（非跟蹤物體和干擾物）變化場(chǎng)景和跟蹤物體或干擾物造成的變化場(chǎng)景兩類。跟蹤系統(tǒng)應(yīng)能根據(jù)場(chǎng)景的變化適時(shí)的調(diào)節(jié)自身的跟蹤策略來(lái)跟蹤物體，因此穩(wěn)定的跟蹤系統(tǒng)應(yīng)具有場(chǎng)景識(shí)別能力。

1.1 非跟蹤物體或干擾物造成的變化場(chǎng)景

一般這樣的場(chǎng)景屬于外部的因素干擾居多，比如天氣變化造成的光照變化，如白天進(jìn)入黑夜，雨雪天氣等干擾。圖1描述了全天候車輛跟蹤系統(tǒng)從白天到黑夜一段時(shí)間的灰度變化曲線。

圖1 車輛跟蹤系統(tǒng)白天到傍晚的灰度變化圖

對(duì)于此類具有較為平穩(wěn)性質(zhì)的光照變化，可采用投票策略來(lái)識(shí)別場(chǎng)景的光照變化情況。以平均一定數(shù)量的幀數(shù)統(tǒng)計(jì)其平均灰度值，如果達(dá)到某個(gè)限定值，就在系統(tǒng)中切換到對(duì)應(yīng)的場(chǎng)景，以此來(lái)實(shí)現(xiàn)場(chǎng)景的識(shí)別問(wèn)題。

圖2 投票策略實(shí)現(xiàn)場(chǎng)景識(shí)別

對(duì)于雨雪天氣，要考慮如何識(shí)別形成干擾特征，比如通過(guò)檢測(cè)一定數(shù)量的問(wèn)題幀數(shù)畫面，投票統(tǒng)計(jì)前景運(yùn)動(dòng)小斑塊的數(shù)量值，如高于一定的閾值則可以場(chǎng)景轉(zhuǎn)換為問(wèn)題場(chǎng)景，在問(wèn)題場(chǎng)景的跟蹤策略要對(duì)圖像進(jìn)行若干預(yù)處理來(lái)進(jìn)行降噪處理。

圖3 全天候跟蹤系統(tǒng)白天到傍晚的前景斑塊數(shù)量變化圖

1.2 遮擋場(chǎng)景

遮擋場(chǎng)景的識(shí)別是目前較難解決的問(wèn)題之一，由于遮擋事件具有一定的偶然性，且會(huì)貫穿入整個(gè)全天候跟蹤時(shí)段，因此投票策略難以對(duì)偶爾出現(xiàn)的單個(gè)物體被遮擋的事件進(jìn)行識(shí)別。但對(duì)于特定的遮擋場(chǎng)景，比如高峰車流量的擁堵，投票策略依然可以對(duì)這樣的場(chǎng)景進(jìn)行針對(duì)性的甄別。首先要對(duì)產(chǎn)生的遮擋事件進(jìn)行標(biāo)記，在對(duì)目標(biāo)物體跟蹤過(guò)程，如果產(chǎn)生特征跟蹤丟失的事件，在進(jìn)行跟蹤補(bǔ)償和跟蹤特征框架內(nèi)切換后，顯示出目標(biāo)物體難以繼續(xù)跟蹤或弱化的現(xiàn)象，投票系統(tǒng)將對(duì)這樣的特殊事件進(jìn)行標(biāo)記，此時(shí)可認(rèn)為跟蹤物體的跟蹤顯著度下降，當(dāng)大量的類似事件在同一時(shí)段發(fā)生且排除其他的光照?qǐng)鼍?，那么投票系統(tǒng)可將其甄別為擁堵事件造成了大規(guī)模的遮擋，進(jìn)入遮擋場(chǎng)景的跟蹤模式。

2 多變場(chǎng)景下的跟蹤特征融合策略

2.1 全天候多變環(huán)境下的多特征提取

全天候場(chǎng)景下的跟蹤系統(tǒng)應(yīng)能在系統(tǒng)實(shí)時(shí)時(shí)間的允許下盡可能的提取被跟蹤物體的特征來(lái)跟蹤物體。常見的特征有：點(diǎn)特征、顏色、輪廓、小波、邊緣、不變矩等。點(diǎn)特征跟蹤是從目標(biāo)區(qū)域中提取出一些個(gè)特征點(diǎn)，這些特征點(diǎn)在目標(biāo)的運(yùn)動(dòng)過(guò)程中具有不變性。對(duì)這些點(diǎn)集進(jìn)行跟蹤從而達(dá)到能對(duì)整個(gè)目標(biāo)進(jìn)行跟蹤。特征點(diǎn)的提取方法有:susan算子、harris算子等。跟蹤的方法主要是對(duì)相鄰的兩幀的特征點(diǎn)做相似度匹配，比較常用的是KLT算法，利用多尺度圖像進(jìn)行光流運(yùn)算達(dá)到快速匹配的目的。顏色特征的提取要采用塊劃分的思想，通常配合直方圖工具來(lái)描述顏色特征，在光照多變場(chǎng)合，顏色特征的會(huì)隨光照的變化而具有不穩(wěn)定性。邊緣與輪廓特征跟蹤主要是通過(guò)檢測(cè)物體的外部邊緣輪廓與背景的差異來(lái)定位物體的有效位置，例如水平集法和snake模型等。目標(biāo)物體的小波特征對(duì)于幾何變形、亮度變化以及噪聲不敏感。這種特征屬于目標(biāo)的高層特征，具有很強(qiáng)的語(yǔ)義性質(zhì)，并符合人眼的特性。文獻(xiàn)[5]使用sobel邊緣檢測(cè)算子和Gabor小波特征檢測(cè)算子對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，讓跟蹤器能夠適應(yīng)尺度和角度上的變化。文獻(xiàn)[11]使用一種小波目標(biāo)網(wǎng)絡(luò)(GWN)來(lái)描述運(yùn)動(dòng)物體的小波特征，配合使用粒子濾波跟蹤器來(lái)對(duì)運(yùn)動(dòng)物體進(jìn)行跟蹤。

多變場(chǎng)景下，跟蹤特征的提取應(yīng)根據(jù)場(chǎng)景的特定性，去盡量提取抗干擾能力強(qiáng)，易于提取的跟蹤特征。表1列舉了各個(gè)常用特征的算法特性以及抗干擾特性的比較。

表1 不同特征的跟蹤特性比較

2.2 跟蹤框架算法選擇

在確定跟蹤特征后，還需要確定采用哪一種跟蹤框架對(duì)提取的特征進(jìn)行跟蹤。目前常用的跟蹤框架方法有模板匹配法、MeanShift/CamShift、卡爾曼濾波、粒子濾波等。模板匹配法具有運(yùn)算簡(jiǎn)單直觀的優(yōu)點(diǎn)，但固定的模板使得抗干擾能力較差，對(duì)于剛體的旋轉(zhuǎn)、光照變化、物體尺寸變化適應(yīng)力較差，目標(biāo)自身的特征發(fā)生變化后使得該法不穩(wěn)定，不具備抗遮擋能力。適應(yīng)于目標(biāo)運(yùn)動(dòng)形式比較簡(jiǎn)單、攝像機(jī)運(yùn)動(dòng)范圍不大、目標(biāo)特征不存在較大變化的情況。MeanShift/CamShift算法主要依賴目標(biāo)本身成像外觀特征統(tǒng)計(jì)，比如(顏色直方圖等)，不需要前景檢測(cè)器的支持，算法具有一定的魯棒性，一定程度上能適應(yīng)目標(biāo)形變和部分遮擋問(wèn)題。Kalman Filter(卡爾曼濾波)算法作為運(yùn)動(dòng)預(yù)估器一般要配合某種跟蹤算法(比如均值漂移)來(lái)做運(yùn)動(dòng)估計(jì)，能夠減少特征匹配的搜索空間，能夠?qū)€性系統(tǒng)作出正確估測(cè)，其缺點(diǎn)是對(duì)于非線性估計(jì)或非高斯估計(jì)會(huì)失效。Partical Filter(粒子濾波)算法的跟蹤性能依賴目標(biāo)的特征統(tǒng)計(jì)，具有較好的跟蹤魯棒性，能夠適用于非線性系統(tǒng)的估計(jì)問(wèn)題，在抗遮擋性能上具有良好的表現(xiàn)。但粒子貧化的問(wèn)題必須使用重采樣方法來(lái)解決。

表2 不同跟蹤框架特性比較

2.3 特征融合策略

由于某些特殊的場(chǎng)景處在不斷變化中，要獲得更好的跟蹤性能，只采用單一的跟蹤特征難以對(duì)目標(biāo)形成穩(wěn)定的跟蹤。因此采取的做法是將跟蹤特征有機(jī)結(jié)合起來(lái)。

假設(shè)在 t時(shí)刻，特征檢測(cè)模塊檢測(cè)到目標(biāo)物體特征向量V=[v1v2v3L]，在跟蹤初始化時(shí)給定各個(gè)特征值賦予一定的權(quán)重Q=[q1q2q3L]，其中Q已經(jīng)歸一化，跟蹤過(guò)程通過(guò)特征顯著度的檢測(cè)來(lái)控制跟蹤特征的比重融合權(quán)值，對(duì)于在目前場(chǎng)景跟蹤性能好的特征，給其賦予較高的權(quán)重，對(duì)于在當(dāng)前場(chǎng)景跟蹤性能差的特征，則給其賦予較低的權(quán)重。跟蹤框架將在未來(lái)數(shù)幀通過(guò)特征權(quán)重來(lái)確定最終目標(biāo)物體的估計(jì)位置，并采取一定的補(bǔ)償策略來(lái)修正目標(biāo)物體的跟蹤位置實(shí)現(xiàn)穩(wěn)健的跟蹤。

圖4 特征權(quán)重分配

因此，多特征融合自適應(yīng)目標(biāo)跟蹤策略可描述為以下幾個(gè)步驟：（1）前景檢測(cè)系統(tǒng)在圖像初始幀檢測(cè)到目標(biāo)物體，然后跟蹤系統(tǒng)調(diào)用各個(gè)特征檢測(cè)子對(duì)目標(biāo)物體進(jìn)行特征提取，獲得目標(biāo)物體的特征向量V；（2）對(duì)下一幀圖像進(jìn)行特征跟蹤匹配，同時(shí)獲得新的特征向量描述 V'，計(jì)算特征顯著度T= φ(V, V ')=[φ(v, v' )φ(v, v ') L ]=[t tt L]，根據(jù)11 22 123特征顯著度向量來(lái)確定新的融合權(quán)值向量Q；（3）在第2步進(jìn)行的同時(shí)，投票系統(tǒng)也在運(yùn)作，對(duì)若干幀數(shù)的情況進(jìn)行投票，通過(guò)投票結(jié)果獲取當(dāng)前的場(chǎng)景，如果場(chǎng)景發(fā)生變化，那么將更新融合權(quán)值向量 Q = Q'；（4）目標(biāo)軌跡分析模塊將重新對(duì)目標(biāo)物體的融合跟蹤結(jié)果進(jìn)行分析，并進(jìn)行反饋修正。具體步驟流程如圖5。

圖5 特征跟蹤融合修正策略

2.4 特征跟蹤學(xué)習(xí)策略

一個(gè)足夠穩(wěn)健的跟蹤系統(tǒng)，應(yīng)該具有一個(gè)能夠自學(xué)習(xí)的模塊以增強(qiáng)對(duì)環(huán)境的適應(yīng)能力。

目前大部分跟蹤系統(tǒng)采用監(jiān)督學(xué)習(xí)的方式對(duì)目標(biāo)物體進(jìn)行跟蹤，監(jiān)督學(xué)習(xí)主要通過(guò)對(duì)大量的離線樣本集進(jìn)行反復(fù)訓(xùn)練，來(lái)獲得較好的經(jīng)驗(yàn)?zāi)Ｐ?，具有速度快，收斂性好的特點(diǎn)。

由于在多變場(chǎng)景的跟蹤過(guò)程中，對(duì)目標(biāo)特征的提取和甄別會(huì)存在分類難度大的問(wèn)題，因此，應(yīng)在跟蹤系統(tǒng)中加入對(duì)特征的學(xué)習(xí)模塊，以增強(qiáng)目標(biāo)特征的分類、甄別能力。跟蹤的同時(shí)，可對(duì)目標(biāo)物體獲取大量的樣本，使用神經(jīng)網(wǎng)絡(luò)或adaboost方法通過(guò)對(duì)特征樣本反復(fù)的離線訓(xùn)練，建立樣本模型，該模型可為跟蹤系統(tǒng)的場(chǎng)景特征分類、目標(biāo)特征分類和特征顯著度量化描述提供更為精確的知識(shí)描述。具體框架如圖6所示：

圖6 離線學(xué)習(xí)為特征分類提供依據(jù)

3 實(shí)驗(yàn)分析

為分析出跟蹤融合策略的實(shí)施效果，從車輛全天候場(chǎng)景中挑選出過(guò)渡場(chǎng)景（白天-夜晚過(guò)渡），采用多特征融合策略對(duì)車輛進(jìn)行跟蹤。視頻幀尺寸為300×200。在各個(gè)時(shí)段的對(duì)車輛特征進(jìn)行提取，白天在正常光照的能見度下，可提取車身輪廓和點(diǎn)特征，在傍晚時(shí)段，能見度開始下降，難以提取到較好的跟蹤點(diǎn)，而以此同時(shí)有部分車輛開始打開車燈，因此系統(tǒng)自動(dòng)將特征權(quán)重及時(shí)調(diào)整轉(zhuǎn)而對(duì)車燈進(jìn)行跟蹤，到夜晚時(shí)段能見度達(dá)到最低值，此時(shí)車身輪廓與背景混淆不清，系統(tǒng)通過(guò)特征顯著度判斷將輪廓特征權(quán)重設(shè)置到最低值。

表3 過(guò)渡時(shí)段車輛樣本的特征提取選取

表 4是采用多特征融合模式和單特征模式對(duì)過(guò)渡時(shí)段的跟蹤比較結(jié)果。從實(shí)驗(yàn)結(jié)果可明顯看出，由于采用的單特征跟蹤在過(guò)渡場(chǎng)景，特征顯著度下降后，會(huì)產(chǎn)生明顯的跟丟和多檢現(xiàn)象，而采用多特征融合策略，并加入場(chǎng)景識(shí)別后，跟蹤的特征值發(fā)生轉(zhuǎn)移，從而持續(xù)的獲得穩(wěn)定的跟蹤，中間跟丟的幾輛車是由于投票系統(tǒng)需要幀數(shù)支持和場(chǎng)景切換的滯后性造成，在整個(gè)車輛總數(shù)中僅占很小的一部分，幾乎可以忽略不計(jì)。

表4 過(guò)渡時(shí)段跟蹤效果比較

4 結(jié)論與展望

本課題在原有跟蹤算法的基礎(chǔ)上，探索了多特征融合自適應(yīng)的跟蹤策略，并加入場(chǎng)景識(shí)別策略和特征顯著度對(duì)多特征融合權(quán)值進(jìn)行修正，并在后續(xù)加入了學(xué)習(xí)策略來(lái)提高特征分類的魯棒性能，實(shí)驗(yàn)結(jié)果表明該策略對(duì)多變場(chǎng)景的跟蹤性能具有一定的改善作用，對(duì)多目標(biāo)跟蹤系統(tǒng)的設(shè)計(jì)具有一定的現(xiàn)實(shí)意義。由于離線學(xué)習(xí)策略需要一定的時(shí)間進(jìn)行人工干預(yù)，今后研究工作要考慮如何采用在線學(xué)習(xí)方式增強(qiáng)學(xué)習(xí)的智能性。

[1] Burt E J.,Yen C.,Xy X.Local Correlation Measures for Motion Analysis:a Comparmive.Study,Proceedings of IEEE Conference on Pattern Recognition and Image Processing Las Vegas:IEEE,1982:269-274.

[2] Object tracking in image sequences using point features. Pattern Recognition,2005,38(1):105-113.

[3] Lucas B.,Kanade T.An iterative image registration technique with an application to stereo vision, Proceedings of the International Joint Conference on Artificial Intelligence, 1981:674-679.

[4] Geodesic Active Contours and Level Sets for the Detection and Tracking of Moving Objects. IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(3):266-280.

[5] Gabor小波目標(biāo)特征提取和跟蹤方法的研究[J].光電工程,2004,31(s1):26-29.

[6] 基于擴(kuò)展目標(biāo)的不變矩跟蹤算法[J].強(qiáng)激光與粒子束,2002, 14(1):6-10.

[7] Robert T. Collins. Mean-shift Blob Tracking through Scale Space[C].IEEE Computer Society Conference on Computer Vision & Pattern Recognition IEEE Computer Society Conference on Cvpr,2003:234-234.

[8] EA Wan,dMR Van,The Unscented Kalman Filter for Nonlinear Estimation[C].Signal Processing,Communications,and Control Symposium,2000.

[9] MZ Islam,CM Oh,CW Lee.Video Based Moving Object Tracking by Particle Filter[J].International Journal of Signal Processing Image Processing & Pattern Recognition,2009,2(1).

[10] Active models for tracking moving objects. Pattern Recognition, 2000,33(7):1135-1146.

[11] 姚劍敏.粒子濾波跟蹤方法研究[D].長(zhǎng)春:中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,2004.

[12] 高丙坤,李文超,王帥.一種改進(jìn)的粒子濾波跟蹤算法[A]//第二十九屆中國(guó)控制會(huì)議論文集[C].北京:中國(guó)自動(dòng)化學(xué)會(huì)控制理論專業(yè)委員會(huì),2010.

A kind of adaptive object tracking strategy base on multi-feature integration

In order to promote performance of object tracking system, we analyzed the deficiencies of the tracking system, according to the phenomenon of tracking object feature reduction in the complex scene. By the way of multi-feature integration method , we have design the module of scene recognition, multi-feature integration and feature learning strategy to improve the tracking system, the result proved the validity of this strategy and the improvement to the object tracking performance in complex scene.

object tracking; feature integration

TP391.4

A

1008-1151(2016)11-0009-04

2016-10-11

廣西高校科學(xué)技術(shù)研究項(xiàng)目“多變場(chǎng)景下的特征融合目標(biāo)跟蹤算法的研究”（KY2015LX566）；廣西高等學(xué)校高水平創(chuàng)新團(tuán)隊(duì)“中國(guó)－東盟物流物聯(lián)網(wǎng)關(guān)鍵技術(shù)研究”（桂教人[2014]65號(hào)）。

劉杰（1982－）, 男, 廣西經(jīng)濟(jì)管理干部學(xué)院計(jì)算機(jī)系工程師, 碩士，研究方向?yàn)樾畔⑾到y(tǒng)。