成 悅， 李建增

(陸軍工程大學石家莊校區(qū)，石家莊 050003)

0 引言

近幾年，計算機視覺越來越體現(xiàn)出它在人工智能方面的重要性，而視頻目標跟蹤技術也得到了較快的發(fā)展。航拍技術是近幾年新興的一種偵察手段，無論是在軍用還是民用方面都有著極大的應用前景,其中，目標跟蹤技術是必不可少的一個環(huán)節(jié)。目前，視頻單目標跟蹤技術已經(jīng)較為完善，但多目標跟蹤問題仍然面臨很多困難與挑戰(zhàn)。

多目標跟蹤除了有單目標跟蹤所面臨的目標尺度變化、旋轉變化、背景變化、相似目標干擾、遮擋干擾等問題外，還需要處理多個被跟蹤目標之間的互動，如兩個被跟蹤目標距離過近、相互遮擋，目標候選點之間的匹配與關聯(lián)等。

目標跟蹤首先要對目標進行建模。為了建立目標的外觀模型,前人應用了眾多有效的方法：文獻[1-2]主要運用了提取目標顏色特征作為跟蹤依據(jù)的方法進行建模；文獻[3]采用顏色直方圖和LBP特征對大量人體分塊樣本進行離線訓練；文獻[4]利用角點采樣的方法來實現(xiàn)相互遮擋的多目標分離問題；文獻[5]利用光流進行數(shù)據(jù)關聯(lián)；文獻[6]采用光流法將軌跡片段鏈接成完整的軌跡。當前，HOG特征[7]、SURF特征[8-9]、ORB特征[10]等都是用于描述目標特點的比較成熟的方法。綜合前人歸納的特征提取方式的優(yōu)缺點，本文最終確定了采用顏色直方圖和HOG特征相結合的方式進行特征提取。

基于在線學習的跟蹤算法是近幾年新興的一種通過建立在線更新的分類器來實現(xiàn)目標跟蹤的方法。傳統(tǒng)的離線學習跟蹤算法[11-12]就是在跟蹤前用大量的目標外觀特征對分類器進行訓練，一旦開始跟蹤，分類器就不再進行更新了，所以這類方法必須提前掌握大量的目標外觀特征。由于目標特征在開始跟蹤前并不容易獲得，所以在線學習的方法越來越受到專家學者的青睞。文獻[13]提出了在線Boosting跟蹤算法，可以自主地選擇特征池中的特征，取得了很好的效果；文獻[14]提出了Adaboost級聯(lián)分類器，把多個弱分類器級聯(lián)變?yōu)閺姺诸惼?，最終確定目標位置；文獻[15]提出了效果較好的TLD(Tracking-Learning-Detection)算法[16-19]，把跟蹤過程分為了3個模塊，相互配合，達到了長期穩(wěn)定跟蹤目標的理想效果。除此之外，在線學習方法還有很多，采用SVM分類器是較為經(jīng)典的一種方法，很多跟蹤算法[20-22]都采用它進行正負樣本的區(qū)分。

1 本文算法

圖1為本文算法的流程圖。

圖1 本文多目標跟蹤算法流程圖

本文所提算法基于顏色信息和梯度信息對目標進行建模，并結合無損卡爾曼濾波(UKF)預測目標下一幀位置。同時，對每一幀新得到的正負樣本進行半在線學習，無遮擋情況下不斷更新分類器，使其具有長時間跟蹤能力。為了提高跟蹤精度，加入尺度自適應模塊，使跟蹤框隨目標大小的變化而變化，確保每次分類器學習的準確度。此外，本文算法也加入了遮擋處理和數(shù)據(jù)關聯(lián)機制，使遮擋條件下多目標跟蹤具有更好的魯棒性。

2 外觀特征模型

在近幾年流行的基于檢測的跟蹤方法中，提取目標的特征是目標跟蹤的前提。本文采用以下兩種特征相結合的方式進行目標的特征提取。

1) 顏色直方圖。顏色是人眼區(qū)分物體之間運動狀態(tài)最直觀的方法，它對攝像機拍攝角度的變化、光照變化、輕微的遮擋等環(huán)境變化不敏感。 圖像顏色有多種表達方式，由于HSV顏色空間更符合人眼的分辨，故本文采用HSV空間對目標特征進行提取。

本文均勻地將色調H分成8份，飽和度S和亮度V各分成3份，并賦予相應的權值

(1)

式中：fc是目標顏色直方圖特征向量；αH,αS,αV分別是H,S,V的相對權重，由它們確定直方圖的維數(shù)。維數(shù)越多，計算復雜度越大；維數(shù)越少，丟失的有用信息就越多，更容易使目標丟失或誤檢漏檢。

2) 梯度直方圖(HOG特征)。梯度特征是目前計算機視覺領域很常用的一種描述圖像局部紋理的特征。這個特征先計算圖片某一個區(qū)域中不同方向上梯度的值，然后進行累積，得到直方圖，就可以作為特征輸入到分類器里面。本文利用滑窗將預測區(qū)域內每個block劃分為4個cell，每個cell有9維特征向量，這樣就得到了36維HOG特征向量fh。

每個目標提取以上兩種特征進行目標的區(qū)分和關聯(lián)，對于目標集I中每個目標i，檢測響應ri的特征描述子為φ(fc,fh)，其中，HOG特征負責初次篩選待匹配目標，顏色直方圖負責驗證和處理兩目標間距離較近時的候選目標與已有目標之間的數(shù)據(jù)關聯(lián)。顏色相似度采用巴氏系數(shù)計算，假設兩個經(jīng)過歸一化處理的離散顏色直方圖的相應顏色概率分布分別為p={p(u)}u=1,…,m和q={q(u)}u=1,…,m，則巴氏系數(shù)可表示為

(2)

系數(shù)的取值范圍為0～1，ρ值越大，表明相似性越高。如果兩個圖像相同，則相應的顏色直方圖會完全一樣，此時ρ=1。

3 在線學習與跟蹤

由于本文應用背景需要根據(jù)第一幀手動選擇要跟蹤的目標，沒有固定的模板，所以也無法提前訓練好樣本，因此就需要用到在線學習的方法。

3.1 初始化

視頻在第一幀的時候要進行初始化，手動選擇想要跟蹤的一個或多個目標，同時提取第i個跟蹤框里的目標特征作為正樣本spi，形成正樣本集{Sp}。設跟蹤框的相關參數(shù)為Bi={xi,yi,wi,hi}，其中，(xi，yi)為跟蹤框的左上角坐標，wi為寬，hi為高。定義結構C={B1,B2,…,B|I|}為當前幀所有目標外觀模型得分的集合。

選好正樣本后，在與任何一個正樣本沒有重合部分的位置，隨機選取2倍于正樣本數(shù)量的負樣本Sni對分類器進行訓練，負樣本集為{Sn}，并賦予負樣本負的權值，使分類器具備短距離小形變條件下跟蹤多個目標的能力，為接下來對于后面幾幀不斷進行在線學習并更新分類器中的目標模型做好準備。

3.2 目標位置預測

位置預測通常采用卡爾曼濾波，但實際系統(tǒng)大多具有較多噪聲，是非線性系統(tǒng)。因此，為了提升本文算法的跟蹤精度，結合文獻[23]中較為成熟的UKF算法對目標下一幀所在的大致位置進行預測，作為本文算法縮小搜索范圍的輔助措施。

UKF濾波方法以UT(Unscented Transform)變換為基礎，采用卡爾曼線性濾波框架，具體采樣形式為確定性采樣，相較PF濾波的隨機性采樣，避免了粒子退化的問題。UKF濾波采樣點數(shù)較少，相比線性卡爾曼濾波，計算量雖有所上升，但影響不大。故本文算法通過較先進的UKF濾波估計目標下一幀可能出現(xiàn)的最優(yōu)點，得到以最優(yōu)點為中心，做長寬分別為跟蹤框的2.5倍的搜索框，并在搜索框內進行局部滑窗搜索，確定下一幀跟蹤框的確切位置，以此來縮小搜索范圍，提高算法的速度和魯棒性。

3.3 分類檢測與在線學習

在線學習是能夠使目標跟蹤長期、穩(wěn)定的一項重要手段，它通過不斷地更新分類器來使跟蹤具有無論目標的形態(tài)如何變化都能準確地分離出前景和背景的能力。支持向量機(SVM)是一個由分類超平面定義的判別分類器，它以其簡潔有效的特點成為分類器中最為經(jīng)典實用的一個。本文算法采用改進的SVM方法[3]進行目標分類與機器學習。

首先利用上一節(jié)得到的目標預測位置來確定搜索框位置，在搜索框內采用與上一幀跟蹤框尺寸相同的滑窗進行檢測。使用上一幀訓練好的分類器對每一個滑窗進行分類，從而獲取相應搜索框內目標的具體位置。

接下來需要對分類器進行更新。為了使結構SVM損失l能夠達到最小化，首先更新參數(shù)

(3)

(4)

通過式(4)可以得到與最優(yōu)框最相似但沒有重疊部分的樣本，即支持向量的難例。

用ω∈W代表結構SVM損失函數(shù)的梯度，即

▽ωl(W;M,C)=▽ωs(C*;M,W)-▽ωs(C;M,W)=Φ*-Φ

(5)

(6)

式中，Φ={φ1(fc,fh),…,φ|I|(fc,fh)}。最后，參數(shù)更新通過

(7)

來完成。式中,k是一個用于調節(jié)更新靈敏度的超參數(shù)。

3.4 尺度自適應

尺度變化是目標跟蹤中經(jīng)常遇到的一個困難，會使跟蹤出現(xiàn)偏差甚至失敗。本文算法為解決此問題，采用快速DSST算法[24]中所使用的一維相關濾波器對目標尺度變化進行有效且快速的判斷，建立尺度金字塔并選擇響應最大的尺度對跟蹤框的寬ωi和高hi的值進行自適應調整，使跟蹤框能夠隨著目標尺度的變化而變化。用于尺度評估的目標樣本尺寸選擇原則為

(8)

式中:ωi，hi分別為目標在前一幀的寬和高;a=1.02為尺度因子;S是尺度總級數(shù)，其大小決定著尺度變化范圍，但也影響著算法速率,綜合考慮二者取S=25。

首先在搜索范圍內以當前幀目標位置為中心，采用HOG特征，提取t種不同尺度的樣本f1,f2,…,ft，作為訓練樣本，采用高斯函數(shù)作為期望的濾波器響應g=[g1,g2,…,gt],通過建立最小化代價函數(shù)構造最優(yōu)相關濾波器h

(9)

式中:d是HOG特征的總維度;l是其中某個維度;λ是正則項系數(shù)，為了防止上式分子為零，變換到頻域如下

(10)

對上式分子分母同時以η為學習率進行更新，目標位置即為相關濾波器響應最大位置

(11)

為避免分類器更新過程中的誤差積累，本文算法保留5幀前的目標區(qū)域與當前幀響應最大區(qū)域進行對比，若相似度小于某一個閾值表明目標被遮擋，則放棄本次分類器更新，直接以預測位置作為目標位置進行下一幀的處理，直到搜索框內出現(xiàn)與遮擋前目標相似度較高的區(qū)域，則判定為目標再次出現(xiàn)，繼續(xù)進行分類器的更新。

4 遮擋處理與數(shù)據(jù)關聯(lián)

多目標跟蹤與單目標跟蹤一樣，也會存在著遮擋問題，但多目標不僅有外物對目標的遮擋，還存在著目標之間的交叉與遮擋。此外，還有下一幀檢測到的目標與現(xiàn)有目標之間的相互關聯(lián)問題需要解決，以防ID混亂，目標交換。由于自由模型跟蹤器是逐幀搜索，并不完全依賴于目標檢測，所以其ID轉換的可能性比較小，數(shù)據(jù)關聯(lián)的難度也比較低。

4.1 外物遮擋

如果一個或多個目標被外界物體遮擋，即在預測的搜索框內無法找到上一幀學習到的目標模板或相似度過低，且被遮擋目標與其他各目標的跟蹤框之間的重疊度大于閾值B，則判定為外物遮擋。

此時的處理辦法與單目標跟蹤處理遮擋情況類似，采用UKF方法對目標下一幀位置進行預測，并假設預測點為目標真實位置進行下一幀的預測，直到在某一幀中重新出現(xiàn)目標。在遮擋條件下停止進行在線學習，防止更新到錯誤的模板。

此外，對于目標被遮擋20幀以上的長時間消失和在視野邊緣消失的情況，判定其為目標消失，在目標集內刪除其編號并釋放空間。

4.2 相互遮擋

當有目標被遮擋且被遮擋的目標與其他目標的跟蹤框之間的重疊度大于閾值B時，判定為多目標之間的相互交叉與遮擋。

多個目標交叉時，模板會出現(xiàn)混疊，此時分別對多個目標采用UKF方法預測目標下一幀位置并進行迭代，此時停止更新分類器，直到目標再次分開，采用HOG特征檢測到完整的目標輪廓后提取其顏色信息，并以此與遮擋前的每個目標進行BH系數(shù)計算，選取最優(yōu)值進行前后匹配并繼續(xù)進行在線學習，如圖2所示。

圖2 遮擋后可能出現(xiàn)的情況分析及本文算法匹配示意圖

5 實驗與分析

實驗是在VS2010開發(fā)平臺上，利用VC++語言和開源代碼Open CV聯(lián)合編程實現(xiàn)的。硬件系統(tǒng)中，處理器為Inter(R)Core(TM) i5 CPU 3230M@2.6 GHz，內存為4.00 GB，硬盤為500 GB，操作系統(tǒng)為Windows7。實驗視頻選用2012年慕尼黑科技大學發(fā)布的應用在ECCV里面的數(shù)據(jù)集，分別對本文算法、SPOT法[3]和Possegger法[1]在尺度變換、遮擋干擾和形變條件下進行測試。

圖3、圖4和圖5分別是本文算法在尺度變換、遮擋干擾和目標形變這3個條件下進行目標跟蹤的效果圖，跟蹤框左上角為相應目標的編號，為防止混淆，圖左上角為幀數(shù),視頻名稱依次為彎道、天橋、行人、滑雪。經(jīng)過多次實驗，根據(jù)結果確定相關參數(shù)，取λ=0.01，k=1，B=0.3。

圖4 遮擋干擾跟蹤效果圖Fig.4 Tracking effects under the condition of occlusion interference

本文采用的評價指標為準確度和精確度。準確度的計算為:跟蹤器確定的跟蹤框與實際跟蹤框的重疊度超過50%判定為正確跟蹤，一幀中全部目標都正確則該幀跟蹤正確;正確跟蹤的幀數(shù)占全部幀數(shù)的比例為準確度。精確度為預測中心與實際跟蹤框中心的像素距離，如果一幀中有多個目標，則記錄多個像素距離的平均值。表1所示數(shù)據(jù)為分別進行10次實驗后取的平均值。表中：“↑”表示該參數(shù)越大效果越好；“↓”表示該參數(shù)越小效果越好。

圖5 目標形變跟蹤效果圖

Fig.5 Tracking effects under the condition of target deformation

表1 3種算法在以上4個視頻中的評價指標對比

由圖3～圖5和表1可知，本文算法可以跟蹤車輛、行人以及任何在第一幀指定的物體，且對于尺度變換、遮擋干擾和目標形變等問題具有一定的處理能力。由于加入了尺度自適應模塊,使得跟蹤器在跟蹤大小變化的目標時，跟蹤框可以隨著目標的變化而變化，從而提取到更準確的模板信息并進行不斷的在線學習，更新分類器，最終達到一個較理想的跟蹤效果。對于遮擋問題，無論是外物遮擋還是目標間相互遮擋，本文算法都可以在遮擋過程中對目標下一時刻位置進行預測，并在目標出現(xiàn)或者分離之后重新跟蹤上目標。本文算法處理高速形變目標的效果不如以上兩種情況下的實驗效果，會出現(xiàn)跟蹤框不穩(wěn)定的現(xiàn)象，這是由于輪廓的快速變換使得權重不能精準地分配，但仍然能夠根據(jù)顏色特征得到目標的大致位置并完成跟蹤。

圖6是SPOT法、Possegger法和本文算法在人臉定位方面的實驗對比圖，其中，紅色為本文算法，藍色為Possegger法[1]，黃色為SPOT法。表2為相應跟蹤效果參數(shù)指標對比，針對單個人臉的跟蹤較為直觀地展示本文算法的跟蹤效果。

圖6 人臉視頻實驗效果對比圖

SPOT法Possegger法本文算法準確度/%0.870.640.96精確度21.868.99.3速度/(幀·s-1)25.320.736.2

通過表1和表2可知，本文算法性能優(yōu)于其他兩種算法，而且在跟蹤處理速度方面，本文算法對單目標跟蹤的平均處理速度為36 幀/s，完全能夠達到工程上對于實時性的要求。雖然其他兩個算法在單目標跟蹤的過程中同樣可以滿足實時性，但由表1可知，在同時跟蹤多個目標的時候，其他兩個算法速度較慢，視頻播放中存在卡頓，而本文算法基本能夠滿足實時性，在視頻流暢播放的情況下跟上目標。

6 小結

本文針對多目標跟蹤過程中常見的尺度變化、遮擋等問題提出了一種在第一幀手動選取目標的自由模型多目標跟蹤算法。本文算法的優(yōu)點是：采用兩種特征進行組合建模，模型更具有代表性；且改進了在線學習方法的機制，在保證魯棒性的同時減少錯跟的可能性；采用改進的相關濾波器進行尺度的自適應，確保每次分類器學習的準確度。此外，本文算法也加入了遮擋處理和數(shù)據(jù)關聯(lián)機制，在目標被短暫遮擋的情況下具有一定的魯棒性，而且重新出現(xiàn)后仍能保持編號繼續(xù)跟蹤。經(jīng)過實驗驗證，本文算法達到了一個較理想的跟蹤效果，在不犧牲實時性的條件下提高了跟蹤的精度和成功率。