梅炳夫

(廣州市廣播電視大學(xué) 人文與工程學(xué)院，廣州 510091)

0 引言

在運(yùn)動(dòng)分析、交通監(jiān)控等許多領(lǐng)域，目標(biāo)跟蹤技術(shù)得到了廣泛的應(yīng)用。當(dāng)前的目標(biāo)跟蹤算法主要是對(duì)短時(shí)跟蹤進(jìn)行分析，其目標(biāo)檢測(cè)可以將第一幀圖像作為檢測(cè)對(duì)象，因此不需要對(duì)目標(biāo)進(jìn)行重復(fù)檢測(cè)[1]。然而長(zhǎng)時(shí)跟蹤是以目標(biāo)在一段時(shí)間內(nèi)的視頻序列作為檢測(cè)對(duì)象，跟蹤目標(biāo)可能存在形態(tài)和尺度變化，或者遭遇環(huán)境遮擋等問(wèn)題，因此其跟蹤難度遠(yuǎn)大于短時(shí)跟蹤[2]。當(dāng)跟蹤器遭遇遮擋環(huán)境時(shí)，它會(huì)經(jīng)歷3個(gè)階段，分別是目標(biāo)特征信息的逐步損失階段、完全損失階段、逐步恢復(fù)階段。在目標(biāo)脫離遮擋時(shí)，若其跟蹤信息未被污染，則可以實(shí)現(xiàn)持續(xù)跟蹤[3]。這次研究將以長(zhǎng)時(shí)跟蹤為基礎(chǔ)，對(duì)遮擋環(huán)境下的目標(biāo)特征提取技術(shù)進(jìn)行優(yōu)化，并保證目標(biāo)跟蹤算法的穩(wěn)定性。

1 STAPLE目標(biāo)跟蹤算法的改進(jìn)研究

1.1 STAPLE目標(biāo)跟蹤算法

由于STAPLE跟蹤算法對(duì)形變目標(biāo)的跟蹤穩(wěn)定性較好，此次將以此為基礎(chǔ)，進(jìn)行車(chē)輛非連續(xù)軌跡的智能跟蹤技術(shù)研究。該方法首先通過(guò)相關(guān)濾波框架算法對(duì)目標(biāo)定位，其次通過(guò)特征提取建立目標(biāo)模板，再根據(jù)模板進(jìn)行目標(biāo)識(shí)別跟蹤[4]。在進(jìn)行目標(biāo)定位時(shí)，以平移濾波器確定目標(biāo)位置，以尺度濾波器估計(jì)目標(biāo)尺度，兩者獨(dú)立工作。對(duì)于給定的視頻圖像，已知目標(biāo)在t-1幀的位置和尺度大小，并建立對(duì)應(yīng)的目標(biāo)模板；針對(duì)第t幀序列中的圖像xt，在剪裁和特征提取后，結(jié)合第t-1幀圖像對(duì)應(yīng)的目標(biāo)模型參數(shù)分析，則可判斷目標(biāo)跟蹤狀態(tài)。式(1)表示第t幀圖像的最大得分值位置pt。

pt=argmaxp∈Stf(T(xt,p);ht-1)

(1)

在式(1)中，S為目標(biāo)位置集合，T表示圖像xt在位置p處的特征提取函數(shù)，ht-1表示第t-1幀的目標(biāo)模型參數(shù)；St為可能的目標(biāo)位置集合。

相關(guān)濾波框架的樣本來(lái)源于循環(huán)采樣，因此模型采用在線(xiàn)更新策略。STAPLE算法采用梯度方向直方圖算法(histograms of oriented gradients for human detection,HOG)作為特征提取方法，并將顏色直方圖算法線(xiàn)性結(jié)合，對(duì)目標(biāo)模型參數(shù)進(jìn)行更新。HOG算法的核心思想是將目標(biāo)的外表和輪廓以邊緣梯度方向的分布情況進(jìn)行描述[5]，圖1為HOG的計(jì)算圖，(a)、(b)、(c)分別表示cell方向圖、cell與block的計(jì)算關(guān)系、block與HOG的計(jì)算關(guān)系。關(guān)于其基礎(chǔ)思想解法這里不再贅述。

圖1 HOG的計(jì)算圖

以DSST (discriminatiive scale space tracker)算法的近似思想求解STAPLE算法模型參數(shù)，其在線(xiàn)更新公式如式(2)所示[6]。其中，α=0.01。

(2)

對(duì)于HOG提取特征，若候選區(qū)域特征值為φx[u]，則候選區(qū)域的得分函數(shù)如式(3)所示。

(3)

STAPLE算法采用RBG顏色直方圖進(jìn)行圖像目標(biāo)的顏色特征提取。在已有模板基礎(chǔ)上，候選區(qū)域圖像的相似度計(jì)算公式如式(4)所示。

(4)

在式(4)中，Pfg表示前景顏色相似度，Pbg表示背景顏色相似度，Po表示整體圖像相似度。STAPLE算法將候選區(qū)域的顏色特征進(jìn)行量化處理，將圖像相似度得分視為平均投票；與此同時(shí)，在圖像前景區(qū)域O和背景區(qū)域B分別使用顏色直方圖算法提取圖像顏色特征，以提高算法效率。在第t幀時(shí)，區(qū)域圖像的顏色特征參數(shù)在線(xiàn)更新方程如式(5)所示。其中，ηhist=0.01。

ρt(O) = (1-ηhist)ρt-1(O) +ηhistρt′(O)

ρt(B) =(1-ηhist)ρt-1(B) +ηhistρt′(B)

(5)

繼而，候選區(qū)域顏色特征函數(shù)為ψ[u]，則對(duì)應(yīng)的得分函數(shù)如式(6)所示。

(6)

STAPLE跟蹤算法先利用平移濾波器對(duì)目標(biāo)進(jìn)行搜索定位，若目標(biāo)存在形變或光照影響等情況，則以HOG算法和顏色統(tǒng)計(jì)直方圖進(jìn)行匹配校正，更新目標(biāo)模板；再利用尺度濾波器對(duì)目標(biāo)當(dāng)前尺度進(jìn)行估計(jì)。式(7)為STAPLE跟蹤算法的計(jì)算公式。其中，γtmpl=0.7,γhist=0.3。

f(x)=γtmplftmpl(x)+γhistfhist(x)

(7)

1.2 目標(biāo)特征提取算法的改進(jìn)

盡管HOG能夠較好地捕捉目標(biāo)的局部形狀信息，且在幾何布局和光線(xiàn)影響下?lián)碛辛己玫姆€(wěn)定性。然而針對(duì)這次研究的對(duì)象，HOG存在一定的局限性。一方面，在遮擋環(huán)境下，目標(biāo)的空間形狀分布無(wú)法被捕捉，因此算法無(wú)法發(fā)揮作用。另一方面，HOG算法對(duì)圖像目標(biāo)的空間方向和空間布局有著嚴(yán)格要求，因此它不具備旋轉(zhuǎn)不變性和尺度不變性。有鑒于此，研究采用局部二值模式(local binary pattern,LBP)進(jìn)行針對(duì)性?xún)?yōu)化，該算法計(jì)算量較小，且對(duì)于光照和形態(tài)變換有著較好的魯棒性。

研究在傳統(tǒng)LBP算法基礎(chǔ)上進(jìn)行了改進(jìn)嘗試，以圓形模板替代矩形模板，并加入了旋轉(zhuǎn)擴(kuò)展，以保證算法的旋轉(zhuǎn)不變性[7]。圖2為改進(jìn)LBP算法示意圖。

圖2 具有旋轉(zhuǎn)不變性的LBP特征示意圖

如圖2所示，以白色的點(diǎn)表示1，以黑色的點(diǎn)表示0。假設(shè)原模板的中心像素特征值為225，以順時(shí)針?lè)较驅(qū)BP特征旋轉(zhuǎn)7次，每次旋轉(zhuǎn)45°，則可得到旋轉(zhuǎn)后的特征向量，{225,240,120,60,30,15,135,195}。改進(jìn)后的LBP特征值滿(mǎn)足式(8)，其中p表示像素點(diǎn)個(gè)數(shù)，R表示模板半徑，ROR表示循環(huán)位移函數(shù)，即改進(jìn)后的LBP特征值為15。

LBPp,R=min{ROR(LBPp,R,l)|i=0,1,…,p-1}

(8)

同時(shí)，傳統(tǒng)LBP算法對(duì)紋理特征區(qū)分過(guò)細(xì)，因而存在目標(biāo)分類(lèi)困難。有研究表明，當(dāng)LBP特征值在二進(jìn)制下只發(fā)生小于2次的跳變時(shí)，其結(jié)果有效性更大。因此改進(jìn)LBP算法對(duì)計(jì)算過(guò)程進(jìn)行了優(yōu)化，令超過(guò)2次跳變的LBP特征值為0，這在很大程度上減小了計(jì)算難度。式(9)為其公式表達(dá)。

(9)

在式(9)中，U表示跳變次數(shù)；Si表示二進(jìn)制特征值第i位的數(shù)值。

另一方面，顏色特征直方圖算法以滑動(dòng)窗口進(jìn)行特征提取，以目標(biāo)的顏色分布為模板，通過(guò)滑動(dòng)窗口查找區(qū)域相似度的累加值，累加值越高，則目標(biāo)在這一區(qū)域的可能性越大。為了提高算法效率，研究采用積分圖像代替滑動(dòng)窗口，它可以一次性計(jì)算出區(qū)域顏色的相似度累加和，圖3為積分圖像示意圖。

圖3 積分圖像示意圖

以SAT表示積分圖像，以w和h表示目標(biāo)的寬和高，區(qū)域的相似度計(jì)算公式如式(10)所示。

(10)

2 改進(jìn)STAPLE目標(biāo)跟蹤算法的SVM優(yōu)化

在長(zhǎng)期目標(biāo)跟蹤的情況下，視頻序列中的目標(biāo)會(huì)受到各種因素的影響，例如不同程度或不同時(shí)間的遮擋影響。在遮擋環(huán)境下，跟蹤器無(wú)法捕捉目標(biāo)位置，這時(shí)繼續(xù)保持跟蹤狀態(tài)并更新參數(shù)會(huì)造成目標(biāo)模板被污染。STAPLE跟蹤算法雖然擁有較好的跟蹤能力，但它不具備在丟失目標(biāo)時(shí)的自我糾正能力，在長(zhǎng)期目標(biāo)跟蹤時(shí)，容易受到遮擋環(huán)境的影響，進(jìn)而導(dǎo)致跟蹤失敗。有研究顯示，當(dāng)目標(biāo)跟蹤效果較好時(shí)，圖像的置信度最大響應(yīng)值與平均值相差較大；在目標(biāo)處于遮擋狀態(tài)時(shí)，置信度的最大響應(yīng)值與平均值相差較小[8]。因此這次研究將以此判斷目標(biāo)是否處于遮擋狀態(tài)，并利用SVM對(duì)跟蹤器進(jìn)行優(yōu)化。當(dāng)目標(biāo)在遮擋或其他因素影響下跟蹤失效時(shí)，則跟蹤器將激活SVM檢測(cè)器，并重新搜索定位目標(biāo)。

支持向量機(jī)(support vector machine,SVM)是具有高泛化性能的分類(lèi)器，它在核函數(shù)的基礎(chǔ)上，將非線(xiàn)性不可分問(wèn)題從低維空間映射到高維空間中，從而簡(jiǎn)化線(xiàn)性可分問(wèn)題。設(shè)分類(lèi)超平面的函數(shù)表達(dá)式如式(11)所示。

φ(x)T·ω+b=0

(11)

則原非線(xiàn)性問(wèn)題的拉格朗日函數(shù)可以用式(12)表示。

(12)

在式(12)中，k(xi,xj)=φ(xi)Tφ(xj)表示核函數(shù)[9]。

將SVM檢測(cè)算法與STAPLE跟蹤算法相結(jié)合，可以在有限范圍內(nèi)預(yù)測(cè)目標(biāo)的位置和尺度，從而提高算法效率。在視頻序列第一幀需要手動(dòng)確定跟蹤目標(biāo)，利用SVM算法對(duì)目標(biāo)周?chē)鷧^(qū)域進(jìn)行隨機(jī)采樣，并根據(jù)目標(biāo)框占采樣框的面積比例iou確定正負(fù)樣本[10]。

(13)

在式(13)中，當(dāng)iou≥0.8時(shí)，采樣區(qū)域?yàn)檎龢颖?；?dāng)iou≤0.5時(shí)，采樣區(qū)域?yàn)樨?fù)樣本；當(dāng)0.5

將SVM目標(biāo)檢測(cè)算法融合到跟蹤算法匯總，置信度的函數(shù)表達(dá)式如式(14)所示。

f(x)=φ(x)T·ω+b

(14)

在式(14)中，ω和b可以通過(guò)lable值構(gòu)建目標(biāo)模型獲取。

圖4為融合SVM檢測(cè)后的目標(biāo)跟蹤算法流程圖。首先，在第一幀圖像中確定跟蹤目標(biāo)，并對(duì)目標(biāo)周?chē)鷪D像進(jìn)行大量隨機(jī)采樣；根據(jù)跟蹤目標(biāo)在采樣圖像中的占比區(qū)分正負(fù)樣本，用以訓(xùn)練SVM檢測(cè)器。以?xún)杀冻叽缣崛∧繕?biāo)和特征信息，建立平移濾波器、尺度濾波器和顏色直方圖模型。其次，根據(jù)置信度得分判斷是否激活SVM檢測(cè)器。若不滿(mǎn)足激活條件，則根據(jù)當(dāng)前幀目標(biāo)特征更新模型，并訓(xùn)練正負(fù)樣本；若滿(mǎn)足激活條件，則根據(jù)定位時(shí)間選擇搜索范圍，并進(jìn)行全局搜索。若檢測(cè)器無(wú)法定位目標(biāo)，則不更新位置，在下一幀繼續(xù)搜索，直到定位成功；若檢測(cè)器定位到目標(biāo)，則將其位置信息反饋至跟蹤器，由跟蹤器接管剩余定位工作。當(dāng)訓(xùn)練樣本量為100的整數(shù)倍時(shí)，更新SVM參數(shù)。

圖4 融合SVM檢測(cè)的STAPLE目標(biāo)跟蹤算法流程圖

3 遮擋環(huán)境下的目標(biāo)軌跡跟蹤性能測(cè)試分析

為了測(cè)試這次研究所優(yōu)化的目標(biāo)跟蹤算法性能，采用VOT2016國(guó)際標(biāo)準(zhǔn)序列集中的Road視頻序列進(jìn)行實(shí)驗(yàn)。VOT數(shù)據(jù)集是彩色序列，其分辨率普遍較高。作為競(jìng)賽數(shù)據(jù)集，它為視覺(jué)跟蹤領(lǐng)域的評(píng)估和進(jìn)展提供平臺(tái)，且基本上每年都會(huì)更新；2016年雖然未有更新圖像數(shù)據(jù)，但它更新了標(biāo)注方法。在對(duì)視頻序列進(jìn)行目標(biāo)跟蹤控制的過(guò)程中，目標(biāo)未存在形變或明顯光照影響，但由于跟蹤器的拍攝角度限制，目標(biāo)在較長(zhǎng)時(shí)間處于嚴(yán)重遮擋狀態(tài)中。這次研究分別采用L林克-卡特樹(shù)算法(link cut tree,LCT)、DSST算法、STAPLE算法和改進(jìn)STAPLE這4種算法進(jìn)行性能對(duì)比，圖5為不同算法在視頻序列的跟蹤效果圖。LCT算法是在相關(guān)濾波框架算法上加入了在線(xiàn)分類(lèi)器，當(dāng)跟蹤目標(biāo)丟失時(shí)，可以采用分類(lèi)檢測(cè)器重新搜索定位。DSST算法則是在利用平移濾波器進(jìn)行目標(biāo)定位跟蹤，并以尺度濾波器確定目標(biāo)尺度。在圖5中，左邊圖片為視頻序列第一幀圖片，手動(dòng)選擇跟蹤目標(biāo)，令其處于黃色目標(biāo)框內(nèi)；右邊圖片為目標(biāo)退出遮擋狀態(tài)后算法的跟蹤效果。

圖5 不同算法在視頻序列的跟蹤效果圖

從圖5可以看出，在目標(biāo)退出遮擋后，LCT算法和改進(jìn)STAPLE算法可以重新搜索目標(biāo)并進(jìn)行跟蹤，DSST算法和STAPLE算法則無(wú)法再次捕捉到目標(biāo)位置。這是因?yàn)長(zhǎng)CT和改進(jìn)STAPLE算法均有分類(lèi)檢測(cè)器進(jìn)行輔助，在目標(biāo)退出遮擋狀態(tài)后，可以重新搜索定位；而DSST和STAPLE算法則無(wú)法在丟失目標(biāo)后重新捕捉目標(biāo)位置。這說(shuō)明基于SVM分類(lèi)檢測(cè)器優(yōu)化的目標(biāo)跟蹤算法更適合遮擋環(huán)境下的目標(biāo)長(zhǎng)時(shí)跟蹤。由于這次研究是以置信度與平均值之間的差距作為判定目標(biāo)遮擋狀態(tài)的依據(jù)，因此接下來(lái)將對(duì)視頻序列幀數(shù)與置信度之間的關(guān)系進(jìn)行分析。圖6為不同算法最大置信度跟蹤效果。

圖6 不同算法最大置信度跟蹤效果

從圖6中可看出，隨著視頻序列的幀數(shù)增加，4種算法下的最大置信度逐漸減小，這說(shuō)明置信度與平均值之間的差距減小，目標(biāo)逐漸進(jìn)入遮擋狀態(tài)。此外，4種算法在幀數(shù)增加前期的變化趨勢(shì)大致相同；LCT算法在150幀后置信度開(kāi)始增加；改進(jìn)STAPLE算法在約110幀后置信度開(kāi)始增加；STAPLE算法和DSST算法的置信度沒(méi)有增加的趨勢(shì)。這一結(jié)果印證了對(duì)圖5的分析，且改進(jìn)STAPLE算法在后期置信度上升更為明顯，說(shuō)明它的目標(biāo)重定位效果更好。為了更為準(zhǔn)確地判斷算法的跟蹤精度，接下來(lái)將對(duì)不同算法進(jìn)行定量分析及結(jié)果對(duì)比。圖7為中心誤差閾值，它通過(guò)跟蹤框中心與目標(biāo)中心之間的位置誤差反映跟蹤精度。

圖7 中心誤差閾值

從圖7可以看出，改進(jìn)STAPLE算法對(duì)目標(biāo)中心的跟蹤精度最高，達(dá)到了0.81；LCT算法對(duì)目標(biāo)中心的跟蹤精度達(dá)到了0.78，STAPLE算法和DSST算法的跟蹤精度分別為0.72和0.61；另一方面，從跟蹤精度的曲線(xiàn)變化斜率可以看出，改進(jìn)STAPLE算法的目標(biāo)跟蹤效率最好。為了驗(yàn)證算法在遮擋過(guò)程中跟蹤精度的變化情況，這里將通過(guò)目標(biāo)框被遮擋的面積比例，即目標(biāo)覆蓋率，與跟蹤精度之間的關(guān)系反映跟蹤算法的有效性。圖8為覆蓋率閾值的算法結(jié)果對(duì)比圖，接下來(lái)將對(duì)圖中曲線(xiàn)進(jìn)行分析。

圖8 覆蓋率閾值

從圖8可以看出，在覆蓋率閾值為0時(shí)，目標(biāo)尚未進(jìn)入遮擋狀態(tài)，改進(jìn)STAPLE算法的跟蹤精度為0.89，LCT算法的跟蹤精度為0.83，STAPLE算法的精度為0.78，DSST算法的精度為0.69。隨著覆蓋率閾值的增加，目標(biāo)進(jìn)入遮擋狀態(tài)，4種算法的跟蹤精度逐漸下降；在覆蓋率閾值小于0.5時(shí)，4種算法的跟蹤精度下降趨勢(shì)較為平緩；當(dāng)覆蓋率閾值超過(guò)0.5時(shí)，4種算法的跟蹤精度下降速度開(kāi)始增加，并在0.8左右達(dá)到最大下降速度。當(dāng)覆蓋率閾值為1時(shí)，目標(biāo)進(jìn)入完全遮擋狀態(tài)，4種算法的跟蹤精度均為0。除此之外，在同一覆蓋率閾值下，改進(jìn)STAPLE算法的跟蹤精度最高，其次是LCT算法的跟蹤精度，DSST算法的跟蹤精度最低。

4 結(jié)束語(yǔ)

為了解決目標(biāo)長(zhǎng)時(shí)跟蹤所面臨的遮擋問(wèn)題，這次研究對(duì)STAPLE跟蹤算法進(jìn)行改進(jìn)。一方面對(duì)目標(biāo)特征提取技術(shù)進(jìn)行了優(yōu)化；另一方面在跟蹤算法的基礎(chǔ)上加入了SVM分類(lèi)檢測(cè)器，以重新鎖定退出遮擋狀態(tài)的目標(biāo)。最后通過(guò)國(guó)際標(biāo)準(zhǔn)視頻序列驗(yàn)證了改進(jìn)STAPLE算法的跟蹤精度和有效性。這次的研究是在前人的基礎(chǔ)上，對(duì)目標(biāo)跟蹤算法進(jìn)行融合優(yōu)化，例如將通過(guò)顏色特征模型、HOG算法和LBP算法將目標(biāo)特征提取技術(shù)進(jìn)行盡可能全面的優(yōu)化，以及將SVM算法與STAPLE算法相結(jié)合，以便保持長(zhǎng)時(shí)跟蹤狀態(tài)。雖然改進(jìn)后的算法取得了較好的跟蹤效果，但這次研究仍舊存在沒(méi)能解決的技術(shù)性問(wèn)題。這次研究主要是針對(duì)目標(biāo)跟蹤過(guò)程中的遮擋問(wèn)題，實(shí)際應(yīng)用中的遮擋情況更為復(fù)雜。一方面，這次研究并未對(duì)目標(biāo)進(jìn)入遮擋狀態(tài)或退出遮擋狀態(tài)過(guò)程的特征提取及定位跟蹤進(jìn)行深入分析，這就導(dǎo)致算法僅能就遮擋前后進(jìn)行目標(biāo)跟蹤，無(wú)法在遮擋情況下進(jìn)行預(yù)測(cè)跟蹤。另一方面，由于篇幅所限，這次研究沒(méi)有提出目標(biāo)遮擋狀態(tài)的判斷函數(shù)，這需要在今后作出詳細(xì)討論。遮擋環(huán)境是目標(biāo)跟蹤控制和定位技術(shù)所面臨的常見(jiàn)性問(wèn)題，因此這次研究所提出的算法在車(chē)輛導(dǎo)航、交通檢測(cè)識(shí)別等領(lǐng)域都具有較高的應(yīng)用價(jià)值。對(duì)于這次研究沒(méi)能解決的問(wèn)題，將在今后的工作中繼續(xù)深入，并將算法向?qū)嶋H應(yīng)用方向進(jìn)行優(yōu)化。