周志峰，涂 婷，王立端，吳明暉

(1.上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院，上海 201620；2.上海司南衛(wèi)星導(dǎo)航技術(shù)股份有限公司，上海 201801)

1 引 言

隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，視頻數(shù)據(jù)已經(jīng)成為保存信息的重要載體，利用視覺跟蹤技術(shù)在海量視頻數(shù)據(jù)中挖掘有用的信息是計(jì)算機(jī)視覺領(lǐng)域的重點(diǎn)和難點(diǎn)之一。視覺跟蹤技術(shù)包含了圖像處理、目標(biāo)檢測(cè)、人工智能、模式識(shí)別等多學(xué)科技術(shù)[1-3]，廣泛應(yīng)用于智能監(jiān)控、航天航空以及智能駕駛等領(lǐng)域[4]。但在跟蹤過程中往往會(huì)遇到光照變化、目標(biāo)遮擋、尺寸變化、短暫消失、快速運(yùn)動(dòng)以及視頻數(shù)據(jù)分辨率低等問題，因此，視覺跟蹤領(lǐng)域的研究人員提出了大量的視覺跟蹤方法。2012年，Kalal等人提出了一種單目標(biāo)半監(jiān)督在線學(xué)習(xí)的跟蹤學(xué)習(xí)檢測(cè)(TLD)算法，將檢測(cè)器與跟蹤器結(jié)合起來，同時(shí)利用在線學(xué)習(xí)提高檢測(cè)器的精度[5]。當(dāng)目標(biāo)在視野中消失后再次出現(xiàn)時(shí)，TLD算法能夠滿足再次跟蹤的要求。傳統(tǒng)TLD算法的光流跟蹤器需要假設(shè)灰度不變，并且引入NCC相似性以及FB誤差作為篩選跟蹤點(diǎn)的衡量標(biāo)準(zhǔn)，但當(dāng)跟蹤過程中發(fā)生目標(biāo)遮擋或光照變化等情況時(shí)，光流跟蹤器會(huì)產(chǎn)生漂移[6]，導(dǎo)致目標(biāo)跟蹤失敗。同時(shí)檢測(cè)模塊對(duì)圖像進(jìn)行全局掃描[7]，增加了大量與目標(biāo)無關(guān)的圖像數(shù)據(jù)，影響檢測(cè)速度。

TLD算法雖然在目標(biāo)出現(xiàn)短暫消失后依舊能夠再次跟蹤目標(biāo)，且具有較好的魯棒性，但是該算法仍然存在很多不足。自TLD算法提出以來，不少改進(jìn)算法也相繼被提出。TLD算法檢測(cè)模塊是基于全局掃描產(chǎn)生大量的圖像塊進(jìn)行檢測(cè)，該策略會(huì)產(chǎn)生大量無用的背景圖像塊，影響檢測(cè)效率。文獻(xiàn)[5]提出利用改進(jìn)的Kalman濾波器來提高TLD算法跟蹤性能，通過估計(jì)目標(biāo)區(qū)域來減小檢測(cè)區(qū)域，提高處理速度。文獻(xiàn)[8]在Kalman濾波的基礎(chǔ)上使用加速度預(yù)測(cè)來修正檢測(cè)區(qū)域，縮小檢測(cè)范圍。文獻(xiàn)[9]提出在TLD檢測(cè)模塊中加入馬爾可夫方向預(yù)測(cè)器，增強(qiáng)檢測(cè)器的分辨能力，使TLD算法具有較好的跟蹤性能。文獻(xiàn)[10]在TLD算法檢測(cè)模塊中加入在線位置預(yù)測(cè)機(jī)制，減小檢測(cè)器的檢測(cè)區(qū)域。TLD算法跟蹤模塊采用LK光流法進(jìn)行跟蹤，極易受光照影響。秦飛等人針對(duì)TLD算法跟蹤模塊的缺點(diǎn)，提出了一種基于關(guān)鍵特征點(diǎn)檢測(cè)的TLD改進(jìn)算法[10]，能夠使被選中的特征點(diǎn)進(jìn)行穩(wěn)定地跟蹤。文獻(xiàn)[11]提出將改進(jìn)的meanshift算法與TLD算法的跟蹤模塊相結(jié)合，提高算法的抗遮擋能力。文獻(xiàn)[12]提出利用二進(jìn)制穩(wěn)健不變可擴(kuò)展特征點(diǎn)和區(qū)域估計(jì)來提高TLD算法的成功率、穩(wěn)健性以及運(yùn)行速度。王姣堯等人提出在TLD算法的跟蹤模塊中采用尺度自適應(yīng)的核相關(guān)濾波器(KCF)，同時(shí)使用光流法進(jìn)行目標(biāo)預(yù)測(cè)，動(dòng)態(tài)調(diào)整檢測(cè)區(qū)域，實(shí)現(xiàn)精準(zhǔn)定位[13]。文獻(xiàn)[14]提出了一種基于時(shí)空上下文相似性的TLD算法，通過計(jì)算置信度來確定目標(biāo)位置，能夠在目標(biāo)遮擋、快速運(yùn)動(dòng)等情況下進(jìn)行精準(zhǔn)跟蹤。

本文提出一種基于人工魚群粒子濾波的TLD(AFPF-TLD)改進(jìn)算法，針對(duì)傳統(tǒng)TLD算法的跟蹤模塊和檢測(cè)模塊進(jìn)行改進(jìn)。首先，利用人工魚群粒子濾波跟蹤器代替?zhèn)鹘y(tǒng)TLD算法的跟蹤模塊，將顏色直方圖特征和方向梯度直方圖特征進(jìn)行融合，建立目標(biāo)表觀模型，引入圖像金字塔多尺度思想進(jìn)行尺度匹配，提高目標(biāo)跟蹤的穩(wěn)健性；然后，利用人工魚群粒子濾波算法預(yù)測(cè)目標(biāo)區(qū)域，將檢測(cè)模塊的全局掃描替換成局部掃描，剔除大量非目標(biāo)區(qū)域，提高檢測(cè)效率。實(shí)驗(yàn)結(jié)果表明：與傳統(tǒng)TLD算法相比，基于人工魚群粒子濾波的TLD改進(jìn)算法具有良好的跟蹤性能。

2 人工魚群粒子濾波跟蹤器

粒子濾波(Particle Filter,PF)是一種基于蒙特卡洛仿真的近似貝葉斯濾波算法[15]，其主要思想是利用一些帶權(quán)重的樣本集來近似表示概率分布，但經(jīng)過若干次迭代后，粒子權(quán)重出現(xiàn)退化問題。為了解決粒子的退化問題，把粒子群作為魚群，通過魚群的覓食、追尾和聚群3種自由行動(dòng)使粒子采樣于高似然度的區(qū)域[16]，提高算法的效率。

圖1 基于人工魚群優(yōu)化的粒子濾波算法Fig.1 Particle filter algorithm based on artificial fish swarm optimization

(1)

(2)

式中：Y(Xi)為適應(yīng)度函數(shù)，定義為候選區(qū)域與目標(biāo)區(qū)域特征的巴氏系數(shù)；Xi為當(dāng)前目標(biāo)中心位置，Xj為魚群感知范圍內(nèi)隨機(jī)候選的另外一個(gè)目標(biāo)中心位置，Xc為魚群視野范圍內(nèi)伙伴的中心位置；‖·‖為歐式距離；Rand()為[0,1]內(nèi)的隨機(jī)數(shù)；s為魚群移動(dòng)最大步長(zhǎng)；n為視野范圍內(nèi)伙伴數(shù)量；δ為擁擠度因子；t為迭代次數(shù)。

為了提高跟蹤算法的穩(wěn)定性，提出一種基于粒子濾波原理的多特征融合策略，將顏色直方圖和方向梯度直方圖的融合特征作為目標(biāo)表觀模型。顏色直方圖特征表示色彩分布比例，對(duì)目標(biāo)的尺度、形變具有較好的魯棒性，但忽略了空間信息；方向梯度直方圖特征描述圖像物體的輪廓和形狀，能夠較好地適應(yīng)光照變換，但無法應(yīng)對(duì)形變問題。因此在人工魚群粒子濾波跟蹤模塊中引入多特征融合策略，其主要思想是在粒子更新過程中通過候選區(qū)域的單個(gè)特征與目標(biāo)區(qū)域的巴氏距離來實(shí)現(xiàn)權(quán)重自適應(yīng)多特征融合的目的。

設(shè)目標(biāo)區(qū)域特征為p，候選區(qū)域特征為q，則目標(biāo)區(qū)域與候選區(qū)域的巴氏距離如式(3)所示。然后通過似然函數(shù)計(jì)算特征權(quán)重，如式(4)所示，當(dāng)巴氏距離越小(即相似程度越大)時(shí)，該特征所占的權(quán)重越大，說明該特征在融合特征中更能用于反映目標(biāo)狀態(tài)。

(3)

式中：i表示第i種特征；u表示特征維度。

(4)

式中:σ表示縮放因子。

3 改進(jìn)的TLD跟蹤算法

傳統(tǒng)TLD算法在出現(xiàn)遮擋或光照變化等情況時(shí)容易跟蹤失敗，基于人工魚群粒子濾波的TLD改進(jìn)算法選用顏色直方圖和方向梯度直方圖的融合特征作為目標(biāo)表觀模型，構(gòu)建人工魚群粒子濾波跟蹤器，在濾波過程中進(jìn)行目標(biāo)狀態(tài)預(yù)測(cè)，預(yù)測(cè)區(qū)域作為級(jí)聯(lián)分類器的輸入，成功通過級(jí)聯(lián)分類器的區(qū)域被認(rèn)定含有目標(biāo)[17]，將跟蹤結(jié)果與檢測(cè)結(jié)果進(jìn)行融合作為最終的跟蹤結(jié)果。基于人工魚群粒子濾波的TLD改進(jìn)算法流程圖如圖2所示?；谌斯~群粒子濾波TLD改進(jìn)算法首先對(duì)視頻序列判斷是否為第一幀圖像：若為第一幀圖像，則人工選取初始目標(biāo)框；反之根據(jù)式(5)中的跟蹤目標(biāo)運(yùn)動(dòng)模型和狀態(tài)更新方程開始濾波。濾波過程輸出的粒子分布區(qū)域作為檢測(cè)塊輸入至級(jí)聯(lián)分類器中，如果檢測(cè)塊依次通過方差分類器、隨機(jī)森林分類器和最鄰近分類器，則判定該區(qū)域含有目標(biāo)；同時(shí)提取濾波區(qū)域的顏色直方圖和方向梯度直方圖的融合特征，計(jì)算與初始目標(biāo)的相似度作為粒子權(quán)重，使用最大后驗(yàn)概率準(zhǔn)則更新跟蹤區(qū)域。最后，將檢測(cè)模塊和跟蹤模塊的結(jié)果輸入綜合模塊進(jìn)行融合，獲得最終跟蹤區(qū)域，利用學(xué)習(xí)模塊對(duì)跟蹤模塊和檢測(cè)模塊進(jìn)行更新修正。

圖2 AFP-TLD算法流程圖Fig.2 Flow chart of AFP-TLD algorithm

(5)

式中：S表示目標(biāo)狀態(tài)；Sk表示k時(shí)刻的目標(biāo)狀態(tài)；(x,y)表示目標(biāo)跟蹤區(qū)域的中心坐標(biāo)；w,h表示目標(biāo)跟蹤區(qū)域的寬和高；α表示尺度變換因子；A和B表示粒子更新系數(shù)；N表示高斯噪聲。

4 測(cè)量實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證基于人工魚群粒子濾波TLD改進(jìn)算法的跟蹤效果，基于Visual Tracking Benchmark視頻跟蹤數(shù)據(jù)集中的BlurBody(BB)、BlurFace(BF)、Box(BX)、Car2(CR)、Coke(CE)、DragonBaby(DB)、Dudek(DK)、Doll(DL)、Girl(GL)和Trellis(TS)10組視頻序列進(jìn)行跟蹤實(shí)驗(yàn)，每個(gè)視頻序列包含了復(fù)雜情況下的跟蹤難點(diǎn)，屬性如表1所示，其中“IV”表示光照變化(Illumination Variation)、“SV”表示尺度變化(Scale Variation)、“OCC”表示遮擋(Occlusion)、“DEF”表示形變(Deformation)、“MB”表示運(yùn)動(dòng)模糊(Motion Blur)、“FM”表示快速運(yùn)動(dòng)(Fast Motion)、“IPR”表示平面內(nèi)旋轉(zhuǎn)(In-Plane Rotation)、“OPR”表示平面外旋轉(zhuǎn)(Out-of-Plane Rotation)、“LR”表示低分辨率(Low Resolution)。在CPU為Intel(R) Core (TM) i5-4200M CPU @ 2.50 GHz × 4的Ubuntu18.10系統(tǒng)下，利用CLion2019進(jìn)行實(shí)驗(yàn)分析。為了定量分析AFPF-TLD算法的改進(jìn)效果，采用精準(zhǔn)度(Precision,PS)、成功率(Success Rate,SR)和每秒幀數(shù)(Frames Per Second,FPS)作為定量評(píng)價(jià)指標(biāo)，利用一次性評(píng)估方式繪制總體跟蹤性能曲線圖，并利用曲線線下面積對(duì)跟蹤算法性能進(jìn)行評(píng)分，評(píng)分越高表示性能越好。

表1 視頻序列跟蹤難點(diǎn)屬性Tab.1 Difficult attributes of video sequence tracking

為了驗(yàn)證AFPF-TLD算法的改進(jìn)效果，對(duì)傳統(tǒng)TLD、KCF、CSRT和AFPF-TLD算法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表2所示。由于粒子濾波過程對(duì)目標(biāo)區(qū)域進(jìn)行預(yù)測(cè)，將檢測(cè)模塊的全局掃描改為局部掃描，AFPF-TLD算法跟蹤速度有明顯提高，平均可達(dá)到33.87 FPS，相較于傳統(tǒng)TLD算法的24.41 FPS提高了9.46 FPS。在BlurBody、BlurFace、Box、DragonBaby、Girl和Trellis視頻序列上，AFPF-TLD算法的成功率、精準(zhǔn)度和跟蹤速度均高于傳統(tǒng)TLD算法，其跟蹤性能有明顯提高。相較于CSRT算法，AFPF-TLD算法的跟蹤速度更具優(yōu)勢(shì)，并且在Box、DragonBaby和Girl視頻序列中，AFPF-TLD算法的跟蹤性能優(yōu)于CSRT算法。與MIL算法相比，AFPF-TLD算法的跟蹤速度更快，而且在BlurBody、BlurFace、Coke、DragonBaby和Trellis視頻序列中，AFPF-TLD算法跟蹤性能優(yōu)于MIL算法。與KCF算法對(duì)比，雖然AFPF-TLD算法的跟蹤速度不及KCF算法，但是在除了Car2和Dudek序列之外的8組視頻序列中，AFPF-TLD算法的跟蹤效果明顯優(yōu)于KCF算法。

表2 多算法跟蹤結(jié)果Tab.2 Tracking results of multi algorithm

圖3為10組視頻序列的總體跟蹤性能，其中紅色實(shí)線表示AFPF-TLD算法，綠色雙點(diǎn)劃線表示KCF算法，黑色虛線表示傳統(tǒng)TLD算法，藍(lán)色點(diǎn)劃線表示CSRT算法，深黃色短劃線表示MIL算法。從圖3中可以明顯看出：相比于傳統(tǒng)TLD算法，AFPF-TLD算法總體跟蹤性能明顯提高，其成功率評(píng)分由0.394提高至0.469，精準(zhǔn)度評(píng)分由0.475提高至0.608，分別提高了19.04%和28.00%。與MIL算法相比，AFPF-TLD算法的總體跟蹤精準(zhǔn)度評(píng)分提高了0.154；相對(duì)于KCF算法，AFPF-TLD算法的總體跟蹤成功率評(píng)分與精準(zhǔn)度評(píng)分分別提高了0.219和0.318；但AFPF-TLD算法的總體跟蹤成功率評(píng)分和精準(zhǔn)度評(píng)分略低于CSRT算法。

(a) 總體成功率曲線圖(a) Plots of overall success rate

5 結(jié) 論

本文提出了一種基于人工魚群粒子濾波的TLD改進(jìn)算法。首先，利用人工魚群思想優(yōu)化粒子濾波，使粒子位于高似然度區(qū)域，提高粒子質(zhì)量。然后，構(gòu)建顏色直方圖與方向梯度直方圖多特征融合表觀模型和人工魚群粒子濾波跟蹤器。最后，使用人工魚群粒子濾波跟蹤器代替?zhèn)鹘y(tǒng)的LK光流法，通過粒子濾波過程預(yù)測(cè)目標(biāo)位置，將檢測(cè)模塊的全局掃描改進(jìn)為局部掃描，減少圖像塊，提高檢測(cè)效率?；赩isual Tracking Benchmark數(shù)據(jù)集進(jìn)行跟蹤實(shí)驗(yàn)，定量分析可得：AFPF-TLD算法改進(jìn)效果明顯，相比于傳統(tǒng)TLD算法，其跟蹤成功率與精準(zhǔn)度分別提高了19.04%和28.00%，平均跟蹤速度可達(dá)33.87 FPS，提高了38.78%。