沈澤君,丁飛飛,楊文元,b

(閩南師范大學(xué) a.福建省粒計(jì)算及其應(yīng)用重點(diǎn)實(shí)驗(yàn)室; b.計(jì)算機(jī)學(xué)院,福建 漳州 363000)

0 概述

視頻跟蹤技術(shù)是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向,其目的是在連續(xù)的圖像序列中建立一個(gè)可更新跟蹤目標(biāo)的動(dòng)態(tài)表觀模型[1]。跟蹤技術(shù)廣泛應(yīng)用于自動(dòng)駕駛、醫(yī)學(xué)圖像跟蹤分析、安防監(jiān)控、軍事偵察等領(lǐng)域[2]。雖然在過去幾十年中視頻跟蹤技術(shù)得到了快速的發(fā)展[3-5],但其還面臨一定挑戰(zhàn),目標(biāo)外觀變化或目標(biāo)模糊等不確定因素均給跟蹤過程增加了難度。

近年來,基于生成學(xué)習(xí)類算法和判別學(xué)習(xí)類算法的跟蹤技術(shù)相繼被提出,如文獻(xiàn)[6]提出的自適應(yīng)局部結(jié)構(gòu)稀疏表觀模型和文獻(xiàn)[7]提出的利用稀疏協(xié)同模型引入判別信息的稀疏表觀模型。雖然上述模型提高了目標(biāo)跟蹤的精準(zhǔn)度,但未解決如何降低復(fù)雜度、提高魯棒性的問題。判別式相關(guān)濾波(DCF)跟蹤算法在平衡跟蹤精度和速度之間取得了較好效果。DCF跟蹤算法通過傅里葉變換將卷積計(jì)算轉(zhuǎn)換為點(diǎn)乘計(jì)算,使其具有較高的計(jì)算效率,有效地降低了算法的復(fù)雜度。但是,該算法對(duì)樣本的數(shù)量有較高要求。為解決該問題,文獻(xiàn)[8]提出一種最小均方誤差輸出總和濾波器(MOSSE)。在MOSSE的基礎(chǔ)上,研究人員提出了大量的改進(jìn)算法[1],如文獻(xiàn)[9]提出的基于循環(huán)矩陣結(jié)構(gòu)核相關(guān)濾波跟蹤算法(CSK)。為了進(jìn)一步提高對(duì)尺度變化的處理效果,文獻(xiàn)[10]提出具有特征融合的尺度自適應(yīng)核相關(guān)濾波跟蹤器(SAMF)。近幾年,基于結(jié)構(gòu)相關(guān)濾波器[11]、基于長時(shí)域跟蹤相關(guān)濾波器[12-14]、基于端到端相關(guān)濾波器[15-16]、基于核相關(guān)濾波器[17-18]和基于過濾式相關(guān)濾波器[19-21]相繼被提出。其中,將DCF和深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)特征相結(jié)合,可以得到較好的效果[22]。但是,在已有的相關(guān)濾波器跟蹤算法中,通過分析各特征之間的粒度關(guān)系來提高算法精準(zhǔn)度和時(shí)間效率的研究較少[23-24],并且多數(shù)跟蹤算法只考慮單一特征的提取或者只對(duì)不同特征進(jìn)行簡單結(jié)合。

粒計(jì)算思維通過劃分不同的粒度來求解問題[25]。粒子是粒計(jì)算模型的最小單位,一個(gè)較小的特征可以構(gòu)成一個(gè)粒子,一個(gè)覆蓋面較廣的特征可以構(gòu)成一個(gè)較大的粒子。不同粒子可能位于不同的粒層,不同的?；瘶?biāo)準(zhǔn)對(duì)同一個(gè)跟蹤算法生成的粒度也不同[26]。粒計(jì)算主要考慮3個(gè)問題,一是如何選取合適的粒化標(biāo)準(zhǔn)來確定粒層,二是如何在不同粒層上求解問題,三是如何在各個(gè)粒層間相互置換和融合[25]。

本文提出一種基于粒計(jì)算思維的多粒度相關(guān)濾波視頻跟蹤算法(MGCF)。MGCF算法對(duì)輸入的視頻圖像中每一幀進(jìn)行基礎(chǔ)特征提取,組成一個(gè)基礎(chǔ)特征池,通過選取特征池中不同的基礎(chǔ)特征構(gòu)造出不同粒度的特征序列,根據(jù)特征序列構(gòu)成不同粒度的相關(guān)濾波器。對(duì)該幀進(jìn)行各粒度跟蹤,依據(jù)對(duì)比評(píng)估和自我評(píng)估來計(jì)算各粒度下輸出結(jié)果的穩(wěn)健性評(píng)估得分,根據(jù)評(píng)估得分的高低選擇最優(yōu)的粒度,該粒度的跟蹤結(jié)果即為該幀的輸出,系統(tǒng)累計(jì)各幀的輸出并作為最終的跟蹤結(jié)果。

1 相關(guān)工作

1.1 濾波視頻跟蹤算法

DCF跟蹤算法的計(jì)算效率較高,其利用傅里葉變換將傳統(tǒng)的卷積運(yùn)算轉(zhuǎn)化成點(diǎn)乘運(yùn)算。設(shè)輸入的特征為x,g為相關(guān)濾波器,根據(jù)卷積理論可得:

(1)

(2)

訓(xùn)練后的卷積核為:

(3)

根據(jù)上述方法可以在對(duì)圖像進(jìn)行循環(huán)卷積操作時(shí)大幅降低算法的復(fù)雜度。對(duì)一個(gè)n×n的圖像分別進(jìn)行傳統(tǒng)的卷積操作和利用傅里葉變換進(jìn)行點(diǎn)乘運(yùn)算,其算法復(fù)雜度分別為O(n4)和O(n2lgn)。

利用卷積的性質(zhì),可以通過第i個(gè)輸入快速找到其對(duì)應(yīng)的標(biāo)簽yi[27]。將相關(guān)濾波器當(dāng)成一個(gè)分類器,假設(shè)存在關(guān)系f(xi)=yi,則可以將訓(xùn)練過程等價(jià)于優(yōu)化以下的目標(biāo)函數(shù):

(4)

其中,δ為模型參數(shù),λ為防止過擬合的正則項(xiàng)系數(shù),G為損失函數(shù),具體如下:

G(f(δ,xi),yi)=(yi-f(δ,xi))2

(5)

函數(shù)f(xi)的表現(xiàn)形式多樣,在式(5)中可表示為線性操作,如f(xi)=〈δ,xi〉+b。其中,〈〉為點(diǎn)積,b為常數(shù)偏值。在此線性定義下,可以利用二次誤差的正則最小二乘法進(jìn)行優(yōu)化,得到如下閉合解:

δ=(XTX+λI)-1XTy

(6)

其中,X矩陣的行向量表示訓(xùn)練樣本,y向量為對(duì)應(yīng)的標(biāo)簽信息,I為單位矩陣。

可以通過引入核函數(shù)來提高算法性能。例如,利用β(x)將輸入值x映射到一個(gè)非線性的特征空間并匯總,使得參數(shù)δ可以用一個(gè)線性組合類來表示:

(7)

根據(jù)文獻(xiàn)[28]的研究結(jié)果,最終的函數(shù)f(xi)如式(8)所示:

(8)

其中,κ(xi,xj)=〈β(xi),β(xj)〉,核矩陣k中對(duì)應(yīng)的元素kij=κ(xi,xj),則求解的優(yōu)化問題可以轉(zhuǎn)變?yōu)?

α=(K+λI)-1y

(9)

跟蹤的過程就是利用一個(gè)已訓(xùn)練好的參數(shù)和一個(gè)基于樣本所構(gòu)成的模型來檢測(cè)待測(cè)區(qū)域。當(dāng)待測(cè)區(qū)域出現(xiàn)時(shí),最終的響應(yīng)可以由式(10)得到:

(10)

1.2 粒計(jì)算的粒度理論

(11)

B的粒度反映其分辨能力[29]。GD(B)表示在U中隨機(jī)挑選2個(gè)對(duì)象的B-不可分辨的可能性的大小,其值越大表示分辨能力越弱。

2 多粒度相關(guān)濾波器

如圖1所示,MGCF算法對(duì)輸入的圖像提取基礎(chǔ)特征構(gòu)成一個(gè)特征池,通過對(duì)特征池中的基礎(chǔ)特征進(jìn)行組合,構(gòu)成不同粒度下的相關(guān)濾波器,然后根據(jù)其穩(wěn)健性評(píng)估得分的高低選擇最優(yōu)結(jié)果,粒度的跟蹤輸出就作為該幀的結(jié)果。

圖1 MGCF算法的系統(tǒng)流程

2.1 基礎(chǔ)特征池與粒度池

MGCF算法有一個(gè)粒度池用以收納各粒度下的相關(guān)濾波器,其相關(guān)濾波器是由基礎(chǔ)特征池中的4組基礎(chǔ)特征組合形成。第一組基礎(chǔ)特征為文獻(xiàn)[30]中使用的方向梯度直方圖(HOG)特征,記為C1,余下3組使用文獻(xiàn)[31]提出的HOG特征版本,第二組使用其1維～18維,第三組使用其19維～27維,第四組使用其28維～31維,分別記為C2、C3、C4。綜上,基礎(chǔ)特征池為{C1,C2,C3,C4},并組合形成14個(gè)相關(guān)濾波器,記為Gi。各粒度下的相關(guān)濾波器對(duì)應(yīng)的特征組合如表1所示。

表1 各粒度相關(guān)濾波器對(duì)應(yīng)的特征組合

Table 1 Characteristic combination corresponding to each granularity of correlation filter

相關(guān)濾波器特征組合相關(guān)濾波器特征組合G1{C1}G8{C2,C3}G2{C2}G9{C2,C4}G3{C3}G10{C3,C4}G4{C4}G11{C1,C2,C3}G5{C1,C2}G12{C1,C2,C4}G6{C1,C3}G13{C2,C3,C4}G7{C1,C4}G14{C1,C2,C3,C4}

雖然與G11～G14相比,G1～G4的特征較少,但是它們?yōu)楦櫧Y(jié)果提供了多樣性,這對(duì)于整個(gè)跟蹤系統(tǒng)的判斷是必不可少的。

2.2 多粒度相關(guān)跟蹤器

本文MGCF算法是可多線程并行的跟蹤算法,并且可以基于各粒度下的跟蹤判斷綜合評(píng)價(jià)出一個(gè)最優(yōu)解給每一幀。如圖2所示,節(jié)點(diǎn)為各粒度下的預(yù)測(cè)結(jié)果,通過對(duì)比評(píng)估和自我評(píng)估可得出每個(gè)粒度的穩(wěn)健性評(píng)估得分。

圖2 評(píng)估過程示意圖

2.2.1 對(duì)比評(píng)估

(12)

(13)

(14)

(15)

(16)

2.2.2 自我評(píng)估

(17)

2.2.3 各粒度的穩(wěn)健性評(píng)估與篩選

(18)

其中,μ為參數(shù)。在各幀下,系統(tǒng)根據(jù)各粒度的穩(wěn)健性評(píng)估得分來篩選出最優(yōu)粒度,以此作為當(dāng)前的跟蹤結(jié)果。

2.3 MGCF算法模型

如圖3所示(彩色效果見《計(jì)算機(jī)工程》官網(wǎng)電子版),多粒度相關(guān)濾波跟蹤算法共有14個(gè)粒度濾波器對(duì)圖像進(jìn)行跟蹤,在每一幀中,選擇穩(wěn)健性評(píng)估得分最高的粒度作為該幀的結(jié)果,如MGCF算法在第32幀中選擇粒度13、在第142幀中選擇粒度7、在第206幀中選擇粒度6。MGCF算法模型如圖4所示。

圖3 MGCF算法的粒度選擇過程

圖4 MGCF算法模型

MGCF算法步驟具體如下:

算法1MGCF算法

輸入視頻序列X={x1,x2,…,xn},第一幀的初始位置

1.對(duì)第i幀的圖像數(shù)據(jù)進(jìn)行基礎(chǔ)特征提取

2.由基礎(chǔ)特征組合各粒度的相關(guān)濾波器

4.進(jìn)入下一幀,返回步驟1,直到n

3 實(shí)驗(yàn)結(jié)果與分析

在OTB-2013和OTB-2015 2個(gè)公開數(shù)據(jù)集上,將本文MGCF算法與SRDCF、C-COT、SAMF、Staple、KCF和DCFNet 6個(gè)視頻跟蹤算法進(jìn)行比較與分析。

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)使用CPU為Intel(R)Core(TM)i7-6500U、GPU為GeForce 920MX、內(nèi)存為8 GB的電腦,MATLAB使用2018b版本。式(18)中的μ設(shè)置為0.1,實(shí)驗(yàn)過程中的其他參數(shù)如表2所示。

表2 實(shí)驗(yàn)參數(shù)設(shè)置

3.2 結(jié)果分析

在實(shí)驗(yàn)中,使用魯棒性作為定量分析標(biāo)準(zhǔn),將文本算法與SRDCF、C-COT、SAMF、Staple、KCF和DCFNet 6個(gè)算法進(jìn)行像素誤差和重疊率比較。像素誤差是預(yù)測(cè)位置與實(shí)際位置的像素位移差,重疊率是重疊區(qū)域除以2個(gè)矩形總面積的比值。魯棒性評(píng)估分為空間魯棒性(SRE)和時(shí)間魯棒性(TRE)2種,MGCF算法在空間魯棒性中能獲得較高的性能,但是在時(shí)間魯棒性上表現(xiàn)不足。

3.2.1 像素誤差性能分析

如圖5(a)～圖5(e)所示(中括號(hào)內(nèi)數(shù)字為精準(zhǔn)度平均值),MGCF算法在快速運(yùn)動(dòng)、平面內(nèi)外旋轉(zhuǎn)和尺度變化這4種情況下能取得最佳效果,精準(zhǔn)度分別為91.7%、93.1%、91.3%和90.9%,比性能第2的算法分別高出1.3%、2.3%、2.7%和1.7%。但是,在遮擋情況下MGCF算法表現(xiàn)不佳,精準(zhǔn)度只有93.3%,比SAMF算法低1.4%。

圖5 7種算法的像素誤差性能分析

3.2.2 重疊率性能分析

如圖6(a)～圖6(e)所示(中括號(hào)內(nèi)數(shù)字為成功率平均值),MGCF算法在快速運(yùn)動(dòng)、平面內(nèi)外旋轉(zhuǎn)和尺度變化4種情況下均能取得最佳性能,成功率分別為86.1%、85.4%、82.2%和83.9%,比性能第2的算法分別高出2.4%、4.3%、5.8%和1.0%。但是,在遮擋情況下MGCF算法表現(xiàn)不佳,成功率只有74.6%,比Staple算法低5.3%。

圖6 7種算法的重疊率性能分析

3.2.3 綜合比較

如圖7所示,MGCF算法在空間魯棒性下的像素誤差和重疊率分別為94.2%和87.0%,C-COT、Staple、SRDCF的精準(zhǔn)度分別為87.8%、78.9%、74.8%,成功率分別為75.6%、70.4%、67%。MGCF相對(duì)C-COT、Staple、SRDCF的精準(zhǔn)度分別提高6.4%、15.3%、19.4%,成功率分別提高11.4%、16.6%、20%。

圖7 7種算法的精準(zhǔn)度和成功率對(duì)比

3.2.4 運(yùn)算時(shí)效性分析

本實(shí)驗(yàn)采用CPU為Intel(R)Core(TM)i7-6500U的計(jì)算機(jī)進(jìn)行運(yùn)算,各算法運(yùn)行速度如表3所示,MGCF算法速度為7.8 FPS,該算法使用4組基礎(chǔ)特征構(gòu)造出14個(gè)粒度相關(guān)濾波器,對(duì)每一幀的圖像進(jìn)行自我評(píng)估和對(duì)比評(píng)估,并據(jù)此得出最終的穩(wěn)健性評(píng)估值。由于MGCF算法根據(jù)穩(wěn)健性評(píng)估值的高低排序來篩選最后的跟蹤結(jié)果,需要分別用各個(gè)粒度特征來更新濾波模板,然后對(duì)每一幀進(jìn)行跟蹤評(píng)估,其運(yùn)算量較大,導(dǎo)致運(yùn)算時(shí)效性不高。

表3 各算法運(yùn)行速度比較

4 結(jié)束語

本文結(jié)合粒計(jì)算思維提出一種多粒度相關(guān)濾波跟蹤算法MGCF,該算法在多個(gè)相關(guān)濾波器中提出了粒度的概念,從粒度角度將分散的多線程跟蹤進(jìn)行有效地結(jié)合,解決了傳統(tǒng)視頻跟蹤算法的特征單一性問題。實(shí)驗(yàn)結(jié)果表明,MGCF算法具有較好的視頻跟蹤性能,成功率較高,但在時(shí)間魯棒性實(shí)驗(yàn)中,存在多個(gè)干擾因素時(shí)其性能不佳,精準(zhǔn)度較低。下一步將結(jié)合深度特征和遷移學(xué)習(xí)等技術(shù)解決MGCF算法在時(shí)間魯棒性實(shí)驗(yàn)中精準(zhǔn)度不高的問題。