王海軍，張圣燕，杜玉杰

(濱州學(xué)院 山東省高校航空信息與控制重點(diǎn)實(shí)驗(yàn)室，山東 濱州 256603)

無(wú)人機(jī)目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域一項(xiàng)重要的研究課題，在智能安防、森林防火、航空攝影等領(lǐng)域得到了廣泛的應(yīng)用。盡管國(guó)內(nèi)外學(xué)者對(duì)無(wú)人機(jī)目標(biāo)跟蹤進(jìn)行了大量研究[1-3]，取得了一系列研究成果，但是由于基于無(wú)人機(jī)高空平臺(tái)對(duì)地面小目標(biāo)跟蹤存在角度變化、外觀變化、遮擋、尺度變化等嚴(yán)重影響跟蹤性能的因素，使得設(shè)計(jì)一種魯棒的無(wú)人機(jī)目標(biāo)跟蹤算法仍然是一項(xiàng)充滿挑戰(zhàn)的課題。

近年來(lái)，相關(guān)濾波在目標(biāo)跟蹤領(lǐng)域得到了廣泛的應(yīng)用[4-5]，取得了較高的跟蹤速度和較好的跟蹤性能。文獻(xiàn)[6]首先把相關(guān)濾波應(yīng)用到目標(biāo)跟蹤領(lǐng)域，將時(shí)域的卷積運(yùn)算變換為頻域的點(diǎn)積運(yùn)算，大大提升了跟蹤速度；但是由于該算法采用循環(huán)移位產(chǎn)生的非真實(shí)樣本代替實(shí)際抽取的樣本，使得算法存在邊界效應(yīng)，導(dǎo)致跟蹤性能不高。為了緩解邊界效應(yīng)的不良影響，文獻(xiàn)[7]提出基于背景感知的相關(guān)濾波跟蹤算法，在擴(kuò)大的搜索區(qū)域中采用真實(shí)的候選樣本來(lái)訓(xùn)練濾波器；但是該方法同時(shí)引入了背景噪聲，在場(chǎng)景雜亂時(shí)，容易引起跟蹤漂移。為了解決跟蹤過(guò)程目標(biāo)外觀變化等問(wèn)題，文獻(xiàn)[8]利用歷史幀濾波器作用于當(dāng)前幀訓(xùn)練樣本；但是該方法沒(méi)有考慮前后幀之間的響應(yīng)差異，當(dāng)跟蹤目標(biāo)形變較大時(shí)，容易跟丟目標(biāo)。為了解決上述問(wèn)題，筆者提出了一種基于響應(yīng)差異約束的相關(guān)濾波無(wú)人機(jī)目標(biāo)跟蹤算法，根據(jù)濾波器在幀間變化的一致性，構(gòu)造基于前后幀濾波器作用同一訓(xùn)練樣本的響應(yīng)差異約束機(jī)制，學(xué)習(xí)跟蹤目標(biāo)的外觀變化，有效提升了濾波器的魯棒性。同時(shí)引入輔助因子，采用交替求解算法進(jìn)行濾波器和輔助因子最優(yōu)解的快速計(jì)算。在多個(gè)無(wú)人機(jī)跟蹤視頻庫(kù)上仿真實(shí)驗(yàn)表明，新算法能夠有效提升傳統(tǒng)相關(guān)濾波算法在目標(biāo)外觀變化、角度變化等方面的無(wú)人機(jī)跟蹤性能。

1 傳統(tǒng)相關(guān)濾波跟蹤算法

傳統(tǒng)相關(guān)濾波跟蹤算法中，通過(guò)建模相關(guān)響應(yīng)與樣本標(biāo)簽y的均方差，并轉(zhuǎn)換到頻域進(jìn)行快速計(jì)算，可以學(xué)習(xí)得到濾波器，從而能夠?qū)⒏櫮繕?biāo)從背景中分離出來(lái)。目標(biāo)函數(shù)為

(1)

當(dāng)?shù)趖+1幀視頻到來(lái)時(shí)，跟蹤目標(biāo)位置可以通過(guò)尋找響應(yīng)最大值確定：

(2)

其中，Xt+1表示第t+1幀訓(xùn)練樣本，是以第t幀跟蹤結(jié)果在第t+1幀視頻圖像上選取。

2 響應(yīng)差異約束的相關(guān)濾波跟蹤算法

雖然傳統(tǒng)相關(guān)濾波跟蹤算法在跟蹤速度上具有較大的優(yōu)勢(shì)，但是由于無(wú)人機(jī)跟蹤場(chǎng)景中存在高空視角的遮擋、背景雜亂等嚴(yán)重影響跟蹤性能因素，使得傳統(tǒng)相關(guān)濾波算法跟蹤性能一般。為了有效提升無(wú)人機(jī)跟蹤算法的性能，文中提出考慮響應(yīng)差異約束的相關(guān)濾波跟蹤算法。圖1給出文中算法的流程圖?；诖蠖鄶?shù)視頻跟蹤場(chǎng)景前后連續(xù)幀目標(biāo)的外觀以及位置變化不大，導(dǎo)致前后幀濾波器具有較大的相似性，因此，可以用前后幀濾波器作用于同一訓(xùn)練樣本產(chǎn)生的響應(yīng)差異對(duì)跟蹤目標(biāo)的外觀變化進(jìn)行學(xué)習(xí)。文中算法在傳統(tǒng)相關(guān)濾波跟蹤算法的基礎(chǔ)上引入響應(yīng)差約束項(xiàng)，目標(biāo)函數(shù)為

圖1 文中算法的流程圖

(3)

(4)

其中，S=diag(s)，為對(duì)角矩陣。為了提高計(jì)算效率，根據(jù)帕塞瓦爾定理，式(4)可以變換到頻域進(jìn)行計(jì)算：

(5)

其中，⊙表示兩矩陣對(duì)應(yīng)元素相乘，F(xiàn)為傅里葉變換矩陣。通過(guò)增廣拉格朗日乘子法，式(5)可進(jìn)一步改寫(xiě)為

(6)

(7)

(8)

(9)

其中，上標(biāo)i和i+1分別表示第i次和第i+1次循環(huán)。

3 實(shí)驗(yàn)結(jié)果

采用Matlab軟件進(jìn)行編程仿真，實(shí)驗(yàn)平臺(tái)配置為Window 10操作系統(tǒng)、Intel(R)Xeon(R)CPU E5-2680@2.4 GHz、128 GB內(nèi)存。為了驗(yàn)證所提算法的優(yōu)越性，在3個(gè)無(wú)人機(jī)視頻庫(kù)：DTB70[9]、UAV123@10 fps[10]和UAVDT[11]上與當(dāng)前比較流行的11種算法進(jìn)行對(duì)比。11種算法分別為AMCF[12]、BACF[7]、ECO-HC[13]、CSR-DCF[14]、MCCT_H[15]、fDSST[16]、Staple[17]、SRDCF[18]、SAMF[19]、KCF[20]、SAMF_CA[21]。

DTB70數(shù)據(jù)集上含有從無(wú)人機(jī)平臺(tái)上獲取的15 777張圖片組成的70個(gè)短視頻。UAV123@10 fps數(shù)據(jù)集中包含123個(gè)速度為10 fps的無(wú)人機(jī)視頻。由于進(jìn)行了人為降速，跟蹤目標(biāo)具有相對(duì)較大的形變，實(shí)現(xiàn)準(zhǔn)確跟蹤更加困難。UAVDT數(shù)據(jù)集含有50個(gè)高空無(wú)人機(jī)視角的短視頻，特別是夜晚和大霧場(chǎng)景下視頻較多，嚴(yán)重影響算法的跟蹤性能。無(wú)人機(jī)視頻通常具有以下幾種不同挑戰(zhàn)性因素：寬高比變化(Aspect Ratio Variation，ARV)、背景雜亂(Background Clutter，BC)、形變(DEFormation，DEF)、相機(jī)快速運(yùn)動(dòng)(Fast Camera Motion，F(xiàn)CM)、平面內(nèi)旋轉(zhuǎn)(In Plane Rotation，IPR)、運(yùn)動(dòng)模糊(Motion Blur，MB)、遮擋(OCClusion，OCC)、平面外旋轉(zhuǎn)(Out of Plane Rotation，OPR)、視野外(Out of View，OV)、尺度變化(Scale Variation，SV)、相似物體干擾(Similar Objects Around，SOA)、完全遮擋(Full OCclusion，F(xiàn)OC)、部分遮擋(Partial OCclusion，POC)、快速運(yùn)動(dòng)(Fast Motion，F(xiàn)M)、光照變化(Illumination Variation，IV)、視角變化(Viewpoint Change，VC)、長(zhǎng)程跟蹤(Long Term Tracking，LTT)等。實(shí)驗(yàn)采用準(zhǔn)確度和跟蹤成功率兩個(gè)指標(biāo)對(duì)跟蹤結(jié)果進(jìn)行評(píng)價(jià)。準(zhǔn)確度表示所有視頻中采用算法估計(jì)的跟蹤目標(biāo)位置與人工標(biāo)注的位置之間的差值小于20個(gè)像素的比值。跟蹤成功率表示所有視頻中計(jì)算得到的覆蓋率大于0.5的比率，其中覆蓋率為G0∩G1/G0∪G1，G0為人工標(biāo)注的跟蹤目標(biāo)覆蓋框的范圍，G1為采用算法估計(jì)的跟蹤目標(biāo)覆蓋框的范圍。

3.1 定量對(duì)比

圖2給出文中算法與11種當(dāng)前比較流行的算法分別在DTB70、UAV123@10 fps、UAVDT等無(wú)人機(jī)數(shù)據(jù)庫(kù)上的跟蹤性能對(duì)比。

圖2 不同算法分別DTB70、UAV123@10 fps、UAVDT無(wú)人機(jī)數(shù)據(jù)庫(kù)上跟蹤準(zhǔn)確度和成功率對(duì)比

從圖中可以看出，在跟蹤準(zhǔn)確度和跟蹤成功率兩個(gè)指標(biāo)上，文中所提算法在所有3個(gè)無(wú)人機(jī)視頻庫(kù)上都取得了第一名的成績(jī)。在DTB70數(shù)據(jù)庫(kù)上，相比基礎(chǔ)相關(guān)濾波算法KCF，文中算法在跟蹤準(zhǔn)確度和跟蹤覆蓋率上分別改善了19.4%和18.3%。在UAV123@10 fps數(shù)據(jù)庫(kù)上，由于降采樣導(dǎo)致部分中間圖像缺失，前后幀目標(biāo)外觀變化相對(duì)較大，給無(wú)人機(jī)對(duì)地目標(biāo)跟蹤帶來(lái)了極大的挑戰(zhàn)。但是文中算法由于采用前后幀濾波器作用于同一樣本產(chǎn)生的響應(yīng)差異對(duì)模型進(jìn)行約束，能夠較好地學(xué)習(xí)到目標(biāo)形變，因此在UAV123@10 fps數(shù)據(jù)庫(kù)上的跟蹤性能在對(duì)比算法中仍然是最優(yōu)的。在UAVDT數(shù)據(jù)庫(kù)中，由于包含較多的能見(jiàn)度不高的視頻，給算法進(jìn)行準(zhǔn)確跟蹤帶來(lái)了較大的困難。文中算法分別以0.734和0.467在跟蹤準(zhǔn)確度和跟蹤成功率兩個(gè)指標(biāo)上取得了最佳的跟蹤效果。CSR-DCF雖然在DTB70和UAV123@10 fps兩個(gè)數(shù)據(jù)庫(kù)跟蹤準(zhǔn)確度指標(biāo)上取得了第二名的成績(jī)，但是在UAVDT數(shù)據(jù)庫(kù)上只取得了第五名。相比文中算法在所有3個(gè)數(shù)據(jù)庫(kù)兩個(gè)不同指標(biāo)上的成績(jī)，表明文中算法具有較好的泛化性。

圖3為跟蹤性能較好的5種算法分別在DTB70、UAV123@10 fps、UAVDT無(wú)人機(jī)數(shù)據(jù)庫(kù)上不同屬性上跟蹤成功率對(duì)比。從中可以看出，幾乎在所有的挑戰(zhàn)性屬性上，文中算法都取得了相對(duì)較好的成績(jī)。

圖3 不同算法分別在DTB70、UAV123@10 fps、UAVDT無(wú)人機(jī)數(shù)據(jù)庫(kù)上不同屬性上跟蹤成功率對(duì)比

3.2 定性對(duì)比

圖4為不同算法分別在DTB70、UAV123@10 fps、UAVDT等無(wú)人機(jī)數(shù)據(jù)庫(kù)上代表性視頻跟蹤結(jié)果對(duì)比。

圖4(a)和4(b)分別為DTB70數(shù)據(jù)庫(kù)中g(shù)ull和soccer1視頻的跟蹤結(jié)果。gull視頻中，海鷗在深藍(lán)色大海上空飛行，目標(biāo)海鷗顏色與藍(lán)天和海水顏色非常接近，同時(shí)海鷗不斷改變飛行姿態(tài)，具有較大的形變。從第235幀圖像中可以看出，對(duì)比的其他4種跟蹤算法都偏離目標(biāo)，只有文中算法能夠較好學(xué)習(xí)目標(biāo)變化，從而實(shí)現(xiàn)準(zhǔn)確的跟蹤。soccer1視頻中，遠(yuǎn)處目標(biāo)人物旁邊存在一位外觀非常接近的人物干擾，從跟蹤結(jié)果上看，除CSR-DCF偏移到干擾人物上，其他算法都能排除干擾，實(shí)現(xiàn)魯棒跟蹤。

圖4(c)和4(d)分別為UAV123@10 fps數(shù)據(jù)庫(kù)中wakeboard 7和group2_2視頻的跟蹤結(jié)果。wakeboard 7視頻中，沖浪運(yùn)動(dòng)員在游艇的牽引下快速移動(dòng)，同時(shí)由于視角變化，存在較大的形變。從第67幀視頻可以看出，SRDCF、MCCT_H、CSR-DCF和ECO-HC 4種算法都偏離目標(biāo)，文中算法能夠通過(guò)學(xué)習(xí)響應(yīng)變化，從而實(shí)現(xiàn)準(zhǔn)確定位目標(biāo)人物。group2_2視頻中，目標(biāo)人物與沙灘顏色比較接近，同時(shí)在第472幀視頻中存在嚴(yán)重的遮擋，從第582幀視頻中可以看出，SRDCF和MCCT_H都跟丟了目標(biāo)。

圖4(e)和4(f)分別為UAVDT數(shù)據(jù)庫(kù)中S1001和S1301跟蹤結(jié)果對(duì)比。S1001視頻中不但有背景樹(shù)木雜亂干擾，也有其他相似車輛的干擾。從結(jié)果上來(lái)看，只有筆者提出的算法能夠同時(shí)不受背景雜亂、相似物體的干擾，準(zhǔn)確地獲得目標(biāo)特征，從而實(shí)現(xiàn)穩(wěn)定的目標(biāo)位置定位。S1301視頻中，目標(biāo)車輛是黑色的，同時(shí)由于是在晚上，比較難獲得目標(biāo)車輛的外觀特征，所以CSR-DCF算法跟丟了目標(biāo)車輛，其他4種算法都實(shí)現(xiàn)了穩(wěn)定的跟蹤。

(a)gull

4 結(jié)束語(yǔ)

筆者提出了一種基于響應(yīng)差異約束的相關(guān)濾波無(wú)人機(jī)平臺(tái)對(duì)地目標(biāo)跟蹤算法。根據(jù)大多數(shù)場(chǎng)景中，前后幀間目標(biāo)位置變化較小，導(dǎo)致濾波器在幀間變化存在一致性，從而使前后幀濾波器作用同一訓(xùn)練樣本的響應(yīng)差異不大，因此能夠建立約束機(jī)制學(xué)習(xí)跟蹤目標(biāo)的外觀變化，大大提升了算法的魯棒性。同時(shí)通過(guò)引入輔助變量，對(duì)濾波器和輔助變量采用交替求解算法進(jìn)行最優(yōu)解的快速計(jì)算。在3個(gè)無(wú)人機(jī)視頻庫(kù)(DTB70、UAV123@10 fps和UAVDT)仿真實(shí)驗(yàn)表明，與其他主流算法相比，新算法在無(wú)人機(jī)視頻存在的目標(biāo)外觀變化、背景雜亂等干擾屬性方面具有較好的跟蹤性能。