許甲云，林淑彬

（閩南師范大學(xué)計(jì)算機(jī)學(xué)院，福建漳州363000）

隨著目標(biāo)跟蹤在計(jì)算機(jī)視覺(jué)[1]領(lǐng)域取得的巨大成功，研究人員開(kāi)始將目標(biāo)跟蹤應(yīng)用于無(wú)人機(jī)的目標(biāo)跟蹤領(lǐng)域[2-3].無(wú)人機(jī)(Unmanned Aerial Vehicle，UAV)由于其自由靈活的飛行方式以及其活動(dòng)范圍廣、空間限制較小的特點(diǎn)，廣泛應(yīng)用于災(zāi)難救援、環(huán)境監(jiān)測(cè)、電力巡檢、人群監(jiān)測(cè)等領(lǐng)域.在對(duì)圖像或視頻進(jìn)行目標(biāo)跟蹤時(shí)，由于運(yùn)動(dòng)目標(biāo)的正確檢測(cè)與分割受到外觀遮擋、光照等因素的影響，無(wú)人機(jī)目標(biāo)跟蹤具有很大的挑戰(zhàn)性[4].

在目標(biāo)跟蹤的過(guò)程中，特征向量對(duì)目標(biāo)跟蹤的精度與成敗起著決定性作用.Danelljan 等[5]利用顏色特征描述目標(biāo)的外觀，對(duì)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤.多通道和多特征的結(jié)合可以準(zhǔn)確地描述目標(biāo)對(duì)象，為了提高目標(biāo)跟蹤的效果，融合目標(biāo)對(duì)象的多種特征與自適應(yīng)尺度并應(yīng)用于目標(biāo)跟蹤任務(wù)中[6-7].Wang 等[8]提出無(wú)人機(jī)跟蹤的自適應(yīng)采樣，采用邊框方案和隨機(jī)樣本進(jìn)行目標(biāo)跟蹤.Fu 等[9-10]提出在線多特征學(xué)習(xí)基于相關(guān)濾波的無(wú)人機(jī)在線多特征學(xué)習(xí)，并提出邊界效應(yīng)視覺(jué)跟蹤器算法，解決無(wú)人機(jī)目標(biāo)跟蹤的邊界效應(yīng)問(wèn)題.Huang 等[11]提出畸變抑制相關(guān)濾波器在解決邊界效應(yīng)的同時(shí)有效抑制畸變的跟蹤方法，并引入裁剪矩陣和正則項(xiàng)來(lái)擴(kuò)大搜索區(qū)域和抑制變異的新型跟蹤方法.Li等[12-13]提出增強(qiáng)記憶的相關(guān)濾波器算法，提高濾波器的識(shí)別能力；進(jìn)一步提出采用自動(dòng)時(shí)空正則化，并在實(shí)際應(yīng)用中驗(yàn)證該算法的有效性和通用性.

但是，在低空無(wú)人機(jī)目標(biāo)跟蹤這一個(gè)領(lǐng)域，依然存在機(jī)遇與挑戰(zhàn).除了如圖像運(yùn)動(dòng)模糊、目標(biāo)形變、外觀遮擋、尺度變化等已經(jīng)存在的傳統(tǒng)的目標(biāo)跟蹤問(wèn)題，由于無(wú)人機(jī)飛行高度和飛行姿態(tài)不穩(wěn)定等因素影響，獲得的圖像畫面小，分辨率不高，使目標(biāo)跟蹤具有更大的困難和挑戰(zhàn)性.多特征的融合增強(qiáng)了算法的表達(dá)能力，但融合后也將伴隨著相似物體或背景噪聲響應(yīng)的產(chǎn)生，跟蹤目標(biāo)發(fā)生漂移、丟失或失敗等現(xiàn)象.

針對(duì)上述存在的這些問(wèn)題，提出基于特征融合和多峰檢測(cè)的無(wú)人機(jī)目標(biāo)跟蹤算法(Feature Fusion and Multi-Peak Detection in UAV Object Tracking，F(xiàn)FMPD).首先，顏色矩特征可以保留目標(biāo)局部區(qū)域的位置信息；顏色直方圖作為全局特征，不受目標(biāo)形狀、姿態(tài)等變化的影響.分別提取目標(biāo)的方向梯度直方圖(Histogram of Oriented Gradients，HOG)特征和顏色矩特征，并訓(xùn)練各自的濾波器模型.對(duì)兩個(gè)特征進(jìn)行加權(quán)，形成融合特征.根據(jù)融合后目標(biāo)響應(yīng)的可靠性對(duì)相關(guān)濾波器的學(xué)習(xí)速率進(jìn)行動(dòng)態(tài)調(diào)整.其次，在跟蹤目標(biāo)中心位置附近的圖像塊提取特征，采用多峰值檢測(cè)方法，防止由于相似目標(biāo)物體或背景噪聲引起的模型漂移.最后，利用高置信度的反饋進(jìn)行更新濾波器模型，避免目標(biāo)跟蹤模型的損壞.在UAV123[14]和Vis-Drone2019[15-16]測(cè)試數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該算法具有更好的精度和魯棒性.

1 相關(guān)濾波器

在某時(shí)刻，兩個(gè)不同波的幅度及頻率相接近，將會(huì)發(fā)生共振現(xiàn)象.在視頻序列的相關(guān)運(yùn)算中，這種圖像信號(hào)可以近似當(dāng)成一個(gè)波形圖，用此方法來(lái)判斷它們的相似度性.相關(guān)運(yùn)算中其一維的計(jì)算公式：

式(1)中，x是位移變量，和是運(yùn)算函數(shù)，c(x)表示在其定義域的相似程度.從時(shí)域空間變換到頻域進(jìn)行簡(jiǎn)化、轉(zhuǎn)換后表示為式(2)：

式(2)中，*表示相關(guān)系運(yùn)算，G(t)分別表示g(t)的傅里葉變換F(t+x)則分別表示f(t+x)的傅里葉變換.通過(guò)計(jì)算相關(guān)濾波器模型h 與輸入圖像f 間的相關(guān)程度，獲得響應(yīng)值g，當(dāng)模型作用在目標(biāo)位置時(shí)，獲得最大的響應(yīng)值.則可表示為：

在計(jì)算時(shí)，利用傅里葉變換，提高計(jì)算速度，減小復(fù)雜度，將相關(guān)運(yùn)算從時(shí)域轉(zhuǎn)換到頻域.

以輸入圖像的目標(biāo)位置區(qū)域?yàn)橹行倪M(jìn)行采樣，獲得圖像塊P 并提取特征f，并作為訓(xùn)練樣本m.為找到最優(yōu)的濾波器h，樣本訓(xùn)練是使輸入樣本和需要輸出之間平方誤差最小.通過(guò)最小化均方差求得：

其中，g 表示訓(xùn)練樣本m 的期望輸出，τ 表示正則化參數(shù)，訓(xùn)練樣本特征f 共有d 維，是為其中的第l 維，l∈{1 ,…,d}.為了計(jì)算的簡(jiǎn)便，在第t幀時(shí)，將公式更新為：

其中，濾波器模型更新的學(xué)習(xí)率表示為η.在完成最優(yōu)濾波器模型的訓(xùn)練之后，進(jìn)行檢測(cè)目標(biāo)，得到下一幀的候選樣本z，計(jì)算濾波器與z之間的相關(guān)性，結(jié)果為y：

y取得的最大值時(shí)，新的目標(biāo)位置即可確定.

2 特征的提取

為了解決無(wú)人機(jī)跟蹤因遮擋、尺度變化而引起的跟蹤丟失的問(wèn)題，在利用相關(guān)濾波器算法的基礎(chǔ)上，對(duì)HOG 特征、顏色矩特征進(jìn)行融合，同時(shí)采用多峰檢測(cè)算法，在無(wú)人機(jī)跟蹤目標(biāo)發(fā)生偏離時(shí)，能自動(dòng)進(jìn)行更新，達(dá)到優(yōu)化目標(biāo)跟蹤算法的目的.

2.1 HOG特征

HOG 特征大多應(yīng)用于計(jì)算機(jī)視覺(jué)、模式識(shí)別領(lǐng)域中的一種描述圖像局部信息紋理的特征，可以忽略梯度所在的位置，得到的特征比較豐富.方向梯度特征是局部特征，方向的分布在邊緣的具體位置未知的情況下，也可以較好處理小目標(biāo)的形態(tài)變化和光線引起的問(wèn)題.

2.2 顏色矩特征

M.Stricker 等[17]提出了一種描述圖像區(qū)域內(nèi)所對(duì)應(yīng)場(chǎng)景表面信息的顏色矩(Color Moments，CM)特征表示方法.顏色矩特征是全局特征，使用顏色的低階矩陣足以表達(dá)圖像的顏色分布.

其中，μi，σi，Si分別表示一、二、三階矩，pi,j表示圖像i顏色通道中灰度像素為j的概率，N為像素個(gè)數(shù).RGB 圖像的3 個(gè)顏色分量3 個(gè)低階矩陣組成一個(gè)直方圖向量，圖像的顏色矩特征表示為：

2.3 多峰目標(biāo)檢測(cè)

以目標(biāo)y=f(s;w)為中心的圖像塊的所有循環(huán)移位都被視為訓(xùn)練樣本，其中s 為在當(dāng)前幀中以前一幀目標(biāo)位置為中心的區(qū)域，即Y={(w,h)|w∈{0 ,…,W?1} ,h∈{0 ,…,H?1}}，其中w和h分別為圖像塊的寬度和高度.利用快速傅里葉變換算法學(xué)習(xí)的模型可以加速這一過(guò)程，得到了對(duì)所有循環(huán)變換的完整檢測(cè)響應(yīng)映射：

式中＾和F?1表示離散傅里葉變換和它的逆變換，°表示element-wise 乘法，?表示共軛，目標(biāo)的定位是在響應(yīng)圖的最高點(diǎn)進(jìn)行估計(jì)，將其定義為單峰檢測(cè).部分的訓(xùn)練樣本可能會(huì)污染學(xué)習(xí)模型，位于相似目標(biāo)或背景噪聲處的峰值可能接近甚至超過(guò)目標(biāo)處的峰值.為了提高定位精度，利用單峰檢測(cè)響應(yīng)圖F(s,y;w)，提出一種多峰檢測(cè)方法.

式中B是與F(s,y;w)相同大小的二元矩陣.當(dāng)次高峰值與最高峰值的比值大于預(yù)先定義的閾值時(shí)，利用式(13)重新檢測(cè)峰值中心的圖像塊.最終確定目標(biāo)并在響應(yīng)圖中的最大值進(jìn)行定位.

2.4 高置信度更新

現(xiàn)有的跟蹤器通常在每一幀更新跟蹤模型，而不考慮檢測(cè)是否準(zhǔn)確，這可能會(huì)導(dǎo)致確定性失敗.因此，文中探討兩種反饋機(jī)制：第一個(gè)指標(biāo)是響應(yīng)圖F(s,y;w)的最大響應(yīng)值Fmax：

第二個(gè)置信度指標(biāo)是平均峰值相關(guān)能量(average peak-to correlation energy，APCE)，公式為：

式中Fmax、Fmin和Fw,h分別表示F(s,y;w)的最大值、最小值和第w 行h 列的元素.APCE 表示響應(yīng)映射的波動(dòng)程度和檢測(cè)目標(biāo)的置信水平.

當(dāng)前幀的APCE 和Fmax都大于各自的歷史平均值時(shí)，則認(rèn)為當(dāng)前幀的跟蹤結(jié)果是高置信度的.該跟蹤模型將在線進(jìn)行更新，學(xué)習(xí)速率參數(shù)η

當(dāng)目標(biāo)被嚴(yán)重遮擋時(shí)，即響應(yīng)圖波動(dòng)劇烈，APCE 下降到10 左右，而Fmax仍然很大.在這種情況下的更新策略將不更新濾波器跟蹤模型，跟蹤模型就不會(huì)被破壞，且可以在后續(xù)幀中成功跟蹤.

3 目標(biāo)跟蹤算法

首先在分別提取顏色矩特征和HOG 特征后，進(jìn)行歸一化處理，單獨(dú)訓(xùn)練相關(guān)分類器，得到的響應(yīng)值最大的位置作為相應(yīng)的跟蹤結(jié)果，再根據(jù)響應(yīng)值的大小對(duì)兩種特征各自的權(quán)重進(jìn)行加權(quán)融合.在數(shù)學(xué)上如公式(22)所示：

其中，δ=[0,1].然后，在目標(biāo)位置四周采集樣本圖像塊，對(duì)融合后的響應(yīng)的圖像塊進(jìn)行多模態(tài)處理，同時(shí)，對(duì)樣本圖像塊采用尺度搜索策略，對(duì)其進(jìn)行可信度的更新處理.根據(jù)Fmax和APCE 的關(guān)系進(jìn)行更新濾波器，算法步驟表示為：

算法1 FFMPD 跟蹤算法

輸入：第i(i≥2)幀視頻Vi；上一幀的目標(biāo)位置Pi-1及尺度si-1

輸出：檢測(cè)出跟蹤序列的最大響應(yīng)位置Pi及尺度si；

返回視頻系列的目標(biāo)位置.

根據(jù)視頻序列給出的在第一幀中的目標(biāo)位置，使用跟蹤算法在后續(xù)幀中尋找并獲得新的目標(biāo)位置.FFMPD 跟蹤算法如圖1所示.

圖1 FFMPD跟蹤流程圖Fig.1 Tracking flow chart of the FFMDT algorithm

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證FFMPD 算法的有效性，所有數(shù)據(jù)結(jié)果都在i7-8700K 處理器3.7GHz、16GB RAM、ΝVIDIA GTX 1660Ti GPU 的筆記本電腦上采用無(wú)人機(jī)公開(kāi)數(shù)據(jù)集UAV123 和VisDrone2019 進(jìn)行跟蹤性能評(píng)估實(shí)驗(yàn).

4.1 UAV123 數(shù)據(jù)集實(shí)驗(yàn)分析

UAV123 的數(shù)據(jù)集是專門場(chǎng)景的數(shù)據(jù)集，用無(wú)人機(jī)拍攝，特點(diǎn)是背景干凈、視角變化較多，包含123個(gè)視頻.在UAV123 數(shù)據(jù)集上與SRDCF[18]、BACF[19]、AMCF[12]、MCCT-H[20]、OMFL[9]、BEVT[10]、AutoTrack[13]、CSK[21]、ARCF[11]等九個(gè)跟蹤算法進(jìn)行對(duì)比.FFMPD 算法在一次通過(guò)的精度和成功率對(duì)比結(jié)果如圖2所示中，都取得很好的結(jié)果，分別為74.1%和52.5%.所選的對(duì)比算法中，主要是DCF 和基于深度的跟蹤器算法，都具有一定的代表性.與這些方法進(jìn)行比較更能驗(yàn)證FFMPD 算法的有效性.FFMPD 跟蹤器利用HOG 特征和CM 特征的優(yōu)點(diǎn)，進(jìn)行融合后采用多峰檢測(cè)和高置信度自動(dòng)更新，有效地解決特征融合后的定位問(wèn)題.使用的顏色矩特征的低階矩陣，可以滿足無(wú)人機(jī)的輕量化運(yùn)算和快速運(yùn)動(dòng)的要求.

圖2 在UAV123 數(shù)據(jù)集上的精度和成功率Fig.2 Precision and success plots on the UAV123 Dataset

在圖3顯示FFMPD 跟蹤算法在攝像機(jī)抖動(dòng)、完全遮擋、部分遮擋、尺度變化等屬性上都具有較好的性能.這也驗(yàn)證了FFMPD 算法的多峰檢測(cè)與高置信度，可以較好的解決跟蹤目標(biāo)因遮擋等問(wèn)題，同時(shí)使用了目標(biāo)尺度自適應(yīng)，能夠很好地檢測(cè)目標(biāo)位置，增強(qiáng)算法的魯棒性.說(shuō)明采用特征提取并進(jìn)行融合更新濾波器的方法，可以較好處理小目標(biāo)的形態(tài)變化以及光照帶來(lái)的問(wèn)題.表1、表2中，加粗字體的為性能最優(yōu)，下劃線字體的為性能次優(yōu)，F(xiàn)FMPD 算法與其他跟蹤器相比，顯示在縱橫比變化和快速運(yùn)動(dòng)等屬性，取得明顯較高的性能.在低分辨率屬性上表現(xiàn)略好，可能是因?yàn)樵谶M(jìn)行多峰檢測(cè)時(shí)，響應(yīng)圖的尖峰表現(xiàn)不佳.

表1UAV123數(shù)據(jù)集的AUC比較結(jié)果Tab.1 AUC comparison results for the UAV123 Dataset

表2在UAV123 數(shù)據(jù)集8種屬性的精度評(píng)價(jià)指標(biāo)Tab.2 The precision evaluation index of eight attributes on the UAV123 Dataset

圖3 在UAV123 數(shù)據(jù)集上CM等屬性的精度和成功率Fig.3 Precision and success plots of of CM and other attributes on the UAV123 Dataset

4.2 VisDrone2019 數(shù)據(jù)集實(shí)驗(yàn)分析

VisDrone2019 數(shù)據(jù)集由天津大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒?yàn)室AISKYEYE 隊(duì)伍負(fù)責(zé)收集，基準(zhǔn)數(shù)據(jù)集由無(wú)人機(jī)捕獲，包括288 個(gè)視頻片段，視頻含有兩百多萬(wàn)個(gè)常用目標(biāo).在VisDrone2019 數(shù)據(jù)集上與SRDCF[18]、OMFL[9]、ARCF[11]、MCCT-H[20]、AMCF[12]、BACF[19]、CSK[21]、AutoTrack[13]、BEVT[10]等九個(gè)跟蹤算法進(jìn)行對(duì)比.FFMPD 算法在一次通過(guò)的精度和成功率對(duì)比結(jié)果如圖4所示中，都取得很好的結(jié)果，分別為83.5%和73.0%.

圖4 在VisDrone2019 數(shù)據(jù)集上的精度和成功率Fig.4 Precision and success plots on the VisDrone2019 Dataset

在表3、表4中，加粗字體的為性能最優(yōu)，下劃線字體的為性能次優(yōu).FFMPD 算法在低分辨率屬性上表現(xiàn)稍微不好，其余各屬性比其他跟蹤器具有較好的精度分?jǐn)?shù).驗(yàn)證了FFMPD 算法采用多峰檢測(cè)技術(shù)使目標(biāo)因遭受遮擋、背景噪聲引起的模型漂移時(shí)可以進(jìn)行自動(dòng)更新，使用HOG 特征可以較好處理小目標(biāo)的形態(tài)變化以及光照帶來(lái)的問(wèn)題.

4.3 UAV123 數(shù)據(jù)集上定性比較結(jié)果

為了直觀展示可視化跟蹤結(jié)果，分別與SRDCF[18]、BACF[19]、AMCF[12]、ARCF[11]、OMFL[9]、MCCT-H[20]、BEVT[10]、AutoTrack[13]、CSK[21]等9 個(gè)先進(jìn)跟蹤算法在UAV123 數(shù)據(jù)集上進(jìn)行比較.如圖5所示，從上到下分別為wakeboard6_1、boat9_1、car6_3 和group3_3 視頻序列，F(xiàn)FMPD 跟蹤算法都表現(xiàn)出良好的跟蹤性能，同時(shí)也驗(yàn)證了算法的有效性.

表3VisDrone2019 數(shù)據(jù)集8種屬性的精度評(píng)價(jià)指標(biāo)Tab.3 The precision evaluation index of eight attributes on the VisDrone2019 Dataset

表4VisDrone2019 數(shù)據(jù)集的AUC比較結(jié)果Tab.4 AUC comparison results for the VisDrone2019 Dataset

圖5 在UAV123 數(shù)據(jù)集上的定性比較結(jié)果Fig.5 Qualitative evaluation of our proposed and other trackers on the UAV123 Dataset

5 結(jié)論

本文提出了特征融合和多峰檢測(cè)的無(wú)人機(jī)目標(biāo)跟蹤算法.FFMPD 算法通過(guò)特征融合、多峰檢測(cè)技術(shù)的高置信度反饋機(jī)制，有效解決了無(wú)人機(jī)跟蹤目標(biāo)在遭遇遮擋、尺度變化以及光照變化等因素影響的問(wèn)題，能及時(shí)修正漂移后的模型，提高目標(biāo)的跟蹤精度和魯棒性.但實(shí)際跟蹤環(huán)境較為復(fù)雜，變化較多，攝像機(jī)抖動(dòng)也會(huì)對(duì)目標(biāo)的跟蹤性能產(chǎn)生一定的干擾，影響跟蹤效果.為了提高跟蹤性能，需要進(jìn)一步探索時(shí)空正則化和目標(biāo)裁剪等策略.