涂 婷,周志峰,周 圍,龐正雅

(1.上海工程技術大學 機械與汽車工程學院,上海 201620；2.陸軍裝備部駐湘潭地區(qū)軍事代表室,湖南 湘潭 411100)

0 引 言

四旋翼無人機因外觀小巧,易于隱蔽等特點被廣泛應用于測繪、監(jiān)測等領域。在一些特定場景中,需要時刻關注無人機飛行狀況,因此對無人機進行視覺跟蹤顯得尤為重要,而實現高效率的視覺跟蹤的挑戰(zhàn)在于對目標進行合理的表觀表達以及選擇合適的跟蹤策略。文獻[1]中已經驗證了多特征融合技術能夠有效地提高目標跟蹤性能。文獻[2]提出通過融合底層顏色、紋理和邊緣特征信息來提高算法的魯棒性。官洪運等人提出了一種特征融合的LCT算法,在梯度方向直方圖特征的基礎上提取顏色直方圖特征,得到目標預測位置,隨后根據置信度確定特征融合權重,綜合考慮多特征的跟蹤結果[3]。文獻[4]提出了一種基于視覺顯著性的均值漂移跟蹤算法,可以在相機晃動的場景下準確跟蹤目標。文獻[5]提出一種改進的基于多通道記憶模型的核相關濾波(kernel correlation filtering,KCF)跟蹤算法,在遮擋、形變和背景復雜的情況下能夠較好地跟蹤。朱明敏等人結合了KCF跟蹤器和光流法的檢測器提出了一種長時核相關濾波器(long time kernel correlation filter,LKCF),對快速運動目標具有較強的適應能力[6],但無法適用于背景與目標相似的場景。文獻[7]通過融合KCF和時空上下文(STC)跟蹤器,提高跟蹤性能,能夠較好地跟蹤運動模糊和快速運動的目標。

四旋翼無人機外觀小巧,運動速度快,在運動過程中極易出現旋轉、遮擋、光照變化等問題,若要較好地跟蹤該目標需要一種快速穩(wěn)定的跟蹤算法。

本文針對無人機的運動特點,提出了一種多特征融合尺度自適應的無人機跟蹤方法,選用互補的顏色直方圖特征與方向梯度直方圖(histogram of oriented gradients,HOG)特征,采用KCF進行多特征融合以及跟蹤,針對KCF跟蹤器無法調節(jié)跟蹤框大小的問題,引入多尺度搜索策略,自適應調整目標跟蹤框大小。

1 KCF跟蹤器

KCF跟蹤器是通過圖像塊訓練一個相關濾波器進行模型表達,其本質是解決簡單的嶺回歸問題。假設目標樣本為向量x=[x1,x2,…,xn-1,xn],則循環(huán)移位訓練樣本X如式(1)所示,對應的高斯函數標簽y作為訓練輸出

(1)

引入最小二乘法與核函數,通過式(2)訓練分類器模型

(2)

式中φ為核函數空間的映射函數,λ為正則化參數。使用傅里葉變換求解公式(2)可得

(3)

(4)

其中,F和F-1分別為傅里葉變換與逆變換

給定訓練好的α與目標表觀模型Z,在圖像塊z上進行搜索并計算其相關濾波響應,如式(5)所示,根據最大相應值定位目標位置

Y=F-1(F(α)×F(φ(z),φ(Z)))

(5)

定義核函數K(X,X′)=φ(X),φ(X′),則循環(huán)移位矩陣的高維空間內積如式(6)所示

2F-1(×′*))

(6)

2 多特征融合

2.1 顏色直方圖特征

顏色直方圖特征是視覺跟蹤算法中最為常用的表觀模型,其計算便捷,對目標的尺度變化、旋轉變化和形變都較為魯棒。顏色直方圖表示圖像中各種色彩的比例分布,與顏色空間的選取有著密切的關聯,為了提升跟蹤算法的魯棒性,選用HSV顏色空間進行顏色直方圖計算。

為了克服全局顏色直方圖未能考慮圖像的空間分布,減少直方圖的矢量維數,對HSV顏色空間進行均勻量化,其中色調H分量等間隔劃分為8個區(qū)間,飽和度S分量和明度V分量分別劃分3個區(qū)間,通過G=9H+3S+V將顏色直方圖特征量化為一個72維的特征,量化過程如式(7)所示

(7)

2.2 HOG特征

HOG特征是通過圖像局部區(qū)域的梯度強度和梯度方向來描述物體的輪廓和形狀,在光照變化下具有良好的不變性。HOG特征提取流程:首先對檢測窗口進行Gamma標準化減少局部陰影的光照變化影響；隨后將檢測窗口切割成多個單元格Cell,通過計算每個Cell中個像素的梯度,并將其投影至Cell的梯度方向；然后把多個單元格組合成塊Block,根據每個Cell在Block中占有的密度來進行歸一化處理；最后收集檢測窗口中的所有Block的HOG特征。設檢測窗口大小為m×n,一個單元格Cell大小為8×8,一個Block包含4個Cell,由此可以計算出整個檢測窗口會生成維數為(m/8-1)×(n/8-1)×4×9的特征。

2.3 多尺度特征

考慮到圖像的特征會隨著尺度的變化而變化[8],因此引入圖像金字塔來解決目標尺度變化問題,提高跟蹤精度。圖像金字塔是一種圖像多尺度表達的集合,最底層為原始圖像,通過連續(xù)降采樣獲得圖像多分辨率。常用的圖像金字塔有高斯金字塔和拉普拉斯金字塔。其中高斯金字塔用于降采樣圖像；拉普拉斯金字塔用于上采樣圖像,上采樣是將圖像進行最大程度的還原。利用高斯和拉普拉斯圖像金字塔模型對目標區(qū)域進行上采樣和下采樣,獲得目標的多尺度模型,如計算目標的31種尺度,其中包括原有尺度、15種上采樣尺度和15種降采樣尺度,隨后使用相似性進行尺度匹配,尋找合適的尺度大小。

2.4 融合策略

在目標發(fā)生尺度變化、旋轉、形變的情況下,顏色直方圖特征依舊能夠保持良好的跟蹤性能,但是忽略了顏色的空間分布,無法將顏色組成成分相似但空間分布相差較大的目標區(qū)分開來,并且在發(fā)生光照變化時容易丟失目標。HOG特征雖然能夠較好地解決光照變化問題,但是當物體發(fā)生形變時效果不佳。因此,提出一種基于顏色直方圖特征和HOG特征的尺度自適應融合策略,提高跟蹤性能。

KCF跟蹤器能夠通過相關濾波將特征擴展到多維,假設目標表觀模型X=[X1,X2,…,Xm]為m個特征進行級聯所得,通過改寫式(6)將特征進行融合,如下所示

(8)

3 實驗設計與分析

為了驗證算法的有效性,拍攝一組無人機飛行的圖像序列進行實驗評估,并人工標注無人機位置作為標準庫數據。實驗執(zhí)行程序為Visual Studio 2017,硬件為Intel i5—4200M,2.50 GHz處理器、8 GB 內存,相機分辨率為1080P,跟蹤算法的平均速度約為18FPS。

圖1是無人機圖像序列的跟蹤中心位置誤差曲線,采用4種跟蹤算法進行實驗分析。從跟蹤的誤差曲線可以看出,在130幀左右發(fā)生了光照變化,相關濾波算法之誤差最小平方和(MOSSE)跟蹤算法、KCF算法存在目標丟失問題,Multi-Instance Learning(MIL)跟蹤算法雖然能夠較好克服光照變化,但是在240幀左右出現運動模糊時丟失了目標,而引入多特征融合的尺度自適應KCF跟蹤算法不僅克服了光照變化,而且整段序列中并未出現丟失情況。

圖1 中心位置誤差曲線

為了具體分析跟蹤結果,部分跟蹤結果如圖2所示,其中點框為標準框,虛線框為基于多特征融合的KCF跟蹤結果,圓角框為MIL跟蹤結果,點線框為MOSSE跟蹤結果,實線框為傳統(tǒng)KCF跟蹤結果。從部分跟蹤結果顯示圖中可以看出,MIL跟蹤算法雖然能夠有效克服光照問題,但跟蹤框尺度不變,并且存在漂移現象；KCF跟蹤算法在130幀之前跟蹤效果良好,當會發(fā)生光照變化時,KCF丟失目標；MOSSE跟蹤算法在發(fā)生光照變化時目標丟失,雖然恢復后再次找回目標,但漂移情況嚴重,并出現再次丟失情況；本文提出的算法很好地解決了光照變化,跟蹤效果良好,雖然后續(xù)序列中出現尺度無法適應,但跟蹤框依舊位于無人機目標中,未發(fā)生漂移情況。

圖2 部分跟蹤結果顯示

各跟蹤算法成功率和精準度曲線如圖3所示,可以看出本文提出的算法具有最大曲線下面積,數值分別達到了0.561和0.707,KCF跟蹤算法的數值分別為0.388和0.441,MIL跟蹤算法的結果為0.478和0.564,MOSSE跟蹤算法的結果則為0.503和0.450。這些結果表明本文提出的算法在無人機目標跟蹤的場景下具有較好的整體性能,這是由于引入多特征融合機制,使得跟蹤效果更加魯棒。

圖3 多算法跟蹤效果

4 結 論

本文提出一種多特征融合尺度自適應的無人機跟蹤方法,在KCF跟蹤方法中引入多特征融合策略,將互補的HOG特征與顏色特征進行融合,使得跟蹤效果更加穩(wěn)定。為解決KCF無法改變跟蹤尺度問題,提出引入圖像金字塔,向上、下采樣,提供31種尺度進行匹配。實驗結果表明：本文方法能夠有效跟蹤無人機目標,在光照、運動模糊以及翻轉變化場景下依舊適用。