車 飛，李 杰，牛軼峰

（國(guó)防科技大學(xué)智能科學(xué)學(xué)院，長(zhǎng)沙410073）

1 引 言

視覺(jué)目標(biāo)跟蹤作為機(jī)器視覺(jué)領(lǐng)域最具有研究熱度的問(wèn)題之一，在固定翼無(wú)人機(jī)的應(yīng)用中具有很高的實(shí)際應(yīng)用價(jià)值，比如機(jī)間避碰、地面目標(biāo)跟隨、地面目標(biāo)偵察等。盡管機(jī)器視覺(jué)領(lǐng)域的學(xué)者們已經(jīng)提出了很多通用目標(biāo)跟蹤算法，用于跟蹤視頻初始幀中任意指定的目標(biāo)，并且在跟蹤精度和跟蹤魯棒性上不斷提升，但是在機(jī)載條件下使用固定翼無(wú)人機(jī)作為平臺(tái)，基于視覺(jué)對(duì)地面目標(biāo)進(jìn)行跟蹤仍然是一個(gè)極具挑戰(zhàn)性的研究方向。固定翼無(wú)人機(jī)對(duì)地面目標(biāo)進(jìn)行跟蹤的時(shí)候常常采用保距跟蹤的方式，即和目標(biāo)保持一定距離，在目標(biāo)上方進(jìn)行盤旋飛行，這樣有利于持續(xù)獲取分辨率更高的圖像。但在這種跟蹤方式中，持續(xù)穩(wěn)定獲取目標(biāo)圖像存在一定難度，一方面，除了一般視覺(jué)跟蹤問(wèn)題中存在的目標(biāo)被遮擋，目標(biāo)出視窗和光照變化等問(wèn)題外，還存在圖像抖動(dòng)不穩(wěn)定，平面外旋轉(zhuǎn)和機(jī)載處理器運(yùn)算能力不足等問(wèn)題；另一方面，視覺(jué)目標(biāo)跟蹤的結(jié)果往往會(huì)作為飛行控制系統(tǒng)的輸入量，控制云臺(tái)的運(yùn)動(dòng)和無(wú)人機(jī)的飛行，并結(jié)合云臺(tái)和無(wú)人機(jī)的姿態(tài)，解算目標(biāo)在世界坐標(biāo)系中的位置，用于引導(dǎo)無(wú)人機(jī)對(duì)目標(biāo)進(jìn)行保距跟蹤。在這種情況下，對(duì)視覺(jué)目標(biāo)跟蹤的準(zhǔn)確性和魯棒性提出了更高的要求，現(xiàn)有跟蹤算法的跟蹤效果不能滿足固定翼無(wú)人機(jī)應(yīng)用的需求，需要針對(duì)新出現(xiàn)的難點(diǎn)進(jìn)行算法的改進(jìn)。

使用固定翼無(wú)人機(jī)跟蹤地面目標(biāo)，在算法實(shí)現(xiàn)上需要從以下幾個(gè)方面進(jìn)行考慮［1］。（1）準(zhǔn)確性：作為云臺(tái)姿態(tài)和無(wú)人機(jī)運(yùn)動(dòng)的控制量和后續(xù)定位算法的數(shù)據(jù)來(lái)源，視覺(jué)目標(biāo)跟蹤的準(zhǔn)確性是必須考慮的因素之一；（2）魯棒性：在飛機(jī)對(duì)目標(biāo)實(shí)施保距跟蹤的過(guò)程中，視覺(jué)目標(biāo)跟蹤算法必須能夠適應(yīng)目標(biāo)圖像的顯著變化，不能因?yàn)槟繕?biāo)外觀變化而出現(xiàn)大范圍的跟蹤漂移；（3）恢復(fù)性：在跟蹤的過(guò)程中需要判別目標(biāo)是否已經(jīng)被遮擋或出視窗，并在目標(biāo)再次出現(xiàn)的時(shí)候具備重檢測(cè)的能力；（4）實(shí)時(shí)性：機(jī)載圖像處理平臺(tái)計(jì)算能力較弱，而無(wú)人機(jī)應(yīng)用中需要圖像定位模塊實(shí)時(shí)地為控制系統(tǒng)提供目標(biāo)在圖像中的位置，因此需要使用計(jì)算量較低的算法對(duì)目標(biāo)進(jìn)行實(shí)時(shí)的視覺(jué)目標(biāo)跟蹤。

2 相關(guān)研究

2.1 視覺(jué)目標(biāo)跟蹤方法

研究計(jì)算機(jī)視覺(jué)的眾多學(xué)者將注意力集中在了視覺(jué)目標(biāo)跟蹤方面，該研究的目的是在一系列連續(xù)的視頻幀中持續(xù)確定感興趣區(qū)域即目標(biāo)的位置和區(qū)域（如圖1所示），從方法上來(lái)看，現(xiàn)今的目標(biāo)跟蹤算法主要分為三類：深度學(xué)習(xí)、相關(guān)濾波和經(jīng)典方法。

圖1 目標(biāo)跟蹤示意Fig.1 Visual object tracking

深度學(xué)習(xí)最開(kāi)始應(yīng)用于目標(biāo)識(shí)別領(lǐng)域，后來(lái)Wang N 等［2］在2013年提出的deep learning tracker中首次將深度學(xué)習(xí)應(yīng)用到視覺(jué)目標(biāo)跟蹤中，使用大量的離線數(shù)據(jù)訓(xùn)練疊式抗干擾自動(dòng)編碼器（SDAG）學(xué)習(xí)一般的圖像特征，隨后Nam H 等［3］基于多域?qū)W習(xí)框架訓(xùn)練了卷積神經(jīng)網(wǎng)絡(luò)，并用于視覺(jué)目標(biāo)跟蹤。隨后眾多學(xué)者從網(wǎng)絡(luò)設(shè)計(jì)、參數(shù)訓(xùn)練等角度對(duì)深度學(xué)習(xí)類跟蹤器進(jìn)行了研究［4-6］，但是此類方法計(jì)算速度極慢，在使用GPU的情況下大多數(shù)不能夠達(dá)到實(shí)時(shí)。原因有三：一是需要使用大量的數(shù)據(jù)進(jìn)行訓(xùn)練，這是深度學(xué)習(xí)方法的一個(gè)通?。欢鞘褂镁W(wǎng)絡(luò)提取特征本身計(jì)算量大；三是針對(duì)具體的跟蹤問(wèn)題進(jìn)行在線更新參數(shù)的速度極慢。針對(duì)這些問(wèn)題，Bertinetto L等［7］僅僅使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，通過(guò)兩個(gè)同樣的網(wǎng)絡(luò)對(duì)模板和搜索區(qū)域進(jìn)行特征提取，然后進(jìn)行卷積操作，得到和模板最相似的區(qū)域，即為估計(jì)的目標(biāo)位置，這種方法和相關(guān)濾波類方法類似，是深度學(xué)習(xí)類跟蹤算法以后的主要方向，也有眾多學(xué)者予以跟進(jìn)［8-9］。而Held D 等［10］在GOTURN 中則直接放棄在線更新參數(shù)的過(guò)程，并且網(wǎng)絡(luò)進(jìn)行離線訓(xùn)練，在犧牲一部分精度的情況下速度達(dá)到了100fps。總體來(lái)說(shuō)，使用深度學(xué)習(xí)方法進(jìn)行視覺(jué)目標(biāo)跟蹤優(yōu)勢(shì)劣勢(shì)都很明顯，由于最先應(yīng)用于目標(biāo)識(shí)別，深度學(xué)習(xí)類跟蹤器能夠準(zhǔn)確估計(jì)目標(biāo)的位置信息，但是計(jì)算量極大是該類算法不可避免的一個(gè)問(wèn)題，也是該類算法跨入實(shí)際應(yīng)用必須解決的一個(gè)問(wèn)題。

目標(biāo)跟蹤的根本目的在于解決使用目標(biāo)識(shí)別方法確定目標(biāo)位置時(shí)速度過(guò)慢，不能投入實(shí)際應(yīng)用的問(wèn)題，相關(guān)濾波類方法的出現(xiàn)很好的解決了這個(gè)應(yīng)用性問(wèn)題。自2010年Bolme D S 等［11］在MOSSE中引入相關(guān)濾波以來(lái)，相關(guān)濾波類跟蹤方法在近幾年成為研究熱點(diǎn)。Henriques J F 等［12-13］和Danelljan M 等［14-15］從訓(xùn)練速度、特征提取和尺度自適應(yīng)等方面給出了解決方案，Wang M 等［16］和Ma C 等［17］則從及時(shí)發(fā)現(xiàn)跟丟現(xiàn)象并提出重檢測(cè)策略著手，在提高長(zhǎng)期跟蹤的能力上進(jìn)行了深入研究，分別提出了判斷跟蹤質(zhì)量的指標(biāo)。相關(guān)濾波方法計(jì)算速度快、框架簡(jiǎn)單、適合改進(jìn)，但是相關(guān)性操作本身限制了算法對(duì)尺度變化的適應(yīng)能力，并且容易受到目標(biāo)形變和遮擋影響。因而，現(xiàn)今對(duì)相關(guān)濾波類跟蹤器的研究主要集中在如何提高該類方法對(duì)目標(biāo)外觀變化的適應(yīng)能力方面。

2010年以前，目標(biāo)跟蹤領(lǐng)域主要使用一些比較經(jīng)典的跟蹤方法，這些方法一般對(duì)目標(biāo)圖像進(jìn)行建模，然后在下一幀中尋找匹配度最高的區(qū)域。Meanshift［18］及其改進(jìn)算法是基于概率分布圖對(duì)目標(biāo)位置進(jìn)行估計(jì)，概率最大的位置就是預(yù)測(cè)的目標(biāo)位置，使用粒子濾波［19］的方法則通過(guò)在搜尋區(qū)域隨機(jī)確定粒子，提取特征并進(jìn)行比對(duì)，此方法因?yàn)樾枰獙?duì)大量區(qū)域重復(fù)進(jìn)行采樣和特征提取，速度很慢，而使用Kalman Filter［20］的跟蹤方法則放棄對(duì)目標(biāo)本身進(jìn)行建模，轉(zhuǎn)而對(duì)目標(biāo)運(yùn)動(dòng)模型進(jìn)行建模，估計(jì)目標(biāo)在下一幀的位置。以上方法在深度學(xué)習(xí)類和相關(guān)濾波類方法出現(xiàn)以后，因?yàn)椴荒芴幚砗瓦m應(yīng)復(fù)雜的跟蹤變化，在跟蹤精度和魯棒性上逐漸被超越，從而逐漸被舍棄。

總體來(lái)說(shuō)現(xiàn)今的跟蹤算法主要使用深度學(xué)習(xí)和相關(guān)濾波進(jìn)行跟蹤器的設(shè)計(jì)，前者偏重跟蹤精度的提升，計(jì)算速度慢是其天然的劣勢(shì)，后者則因?yàn)橄嚓P(guān)操作帶來(lái)計(jì)算量的大幅降低而在實(shí)際中有更廣泛的應(yīng)用，但需要設(shè)計(jì)合適的策略應(yīng)對(duì)目標(biāo)外觀的顯著變化帶來(lái)的跟蹤漂移問(wèn)題。

2.2 基于相關(guān)濾波的目標(biāo)跟蹤

基于相關(guān)濾波進(jìn)行跟蹤算法的設(shè)計(jì)是當(dāng)今視覺(jué)目標(biāo)跟蹤領(lǐng)域的主流研究方向，該類方法將信號(hào)處理領(lǐng)域中的相關(guān)性操作引入，在新的一幀中找出和模板圖像相關(guān)性最高的位置，該類方法由于使用了傅里葉變換，在頻域進(jìn)行相關(guān)性操作，運(yùn)算復(fù)雜度更低，運(yùn)算速度快，一般能夠達(dá)到實(shí)時(shí)性的要求。Bolme D S等［11］在2010年第一次將相關(guān)操作引入視覺(jué)目標(biāo)跟蹤，當(dāng)即以較高的準(zhǔn)確率和極快的運(yùn)行速度（669fps）引起轟動(dòng)，之后Henriques J F等［12-13］先后將核方法和循環(huán)矩陣引入，分別提高了跟蹤器對(duì)目標(biāo)的區(qū)分能力和濾波器的訓(xùn)練效率，并首次采用了梯度直方圖（HOG）作為特征描述方式，KCF 算法也是幾乎所有相關(guān)濾波類跟蹤器的參考算法。此時(shí)相關(guān)濾波器跟蹤器面臨不能進(jìn)行適應(yīng)目標(biāo)尺度變化，存在邊緣效應(yīng)和特征表達(dá)能力不強(qiáng)等問(wèn)題。Danelljan M 在DSST［15］中添加尺度估計(jì)濾波器用于估計(jì)目標(biāo)的尺度變化，而Li Y［21］則采用了比較簡(jiǎn)單實(shí)用的尺度金字塔思路，通過(guò)進(jìn)行不同尺度的采樣，得到可能性最大的目標(biāo)尺度。在解決邊緣效應(yīng)方面，Danelljan M 在SRDCF［22］算法中提出了一種空間正則化方法減輕了邊緣效應(yīng)對(duì)目標(biāo)跟蹤的影響，另外為了增強(qiáng)對(duì)目標(biāo)的描述能力，他在CN［14］和C-COT［23］中分別引入Color Names 和卷積神經(jīng)網(wǎng)絡(luò)（CNN）特征對(duì)目標(biāo)進(jìn)行描述，但相應(yīng)的計(jì)算量也成倍增長(zhǎng)，因此Danelljan M 在ECO［24］中從提高時(shí)間效率和空間效率的角度出發(fā)，在C-COT的基礎(chǔ)上從模型、訓(xùn)練集和模型更新三個(gè)方面進(jìn)行改進(jìn)，取得了速度和精度的雙提升。而Staple［25］就另辟蹊徑，針對(duì)顏色特征和HOG 特征對(duì)目標(biāo)形變和運(yùn)動(dòng)模糊等有不同的魯棒性，考慮將二者跟蹤結(jié)果有機(jī)結(jié)合，該算法是一種簡(jiǎn)單而高效的跟蹤方法。另外針對(duì)跟蹤過(guò)程中出現(xiàn)的漂移問(wèn)題，Wang M 等［16］、Ma C等［17］和Lukezic A 等［26］就跟蹤結(jié)果的置信度建立了評(píng)估方法，并據(jù)此引導(dǎo)濾波器進(jìn)行適時(shí)的更新，提高了目標(biāo)跟蹤的魯棒性。

相關(guān)濾波類跟蹤器是視覺(jué)目標(biāo)跟蹤的一個(gè)主要研究方向，現(xiàn)在主要研究集中在提高對(duì)目標(biāo)形變的魯棒性和減少跟蹤漂移兩個(gè)方面，并且同時(shí)要保持相關(guān)濾波類算法的計(jì)算速度快、易于投入應(yīng)用的優(yōu)勢(shì)。

3 基礎(chǔ)知識(shí)

3.1 保距跟蹤問(wèn)題描述

固定翼無(wú)人機(jī)相對(duì)于多旋翼無(wú)人機(jī)來(lái)說(shuō)具有飛行速度更快，航程更遠(yuǎn)，載荷更大等優(yōu)點(diǎn)，但在使用固定翼無(wú)人機(jī)對(duì)地面移動(dòng)目標(biāo)進(jìn)行持續(xù)觀測(cè)的時(shí)候，飛機(jī)速度一般比地面目標(biāo)速度更快，如圖2 所示，飛機(jī)一般需要以目標(biāo)為中心，同目標(biāo)始終保持一定距離進(jìn)行航跡規(guī)劃，該跟蹤模式稱為保距跟蹤。

圖2 固定翼無(wú)人機(jī)對(duì)地面目標(biāo)進(jìn)行保距跟蹤Fig.2 Standoff tracking using fixed-wing drone

在這種跟蹤模式下，能保證目標(biāo)長(zhǎng)時(shí)間在傳感器的有效感知范圍內(nèi)，比如攝像機(jī)的視窗或雷達(dá)的有效感知半徑。

在對(duì)地面目標(biāo)進(jìn)行保距跟蹤時(shí)，一般有兩條技術(shù)路線，一是直接利用目標(biāo)在視窗中的位置作為控制量，控制調(diào)整無(wú)人機(jī)的飛行動(dòng)作，使目標(biāo)在攝像機(jī)視窗的中心位置，稱之為視覺(jué)伺服控制；二是使用攝像機(jī)作為傳感器，結(jié)合云臺(tái)和無(wú)人機(jī)的姿態(tài)，解算出目標(biāo)在大地坐標(biāo)系中的位置，再進(jìn)行航跡規(guī)劃，控制無(wú)人機(jī)飛行。兩種方法都需要得到目標(biāo)在視窗中的準(zhǔn)確位置，這是進(jìn)行后續(xù)控制和位置解算的基礎(chǔ)，因此研究基于固定翼無(wú)人機(jī)平臺(tái)的視覺(jué)跟蹤算法是具有應(yīng)用價(jià)值的。圖3是使用固定翼無(wú)人機(jī)對(duì)地面目標(biāo)進(jìn)行保距跟蹤的實(shí)機(jī)飛行圖。

圖3 保距跟蹤的實(shí)機(jī)飛行Fig.3 Flight test of standoff tracking

3.2 核相關(guān)濾波算法

本文提出的算法是與核相關(guān)濾波跟蹤器緊密相關(guān)的。核相關(guān)濾波算法的關(guān)鍵在于提出將循環(huán)矩陣用于負(fù)樣本的快速采樣，在提高濾波器的判別能力的基礎(chǔ)上極大地加快了算法的運(yùn)行。

假設(shè)一個(gè)一維向量x =[x1，x2，…xn]，它的一個(gè)循環(huán)位移是s1=[xn，x1，…xn-1]，以x 為基向量的循環(huán)矩陣為S =[xT，sT1，…sTn-1]T。對(duì)于二維向量，比如N×N的圖像，采取類似的方法，生成一個(gè)N2× N2的分塊矩陣。

KCF 算法中循環(huán)矩陣的引入是基于以下假設(shè)：初始目標(biāo)樣本，即正樣本的循環(huán)位移樣本是能夠大致代替目標(biāo)周圍的稠密采樣的。雖然循環(huán)位移樣本是一種自動(dòng)生成的“虛擬樣本”，在實(shí)際的環(huán)境中一般不會(huì)有一模一樣的樣本，但是從算法的效果來(lái)看，這樣的假設(shè)在大多數(shù)情況下是能夠成立的。假設(shè)基向量為x，其循環(huán)矩陣為X = C(x)，循環(huán)矩陣的性質(zhì)之一是可以被基向量傅里葉變換對(duì)角化，此性質(zhì)可以大大簡(jiǎn)化濾波器的訓(xùn)練過(guò)程。

對(duì)于線性情況，相關(guān)濾波器的訓(xùn)練可以看為一個(gè)線性脊回歸問(wèn)題，該脊回歸的目標(biāo)函數(shù)可以表示為：

該問(wèn)題的封閉解為w=(XTX + λI)-1XTy，將回歸矩陣的性質(zhì)代入可以得到回歸問(wèn)題的解=為x的傅里葉變換，為的復(fù)共軛。

為了應(yīng)對(duì)非線性情況，KCF 采用了核方法提高分類器的區(qū)分能力，核方法的回歸式為f(z) =αTκ(z)，其中κ(z)表示測(cè)試樣本z和所有訓(xùn)練樣本的核函數(shù)，在對(duì)偶問(wèn)題中參數(shù)的封閉解為α =(K +λI)-1y，K 為所有訓(xùn)練樣本的核相關(guān)矩陣：Kij =κ(xi，xj)，在使用高斯核的情況下可以保證核相關(guān)矩陣K 也是循環(huán)矩陣，相應(yīng)的對(duì)偶空間也可以得出參數(shù)解：

一般采用高斯核函數(shù)計(jì)算x 和x′之間核相關(guān)，計(jì)算的方法為：

檢測(cè)階段，通過(guò)計(jì)算基樣本x和檢測(cè)樣本z之間的核，并求其與參數(shù)解之積的反傅里葉變換，就可以得到檢測(cè)區(qū)域的響應(yīng)圖，根據(jù)最大位置，就可以得到目標(biāo)的位置相對(duì)移動(dòng)。

y 為得到的響應(yīng)圖，通過(guò)圖中響應(yīng)最大的位置坐標(biāo)可以得出兩幀圖像之間目標(biāo)位置的差值，從而獲取當(dāng)前幀目標(biāo)的位置。

3.3 跟蹤質(zhì)量評(píng)價(jià)

一般的目標(biāo)跟蹤是一個(gè)開(kāi)環(huán)的過(guò)程，即使用跟蹤器跟蹤上一幀的目標(biāo)，估計(jì)當(dāng)前幀中目標(biāo)的位置，估計(jì)完成后更新目標(biāo)的模板，以此為檢測(cè)器在下一幀檢測(cè)目標(biāo)的位置，至于跟蹤器跟蹤的效果如何，更新后的模板能不能有效反映目標(biāo)的外觀變化，目標(biāo)是否出現(xiàn)了被遮擋或出視窗的情況，這些都是不確定的。如果不存在檢測(cè)跟蹤效果的環(huán)節(jié)，沒(méi)有對(duì)跟蹤的質(zhì)量進(jìn)行評(píng)估，就無(wú)法確定模板的更新和是否重檢測(cè)的時(shí)機(jī)。因此為了實(shí)現(xiàn)對(duì)目標(biāo)長(zhǎng)期有效的跟蹤，對(duì)跟蹤的效果進(jìn)行評(píng)估是一個(gè)不可或缺的環(huán)節(jié)。

Wang M 等［16］在LMCF 中提出了兩種置信度評(píng)估方法，第一個(gè)指標(biāo)是最大響應(yīng)值，即相關(guān)濾波中響應(yīng)最大的值，因?yàn)檫@個(gè)指標(biāo)反映了跟蹤結(jié)果和模板的相似程度，如果該指標(biāo)過(guò)低說(shuō)明可能出現(xiàn)了遮擋或明顯的形變，第二個(gè)指標(biāo)是平均峰值相關(guān)能量（Average Peak-to Correlation Energy，APCE）

3.4 平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn)

平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn)是視覺(jué)目標(biāo)跟蹤中跟蹤算法需要解決的重要干擾問(wèn)題。圖4直觀展示了平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn)效果的差異。

圖4 平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn)Fig.4 In-the-plane rotation and out-of-plane rotation

平面內(nèi)旋轉(zhuǎn)一般表現(xiàn)為目標(biāo)圖像進(jìn)行了單純的圖像旋轉(zhuǎn)，也可以理解為目標(biāo)和相機(jī)相對(duì)方位和距離沒(méi)有變化，僅僅是相機(jī)圍繞其光軸進(jìn)行了旋轉(zhuǎn)，該旋轉(zhuǎn)產(chǎn)生的結(jié)果對(duì)目標(biāo)的外觀沒(méi)有重大影響，只是目標(biāo)圖像進(jìn)行了旋轉(zhuǎn)。

平面外旋轉(zhuǎn)則表現(xiàn)為目標(biāo)圖像出現(xiàn)的重大外觀變化，一般出現(xiàn)在目標(biāo)和相機(jī)的相對(duì)方位出現(xiàn)了較大變化的時(shí)候，此時(shí)相機(jī)一般在目標(biāo)的斜上方，圍繞目標(biāo)進(jìn)行旋轉(zhuǎn)運(yùn)動(dòng)，典型的場(chǎng)景就是攜帶相機(jī)的無(wú)人機(jī)在目標(biāo)斜上方進(jìn)行拍攝。

4 基于線性旋轉(zhuǎn)子空間的視覺(jué)跟蹤算法

4.1 線性旋轉(zhuǎn)空間

在無(wú)人機(jī)進(jìn)行保距跟蹤的情況下，目標(biāo)和無(wú)人機(jī)之間的相對(duì)位置呈現(xiàn)出周期性的變化，相應(yīng)的，目標(biāo)在攝像機(jī)中的外觀也會(huì)呈現(xiàn)出對(duì)應(yīng)的周期性變化（如圖5 所示），一個(gè)周期均是無(wú)人機(jī)盤旋一周的時(shí)間，本文將之稱為跟蹤周期。

經(jīng)過(guò)實(shí)驗(yàn)測(cè)試分析（如圖6 所示），常用跟蹤算法（ECO，SAMF，Staple，CN，KCF，CSR-DCF）在目標(biāo)圖像周期性變化的過(guò)程中會(huì)逐漸出現(xiàn)跟蹤漂移的情況。出現(xiàn)這種情況的原因在于基于相關(guān)濾波的算法是在線更新的，即在每一幀都會(huì)對(duì)目標(biāo)的模板進(jìn)行更新，使用這種更新方式跟蹤效果好的前提是上一幀得到的目標(biāo)位置和區(qū)域是準(zhǔn)確的，是能真實(shí)反映目標(biāo)外觀的，否則模板就會(huì)逐漸被混入的背景污染，出現(xiàn)累計(jì)誤差，在沒(méi)有重檢測(cè)環(huán)節(jié)的情況下，這種污染會(huì)越來(lái)越嚴(yán)重，跟蹤框會(huì)離目標(biāo)越來(lái)越遠(yuǎn)，直至完全跟丟，不可挽回。

為了防止跟蹤過(guò)程中出現(xiàn)漂移，將初始幀的目標(biāo)圖像進(jìn)行平面內(nèi)旋轉(zhuǎn)，模擬相機(jī)在目標(biāo)不同方位的視角下的平面外旋轉(zhuǎn)成像，利用這些“偽圖像”訓(xùn)練濾波器，并用于第一個(gè)跟蹤周期的目標(biāo)定位，在第一個(gè)跟蹤周期內(nèi)利用獲取的“真圖像”，替換掉生成的“偽圖像”，完成新的濾波器的更新。

圖5 保距跟蹤情況下視角變化導(dǎo)致目標(biāo)圖像出現(xiàn)周期性變化Fig.5 The periodic change of target image caused by periodic change in standoff tracking

圖6 一般跟蹤算法出現(xiàn)誤差Fig.6 Tracking drift of state-of-art algorithm

將初始幀圖像旋轉(zhuǎn)θ°之后，在新的目標(biāo)位置周圍取同樣大小的圖像區(qū)域Iθ訓(xùn)練該角度下的濾波器。假設(shè)初始幀圖像大小為（W，H），目標(biāo)中心的圖像坐標(biāo)為（x，y），目標(biāo)大小為（w，h），相關(guān)濾波類算法中一般使用目標(biāo)周圍一定區(qū)域的圖像I進(jìn)行濾波器的訓(xùn)練，此處考慮到圖像中目標(biāo)的縱橫比會(huì)發(fā)生極大變化，且不利于統(tǒng)一尺寸的相關(guān)濾波器的生成，將I設(shè)定為正方形區(qū)域，邊長(zhǎng)L為

其中，padding是用來(lái)調(diào)整區(qū)域大小的參數(shù)。旋轉(zhuǎn)后圖像的大小（WR，HR）為

根據(jù)圖像旋轉(zhuǎn)的性質(zhì)，原目標(biāo)中心坐標(biāo)（x，y）旋轉(zhuǎn)θ之后，在新圖像中的坐標(biāo)（xR，yR）。

在旋轉(zhuǎn)后的圖像中，以（xR，yR）為中心，取邊長(zhǎng)為L(zhǎng) 的正方形圖像作為該角度的濾波器訓(xùn)練圖像，并使用KCF 算法中濾波器訓(xùn)練方法進(jìn)行訓(xùn)練。假設(shè)每次旋轉(zhuǎn)θ°，取得的訓(xùn)練圖像為Iθ，訓(xùn)練完成的濾波器為Fθ，共訓(xùn)練完成360/θ 個(gè)濾波器。從初始幀開(kāi)始，每次進(jìn)行目標(biāo)位置檢測(cè)的時(shí)候均用相鄰的三個(gè)濾波器同時(shí)進(jìn)行檢測(cè)，將三個(gè)濾波器響應(yīng)最大的濾波器對(duì)應(yīng)的響應(yīng)位置作為新的目標(biāo)位置，并在該濾波器響應(yīng)峰值最大時(shí)更新相應(yīng)圖像和濾波器，增強(qiáng)下一個(gè)跟蹤周期內(nèi)對(duì)目標(biāo)位置的判別能力。

4.2 線性旋轉(zhuǎn)子空間更新機(jī)制

在合適的時(shí)機(jī)用正確的目標(biāo)圖像更新線性旋轉(zhuǎn)子空間是穩(wěn)定跟蹤的保證，圖7 給出了線性旋轉(zhuǎn)子空間的更新機(jī)制。在首幀，將目標(biāo)圖像進(jìn)行正負(fù)一定角度的平面內(nèi)旋轉(zhuǎn)，用之訓(xùn)練濾波器組，檢測(cè)時(shí)用相鄰三個(gè)濾波器同時(shí)進(jìn)行檢測(cè)，當(dāng)某平面內(nèi)旋轉(zhuǎn)圖像對(duì)應(yīng)的濾波器跟蹤效果檢測(cè)最優(yōu)時(shí)，可以認(rèn)為此時(shí)檢測(cè)到的目標(biāo)圖像是該視角的正確圖像，立即更新旋轉(zhuǎn)子空間中對(duì)應(yīng)視角和相鄰視角的圖像。經(jīng)過(guò)一個(gè)整周的盤旋，可以獲取目標(biāo)各個(gè)視角的準(zhǔn)確圖像，可以保證后續(xù)跟蹤的穩(wěn)定性。

圖7 線性旋轉(zhuǎn)子空間更新機(jī)制Fig.7 Update process of linear rotate subspace

4.3 跟蹤質(zhì)量判定

跟蹤質(zhì)量判定是及時(shí)糾正錯(cuò)誤跟蹤的基礎(chǔ)。據(jù)研究，跟蹤準(zhǔn)確的響應(yīng)圖具有以下特征：響應(yīng)最大處峰值大，最高峰比較陡峭，響應(yīng)圖波動(dòng)較小。本文采用平均響應(yīng)梯度（Mean Gradient of Response，MGR）和平均峰值相關(guān)能量（Average Peak-to Correlation Energy，APCE）進(jìn)行跟蹤效果評(píng)估。

最大值周圍一定范圍內(nèi)的平均梯度作為衡量最大值所在峰的陡峭程度：

其中mean，grad 分別表示取均值和取梯度操作，region表示最高峰附近以LR為邊長(zhǎng)的正方形區(qū)域。

平均峰值能量［16］能夠反映響應(yīng)圖的波動(dòng)程度，為此采用評(píng)估方法為：

其中Imax為響應(yīng)圖的最大值，Imin為響應(yīng)圖的最小值，Iw，h為響應(yīng)圖中每個(gè)位置的響應(yīng)值。該值越大反映響應(yīng)圖的峰值越明顯，峰值以外區(qū)域波動(dòng)不明顯，即跟蹤的效果較好。

4.4 算法總體框架

圖8 給出線性子旋轉(zhuǎn)空間視覺(jué)跟蹤算法（LineAr Rotate Subspace based visual Tracking，LARST）總體工作流程。首先在首幀中使用目標(biāo)識(shí)別算法識(shí)別出視窗內(nèi)的目標(biāo)，緊接著生成該目標(biāo)圖像的線性旋轉(zhuǎn)子空間，并訓(xùn)練對(duì)應(yīng)的濾波器組，之后的工作將緊緊圍繞使用濾波器組檢測(cè)目標(biāo)位置并隨時(shí)利用獲取的目標(biāo)圖像更新濾波器組展開(kāi)。例如，在使用目標(biāo)跟蹤算法對(duì)第t 幀中的目標(biāo)進(jìn)行定位的時(shí)候，使用t-1 幀中對(duì)目標(biāo)響應(yīng)最大的濾波器（稱之為主濾波器）及相鄰的濾波器（稱之為旁濾波器）對(duì)目標(biāo)位置進(jìn)行檢測(cè)。如果主濾波器響應(yīng)最大，即表示該目標(biāo)外觀沒(méi)有發(fā)生顯著變化，不用更新濾波器組，反之如果旁濾波器響應(yīng)最大，且跟蹤效果較好，該旁濾波器沒(méi)有更新過(guò)，就使用該跟蹤結(jié)果更新濾波器組，如果跟蹤效果不好，就在跟蹤結(jié)果的小范圍距離內(nèi)使用簡(jiǎn)單的目標(biāo)檢測(cè)算法對(duì)目標(biāo)進(jìn)行檢測(cè)定位，并用于更新濾波器序列。最后，如果跟蹤質(zhì)量檢測(cè)表示已經(jīng)出現(xiàn)遮擋或出視窗等嚴(yán)重跟丟情況，在下一幀擴(kuò)大范圍搜尋目標(biāo)的位置。

圖8 基于線性旋轉(zhuǎn)空間的視覺(jué)跟蹤算法（LARST）總體框架Fig.8 Algorithm flow of linear rotate subspace visual tracking(LARST)

5 實(shí)驗(yàn)及結(jié)果

5.1 實(shí)驗(yàn)參數(shù)設(shè)置

為了驗(yàn)證算法的有效性以及性能，分別采用四旋翼拍攝數(shù)據(jù)集以及固定翼無(wú)人機(jī)保距跟蹤采集數(shù)據(jù)集對(duì)算法進(jìn)行驗(yàn)證。采用的線性旋轉(zhuǎn)子空間的數(shù)目，即序列濾波器的數(shù)目為n=24，即每隔15°訓(xùn)練一個(gè)濾波器，搜索算法中padding 值為2.5，為了縮短取樣的時(shí)間，將搜索區(qū)域設(shè)置為以上一幀目標(biāo)位置為中心的正方形區(qū)域內(nèi)，方便將一次取樣和多個(gè)角度濾波器進(jìn)行檢測(cè)，并且在實(shí)驗(yàn)中采用fHOG特征，CN特征，降低特征提取的計(jì)算復(fù)雜度，提高算法的實(shí)時(shí)性。

實(shí)驗(yàn)先采用筆記本電腦進(jìn)行算法驗(yàn)證，筆記本電腦的CPU 為i7-6700HQ，GPU 為GTX 960m，8GB內(nèi)存，最后的實(shí)機(jī)飛行階段采用TX1搭載圖像處理算 法，CPU 為A57，GPU 為NVIDIA Maxwell，4GB內(nèi)存。

實(shí)驗(yàn)側(cè)重于關(guān)注跟蹤距離誤差（Center Location Error，CLE），即跟蹤結(jié)果中目標(biāo)中心位置和手動(dòng)標(biāo)記的跟蹤框中心位置的直線距離，因?yàn)槟繕?biāo)中心在視窗中的坐標(biāo)是固定翼無(wú)人機(jī)保距跟蹤中需要的唯一參數(shù)。

5.2 四旋翼無(wú)人機(jī)視角數(shù)據(jù)集實(shí)驗(yàn)

本文算法解決固定翼無(wú)人機(jī)視角下目標(biāo)旋轉(zhuǎn)后的跟蹤偏差問(wèn)題，但沒(méi)有公開(kāi)的固定翼無(wú)人機(jī)視角的數(shù)據(jù)集用于訓(xùn)練和測(cè)試算法，為了模擬固定翼視角下的目標(biāo)跟蹤問(wèn)題，選擇UAV123 和VisDrone中目標(biāo)大幅度旋轉(zhuǎn)的視頻序列，和使用四旋翼無(wú)人機(jī)拍攝的視頻序列進(jìn)行算法測(cè)試，驗(yàn)證算法有效性及性能。具體包括VisDrone 中的Car1，car2，car7 和UAV123 中的S1313，S1702，S1603 以及四旋翼無(wú)人機(jī)拍攝S11，S12，S13，S14等序列。

圖9 給出了Car1 序列中跟蹤效果的關(guān)鍵幀，可以看出：在跟蹤的前半段，目標(biāo)和無(wú)人機(jī)之間的相對(duì)位置發(fā)生了顯著變化，目標(biāo)圖像發(fā)生顯著的平面外旋轉(zhuǎn)，此時(shí)普通的視覺(jué)跟蹤算法均出現(xiàn)了不同程度的跟蹤漂移，而LARST算法能夠有效利用多個(gè)角度的濾波器對(duì)目標(biāo)位置進(jìn)行準(zhǔn)確估計(jì)，減少了跟蹤漂移的情況。在目標(biāo)被遮擋并重新出現(xiàn)以后，其他算法不能及時(shí)重新檢測(cè)目標(biāo)，而LARST算法能夠在尋回機(jī)制的幫助下及時(shí)找回跟丟的目標(biāo)，并繼續(xù)進(jìn)行較為準(zhǔn)確的跟蹤。

圖9 Car1序列中跟蹤結(jié)果關(guān)鍵幀比較Fig.9 Key frames of tracking result in sequence Car1

圖10 Car1序列中跟蹤距離誤差變化圖Fig.10 Center location error of tracking result in sequence Car1

圖10 給出了Car1 序列中，LARST 算法和其他六種通用視覺(jué)跟蹤算法的跟蹤效果對(duì)比。可以看出，在視覺(jué)跟蹤的前半段，目標(biāo)圖像發(fā)生明顯旋轉(zhuǎn)的情況下，LARST算法能夠保持較為準(zhǔn)確的跟蹤精度，尤其是在720幀左右，目標(biāo)圖像被建筑物完全遮擋并再次出現(xiàn)之后，其余通用跟蹤算法完全跟丟，LARST 算法能夠在目標(biāo)重新出現(xiàn)之后及時(shí)發(fā)現(xiàn)目標(biāo)的蹤跡，并及時(shí)鎖定位置，繼續(xù)進(jìn)行較為準(zhǔn)確的位置估計(jì)。

5.3 固定翼視角數(shù)據(jù)集測(cè)試

實(shí)驗(yàn)采用固定翼無(wú)人機(jī)對(duì)地面目標(biāo)進(jìn)行保距跟蹤，使用機(jī)載攝像機(jī)記錄目標(biāo)圖像。經(jīng)過(guò)標(biāo)注的圖像序列有S21，S22，S23。相對(duì)于四旋翼無(wú)人機(jī)采集數(shù)據(jù)集，固定翼無(wú)人機(jī)采集數(shù)據(jù)集存在目標(biāo)晃動(dòng)幅度更大的問(wèn)題，帶來(lái)更明顯的目標(biāo)外觀變化，對(duì)跟蹤算法提出了更高的要求。

圖11 給出了六種通用跟蹤算法和LARST 算法跟蹤的關(guān)鍵幀比較?？梢钥闯觯谑褂霉潭ㄒ頍o(wú)人機(jī)拍攝的目標(biāo)圖像序列中，LARST 算法能夠在跟蹤的過(guò)程中始終保持相對(duì)準(zhǔn)確的跟蹤效果，沒(méi)有出現(xiàn)超出容忍范圍的跟蹤誤差，與此同時(shí)，其余通用跟蹤算法均不同程度地出現(xiàn)了跟蹤漂移的問(wèn)題，特別是在跟蹤的后半段出現(xiàn)了部分算法直接跟丟的情況，這在實(shí)際運(yùn)用中明顯是不被允許的。

圖11 S22序列中跟蹤結(jié)果關(guān)鍵幀比較Fig.11 Key frames of tarcking result in sequence S22

圖12 S22序列中跟蹤距離誤差變化圖Fig.12 Center location error of tracking result in sequence S22

圖12給出了六種通用跟蹤算法和LARST算法對(duì)S22 序列圖像的跟蹤誤差變化曲線。曲線表明LARST 算法對(duì)目標(biāo)位置的估計(jì)誤差始終保持在一個(gè)相對(duì)較低的水平，并且誤差波動(dòng)較小，與之形成對(duì)比的是，其余算法的跟蹤誤差均在一個(gè)相對(duì)較高的水平，部分算法誤差較大，且起伏較大，分析認(rèn)為是出現(xiàn)了跟蹤丟失的情況。

5.4 固定翼無(wú)人機(jī)飛行實(shí)驗(yàn)

為了驗(yàn)證LARST 算法在進(jìn)行飛行時(shí)是否能夠持續(xù)穩(wěn)定地獲取目標(biāo)在圖像中的位置，并為后續(xù)的定位跟蹤環(huán)節(jié)提供可靠數(shù)據(jù)，使用小型固定翼無(wú)人機(jī)進(jìn)行了實(shí)機(jī)飛行驗(yàn)證。

實(shí)驗(yàn)采用如圖13所示的靈雁固定翼無(wú)人機(jī)，飛機(jī)上搭載了通信設(shè)備、電源、圖像處理器、自動(dòng)駕駛儀以及搭載有攝像機(jī)的吊艙，無(wú)人機(jī)采用GPS 進(jìn)行定位導(dǎo)航，采用P900進(jìn)行對(duì)地通信。實(shí)驗(yàn)中使用兩架靈雁無(wú)人機(jī)協(xié)同跟蹤單輛汽車，實(shí)驗(yàn)設(shè)置如下：車輛運(yùn)動(dòng)速度約為6m/s，兩架無(wú)人機(jī)起飛后自主進(jìn)行覆蓋搜尋，搜尋到目標(biāo)進(jìn)行大致定位后，通過(guò)地面通信站互通目標(biāo)狀態(tài)信息，然后兩架無(wú)人機(jī)協(xié)同對(duì)地面目標(biāo)實(shí)施融合定位與跟蹤。實(shí)驗(yàn)中，LARST算法運(yùn)用于整個(gè)定位跟蹤系統(tǒng)的最前端，即發(fā)現(xiàn)并實(shí)時(shí)提供目標(biāo)在圖像中的位置，為后續(xù)的融合定位提供可靠的數(shù)據(jù)源支持，在一定程度上保證定位的準(zhǔn)確度。圖14 展示了雙無(wú)人機(jī)跟蹤地面移動(dòng)目標(biāo)的實(shí)機(jī)飛行圖以及其中一架無(wú)人機(jī)的機(jī)載攝像機(jī)圖像。

圖13 搭載有攝像機(jī)的靈雁固定翼無(wú)人機(jī)Fig.13 Ling Yan fixed-wing drone with camera

圖14 基于視覺(jué)的雙無(wú)人機(jī)協(xié)同跟蹤地面移動(dòng)目標(biāo)示意圖Fig.14 Vision-based dual UAV cooperative tracking of ground moving targets

圖15 基于視覺(jué)的雙無(wú)人機(jī)協(xié)同定位算法流程Fig.15 Algorithm flow of vision-based dual UAV collaborative location of ground moving target

圖16 無(wú)人機(jī)保距跟蹤目標(biāo)實(shí)驗(yàn)效果Fig.16 Experimental results of UAV standoff tracking

實(shí)驗(yàn)系統(tǒng)的工作流程如圖15所示：每架無(wú)人機(jī)上的攝像機(jī)對(duì)地面目標(biāo)進(jìn)行搜索、檢測(cè)，當(dāng)檢測(cè)到目標(biāo)后進(jìn)行視覺(jué)層面的跟蹤操作，然后根據(jù)目標(biāo)在視窗中的位置，結(jié)合云臺(tái)的姿態(tài)、飛機(jī)的姿態(tài)和無(wú)人機(jī)的定位信息，解算出目標(biāo)的位置信息，結(jié)合多架無(wú)人機(jī)的位置估計(jì)信息，進(jìn)行位置狀態(tài)融合，得到更加準(zhǔn)確的目標(biāo)位置，最后引導(dǎo)飛機(jī)對(duì)目標(biāo)進(jìn)行持續(xù)的盤旋跟蹤，對(duì)目標(biāo)進(jìn)行持續(xù)的觀測(cè)。

實(shí)機(jī)飛行中驗(yàn)證了LARST 算法的有效性，能夠運(yùn)用于固定翼無(wú)人機(jī)對(duì)地目標(biāo)的檢測(cè)跟蹤和定位算法，在飛行中能夠穩(wěn)定獲取目標(biāo)車輛在視窗內(nèi)的位置信息。圖16 給出了實(shí)驗(yàn)中兩架無(wú)人機(jī)的機(jī)載視角圖像，以及地面站顯示的跟蹤效果示意圖。

6 結(jié) 論

本文從以下三個(gè)方面入手，提出了基于固定翼無(wú)人機(jī)平臺(tái)的基于線性旋轉(zhuǎn)子空間的視覺(jué)跟蹤算法，能夠?qū)o(wú)人機(jī)視覺(jué)跟蹤難點(diǎn)有一定抑制作用，并滿足機(jī)載視覺(jué)目標(biāo)跟蹤算法的相關(guān)基本要求：

（1）提出了一種在線生成線性旋轉(zhuǎn)子空間并訓(xùn)練相關(guān)濾波器的方法，使用這種方法能夠有效抑制平面外旋轉(zhuǎn)產(chǎn)生的視角變化帶來(lái)的跟蹤漂移現(xiàn)象，在目標(biāo)出現(xiàn)平面外旋轉(zhuǎn)的情況下依然能夠有效捕捉到目標(biāo)的位置；

（2）引入跟蹤置信度的判斷準(zhǔn)則，判斷跟蹤結(jié)果的質(zhì)量，并借此判斷模板更新時(shí)機(jī)和目標(biāo)是否已經(jīng)丟失；

（3）使用低維特征對(duì)目標(biāo)進(jìn)行描述，滿足實(shí)時(shí)性要求，并使用搭載LARST算法的固定翼無(wú)人機(jī)進(jìn)行實(shí)機(jī)飛行。

實(shí)驗(yàn)表明算法對(duì)跟蹤漂移有一定的抑制效果，且跟蹤效果優(yōu)于現(xiàn)有算法，實(shí)機(jī)飛行表明算法能夠用于多無(wú)人機(jī)協(xié)同目標(biāo)定位與跟蹤。