鐘曉偉，王志勝，叢玉華

(南京航空航天大學(xué)自動(dòng)化學(xué)院，江蘇 南京 211106)

0 引言

隨著計(jì)算機(jī)視覺的快速發(fā)展,無人機(jī)視覺跟蹤技術(shù)已廣泛應(yīng)用于安防偵察、災(zāi)情檢測(cè)、人員搜救等領(lǐng)域[1]。然而,與一般的目標(biāo)跟蹤任務(wù)相比,基于無人機(jī)的目標(biāo)跟蹤任務(wù)更具挑戰(zhàn)性。由于無人機(jī)機(jī)載處理器資源受限,要求跟蹤算法具有低參數(shù)量和低運(yùn)算復(fù)雜度[2]。此外,無人機(jī)跟蹤還涉及尺度變化、低分辨率、部分遮擋等極具挑戰(zhàn)性的任務(wù)場(chǎng)景,跟蹤算法需要具有良好的跟蹤性能才能保證跟蹤任務(wù)完成。因此,如何平衡視覺跟蹤算法的實(shí)時(shí)性和跟蹤性能,以使其適用于無人機(jī)跟蹤任務(wù),是當(dāng)前研究的熱點(diǎn)技術(shù)問題。

目前,目標(biāo)跟蹤算法主要分為生成式跟蹤算法和判別式跟蹤算法[3]。生成式跟蹤算法,如均值漂移、粒子濾波等算法,通常忽略背景對(duì)目標(biāo)的影響,因此無法滿足復(fù)雜場(chǎng)景的跟蹤需求。

主流的判別式跟蹤算法可以分為基于相關(guān)濾波和基于深度學(xué)習(xí)兩類?；谙嚓P(guān)濾波的跟蹤算法,如MOSSE[4]、CSK[5]、KCF[6]等,基本思想是利用設(shè)計(jì)的濾波模板確定目標(biāo)在當(dāng)前幀的位置。此類算法雖然具有較低的計(jì)算復(fù)雜度,但只能利用簡(jiǎn)單特征進(jìn)行學(xué)習(xí),準(zhǔn)確率和魯棒性較差。

基于深度學(xué)習(xí)的跟蹤算法中,以孿生神經(jīng)網(wǎng)絡(luò)為核心的算法具有強(qiáng)大的特征提取和學(xué)習(xí)能力,使其在目標(biāo)跟蹤任務(wù)上有優(yōu)越表現(xiàn)。其中,SiamFC(fully-convolutional siamese networks)算法[7]將跟蹤任務(wù)定義為相似性匹配任務(wù),以較快的速度實(shí)現(xiàn)了目標(biāo)跟蹤任務(wù)。SiamRPN[8]把孿生網(wǎng)絡(luò)和區(qū)域推薦網(wǎng)絡(luò)融合,將目標(biāo)跟蹤問題抽象成為樣本檢測(cè)問題,提高了準(zhǔn)確率和運(yùn)算速度。SiamRPN++[9]選用復(fù)雜度高的神經(jīng)網(wǎng)絡(luò),進(jìn)一步提高了跟蹤性能,但復(fù)雜的網(wǎng)絡(luò)導(dǎo)致算法實(shí)時(shí)性降低。TCTrack利用歷史幀的時(shí)空信息[9-10],提高了算法的跟蹤性能,但引入Transformer增加了模型的參數(shù)量。Stark[11]算法使用了臃腫的編碼器-解碼器架構(gòu),運(yùn)算速度無法滿足目標(biāo)跟蹤的實(shí)時(shí)性要求。

基于上述分析,文中提出了一種基于輕量化設(shè)計(jì)的孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法SiamLD(siamese network target tracking algorithm based on lightweight design)。該算法在特征提取的主干網(wǎng)絡(luò)中引入了MobileNetV3輕量級(jí)神經(jīng)網(wǎng)絡(luò)并進(jìn)行改進(jìn)。同時(shí),在特征提取網(wǎng)絡(luò)中采用了ECA(efficient channel attention)注意力機(jī)制[12],提高圖像的分類能力。接著,對(duì)高低層網(wǎng)絡(luò)的特征進(jìn)行融合,使得最終的特征圖能夠增加對(duì)低層細(xì)節(jié)信息的關(guān)注,降低背景干擾、形變等問題的影響。同時(shí),還采取了多分支交叉相關(guān),增強(qiáng)了模板局部特征的作用。最后,在回歸分支中引入完全交并比以獲取更準(zhǔn)確的目標(biāo)預(yù)測(cè)框。

1 文中算法

文中提出的跟蹤算法整體框架如圖1所示。該框架主要由輕量化特征提取網(wǎng)絡(luò)、特征融合模塊、多分支交叉相關(guān)、分類回歸分支和邊界框回歸分支組成。對(duì)于一個(gè)待跟蹤的視頻序列,文中算法SiamLD首先利用改進(jìn)后的MobileNetV3網(wǎng)絡(luò)對(duì)3×127×127的目標(biāo)模板和3×255×255的搜索圖像進(jìn)行特征提取,然后通過特征融合模塊得到強(qiáng)化低層語義信息的特征圖。接著,經(jīng)過深度相關(guān)和像素相關(guān)處理后,通過分類回歸分支和邊界框回歸分支得出被跟蹤目標(biāo)在搜索圖像上的預(yù)測(cè)邊界框。

圖1 文中算法整體結(jié)構(gòu)框架圖Fig.1 Overall framework diagram of the algorithm

1.1 輕量化主干網(wǎng)絡(luò)設(shè)計(jì)

為了在視覺跟蹤算法中兼顧準(zhǔn)確性和實(shí)時(shí)性,文中引入了輕量化網(wǎng)絡(luò)MobileNetV3,并對(duì)其進(jìn)行了改進(jìn)。MobileNetV3使用深度可分離卷積取代傳統(tǒng)卷積進(jìn)行特征提取。深度可分離卷積利用深度卷積使每個(gè)通道只被一個(gè)卷積核提取特征,并通過逐點(diǎn)卷積將深度卷積得到的特征圖進(jìn)行組合。這種卷積方式將傳統(tǒng)卷積的特征提取和組合過程分開進(jìn)行,使特征提取網(wǎng)絡(luò)可以用更少的參數(shù)和計(jì)算量來學(xué)習(xí)空間和通道特征,從而大幅度減小了模型大小和計(jì)算復(fù)雜度。原始的MobileNetV3網(wǎng)絡(luò)需要多次下采樣操作才能得到圖像特征圖,而過多的下采樣會(huì)導(dǎo)致輸出特征圖分辨率降低,容易在跟蹤過程中丟失部分信息,同時(shí)還會(huì)增加計(jì)算資源消耗。因此,文中對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了調(diào)整,減少了下采樣次數(shù),去除了冗余部分網(wǎng)絡(luò)。改進(jìn)后的主干網(wǎng)絡(luò)參數(shù)如表1所示。

表1 輕量化主干網(wǎng)絡(luò)參數(shù)Table 1 Lightweight backbone network parameters

MobileNetV3采用了SE(squeeze-and-excitation)注意力機(jī)制,在通道內(nèi)對(duì)特征圖進(jìn)行全局池化操作,通過全連接層和激活函數(shù)得到特征圖的權(quán)重,并與特征圖相乘,以提高圖像的分類能力。然而,SE注意力機(jī)制中包含兩個(gè)全連接層,會(huì)增加神經(jīng)網(wǎng)絡(luò)的計(jì)算量,并且SE通道注意力中的降維操作會(huì)破壞通道之間的交流,導(dǎo)致產(chǎn)生的通道權(quán)重較差。因此,文中引入ECA注意力機(jī)制來代替MobileNetV3中的SE注意力機(jī)制,ECA注意力機(jī)制的示意圖如圖2所示。ECA注意力機(jī)制去除了全連接層,而直接在全局平均池化層后使用1×1卷積層。該模塊只需利用少量參數(shù)就可以達(dá)到良好的特征提取效果。

圖2 ECA注意力機(jī)制示意圖Fig.2 Schematic diagram of ECA attention mechanism

1.2 高低層特征融合

卷積神經(jīng)網(wǎng)絡(luò)中不同特征層所包含的信息起到的作用不同。低層特征包含更多的細(xì)節(jié)信息,例如顏色、紋理等,但由于經(jīng)過較少的卷積層,因此其語義性較低,同時(shí)也伴隨著更多的噪聲。相比之下,高層特征具有更強(qiáng)的語義特征,能夠降低背景干擾和形變等因素對(duì)跟蹤效果的影響,但通過多層神經(jīng)網(wǎng)絡(luò)后,分辨率會(huì)降低,無法感知細(xì)節(jié)信息。在無人機(jī)航拍視角下,目標(biāo)物體成像較小,目標(biāo)分辨率較差,因此更需要關(guān)注低卷積層的特征信息。

為了進(jìn)一步提高文中跟蹤算法的準(zhǔn)確性和魯棒性,提出一種高低層特征融合模塊,其整體結(jié)構(gòu)如圖3所示。該模塊主要由全局平均池化GAP(global average pooling)、點(diǎn)卷積層、ReLU激活函數(shù)和Sigmoid激活函數(shù)構(gòu)成。

圖3 高低層特征融合模塊結(jié)構(gòu)圖Fig.3 Structure diagram of the feature fusion module

對(duì)于給定的兩個(gè)特征X和Y進(jìn)行特征融合,其中X表示包含更多細(xì)節(jié)信息的低層特征,Y表示具有更多語義信息的高層特征。首先這兩個(gè)特征經(jīng)過全局平均池化提取全局特征注意力,然后經(jīng)過點(diǎn)卷積和ReLU激活函數(shù)處理,得到特征圖M。接下來,通過點(diǎn)卷積和歸一化處理BN(batch normalization)進(jìn)行調(diào)整,最后通過Sigmoid激活函數(shù)得到權(quán)重值Z。具體的計(jì)算公式為:

M=δ1(Conv(GAP(X+Y)))

(1)

Z=δ2(B(Conv(M)))

(2)

式中:GAP表示全局平均池化;Conv表示點(diǎn)卷積;δ1、δ2分別表示ReLU和Sigmoid激活函數(shù);B表示歸一化處理。

1.3 多分支交叉相關(guān)操作

文中目標(biāo)模板X和搜索圖像Y通過權(quán)值共享的孿生神經(jīng)網(wǎng)絡(luò)φ,分別得到對(duì)應(yīng)的模板特征fX=φ(X)和搜索圖像特征fY=φ(Y)。通過對(duì)模板特征fX和搜索圖像特征fY進(jìn)行互相關(guān)操作,可以得到模板與圖像在當(dāng)前位置的相似程度。

SiamRPN++采用深度相關(guān)操作(depth-wise correlation)實(shí)現(xiàn)模板與圖像的互相關(guān),逐通道互相進(jìn)行內(nèi)積運(yùn)算,最終得到特征相似圖。盡管深度相關(guān)能夠注重整體特征的相似性,但是由于需要進(jìn)行卷積,會(huì)增加模型參數(shù)和計(jì)算復(fù)雜度。

為了減少計(jì)算復(fù)雜度,文中提出了多分支交叉相關(guān)。在深度相關(guān)的基礎(chǔ)上,引入逐像素相關(guān)(pixel-wise correlation)。逐像素相關(guān)將模板特征分解成H×W個(gè)1×1特征,將這H×W個(gè)特征分別與搜索圖像特征相乘,得到通道數(shù)為S的相關(guān)圖。逐像素相關(guān)并將相關(guān)操作轉(zhuǎn)化為矩陣計(jì)算,提高了運(yùn)算速度,同時(shí)使得相關(guān)特征圖具有更小的核尺寸和更多樣化的目標(biāo)表達(dá),更好地保留了目標(biāo)的邊界信息和尺度信息。

文中設(shè)計(jì)了多分支交叉相關(guān),既保留了深度相關(guān)的優(yōu)點(diǎn),又引入了逐像素相關(guān)的特點(diǎn)。同時(shí),還將孿生網(wǎng)絡(luò)輸出的目標(biāo)特征圖和搜索圖像特征圖進(jìn)行交叉相關(guān),具體的計(jì)算過程為:

(3)

(4)

式中:φ(X)、φ(Y)分別表示模板圖像特征和搜索圖像特征;Pixel表示逐像素相關(guān);Depth表示深度相關(guān);pcls和preg分別表示經(jīng)過逐像素相關(guān)后得到的分類響應(yīng)圖和回歸響應(yīng)圖;dcls和dreg分別表示經(jīng)過深度相關(guān)后得到的分類響應(yīng)圖和回歸響應(yīng)圖。

將不同相關(guān)分支得出的特征圖進(jìn)行拼接,并經(jīng)過3×3卷積,可得到最終的分類響應(yīng)圖和回歸響應(yīng)圖,其數(shù)學(xué)表達(dá)式為:

Zcls=Conv(pcls+dcls)

(5)

Zreg=Conv(preg+dreg)

(6)

式中:Conv表示點(diǎn)卷積;Zcls和Zreg分別表示最終的分類響應(yīng)圖和回歸響應(yīng)圖。

1.4 損失函數(shù)設(shè)計(jì)

損失函數(shù)的設(shè)計(jì)會(huì)對(duì)孿生神經(jīng)網(wǎng)絡(luò)的性能起到較大的影響,文中在分類分支采用二分類交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練,其數(shù)學(xué)表達(dá)式為:

(7)

式中:Lcls表示分類損失;(i,j)表示響應(yīng)圖上的位置;y(i,j)表示對(duì)應(yīng)位置的標(biāo)注值;p(i,j)表示該位置預(yù)測(cè)的概率。

在回歸分支中,目標(biāo)框的預(yù)測(cè)準(zhǔn)確度直接影響跟蹤器的性能優(yōu)劣。完全交并比同時(shí)考慮到重疊面積、高寬比和中心點(diǎn)距離,可以在回歸分支得出更準(zhǔn)確的目標(biāo)框。因此,文中在設(shè)計(jì)回歸分支損失函數(shù)時(shí)考慮了完全交并比RCIOU,其數(shù)學(xué)表達(dá)式分別為[13]:

(8)

(9)

(10)

式中:Bgt和bgt表示真實(shí)框和真實(shí)框的中心位置坐標(biāo);B和b表示預(yù)測(cè)框與預(yù)測(cè)框的中心位置坐標(biāo);ρ表示真實(shí)框和預(yù)測(cè)框的中心距離;c表示相交的真實(shí)框和預(yù)測(cè)框的對(duì)角線距離;w,h和wgt,hgt分別表示預(yù)測(cè)框的寬與高和真實(shí)標(biāo)注框的寬與高。

回歸分支損失函數(shù)Lreg可表示為:

(11)

式中:(i,j)表示響應(yīng)圖上的具體位置;p(i,j)表示該位置預(yù)測(cè)的概率。

孿生網(wǎng)絡(luò)最終損失函數(shù)Lloss可表示為:

Lloss=λ1Lcls+λ2Lreg

(12)

式中:λ1和λ2分別表示對(duì)應(yīng)損失函數(shù)的損失權(quán)重因子。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)參數(shù)

文中將目標(biāo)模板大小設(shè)置為3×127×127,將搜索圖像大小設(shè)置為3×255×255。將批量大小設(shè)置為64,采用隨機(jī)梯度下降法SGD(stochastic gradient descent),并將初始學(xué)習(xí)率設(shè)置為0.005,最終衰減至0.000 5。網(wǎng)絡(luò)總共訓(xùn)練50個(gè)epoch,每個(gè)epoch迭代次數(shù)為32 000。

2.2 數(shù)據(jù)集和評(píng)估指標(biāo)

2.2.1 數(shù)據(jù)集

文中選取GOT-10K[14],Lasot[15],ImageNet VID[16],COCO[17]四個(gè)數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練,并在無人機(jī)目標(biāo)跟蹤數(shù)據(jù)集UAV123和DTB70上分別進(jìn)行算法性能測(cè)試。UAV123大小約14 G,包含123個(gè)視頻序列[18],這些視頻序列涵蓋了室內(nèi)、室外、天空、城市和農(nóng)村等多種復(fù)雜場(chǎng)景,數(shù)據(jù)集中的運(yùn)動(dòng)目標(biāo)包括人、車、動(dòng)物等,且在不同的環(huán)境中以不同的速度和方向移動(dòng),所有視頻都是由無人機(jī)拍攝的,具有高動(dòng)態(tài)范圍和高清晰度,同時(shí)包含了具有挑戰(zhàn)性的多種跟蹤場(chǎng)景,這使得UAV123數(shù)據(jù)集成為目標(biāo)跟蹤算法評(píng)估的理想數(shù)據(jù)集之一。DTB70數(shù)據(jù)集包括短期和長(zhǎng)期空中目標(biāo)[19],包含70個(gè)視頻序列,總共大小約1.34 G。此數(shù)據(jù)集中的視頻序列是由攝像機(jī)實(shí)際拍攝的,具有真實(shí)性和可靠性,可以更好地反映實(shí)際應(yīng)用場(chǎng)景中的目標(biāo)跟蹤問題。上述兩個(gè)無人機(jī)基準(zhǔn)數(shù)據(jù)集可以全面地評(píng)估文中算法在無人機(jī)視角下的跟蹤性能。

2.2.2 評(píng)估指標(biāo)

文中利用準(zhǔn)確率和成功率評(píng)估算法的跟蹤性能,利用幀率評(píng)估算法的實(shí)時(shí)性能。跟蹤算法的成功率Psuc是指預(yù)測(cè)邊界框和人工標(biāo)注邊界框的重疊率大于某一閾值的幀數(shù)占總幀數(shù)的比例,其計(jì)算公式為:

(13)

式中:α代表閾值,通常設(shè)置為0.5。

重疊率RIoU是指預(yù)測(cè)邊界框與真實(shí)邊界框之間的交并,其計(jì)算公式為:

(14)

式中:B和Bgt分別表示預(yù)測(cè)框和真實(shí)標(biāo)注框。

準(zhǔn)確率是指預(yù)測(cè)邊界框的中心位置與人工標(biāo)注邊界框的中心位置的距離δ小于某一閾值的幀數(shù)占總幀數(shù)的比例,計(jì)算公式為:

(15)

式中:β代表閾值,通常設(shè)置為20。

目標(biāo)中心位置誤差δ的計(jì)算公式為:

(16)

式中:(xr,yr)和(xp,yp)分別表示預(yù)測(cè)邊界框的中心位置坐標(biāo)和人工標(biāo)注邊界框的中心位置坐標(biāo)。

2.3 定量分析

2.3.1 UAV123跟蹤基準(zhǔn)實(shí)驗(yàn)結(jié)果

在UAV123跟蹤基準(zhǔn)上對(duì)文中提出的SiamLD算法進(jìn)行跟蹤性能評(píng)估,并與11種跟蹤算法進(jìn)行對(duì)比,用于對(duì)比的算法包括:KCF,DSST[20],SRDCF[21],UDT[22],SiamFC,ECO_HC[23],TADT[24],SiamDW[25],SiamRPN,SiamBAN[26],TcTrack。

在UAV123跟蹤基準(zhǔn)上,文中算法與其他11種對(duì)比算法的成功率和準(zhǔn)確率如圖4和圖5所示。從實(shí)驗(yàn)結(jié)果可以看出,文中提出的SiamLD算法跟蹤成功率達(dá)到了0.612,跟蹤準(zhǔn)確率達(dá)到了0.8,取得了具有競(jìng)爭(zhēng)力的跟蹤性能。

圖4 不同算法在UAV123跟蹤基準(zhǔn)的成功率圖Fig.4 Success rate chart of different algorithms on UAV123 tracking benchmark

圖5 不同算法在UAV123跟蹤基準(zhǔn)的準(zhǔn)確率圖Fig.5 Accuracy charts of different algorithms for tracking benchmarks in UAV123

在無人機(jī)空中目標(biāo)跟蹤過程中,由于無人機(jī)飛行特性,目標(biāo)尺寸變化、相機(jī)移動(dòng)等跟蹤場(chǎng)景頻發(fā),容易引發(fā)目標(biāo)框選漂移或者丟失。為了應(yīng)對(duì)這些挑戰(zhàn)性場(chǎng)景,測(cè)試文中算法在挑戰(zhàn)性場(chǎng)景的跟蹤性能和魯棒性,在UAV123跟蹤基準(zhǔn)上選擇了縱橫比變化、相機(jī)移動(dòng)、目標(biāo)尺寸變化三種場(chǎng)景,對(duì)文中提出的跟蹤算法進(jìn)行性能評(píng)估。

圖6展示了在三種挑戰(zhàn)性場(chǎng)景下,文中算法的跟蹤成功率和準(zhǔn)確率。

圖6 文中算法在挑戰(zhàn)性場(chǎng)景下的跟蹤成功率和準(zhǔn)確率圖Fig.6 Tracking success rate and accuracy chart of the algorithm in challenging scenarios in this article

由圖6可以看出,在縱橫比變化、相機(jī)移動(dòng)、目標(biāo)尺寸變化場(chǎng)景下,文中所提出跟蹤算法的成功率均為最優(yōu),準(zhǔn)確率也均為優(yōu)秀,說明了在具有挑戰(zhàn)性的無人機(jī)跟蹤場(chǎng)景下,文中算法依然能擁有良好的性能。

當(dāng)無人機(jī)跟蹤場(chǎng)景出現(xiàn)縱橫比變化、相機(jī)移動(dòng)、目標(biāo)尺寸變化等情況時(shí),搜索圖像中會(huì)包含干擾信息。為了應(yīng)對(duì)這些干擾,文中算法改進(jìn)了特征提取網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu),減少下采樣次數(shù),使得分辨率得以提高。同時(shí),引入了ECA機(jī)制,提高算法的圖像分類能力。文中算法引入了多分支交叉相關(guān),通過深度相關(guān)和逐像素相關(guān),使得相關(guān)特征圖在注重整體特征的相似性的同時(shí),更好地保留了目標(biāo)的邊界信息和尺度信息,提高了算法的抗干擾能力。

2.3.2 DTB70跟蹤基準(zhǔn)實(shí)驗(yàn)結(jié)果

DTB70數(shù)據(jù)集包含了70個(gè)劇烈運(yùn)動(dòng)的無人機(jī)視角下的視頻,穩(wěn)定跟蹤目標(biāo)是該數(shù)據(jù)集中的難點(diǎn)。將文中提出的算法在DTB70跟蹤基準(zhǔn)中進(jìn)行性能評(píng)估,并與11種跟蹤算法進(jìn)行對(duì)比分析。用于對(duì)比的算法包括:KCF,DSST,SRDCF,UDT,TADT,SiamFC,ECO_HC,SiamAPN[27],SiamRPN,SiamAPN++[28],TcTrack。

表2展示了12種跟蹤算法在DTB70跟蹤基準(zhǔn)上的跟蹤性能。提出算法在70個(gè)無人機(jī)劇烈運(yùn)動(dòng)的場(chǎng)景下取得了具有競(jìng)爭(zhēng)力的跟蹤性能,跟蹤成功率和準(zhǔn)確率分別達(dá)到了0.638和0.830。相較于參數(shù)量巨大的次優(yōu)算法TcTrack,文中算法在跟蹤成功率和準(zhǔn)確率上提升了2.6%和2.1%,充分說明了文中算法能夠適用于運(yùn)動(dòng)變化較大的無人機(jī)平臺(tái)。

表2 不同算法在DTB70跟蹤基準(zhǔn)上的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of different algorithms on the DTB70 tracking benchmark

文中算法提出了高低層特征融合模塊,特征提取能夠關(guān)注到低層神經(jīng)網(wǎng)絡(luò)中包含的顏色、紋理等細(xì)節(jié)信息,使得文中算法可以適應(yīng)在目標(biāo)分辨率低無人機(jī)視角下的跟蹤。由于文中算法在損失函數(shù)中引入了完全交并比,可以在回歸分支得出更準(zhǔn)確的目標(biāo)框,提高了目標(biāo)跟蹤算法的精確度和魯棒性。

2.3.3 算法實(shí)時(shí)性分析

考慮到無人機(jī)機(jī)載嵌入式平臺(tái)計(jì)算資源有限,文中算法采用了輕量化的特征提取主干網(wǎng)絡(luò),并在高低層特征融合和特征互相關(guān)中均考慮到輕量化設(shè)計(jì)。因此,文中所設(shè)計(jì)的跟蹤器框架具有較低的參數(shù)量和運(yùn)算量。表3展示了文中算法與其他算法在參數(shù)量和運(yùn)算量上的對(duì)比結(jié)果。對(duì)比結(jié)果表明,文中算法的輕量化設(shè)計(jì),能夠讓算法的運(yùn)算量和參數(shù)量大幅降低。

表3 不同算法參數(shù)量和運(yùn)算量對(duì)比Table 3 Comparison of parameter quantity and operation quantity of different algorithms

為充分評(píng)估文中設(shè)計(jì)的目標(biāo)跟蹤算法的實(shí)時(shí)性能,在PC端和無人機(jī)機(jī)載嵌入式平臺(tái)上進(jìn)行了算法實(shí)時(shí)性測(cè)試實(shí)驗(yàn)。文中算法與其他算法在PC端和嵌入式NUC機(jī)載電腦上的幀率對(duì)比如表4所示。通過輕量化設(shè)計(jì),文中算法在PC端運(yùn)行速率達(dá)到155 幀/s,在無人機(jī)嵌入式平臺(tái)上運(yùn)行速率達(dá)到41 幀/s,遠(yuǎn)高于其他算法,能夠滿足實(shí)時(shí)性要求。

表4 不同算法實(shí)時(shí)運(yùn)行速度對(duì)比Table 4 Comparison of real time running speeds of different algorithms

此外,在運(yùn)行過程中,文中算法僅占用機(jī)載電腦內(nèi)存容量的4.7%,節(jié)約了有限的計(jì)算資源,有利于接入其他運(yùn)算需求,充分說明了文中算法輕量化設(shè)計(jì)的有效性和部署至無人機(jī)平臺(tái)的可行性。

2.4 定性分析

為了直觀地展示實(shí)驗(yàn)中各不同跟蹤算法的跟蹤效果,從UAV123中挑選了4組視頻序列,并與ECO_HC,SiamFC,SRDCF,SiamBAN和TADT 5種跟蹤算法進(jìn)行了對(duì)比,對(duì)比效果圖如圖7～圖10所示。不同的算法用不同顏色的預(yù)測(cè)框表示,其中綠色框代表真實(shí)標(biāo)注(ground-truth)。預(yù)測(cè)邊界框與真實(shí)標(biāo)注邊界框重疊的面積越大,說明此算法的跟蹤性能更優(yōu)。

圖7 UAV123視頻序列不同算法跟蹤船9目標(biāo)結(jié)果對(duì)比圖Fig.7 Comparison of tracking boat 9 results of different algorithms for UAV123 video sequences

在圖7 boat 9視頻序列中,被跟蹤目標(biāo)表現(xiàn)出快速運(yùn)動(dòng)和分辨率較低的特點(diǎn)。各算法在序列號(hào)(SN)第102幀時(shí)還能夠準(zhǔn)確跟蹤目標(biāo),但隨著被跟蹤目標(biāo)分辨率的持續(xù)降低,到第896幀時(shí),SiamBAN算法已經(jīng)出現(xiàn)丟失目標(biāo)的情況。從第1 390幀可以看出,被跟蹤目標(biāo)經(jīng)過多次尺度變化后,只有文中提出的算法與綠色標(biāo)注框重合面積最大,跟蹤效果最佳。

在圖8 car 6_2視頻序列中,出現(xiàn)了相機(jī)視野、視角變化兩種挑戰(zhàn)性的跟蹤場(chǎng)景。在第799幀目標(biāo)超出相機(jī)視野時(shí),SRDCF算法已經(jīng)丟失了目標(biāo),在第961幀目標(biāo)重新出現(xiàn)在視野中時(shí),文中算法相較于其他算法,與綠色人工標(biāo)注框重合率最大,效果更優(yōu)。

圖8 UAV123視頻序列不同算法跟蹤轎車6_2目標(biāo)結(jié)果對(duì)比圖Fig.8 Comparison of tracking car 6_2 results of different algorithms for UAV123 video sequences

在圖9 group3_1視頻序列中,被跟蹤目標(biāo)出現(xiàn)相似目標(biāo)干擾、部分遮擋的特點(diǎn)。在第903幀目標(biāo)出現(xiàn)部分遮擋時(shí),TADT和SRDCF算法無法繼續(xù)跟蹤目標(biāo),而文中算法依然可以準(zhǔn)確跟蹤部分被遮擋的目標(biāo),體現(xiàn)了文中算法的抗干擾性能。

圖9 UAV123視頻序列不同算法跟蹤group 3_1目標(biāo)結(jié)果對(duì)比圖Fig.9 Comparison of tracking group 3_1 results of different algorithms for UAV123 video sequences

在圖10 truck1視頻序列中,被跟蹤目標(biāo)出現(xiàn)了尺寸變化和多個(gè)相似目標(biāo)干擾的特點(diǎn)。在第154幀出現(xiàn)多個(gè)相似目標(biāo)干擾時(shí),只有文中算法和SiamBAN能夠準(zhǔn)確跟蹤目標(biāo),但文中算法與綠色標(biāo)注框重合率高于SiamBAN,說明文中算法跟蹤性能優(yōu)于其他對(duì)比算法。

圖10 UAV123視頻序列不同算法跟蹤卡車1目標(biāo)結(jié)果對(duì)比圖Fig.10 Comparison of tracking truck 1 results of different algorithms for UAV123 video sequences

綜上所述,文中提出的SiamLD算法在較為復(fù)雜的無人機(jī)跟蹤場(chǎng)景下具有更好的跟蹤效果和抗干擾性能,可以為無人機(jī)任務(wù)中的目標(biāo)跟蹤應(yīng)用提供可靠的支持。

3 結(jié)束語

針對(duì)無人機(jī)平臺(tái)下目標(biāo)跟蹤算法難以平衡跟蹤性能和實(shí)時(shí)性的問題,文中提出了一種基于輕量化設(shè)計(jì)的孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法SiamLD,并在UAV123和DTB70無人機(jī)跟蹤基準(zhǔn)上完成了算法整體性能評(píng)估。實(shí)驗(yàn)結(jié)果表明,文中提出的SiamLD算法在DTB70跟蹤基準(zhǔn)上跟蹤成功率和準(zhǔn)確率分別達(dá)到了0.638和0.830,并且在嵌入式NUC機(jī)載電腦中運(yùn)行速率達(dá)到41 幀/s,實(shí)現(xiàn)了跟蹤性能和實(shí)時(shí)性的平衡。下一步工作將時(shí)空上下文信息引入跟蹤算法,進(jìn)一步提高算法跟蹤性能。