姬張建，任興旺

（1.山西大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，太原 030006；2.山西大學(xué)大數(shù)據(jù)科學(xué)與產(chǎn)業(yè)研究院，太原 030006）

（*通信作者電子郵箱jizhangjian@sxu.edu.cn）

0 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域中一個(gè)重要的研究課題，在機(jī)器人運(yùn)動(dòng)路徑規(guī)劃、汽車輔助駕駛以及軍事目標(biāo)追蹤等方面有著廣泛的應(yīng)用，進(jìn)而得到了越來(lái)越多專家學(xué)者的關(guān)注［1-2］；但是在真實(shí)場(chǎng)景中面臨的各種挑戰(zhàn)，如復(fù)雜的背景、光照變化、目標(biāo)物被遮擋以及運(yùn)動(dòng)物體的旋轉(zhuǎn)尺度變化等，嚴(yán)重影響現(xiàn)有目標(biāo)跟蹤算法的性能，使得如何準(zhǔn)確地對(duì)目標(biāo)進(jìn)行跟蹤成為研究難題。

目前常見(jiàn)的目標(biāo)跟蹤算法可分為兩類：基于相關(guān)濾波框架的跟蹤算法和基于深度孿生網(wǎng)絡(luò)框架的跟蹤算法。相關(guān)濾波算法主要應(yīng)用于信號(hào)處理領(lǐng)域，用來(lái)描述兩個(gè)信號(hào)之間的相關(guān)性，目標(biāo)跟蹤的過(guò)程同樣可視為模板與待搜索區(qū)域間相關(guān)性的計(jì)算。Bolme 等［3］首次將相關(guān)濾波思想引入到目標(biāo)跟蹤任務(wù)中，提出了基于平方誤差最小和濾波器的跟蹤算法，實(shí)現(xiàn)了每秒600 多幀的跟蹤速度，但跟蹤性能較差。之后為了提高算法的魯棒性，文獻(xiàn)［4］將表征能力更強(qiáng)的梯度直方圖（Histogram of Oriented Gradients，HOG）特征［5］引入到相關(guān)濾波跟蹤模型中實(shí)現(xiàn)了更好跟蹤性能的核相關(guān)濾波（Kernelized Correlation Filters，KCF）算法；然而，該算法僅限于估計(jì)目標(biāo)的平移運(yùn)動(dòng)，當(dāng)目標(biāo)發(fā)生較大的尺度變化時(shí)跟蹤性能很差。Danelljan 等［6］將深度特征引入跟蹤模型中，提出了一種高效的卷積操作（Efficient Convolution Operators for tracking，ECO）算法。由于相關(guān)濾波本身缺少對(duì)尺度變化的估計(jì)能力，文獻(xiàn)［7］使用可分離的尺度濾波器來(lái)估計(jì)目標(biāo)的尺度提出帶尺度估計(jì)的算法DSST（Discriminative Scale Space Tracker）。文獻(xiàn)［8］則采用多尺度搜索策略SAMF（Scale Adaptive with Multiple Features tracker）解決了傳統(tǒng)的相關(guān)濾波跟蹤器不能解決被跟蹤目標(biāo)尺度變化的問(wèn)題。為了解決現(xiàn)有的目標(biāo)跟蹤器不能適應(yīng)運(yùn)動(dòng)目標(biāo)旋轉(zhuǎn)的問(wèn)題，Li 等［9］在相關(guān)濾波跟蹤模型下引入對(duì)數(shù)極坐標(biāo)系下的譜相關(guān)算法用于旋轉(zhuǎn)估計(jì)，雖然該算法對(duì)旋轉(zhuǎn)目標(biāo)的跟蹤有一定的適應(yīng)性，但由于其結(jié)果是譜相關(guān)與相關(guān)濾波模型聯(lián)合訓(xùn)練實(shí)現(xiàn)，故對(duì)其他如孿生網(wǎng)絡(luò)等跟蹤模型不具備良好的遷移性。另一種主流目標(biāo)跟蹤算法是基于深度孿生網(wǎng)絡(luò)框架的模型，該結(jié)構(gòu)最早由Chopra 等［10］用來(lái)比較兩組數(shù)據(jù)之間的相似性。而B(niǎo)ertinetto 等［11］則開(kāi)創(chuàng)了將孿生網(wǎng)絡(luò)應(yīng)用到目標(biāo)跟蹤的先河，提出利用全卷積孿生網(wǎng)絡(luò)（Fully-Convolutional Siamese networks，SiamFC）計(jì)算模板與搜索區(qū)域之間的相似度實(shí)現(xiàn)目標(biāo)的跟蹤，取得了較好的性能；但SiamFC 算法沒(méi)有用回歸去調(diào)整候選框的位置，且需要多尺度測(cè)試來(lái)估計(jì)跟蹤框的大小，破壞了模型的優(yōu)雅性。為了解決這個(gè)問(wèn)題，Li 等［12］在孿生網(wǎng)絡(luò)的基礎(chǔ)上引入了區(qū)域建議網(wǎng)絡(luò)［13］，提出了區(qū)域建議孿生網(wǎng)絡(luò)（Siamese Region Proposal Network，SiamRPN）模型，能更好地適應(yīng)被跟蹤目標(biāo)的尺度變化；但沒(méi)能解決具有旋轉(zhuǎn)變化的目標(biāo)跟蹤問(wèn)題。Wang 等［14］提出的SiamMask 算法則將目標(biāo)分割子任務(wù)引入到孿生網(wǎng)絡(luò)結(jié)構(gòu)中，在實(shí)現(xiàn)目標(biāo)跟蹤的同時(shí)進(jìn)行目標(biāo)分割。

為了解決現(xiàn)有基于孿生網(wǎng)絡(luò)的跟蹤算法不能準(zhǔn)確地跟蹤具有旋轉(zhuǎn)變化的目標(biāo)問(wèn)題，本文提出一種帶旋轉(zhuǎn)與尺度估計(jì)的SiamFC 跟蹤算法。在SiamFC 算法跟蹤定位基礎(chǔ)上，將目標(biāo)搜索區(qū)域從笛卡兒坐標(biāo)系轉(zhuǎn)換到對(duì)數(shù)極坐標(biāo)系下，利用核相關(guān)濾波器估計(jì)平移量，進(jìn)而獲得目標(biāo)的旋轉(zhuǎn)角度和尺度，并對(duì)SiamFC 的初始跟蹤結(jié)果的目標(biāo)位置和區(qū)域進(jìn)行修正得到最終的跟蹤結(jié)果，極大地提高了SiamFC 跟蹤模型的準(zhǔn)確率和成功率。

1 相關(guān)理論

目標(biāo)跟蹤任務(wù)實(shí)現(xiàn)的過(guò)程可視為：根據(jù)待跟蹤視頻序列所給定初始幀中目標(biāo)狀態(tài)，預(yù)測(cè)后續(xù)幀中該目標(biāo)的區(qū)域位置信息。SiamFC 算法首次將孿生網(wǎng)絡(luò)模型應(yīng)用于單目標(biāo)跟蹤任務(wù)中，通過(guò)利用大量數(shù)據(jù)訓(xùn)練獲得的孿生網(wǎng)絡(luò)來(lái)提取模板與搜索區(qū)域的深度特征，計(jì)算二者之間的相似度實(shí)現(xiàn)跟蹤；但是當(dāng)被跟蹤目標(biāo)發(fā)生尺度或旋轉(zhuǎn)變化時(shí)，SiamFC 算法的跟蹤結(jié)果不能精確地?cái)M合目標(biāo)區(qū)域。因此，本文在全卷積孿生網(wǎng)絡(luò)基礎(chǔ)上引入了尺度與角度估計(jì)模塊來(lái)提升算法性能。

1.1 SiamFC跟蹤模型

SiamFC 算法作為基于孿生網(wǎng)絡(luò)跟蹤模型的典型代表，實(shí)現(xiàn)過(guò)程可分為訓(xùn)練與跟蹤兩個(gè)階段。該算法的結(jié)構(gòu)示意圖如圖1所示。

圖1 SiamFC算法結(jié)構(gòu)示意圖Fig.1 Schematic diagram of SiamFC algorithm architecture

圖1中：z表示從初始幀摳出的目標(biāo)模板，x為表示從后續(xù)幀摳出的包含目標(biāo)的待搜索區(qū)域。特征提取網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［15］作為骨架網(wǎng)絡(luò)，去掉原始的池化層和全連接層，引入批歸一化（Batch Normalization，BN），得到全卷積網(wǎng)絡(luò)結(jié)構(gòu)。

孿生網(wǎng)絡(luò)以圖像對(duì)(z，x)作為輸入，利用卷積神經(jīng)網(wǎng)絡(luò)fρ(?)提取相應(yīng)的特征圖，則得分圖可表示為：

其中：?表示卷積操作；b表示偏置向量。對(duì)于目標(biāo)跟蹤而言，得分圖的最大值位置即為目標(biāo)在當(dāng)前幀中的位置。

為了實(shí)現(xiàn)這個(gè)目的，首先需要從訓(xùn)練視頻中搜集大量的圖像樣本對(duì)(zi，xi)離線訓(xùn)練網(wǎng)絡(luò)模型，每一個(gè)樣本對(duì)都有一個(gè)真實(shí)的空間標(biāo)簽圖Yi∈{1，-1}，在空間標(biāo)簽圖中，真實(shí)的目標(biāo)位置為正類，其他所有位置都是負(fù)類。為了訓(xùn)練模型，需要在整個(gè)訓(xùn)練集上利用隨機(jī)梯度下降算法最小化元素級(jí)的Logistic損失L(?)，相應(yīng)的優(yōu)化目標(biāo)函數(shù)為：

其中：ωρ表示學(xué)習(xí)的孿生網(wǎng)絡(luò)模型參數(shù)。

在目標(biāo)跟蹤階段，以前一幀的目標(biāo)位置為中心摳出搜索圖像，利用訓(xùn)練好的網(wǎng)絡(luò)模型fρ(?)提取搜索圖像的特征圖，通過(guò)式（1）計(jì)算得分圖g(?)。為了得到更精確的目標(biāo)位置，需要利用式（3）對(duì)得分圖進(jìn)行雙三次插值得到上采樣的結(jié)果：

其中：p為插值后的點(diǎn)；pij分別表示p點(diǎn)周圍16個(gè)點(diǎn)的坐標(biāo)；βij表示插值參數(shù)。經(jīng)插值變換后得分圖的最大值所處的位置作為目標(biāo)位置。

1.2 相關(guān)濾波算法模型

在傳統(tǒng)的相關(guān)濾波模型中，每一個(gè)訓(xùn)練樣本z由從初始圖像幀摳出的圖像區(qū)域I∈RM×N提取的d維特征圖構(gòu)成。在每 一個(gè)空間位置(m，n) ∈Ω：={0，1，…，M-1}×{0，1，…，N-1}，都有一個(gè)d維的特征向量z(m，n) ∈Rd。對(duì)于訓(xùn)練樣本z的每一個(gè)位置z(m，n) ∈Rd，都有一個(gè)期望的輸出值y(m，n)。那么，可通過(guò)最小化下面的損失函數(shù)（4）得到關(guān)于訓(xùn)練樣本z∈RM×N×d對(duì)應(yīng)的每一層濾波器wl（l∈{1，2，…，d}）：

其中：?表示循環(huán)卷積操作；λ≥0為正則化參數(shù)。式（4）是一個(gè)線性嶺回歸問(wèn)題，為了求解它，采用帕薩瓦爾公式，它能被轉(zhuǎn)換到傅里葉域上并獲得下面形式的封閉解：

其中：Zl、Y分別表示zl、y的離散傅里葉變換；分別表示wl、zl的離散傅里葉變換的復(fù)共軛。

在目標(biāo)跟蹤階段，當(dāng)獲得了每一層的濾波器wl后，以xl∈RM×N表示從當(dāng)前幀中的目標(biāo)搜索圖像區(qū)域提取的第l∈{1，2，…，d}層的特征圖，那么相應(yīng)的得分圖可通過(guò)式（6）計(jì)算得到：

其中：Xl表示xl的離散傅里葉變換；F-1(?)表示離散傅里葉變換的逆變換。得分圖g的最大值所處的位置即為待跟蹤目標(biāo)在當(dāng)前幀中的位置，這一濾波實(shí)現(xiàn)過(guò)程如圖2所示。

圖2 相關(guān)濾波示意圖Fig.2 Schematic diagram of correlation filtering

1.3 對(duì)數(shù)極坐標(biāo)變換下的尺度和旋轉(zhuǎn)估計(jì)

對(duì)數(shù)極坐標(biāo)圖像的應(yīng)用，來(lái)源于對(duì)生物視網(wǎng)膜生理結(jié)構(gòu)所獲得的靈感，作為一種尺度與旋轉(zhuǎn)估計(jì)的算法常被應(yīng)用于圖像處理領(lǐng)域［16］。圖3展示了圖像在笛卡兒坐標(biāo)系和對(duì)數(shù)極坐標(biāo)系之間變換的基本原理，左圖中的圓環(huán)線與直線分別對(duì)應(yīng)右圖中的豎線與橫線。

圖3 對(duì)數(shù)極坐標(biāo)變換示意圖Fig.3 Schematic diagram of log-polar transformation

圖3左圖中的笛卡兒坐標(biāo)系定義為：

其中：i 表示復(fù)數(shù)的虛單位。以中心點(diǎn)(u0，v0)為原點(diǎn)，將笛卡兒坐標(biāo)系任意一點(diǎn)坐標(biāo)(u，v)，變換到對(duì)數(shù)極下的坐標(biāo)(s，θ)的表達(dá)式為：

若將圖像I(u0，v0)以(u0，v0)為原點(diǎn)旋轉(zhuǎn)Δθ，同時(shí)尺度變化Δs，那么變化后的圖像在對(duì)數(shù)極坐標(biāo)系下可表示為：

其中：I′表示對(duì)數(shù)極坐標(biāo)系下的圖像；(s，θ)和(s′，θ′)分別表示變化前后圖像I(u，v)在對(duì)數(shù)極坐標(biāo)系下的坐標(biāo)。由此可知，圖像在笛卡兒坐標(biāo)系下的旋轉(zhuǎn)和尺度變化等價(jià)于對(duì)數(shù)極坐標(biāo)系下的平移變化。

基于這一性質(zhì)，可以在對(duì)數(shù)極坐標(biāo)系下利用相關(guān)濾波估計(jì)被跟蹤目標(biāo)的旋轉(zhuǎn)和尺度變化。若zlp表示訓(xùn)練樣本z在對(duì)數(shù)極坐標(biāo)系下的特征圖，那么根據(jù)式（11）可得到對(duì)數(shù)極坐標(biāo)系下傅里葉域上的每層濾波器，即：

進(jìn)而可通過(guò)得分圖glp最大值所處的位置相對(duì)于中心位置的偏移量估計(jì)被跟蹤目標(biāo)的尺度和旋轉(zhuǎn)變化。若在當(dāng)前幀橫坐標(biāo)的偏移量為Δs，縱坐標(biāo)的偏移量為Δθ，那么在當(dāng)前幀目標(biāo)的尺度大小和旋轉(zhuǎn)角度可表示為：

其中：α、θ表示目標(biāo)在前一幀中尺度大小和旋轉(zhuǎn)角度；α′、θ′表示在當(dāng)前幀中目標(biāo)的尺度大小和旋轉(zhuǎn)角度。此外，為了適應(yīng)目標(biāo)的變化，本文采用線性加權(quán)的方式更新對(duì)數(shù)極坐標(biāo)系下每層傅里葉濾波器

2 算法描述

本文的算法包含位置估計(jì)模塊和尺度與角度估計(jì)模塊，總體的算法流程如圖4 所示。本文算法的具體實(shí)現(xiàn)步驟如下：

圖4 帶旋轉(zhuǎn)與尺度估計(jì)的SiamFC算法的總體流程Fig.4 Overall flowchart of SiamFC algorithm with rotation and scale estimation

步驟1 在初始幀I0中，根據(jù)給定的目標(biāo)位置p0、目標(biāo)的大小以及目標(biāo)初始的尺度因子α和初始旋轉(zhuǎn)角度θ，利用仿射變換摳出目標(biāo)模板圖像z，并將其轉(zhuǎn)換到對(duì)數(shù)極坐標(biāo)系下提取特征圖zlp，計(jì)算對(duì)數(shù)極坐標(biāo)系下的傅里葉域上的每層濾波器

步驟2 在當(dāng)前幀I中摳出待搜索圖像區(qū)域x0和目標(biāo)模板圖像z0輸入SiamFC 模型中，得到得分圖，并根據(jù)相應(yīng)得分圖最大值所處的位置估計(jì)目標(biāo)在當(dāng)前幀中的位置p。

步驟3 在當(dāng)前幀I中，根據(jù)目標(biāo)位置p和給定的目標(biāo)大小和目標(biāo)初始尺度因子α和初始旋轉(zhuǎn)角度θ，利用仿射變換摳出目標(biāo)的待檢測(cè)圖像區(qū)域x，將其轉(zhuǎn)換到對(duì)數(shù)極坐標(biāo)下提取特征圖xlp，利用相關(guān)濾波算法得到得分圖，并估計(jì)出橫縱坐標(biāo)的偏移量Δs和Δθ，利用式（13）～（14）估計(jì)出目標(biāo)在當(dāng)前幀中的尺度因子α′和旋轉(zhuǎn)角度θ′。

步驟4 根據(jù)當(dāng)前幀的目標(biāo)位置p、尺度因子α′和旋轉(zhuǎn)角度θ′更新先前的相關(guān)參數(shù)，并基于更新后的參數(shù)在當(dāng)前幀摳出新的目標(biāo)模板圖像，轉(zhuǎn)換到對(duì)數(shù)極坐標(biāo)系提取相關(guān)特征圖，更新濾波器。

步驟5 返回執(zhí)行步驟2，直至序列結(jié)束。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)運(yùn)行環(huán)境：內(nèi)存為8 GB，CPU 為Intel 酷睿i7 處理器，主頻為3.6 GHz。

特征表示：在本文的相關(guān)濾波模型中，使用31 維的HOG特征，該特征采用的元胞大小為4 × 4。

實(shí)驗(yàn)數(shù)據(jù)集：選取了兩個(gè)目標(biāo)跟蹤數(shù)據(jù)集POT（Planar Object Tracking in the wild）和OTB2015（Visual Tracker Benchmark 2015）。其中POT數(shù)據(jù)集包含30組視頻序列，涵蓋了尺度變化（Scale Change，SC）、目標(biāo)旋轉(zhuǎn)（Rotation，RT）等目標(biāo)跟蹤任務(wù)中常見(jiàn)的7種挑戰(zhàn)；OTB2015數(shù)據(jù)集包含100組真實(shí)跟蹤場(chǎng)景中可遇到的目標(biāo)尺度變化、遮擋、運(yùn)動(dòng)模糊以及快速運(yùn)動(dòng)等情形的視頻序列。

3.1 評(píng)價(jià)指標(biāo)

目標(biāo)跟蹤通常采用精確率與成功率來(lái)評(píng)價(jià)跟蹤算法的性能，本文沿用POT 數(shù)據(jù)集中的對(duì)準(zhǔn)誤差eAL（ALignment error）作為精度評(píng)價(jià)指標(biāo)，選擇單應(yīng)性差異S（Homography discrepancy）作為準(zhǔn)確率評(píng)價(jià)指標(biāo)［17］，表達(dá)式分別如下：

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 POT數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

本文選取了ECO-HC、SiamFC、SAMF、DSST、KCF 和SiamMask 與本文提出的算法模型在POT 數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)。其中，ECO-HC為ECO算法未使用深度特征的版本。

表1 展示了每個(gè)算法在目標(biāo)旋轉(zhuǎn)、尺度變化和綜合因素挑戰(zhàn)下的跟蹤成功率與準(zhǔn)確率的比較結(jié)果，以及各個(gè)算法在POT 數(shù)據(jù)集上的平均幀率；表2 展示了本文提出的算法與原始SiamFC 算法在POT 數(shù)據(jù)集上7 種不同挑戰(zhàn)情形的實(shí)驗(yàn)結(jié)果。圖5（a）給出了不同算法在POT 數(shù)據(jù)集所有序列上獲得的準(zhǔn)確率和成功率曲線；圖5（b）顯示了在POT 數(shù)據(jù)集中只包含目標(biāo)旋轉(zhuǎn)序列的跟蹤結(jié)果；圖5（c）為在POT 數(shù)據(jù)集上僅包含尺度變化序列的跟蹤結(jié)果，其中準(zhǔn)確率性能以對(duì)準(zhǔn)誤差閾值tp=20 時(shí)的準(zhǔn)確率大小排名，成功率按單應(yīng)性閾值ts=10時(shí)的成功率值的大小進(jìn)行排名。

圖5 多種算法在POT數(shù)據(jù)集成功率與準(zhǔn)確率曲線Fig.5 Curves of success rate and accuracy of several algorithms on POT dataset

從表1 可以看出，本文提出的算法在POT 數(shù)據(jù)集上跟蹤成功率與準(zhǔn)確率分別達(dá)到了51.8%和53.3%，尤其在含有旋轉(zhuǎn)的序列上跟蹤成功率與準(zhǔn)確率更是達(dá)到了75.9%和85.9%，明顯優(yōu)于其他幾種跟蹤算法。雖然在尺度序列上的性能不及ECO-HC 和DSST（主要原因在于這兩種算法采用了多尺度特征融合，對(duì)尺度變化采樣更精細(xì)），但本文算法不需要在很多尺度上進(jìn)行特征提取，故對(duì)尺度的估計(jì)效率也更高。以V02-2 為例，本文算法估計(jì)每幀目標(biāo)尺度的時(shí)間開(kāi)銷僅為0.75 ms，而ECO-HC 用時(shí)約為1.5 ms。從表3 可以看出，本文算法的幀率為3.271 frame/s，相較于SiamFC算法雖略有下降，但精度卻得到了較大的提升；效率不及其他算法的原因在于只有本文的模型與SiamFC 算法使用了深度神經(jīng)網(wǎng)絡(luò)，但是為保證對(duì)比實(shí)驗(yàn)的公平性，所有實(shí)驗(yàn)均在CPU 環(huán)境下進(jìn)行，而CPU極大地限制了基于深度神經(jīng)網(wǎng)絡(luò)模型性能的發(fā)揮。

表1 多種算法在POT數(shù)據(jù)集上的成功率和準(zhǔn)確率比較Tab.1 Comparison of success rate and accuracy of several algorithms on POT dataset

表2 改進(jìn)前后的SiamFC算法在POT數(shù)據(jù)集上7種挑戰(zhàn)下的成功率與準(zhǔn)確率Tab.2 Comparison of success rate and accuracy of SiamFC algorithms before and after optimization in 7 challenges on POT dataset

表3 多種算法在POT數(shù)據(jù)集上的幀率比較Tab.3 Comparison of frame rate of several algorithms on POT dataset

從表2 結(jié)果可知本文算法在多個(gè)挑戰(zhàn)因素上均優(yōu)于SiamFC 算法的結(jié)果，在綜合挑戰(zhàn)序列中成功率與準(zhǔn)確率提升了13.5 個(gè)百分點(diǎn)和13.4 個(gè)百分點(diǎn)；尤其在旋轉(zhuǎn)序列上，性能顯著優(yōu)于SiamFC 算法，充分驗(yàn)證了本文算法在估計(jì)目標(biāo)旋轉(zhuǎn)方面的有效性。鑒于SiamMask 算法是采用分割掩模獲得帶旋轉(zhuǎn)的矩形跟蹤框，無(wú)法提供幀間連續(xù)的角度變化信息，不能采用POT數(shù)據(jù)集上所提出的評(píng)價(jià)指標(biāo)比較它和本文提出的算法的性能，故而采用目標(biāo)跟蹤任務(wù)中常用的評(píng)估指標(biāo)（中心點(diǎn)誤差和交并比）比較兩者的性能，相關(guān)閾值參數(shù)分別設(shè)定為20和0.5，實(shí)驗(yàn)結(jié)果如表4。

表4 本文算法與SiamMask算法成功率與準(zhǔn)確率對(duì)比結(jié)果Tab.4 Comparison result of success rate and accuracy of the proposed algorithm and SiamMask algorithm

由表4 結(jié)果可以看出，在POT 全部數(shù)據(jù)集上，本文提出的算法與SiamMask算法相比，在成功率上僅低2個(gè)百分點(diǎn)，而在精度上卻高5 個(gè)百分點(diǎn)。特別是對(duì)于包含尺度和旋轉(zhuǎn)變化的序列，本文算法在成功率和精度上都明顯優(yōu)于SiamMask。此外，SiamMask 中引入的像素分割模塊會(huì)嚴(yán)重降低該算法的效率，而本文提出的算法采用對(duì)數(shù)極坐標(biāo)系下的相關(guān)濾波模型估計(jì)尺度和角度變化，基本不會(huì)增加額外的計(jì)算開(kāi)銷。

3.2.2 OTB2015數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

在OTB2015 數(shù)據(jù)集上，選取ECO-HC、DSST、SiamFC、KCF和Struck（Structured output tracking with kernels）［18］共5種相關(guān)的跟蹤算法與本文算法進(jìn)行比較，準(zhǔn)確率曲線與成功率曲線如圖6所示。從圖6中所展示的實(shí)驗(yàn)結(jié)果可以看出，本文提出的算法性能僅次于ECO-HC 算法，優(yōu)于SiamFC 和其他幾種跟蹤算法。但與SiamFC 算法相比，本文提出的算法在OTB2015數(shù)據(jù)集上的性能提升不及POT 數(shù)據(jù)集上那么顯著，主要原因在于OTB 數(shù)據(jù)集上采用平行于坐標(biāo)軸的矩形框作為理想的跟蹤框，而由此產(chǎn)生的標(biāo)定誤差會(huì)嚴(yán)重影響算法的性能。

圖6 OTB2015數(shù)據(jù)集上的成功率與準(zhǔn)確率曲線Fig.6 Curves of success rate and accuracy of several algorithms on OTB dataset

3.3 實(shí)驗(yàn)結(jié)果可視化表示

表5 給出了POT 中V09_2 序列部分幀關(guān)于目標(biāo)位置、尺度和旋轉(zhuǎn)角度的跟蹤估計(jì)結(jié)果與相應(yīng)的真實(shí)值比較結(jié)果，其中位置用目標(biāo)中心點(diǎn)的坐標(biāo)表示，尺度與角度以第一幀為基準(zhǔn)來(lái)比較，且以逆時(shí)針旋轉(zhuǎn)為負(fù)。在圖7中，根據(jù)OTB2015數(shù)據(jù)集中Crossing 和Crowds 序列的跟蹤結(jié)果繪制相應(yīng)的目標(biāo)運(yùn)動(dòng)軌跡圖。此外，本文也在POT 和OTB2015 兩個(gè)數(shù)據(jù)集上定性比較了KCF、SiamFC 及本文算法的性能。從圖8 給出的結(jié)果可以看出，本文提出的算法在包含尺度變化和旋轉(zhuǎn)變化的序列上得到的跟蹤框更精確。

表5 VO9_2序列的部分幀中目標(biāo)位置、尺度與旋轉(zhuǎn)角度Tab.5 Object positions，scales and rotation angles in some frames of V09_2 sequence

圖7 目標(biāo)的跟蹤軌跡圖Fig.7 Tracking trajectory of object

圖8 三種跟蹤方法在部分?jǐn)?shù)據(jù)上的可視化結(jié)果Fig.8 Visualization results of three tracking methods on some data

4 結(jié)語(yǔ)

本文針對(duì)SiamFC 模型在目標(biāo)存在旋轉(zhuǎn)和尺度變化的情況下跟蹤不精確的問(wèn)題，提出以SiamFC 模型得到目標(biāo)的位置為基礎(chǔ)，將待搜索的圖像區(qū)域轉(zhuǎn)換到對(duì)數(shù)極坐標(biāo)下，利用相關(guān)濾波模型估計(jì)目標(biāo)的尺度和旋轉(zhuǎn)角度，構(gòu)建了一個(gè)能同步估計(jì)被跟蹤目標(biāo)的位置、尺度和旋轉(zhuǎn)角度的目標(biāo)跟蹤模型。與SiamFC 算法相比，該算法在跟蹤成功率與準(zhǔn)確率上都有較大的提升，但仍有進(jìn)一步提升的空間，下一步我們打算從以下兩個(gè)方面著手提升算法的性能：1）因本文提出的旋轉(zhuǎn)、尺度估計(jì)模型具有很好的移植性，可將其與性能更好的孿生網(wǎng)絡(luò)跟蹤模型相結(jié)合來(lái)提升算法的整體性能；2）本文所提出的旋轉(zhuǎn)、尺度估計(jì)模型與孿生網(wǎng)絡(luò)定位模型相獨(dú)立，而且僅選取了HOG特征用于旋轉(zhuǎn)與尺度的估計(jì)，我們擬將其與定位模塊統(tǒng)一訓(xùn)練，利用深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建統(tǒng)一的位置、尺度與旋轉(zhuǎn)角度同步估計(jì)的孿生網(wǎng)絡(luò)，以獲得更好的跟蹤結(jié)果。