王全寧，周 進，雷 濤，唐自力

(1.中國科學(xué)院光電技術(shù)研究所，四川 成都 610209； 2.中國科學(xué)院大學(xué)，北京 100049；3.中國華陰兵器試驗中心，陜西 華陰 714200)

0 引 言

運動目標跟蹤是計算機視覺領(lǐng)域的研究熱點，各種跟蹤算法層出不窮。由于外部環(huán)境的復(fù)雜性和目標本身的多變性，如光照變化、遮擋、相機抖動、目標尺寸變化、目標姿態(tài)變化以及相似干擾等，跟蹤器易丟失目標。針對這些影響因素，分析跟蹤器的跟蹤性能，可以幫助人們更好地了解和選用跟蹤算法。

跟蹤算法的模型不同、原理各異，目的是當(dāng)視頻序列初始幀中給出目標的初始狀態(tài)后，能估計后續(xù)幀中該目標的狀態(tài)。而性能評估的目的是對算法所估計的目標狀態(tài)的準確性做出判斷和評價，它與算法的工作原理和模型更新機制無關(guān)。在早期的各種跟蹤算法研究文獻[1-2]中，算法性能測試缺乏公開的標準測試平臺，并且使用的評估測量方法和測試數(shù)據(jù)集各異，無法直接分析、比較各算法性能的優(yōu)劣性。過去的十幾年間，在跟蹤算法評估領(lǐng)域，一些用于跟蹤算法性能評估的測量方法、測試數(shù)據(jù)集逐漸得到人們的認可。發(fā)展到現(xiàn)在，出現(xiàn)了專業(yè)的測試評估項目，這些項目提供了標準嚴格的測試平臺。如今，算法對比驗證工作越來越多地使用專業(yè)的評估方法來增強算法性能的說服力，或者選擇專業(yè)的測試平臺進行評估測試，與其他算法直接進行比較，還有以目標跟蹤挑戰(zhàn)賽的形式來比較具體算法的性能。專業(yè)的評估項目和其包含的評估測試平臺是目前跟蹤算法評估的最權(quán)威的選擇。

評估方法、數(shù)據(jù)集和評估項目是性能評估發(fā)展的3個要素。

1)選擇合適的評估方法是性能評估的基礎(chǔ)。跟蹤算法根據(jù)目標數(shù)量的不同，可分為單目標跟蹤和多目標跟蹤；根據(jù)目標的尺寸，可分為點目標跟蹤、面目標跟蹤和擴展目標跟蹤；根據(jù)跟蹤場景的不同，又可分為簡單場景下的跟蹤和復(fù)雜場景下的跟蹤等。按照待評估算法的特點選擇恰當(dāng)?shù)脑u估方法才能保證評估的準確性和算法間的可比性。

2)不同場景下測試序列構(gòu)成的數(shù)據(jù)集是性能評估的重要一環(huán)。這些序列一般都會附帶人工標注的目標相關(guān)信息，如每幀中目標的尺寸、位置及數(shù)量等，以便于評估和對比算法性能。

3)專業(yè)的評估項目是性能評估的重要組成。評估項目系統(tǒng)地研究解決評測問題，所建立的評估平臺可以為算法對比提供條件和環(huán)境，極大地推動了跟蹤算法的發(fā)展。

本文針對單目標、多目標及面目標跟蹤算法的性能評估進行研究，從3個方面——評估測量方法、數(shù)據(jù)集、評估項目展開介紹。

1 評估方法

在計算機視覺的目標檢測和分類、光流計算、自動分割領(lǐng)域已經(jīng)有了廣為接受的協(xié)議，但對跟蹤特性的評估仍然沒有統(tǒng)一的協(xié)議。雖然在跟蹤評估方面已取得了一些成果[3-5]，但它們有些是使用一種單一測量方法評估跟蹤器某方面的一項指標，不能獲得跟蹤器的整體性能；有些是使用一整套方法評估跟蹤器多個方面的性能，通過這種方法，評估結(jié)果會有多個指標，使得在比較跟蹤器性能時變得更為復(fù)雜。典型的跟蹤算法評估框圖如圖1所示。

圖1 典型算法評估框圖

在早期的評估測量方法中，部分學(xué)者側(cè)重于關(guān)注視頻序列的空間信息，比如，評估目標在某一幀的位置的正確性[6]，還有學(xué)者從時間角度出發(fā)，評估跟蹤器長時間連續(xù)有效跟蹤的能力[7]。目前，將時間和空間信息相結(jié)合的評估方法成為了一個廣受關(guān)注的方向。

1.1 評估方法的分類

常用的評估測量方法有2種，一種是跟蹤結(jié)果與GT比較的評估測量方法，另外一種是無GT的評估方法[8-11]。無GT的評估方法根據(jù)幀間目標外觀、輪廓相似性和幀間軌跡平滑性等信息評估目標跟蹤效果。這種方法在目標外觀或運動信息連續(xù)、緩慢的情形下有效，在光線、目標的方向或速度發(fā)生突然變化的場景下通常會失敗。

多數(shù)評估方法將算法跟蹤結(jié)果與GT相比較，使用以中心誤差、區(qū)域重疊度為基礎(chǔ)的各種指標。

1.2 單目標與多目標評估特點

單目標跟蹤通常給出初始幀中目標的狀態(tài)信息(如位置、尺寸等)，然后由該目標相關(guān)信息自動估計后續(xù)幀中的狀態(tài)。多目標的跟蹤需要解決在連續(xù)幀中，對部分甚至全部目標錯誤跟蹤或混淆跟蹤的問題。許多文章[5，7，12-13]致力于解決多目標跟蹤場景下的性能評估問題。與單目標跟蹤評估相比，多目標跟蹤的評估除了考慮魯棒性和精度問題外，關(guān)鍵是對多個目標做標簽，統(tǒng)計跟蹤過程中前后幀標簽的對應(yīng)關(guān)系是否正確。

1.3 評估準則

1.3.1 中心位置誤差

定義長度為N的序列中目標狀態(tài)為：

(1)

其中，Xt∈R2表示目標的中心，Rt表示目標在t時刻時的區(qū)域。區(qū)域通常用矩形框來描述。每幀的中心位置誤差[13-14]測量了目標預(yù)測中心和實際GT中心間的差別。

(2)

中心位置誤差測量方法每幀只需要一個點，因此可以使人工標注過程產(chǎn)生的影響最小。整個序列的中心位置誤差可以表示成平均誤差和均方根誤差的形式：

(3)

(4)

該方法的缺點是對人工標注的中心位置敏感，并且會忽略目標的尺寸大小，不能反映出跟蹤失敗與否。對此，文獻[15]提出使用歸一化的中心誤差測量方法。這種方法可以去除目標尺寸對評估的影響，但當(dāng)跟蹤發(fā)生漂移時，歸一化后的測量距離不能反映二者的真實距離，存在一定缺陷。

1.3.2 區(qū)域重疊度

PASCAL準則[16]中使用了測量區(qū)域重疊度的方法，計算跟蹤算法結(jié)果的目標框與GT邊界框之間的重疊面積，公式如下：

(5)

與中心誤差測量方法相比，這種方法可以兼顧目標位置和尺寸，當(dāng)跟蹤產(chǎn)生漂移時，若重疊度低于預(yù)設(shè)閾值，則證明跟蹤失敗。區(qū)域重疊度的測量方法通常使用50%的閾值[17]。但該閾值的設(shè)定缺少理論依據(jù)，具有一定的參考價值，但并不精確。如圖2所示，2個矩形框，外側(cè)為GT矩形框，內(nèi)側(cè)為跟蹤框，此時重疊度為49.8%，低于區(qū)域重疊度方法的閾值，但是實際上跟蹤效果良好。

圖2 跟蹤結(jié)果與GT對比

1.3.3 基于閾值的測量方法

當(dāng)跟蹤成功時，即跟蹤結(jié)果與GT重疊度高于預(yù)設(shè)閾值時，表示為true positive (TP)；將非目標判斷為目標，則表示為false positive (FP)；未發(fā)現(xiàn)或定位目標可表示為false negative (FN)。由此衍生出以下常用測量指標。

測量跟蹤精度的指標精確率(Precision)[1]和召回率(Recall)[1，12]公式如下：

(6)

(7)

Precision/Recall曲線一般是以召回率(Recall)為橫坐標，精確率(Precision)為縱坐標。

F值(F-measure)[18]在PR空間[19]上描述分類性能的特性，在跟蹤算法基于檢測時有重要作用：

(8)

也可以寫成：

(9)

TP率(也稱檢測率)tp、FP率fp、誤警率fa和特異性sp公式如下：

(10)

(11)

ROC曲線(Receiver Operating Characteristic curve)及其線下面積AUC(Area Under Curve)源于目標檢測領(lǐng)域。ROC曲線是以TP率為縱軸，F(xiàn)P率為橫軸，實現(xiàn)最優(yōu)分類參數(shù)的選擇。AUC范圍在0～1之間，AUC描述了分類器正例高于負例的概率。在目標跟蹤領(lǐng)域的測量方法中，結(jié)果分為3種情形：TP、FP、FN，缺少TN，因此不便于使用ROC曲線。對此，文獻[20]中提出了一種改進的評估方法，以坐標系的縱軸為TP率，橫軸以誤警率fa替代fp，使用多個重疊度閾值來確定跟蹤結(jié)果與GT的關(guān)系。

1.3.4 基于目標的測量方法

PBM(Position-Based Measure)是基于位置的測量方法，計算GT中心和跟蹤結(jié)果TO中心位置的距離均值。Th(i,t)定義為：

Th(i,t)=(width(GTi(t))+Height(GTi(t))+

width(TOi(t))+Height(TOi(t)))/2

(12)

若第t幀中GTi(t)和TOi(t)部分重疊，則D(i,t)定義為：

D(i,t)=ManhattanDistance(C(GTi(t)),C(TOi(t)))

(13)

C(x)表示x的中心。若GTi(t)和TOi(t)完全不重疊，D(i,t)定義為Th(i,t)。PBM定義為：

(14)

整個序列上的PBM定義為平均PBM[10]。

SBM(Size-Based Measure)是計算尺寸信息的方法，SBM數(shù)值越高，目標跟蹤尺寸與實際尺寸越相近，算法的效果越好。Size_gttoi定義為第i個目標的GT和TO邊界框尺寸之間的區(qū)別大小。

(15)

其中，GTi(t)為第t幀中目標i的邊界框，TOi(t)為第t幀中跟蹤結(jié)果i的邊界框，Size(x)為x的尺寸。

(16)

其中，N代表目標的數(shù)目。

SFDA(Sequence Frame Detection Accuracy)是基于面積的測量方法[12]，GT和TO是一一對應(yīng)關(guān)系。

FDA(t)為第t幀的幀檢測精度。

(17)

其中，NGT和NTO分別是GT目標和跟蹤結(jié)果的邊界框數(shù)量。

(18)

其中，Nmapped表示GT和TO之間一一對應(yīng)關(guān)系的最大值。

SFDA測量整個序列的FDA(t)值。

(19)

1.3.5 跟蹤長度

跟蹤長度[19]統(tǒng)計從第一幀開始到跟蹤失敗期間成功跟蹤的幀數(shù)，也是常用方法之一。跟蹤失敗的標準可以通過人為干預(yù)，即人為觀察跟蹤情況，判定失敗與否；也可以通過重疊度方法，設(shè)置閾值，對有效跟蹤長度進行自動判定。

1.3.6 跟蹤失敗率

跟蹤失敗率對整個跟蹤過程進行統(tǒng)計，跟蹤成功與否可以由跟蹤結(jié)果與GT的重疊度閾值決定，閾值設(shè)得低一些，則統(tǒng)計的失敗幀數(shù)會減少。當(dāng)跟蹤失敗時，在失敗處經(jīng)過人工初始化后繼續(xù)跟蹤，記錄每一幀人工干預(yù)的次數(shù)。這種方法可以反映真實場景下跟蹤器在整個序列上的性能。與跟蹤長度的方法相比，跟蹤失敗率可以充分利用整個序列的圖像，即使開始時跟蹤錯誤也并不會影響后續(xù)的評估。圖3是對某跟蹤算法數(shù)據(jù)的分析，橫軸為幀序號，縱軸為重疊度，低于圖中橫線重疊度50%時，人工干預(yù)5次的結(jié)果。

圖3 跟蹤與重疊度閾值關(guān)系分析

1.3.7 度量指標的選取

通常情況下，跟蹤算法輸出結(jié)果包含每一幀中目標位置和尺寸2個方面基本信息，算法評估可以選取區(qū)域重疊度和中心位置誤差2個基本測量指標。區(qū)域重疊度相比中心位置誤差更為常用，原因在于，區(qū)域重疊度既能反映每一幀中的目標跟蹤精度，又可以反映跟蹤成敗與否；中心位置誤差由于受目標尺寸變化的影響，只能反映每一幀中的跟蹤精度這一方面的信息。

基于閾值的測量方法是在整個序列的角度統(tǒng)計目標整體跟蹤精度，這種方法同時適用于單目標跟蹤和多目標跟蹤評估?；谀繕说臏y量方法分別計算目標距離、尺寸、重疊面積方面的信息，使用時往往需要相互參考，由此得到的評估結(jié)果才能全面準確，其中PBM和SBM適于單目標跟蹤評估，SFDA更適用于多目標跟蹤評估。

在算法評估過程中需要結(jié)合評估需求及評估指標特點靈活選用。

1.4 評估結(jié)果的可視化

1)圖表。以圖表的方式，如折線圖和柱狀圖，可以清晰直觀地說明性能評估結(jié)果。文獻[15-16]以圖表形式展示連續(xù)序列中的中心誤差測量結(jié)果。而當(dāng)多個跟蹤器在一個圖表中比較時，比如跟蹤器之間性能相近，圖表變得雜亂，直觀性下降。同時圖表信息還可以展示重疊度等測量結(jié)果。

2)排名。計算跟蹤器某方面或整體性能的得分，如抗干擾、遮擋、形變、尺度變化的能力方面，根據(jù)性能高低排序，利用表格實現(xiàn)可視化。

2 數(shù)據(jù)集

大多數(shù)算法選擇在公共可用的數(shù)據(jù)集上測試結(jié)果。理想的基準數(shù)據(jù)集需要對目標真值標記標簽，均勻覆蓋真實世界中各種對跟蹤具有挑戰(zhàn)性的因素。數(shù)據(jù)集中各種挑戰(zhàn)性因素，包括遮擋、相似背景干擾、目標姿態(tài)變化、光照變化、尺度變化等。人工進行標注時，過程繁瑣、工作量大，制作一個大規(guī)模的綜合的基準數(shù)據(jù)集需要付出巨大的努力。因此目前多數(shù)數(shù)據(jù)集缺乏相應(yīng)的完整的目標標注信息。

2.1 數(shù)據(jù)集的GT標注方法

目標標注的質(zhì)量直接影響評估的結(jié)果。對于不同的視頻序列，目標的特征差異巨大、信息量不同，沒有通用的標注方法。針對目標的特征，可能會選擇矩形、圓形、橢圓形等幾何圖形標注框，在最大程度包含目標全部特征的同時，盡可能減少摻雜背景的干擾。有多個目標時，為每個目標貼上唯一的標簽，有利于準確評估該算法的跟蹤能力。

目前，有很多可用的標注工具，如Anvil、VideoAnnex、ViPER等。

1)Anvil提供基于用戶定義的可多層標注的編碼方式。通過編碼，用戶可以從時間序列上看到多個編碼后顏色不同的跟蹤部分。Anvil如今被用在人機交互、語言學(xué)、動物行為學(xué)、人類學(xué)、電腦動畫、海洋學(xué)等領(lǐng)域。

2)VideoAnnex標注工具幫助用戶使用MPEG-7元數(shù)據(jù)標注視頻序列。視頻序列的每一個視頻片段被標注為靜態(tài)畫面描述、關(guān)鍵目標描述和事件描述。這些信息會以MPEG-7方式的描述存儲到輸出的XML文件中。

3)ViPER使用元數(shù)據(jù)標注視頻，主要是作為性能評估的GT使用，產(chǎn)生的信息包括拍攝日期、內(nèi)容關(guān)鍵字、具體特征等。它可以標注人物在畫面中的位置，標注形狀包括點、矩形框、橢圓等方式。為了保證GT的質(zhì)量，通常要對整個數(shù)據(jù)集10%的內(nèi)容進行雙倍標注和核對工作。

此外，在亞馬遜勞務(wù)外包平臺(Amazon Mechanical Turk，AMT)上，標注任務(wù)可以在線有償?shù)亟唤o其他人去完成，約有50萬注冊用戶按照任務(wù)發(fā)布者的要求來進行數(shù)據(jù)集標注工作，這種方式大大減輕了科研人員的負擔(dān)。CrowdFlower也是類似的網(wǎng)絡(luò)平臺，用戶在上面發(fā)布工作內(nèi)容和要求后，相關(guān)人員按照要求進行處理。

2.2 常用的數(shù)據(jù)集

OTB-2013[21](又稱OTB-50)和OTB-2015[21](又稱OTB-100)是廣泛應(yīng)用的跟蹤數(shù)據(jù)集，包括運動模糊、旋轉(zhuǎn)、光照變化、尺度變化、形變、遮擋、背景干擾等11個屬性。每個序列都有相應(yīng)的GT數(shù)據(jù)，記錄目標的位置和尺寸信息。2個數(shù)據(jù)集中各含有25%的灰度序列，75%的彩色序列。

VOT數(shù)據(jù)集依托于VOT競賽，每年會有更新，其中部分序列和OTB數(shù)據(jù)集重合。如VOT2017對所有序列的GT重新進行了標定，精確到像素級，之后擬合成矩形框?？傮w上，跟蹤難度大于OTB數(shù)據(jù)集。

CAVIAR數(shù)據(jù)庫[22]共有超過80個室內(nèi)視頻片段，視頻拍攝角度：INRIA入口大廳視角、商場購物正面視角以及商場購物走廊視角。數(shù)據(jù)集包括人們步行、相遇、購物、打架、進出商場等行為，它對每個移動目標使用邊界框標注，對沒有移動的行人不加以標注。

i-LIDS數(shù)據(jù)集是在英國政府支持下的視頻監(jiān)控分析項目中產(chǎn)生的，包含4個場景：泊車、被丟棄的包、在一個受限制區(qū)域步行和門口的監(jiān)控。由于視頻長度超過24小時，這些視頻沒有進行全部的標注標簽工作。

PETS[23]是一個對跟蹤和監(jiān)視進行性能評估的項目。提供2個數(shù)據(jù)集：1)ARENA數(shù)據(jù)集是用來保護關(guān)鍵移動資產(chǎn)的多傳感器數(shù)據(jù)集；2)P5數(shù)據(jù)集主要解決多傳感器監(jiān)視的問題，以確保核電站周邊的安全。數(shù)據(jù)集包括低級視頻分析(檢測、跟蹤)，中級分析(原子事件檢測)和高級分析(復(fù)雜的“威脅”事件檢測)的各種任務(wù)。ARENA和P5數(shù)據(jù)集分為3種類型的場景：“正常”，“警告”，“報警”。視頻自2000年開始收集以來，現(xiàn)在一共有幾十個，其中大多數(shù)視頻手工標注了邊界框。

ETISEO[24]數(shù)據(jù)集從一個被固定的相機角度獲取包含80個各種各樣的室內(nèi)和室外視頻場景片段。標注的真值主要包含高級信息，如：邊界框、目標類型、事件類型等。該數(shù)據(jù)集適于跟蹤、分類和時間識別。

MIT Traffic Data Set數(shù)據(jù)集是為行為分析和擁擠場景研究而建立的。它包含90 min靜止拍攝的交通視頻序列，分為20個片段。

表1列出了部分數(shù)據(jù)集，包含單目標/多目標、影響跟蹤的屬性的數(shù)量、包含場景的數(shù)量、有無GT信息、序列為灰色/彩色5個方面的內(nèi)容。

表1 部分數(shù)據(jù)集信息

數(shù)據(jù)集類別單/多目標屬性因素場景數(shù)量GT信息灰/彩OTB-2013單/多1151有灰/彩VOT2017單660有彩CAVIAR單多個3有彩i-LIDS多多個8部分彩MIT Traffic多多個1有彩

3 評估項目

為評估視頻跟蹤算法的性能，產(chǎn)生了許多評估項目。評估項目在同一平臺下采用相同的實驗方法對跟蹤結(jié)果進行評估。知名的評估項目有PETS、CVACE、CREDS、CLEAR、ETISEO和AVIAR等。這些研究項目提供不同跟蹤難度的視頻序列，并且對其中部分序列進行標注。評估項目會發(fā)現(xiàn)視頻檢測跟蹤算法處理過程中的問題，提出算法性能表現(xiàn)若令人滿意時需滿足的條件。

3.1 VOT

Visual Object Tracking Challenge(VOT)是視覺跟蹤領(lǐng)域重要的測評平臺。VOT競賽對復(fù)雜場景下無目標外觀預(yù)學(xué)習(xí)的單目標短時跟蹤算法進行一個可重復(fù)性的測評，同時也會討論評估方法和跟蹤算法的進展。目前VOT競賽已經(jīng)舉辦了5屆，每年測試序列都會更新，標注精度也會提高，因此VOT競賽難度遠超其他數(shù)據(jù)集上的競賽。VOT主要使用平均重疊期望、準確率、魯棒性3個指標進行評估。

3.2 Object Tracking Benchmark

Object Tracking Benchmark[21]建立了一個代碼庫和測試數(shù)據(jù)集，代碼庫包括了大部分公開可獲得的跟蹤器，并統(tǒng)一了輸入輸出格式，便于性能評估，目前有29個跟蹤算法。測試數(shù)據(jù)集使用上述OTB-2013和OTB-2015。它使用2個評價指標：中心位置誤差和重疊度。3種評價方式，分別是One-Pass Evaluation(OPE)一次評測(初始幀給定GT，算法測試)；Temporal Robustness Evaluation(TRE)時域魯棒性評測(有時間干擾，任意幀開始跟蹤測試)；Spatial Robustness Evaluation(SRE)空域魯棒性評測(初始幀GT有干擾，算法測試)。

3.3 PETS

國際跟蹤和監(jiān)控績效評估研討會(PETS)已成功舉辦了十多年，主要關(guān)注多目標跟蹤和事件識別等先進的原創(chuàng)算法。以2015年為例，PETS2015是由歐盟資助的項目：Privacy Preserving Perimeter Protection Project(P5)，討論多傳感器監(jiān)控在關(guān)鍵基礎(chǔ)設(shè)施保護方面的應(yīng)用。PETS目標是通過提供評估數(shù)據(jù)集和指標來評估視覺跟蹤和監(jiān)視算法，促進計算機視覺技術(shù)的檢測和跟蹤。

3.4 ETISEO

ETISEO是一個視頻監(jiān)控系統(tǒng)的性能評估項目。給定一個視頻處理任務(wù)(如：目標檢測、分類、跟蹤和時間識別)和一類場景(如：道路)，ETISEO可以評估對應(yīng)的視頻處理算法。該項目致力于研究算法和視頻特征間的關(guān)聯(lián)，為特定算法挑選合適的場景特征，并且指出算法的缺點，以便進一步改進算法。

ETISEO處理一些經(jīng)過詳細說明和分類過的視頻。比如從至少3方面研究陰影問題：1)統(tǒng)一無彩色背景模型下的不同強度等級的陰影；2)背景顏色和語義信息不同時相同強度等級的陰影；3)不同波長的光照度下的陰影。ETISEO針對某一問題，對所使用的視頻序列難度進行分級，以便進行細致研究。ETISEO提供自動評估工具，分析算法性能。

3.5 VACE

VACE主要研究視頻情報內(nèi)容的自動分析。如今，視頻數(shù)量和規(guī)模不斷劇增，需要一種魯棒性的自動化的視頻工具分析情報。此外，還有軍事方面對操作要求實時性的需求。視頻在內(nèi)容、空間和時間上都含有豐富信息，可以提取事件的動態(tài)信息，而圖像上只能提取靜態(tài)信息。為獲取有用的情報，通常需要花費大量時間手工提取、標注和分析不斷增多的視頻內(nèi)容。而VACE所要研究的技術(shù)將提升視頻自動化分析的有效性。VACE的目標是自動化挖掘視頻信息的精確度達到人類的水平，速度達到實時性要求。

3.6 評估項目比較

PETS、ETISEO、VACE都是視頻監(jiān)控系統(tǒng)，PETS和VACE傾向于高層次事件分析，主要目的是跟蹤性能評估、視頻分析和內(nèi)容提取等；ETISEO從算法開發(fā)者角度出發(fā)，針對特定場景，研究視頻特征和算法間的依賴關(guān)系，指出算法的不足；而PETS和VACE主要以終端用戶角度給出分析結(jié)果。

4 實驗分析

傳統(tǒng)的評估方法采用OPE測試，即給定起始幀GT位置后，跟蹤器開始運行至序列末尾，分析其性能。但是初始化的位置不同或者起始幀的變化都有可能影響跟蹤結(jié)果。

本實驗使用Core i5的PC機，運行軟件Matlab2014。在Object Tracking Benchmark[21]測試平臺上評估25種典型算法[21]。測試數(shù)據(jù)集為OTB-2013。使用基于位置誤差度量的精度圖和基于重疊度度量的成功率圖進行OPE、SRE和TRE測試。在評測中，TRE的實現(xiàn)是對給定的視頻序列選取8幀不同的圖像作為初始幀，給定GT位置，跟蹤器在這8種不同的初始幀情況下分別運行至序列末尾，并對這8種情況的數(shù)據(jù)進行綜合統(tǒng)計。SRE是通過移動和縮放初始幀中的目標GT位置，觀察GT位置變化對跟蹤結(jié)果的影響。該評測使用了8個空間移位(上、下、左、右、左上、右上、左下、右下)和4個縮放尺度(0.8，0.9，1.1，1.2)，其中空間移位不改變GT框縮放尺寸、縮放尺度不改變GT框空間位置。測試結(jié)果(性能排名前10算法)如圖4所示。

圖4 TRE、SRE、OPE成功率和精度

從圖4可以看出，除了OPE成功率測試中，SCM比Struck性能高2.6%外，Struck均排名首位，說明Struck算法具有較高的魯棒性。整體來看，在成功率和精度2個方面，TRE的平均性能均高于OPE，原因是當(dāng)初始幀不是第一幀時，測試序列的長度變短，通常跟蹤器在較短的序列上表現(xiàn)更好；而SRE的平均性能低于OPE，初始化時信息的不準確導(dǎo)致算法在跟蹤過程中引入了更多的錯誤，降低了跟蹤準確性。

與OPE測試相比，TRE和SRE測試分別分析了初始化時時間和空間信息的變化對跟蹤算法的影響。以圖中ASLA算法為例，OPE精度圖中，ASLA性能評分排名第八，而在TRE和SRE精度圖中，排名卻分別上升了3位和6位，同樣，在成功率圖中，與OPE相比，TRE和SRE排名也有不同程度的上升。說明OPE測試中結(jié)果偶然性較大，不能很好地描述算法真實性能。

本例作為評估過程中考慮時空因素對算法影響的一種方法，說明OPE測試結(jié)果易受初始化信息的影響，而采用時空結(jié)合的測試結(jié)果更為接近算法的真實性能，使得評估結(jié)果更為準確可靠。同時可以看出，在同一測試平臺上采用相同的測試指標、序列對不同算法進行測試，評估結(jié)果更具說服力。

5 結(jié)束語

本文從評估方法、數(shù)據(jù)集和評估項目3個主要方面，對性能評估的現(xiàn)狀作了整體的介紹?？傮w來看性能評估方法始終與跟蹤算法發(fā)展同步。早期的跟蹤算法性能較弱，只需要采用難度較小的測試序列，評估指標較為單一。近些年隨著各種優(yōu)秀跟蹤算法的不斷涌現(xiàn)，以及性能的大幅提升，原有的零散的測試序列已經(jīng)難以準確區(qū)分和比較算法間的性能，因此出現(xiàn)了測試場景更為全面，跟蹤難度等級更多，標注更為精準的測試序列，最大程度地體現(xiàn)各種現(xiàn)實場景，評估指標也更為多樣，力圖充分挖掘跟蹤算法結(jié)果輸出信息，從多個方面和角度反映算法的性能。專業(yè)的性能評估項目及評估測試平臺對跟蹤算法的蓬勃發(fā)展起到了重要的作用。

與此同時，性能評估還存在一些亟待解決的具體問題，比如：對測試序列內(nèi)場景復(fù)雜度的分析不足，算法在測試的過程中，因素間的互相關(guān)作用對算法的影響往往超乎想象，此時，若簡單地將跟蹤失敗歸結(jié)于某一個因素的影響是不合理的；其次，多數(shù)評估方式未能充分利用完整幀序列信息，算法在某一幀跟蹤失敗后，會造成后續(xù)幀中一系列的錯誤跟蹤位置，這些后續(xù)的幀序列沒有得到合理使用。這些問題可以分別通過對序列中影響因素精細化標注以及序列幀分段測試、重新初始化等方式解決。

目前，性能評估方法得益于跟蹤算法研究的大幅進步，正處于快速發(fā)展且不斷完善的階段。整體發(fā)展趨勢主要體現(xiàn)在以下方面：

1)針對各類跟蹤算法建立一套完整的評估指標體系，面對不同測試對象，指標的選取以及權(quán)重的分配將更為合理、規(guī)范。

2)基準數(shù)據(jù)集的有限性限制了跟蹤算法的研究重點，圍繞有限的數(shù)據(jù)集，針對性地提高算法性能，背離了數(shù)據(jù)集創(chuàng)建的初衷。數(shù)據(jù)集將定期更新，呈現(xiàn)動態(tài)化發(fā)展趨勢，另一方面，生成大規(guī)模仿真數(shù)據(jù)集對算法進行定量分析將成為一個研究方向。

3)跟蹤算法評估流程趨于標準化，包括實驗方法、性能要求、實驗流程等，以使評估達到便捷、高效、準確的目的。

綜上所述，跟蹤算法性能評估是一個極具意義的研究熱點，一方面，在跟蹤算法各種評估需求的牽引下，評估方式會不斷改進；另一方面，規(guī)范化的評估方式又將極大推動跟蹤算法的進步。

參考文獻：

[1] 張澤旭,李金宗,李冬冬. 一種魯棒性的光流算法研究[J]. 電子學(xué)報, 2003,31(12):1851-1855.

[2] Nouar O D, Ali G, Raphael C. Improvedobject tracking with Camshift algorithm[C]// IEEE International Conference on Acoustics, Speech and Signal Processing. 2006,2.

[3] Antani S, Crandall D, Narasimhamurthy A, et al. Evaluation of methods for detection and localization of text in video[C]// Proc. Int’l Workshop Document Analysis Systems. 2000:507-514.

[4] Hua Xiansheng, Liu Wenyin, Zhang Hongjiang. Automatic performance evaluation for video text detection[C]// IEEE International Conference on Document Analysis and Recognition. 2001:545-550.

[5] Smith K, Gatica-Perez D, Odobez J, et al. Evaluatingmulti-object tracking[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). 2005,3:36.

[6] Collins R, Zhou Xuhui, Seng K T. An open source tracking testbed and evaluation Web site[C]// IEEE International Workshop on Performance Evaluation of Tracking and Surveillance. 2005:17-24.

[7] Black J, Ellis T, Rosin P. A novel method for video tracking performance evaluation[C]// IEEE Joint Int. Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance. 2003:125-132.

[8] Han B, Hamm J. Qualitative tracking performance evaluation without ground-truth[C]// 2015 IEEE Winter Conference on Applications of Computer Vision (WACV). 2015:55-62.

[9] Sanmiguel J C, Cavallaro A, Martinez J M. Adaptive online performance evaluation of video trackers[J]. IEEE Transactions on Image Processing, 2012,21(5):2812-2823.

[10] Spampinato C, Palazzo S, Giordano D. Evaluation of tracking algorithm performance without ground-truth data[C]// IEEE International Conference on Image Processing. 2012:1345-1348.

[11] Wu Hao, Sankaranarayanan A C, Chellappa R. In Situ evaluation of tracking algorithms using time reversed chains[C]// 2007 IEEE Conference on Computer Vision and Pattern Recognition. 2007:1-8.

[12] Kasturi R, Goldgof D, Soundararajan P, et al. Framework for performance evaluation of face, text, and vehicle detection and tracking in video: Data, metrics, and protocol[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2008,31(2):319-336.

[13] Ross D A, Lim J, Lin R S, et al. Incremental learning for robust visual tracking[J]. International Journal of Computer Vision, 2008,77(1-3):125-141.

[14] Babenko B, Yang M H, Belongie S. Robust object tracking with online multiple instance learning[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011,33(8):1619-1632.

[15] Ji Hui, Ling Haibin,Wu Yi, et al. Real time robust L1 tracker using accelerated proximal gradient approach[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society. 2012:1830-1837.

[16] Everingham M, Gool L, Williams C K, et al. The Pascal visual object classes (VOC) challenge[J]. International Journal of Computer Vision, 2010,88(2):303-338.

[17] Zhang Kaihua, Zhang Lei, Yang Ming-Hsuan. Real-time compressive tracking[C]// European Conference on Computer Vision. Springer-Verlag, 2012:864-877.

[18] Lazarevic-Mcmanus N, Renno J R, Makris D, et al. An object-based comparative methodology for motion detection based on the F-measure[J]. Computer Vision & Image Understanding, 2008,111(1):74-85.

[19] Kwon J, Lee K M. Tracking of a non-rigid object via patch-based dynamic appearance modeling and adaptive Basin Hopping Monte Carlo sampling[C]// 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2009). 2009:1208-1215.

[20] Hall D, Nascimento J, Ribeiro P, et al. Comparison of target detection algorithms using adaptive background models[C]// IEEE International Workshop on Visual Surveillance andPerformance Evaluation of Tracking and Surveillance. 2005:113-120.

[21] Wu Yi, Lim J, Yang M H. Online object tracking: A benchmark[C]// IEEE Conference on Computer Vision and Pattern Recognition. 2013:2411-2418.

[22] EC’s Information Society Technology. CAVIAR:Context Aware Vision Using Image-based Active Recognition[EB/OL]. http://homepages.inf.ed.ac.uk/rbf/CAVIAR, 2017-12-04.

[23] Young D P, Ferryman J M. PETS metrics: Online performance evaluation service[C]// IEEE International Conference on Computer Communications and Networks. 2005:317-324.

[24] Nghiem A T, Bremond F, Thonnat M, et al. ETISEO, performance evaluation for video surveillance systems[C]// IEEE Conference on Advanced Video and Signal Based Surveillance. 2007:476-481.