李楚為，張志龍，鐘平

（國(guó)防科技大學(xué) 電子科學(xué)學(xué)院 自動(dòng)目標(biāo)識(shí)別重點(diǎn)實(shí)驗(yàn)室，湖南 長(zhǎng)沙 410073）

引言

隨著低成本無(wú)人機(jī)和嵌入式人工智能芯片的發(fā)展[1]，單目標(biāo)跟蹤技術(shù)在違法取證[2]、精確打擊[3]等無(wú)人機(jī)應(yīng)用上發(fā)揮了重要作用。在計(jì)算機(jī)視覺(jué)領(lǐng)域，單目標(biāo)跟蹤任務(wù)是指給定目標(biāo)初始位置，要求跟蹤算法對(duì)目標(biāo)在后續(xù)圖像幀中的位置進(jìn)行預(yù)測(cè)。如果初始跟蹤框質(zhì)量不高，跟蹤算法的性能就會(huì)大打折扣[4]。初始跟蹤框既可以由人手動(dòng)選取，也可以由算法自動(dòng)求得，如表1 所示。在具備目標(biāo)先驗(yàn)信息的前提下，可以用模板匹配[5]、目標(biāo)識(shí)別[6]等方式獲取目標(biāo)的初始跟蹤框；缺少目標(biāo)先驗(yàn)信息的場(chǎng)合，則可以用差分法檢測(cè)運(yùn)動(dòng)目標(biāo)，作為初始跟蹤框[7-8]。

表1 目標(biāo)跟蹤初始化方法對(duì)比Table 1 Comparison of object tracking initialization methods

在無(wú)人機(jī)對(duì)地場(chǎng)景中，無(wú)人機(jī)平臺(tái)高速運(yùn)動(dòng)，與目標(biāo)之間也存在相對(duì)運(yùn)動(dòng)[13]，使得差分法難以適用。而對(duì)于未知的待跟蹤目標(biāo)，基于先驗(yàn)信息的方法又不具備通用性。因此，在無(wú)人機(jī)對(duì)地偵察任務(wù)中，采用“手動(dòng)選取初始跟蹤框”這一方式非常有必要?！笆謩?dòng)選取初始跟蹤框”通常有兩種形式：正方形框和任意長(zhǎng)寬比的矩形框。由于目標(biāo)在畫(huà)面中持續(xù)運(yùn)動(dòng)，選取貼合目標(biāo)的矩形框并非易事-人手動(dòng)選取矩形框平均需要1.5 s，最長(zhǎng)則要6 s[12]。在選取矩形框的過(guò)程中，目標(biāo)已經(jīng)在傳感器視場(chǎng)中大幅度移動(dòng)，會(huì)使初始跟蹤框偏離目標(biāo)實(shí)際位置，這將直接導(dǎo)致跟蹤失敗。

目前，一些機(jī)載光電吊艙使用正方形框進(jìn)行手動(dòng)跟蹤的起始，如圖1 所示。地面控制臺(tái)采用“搖桿+扳機(jī)”的方案，通過(guò)搖桿控制正方形框的大小和位置、通過(guò)扳機(jī)下達(dá)跟蹤指令。與選取任意長(zhǎng)寬比的矩形框相比，這類(lèi)方案雖然設(shè)計(jì)簡(jiǎn)單、操作便捷、便于快速鎖定目標(biāo)，但容易包含過(guò)多背景，導(dǎo)致跟蹤器性能下降、甚至跟蹤失敗，如圖1 所示。

本文試圖解決無(wú)人機(jī)對(duì)地偵察任務(wù)中的跟蹤框初始化問(wèn)題。如何在無(wú)人機(jī)和目標(biāo)的相對(duì)運(yùn)動(dòng)過(guò)程中，讓操作員快速、準(zhǔn)確地鎖定任意目標(biāo)，是這一問(wèn)題的最大難點(diǎn)。本文的貢獻(xiàn)主要有3 方面：1）在VisDrone2018-SOT-test-dev[14]數(shù)據(jù)集上，定量評(píng)估了不同偏差的正方形初始跟蹤框?qū)Ω櫨鹊挠绊懀?）提出了一種結(jié)合人的主觀(guān)選擇和視覺(jué)認(rèn)知的跟蹤框初始化和優(yōu)化策略，可以快速、準(zhǔn)確地鎖定感興趣目標(biāo)，并在VisDrone2018-SOT-testdev 和UAVDT[15]數(shù)據(jù)集上進(jìn)行了驗(yàn)證；3）本文提出的策略可以與任意跟蹤算法結(jié)合，并具備在嵌入式設(shè)備中的可移植性。本文提出的跟蹤框自適應(yīng)優(yōu)化代碼在線(xiàn)發(fā)布地址為：https://github.com/iammusili/SQUARE_BBOX_OPT。

1 相關(guān)工作

1.1 目標(biāo)跟蹤初始化

單目標(biāo)跟蹤算法包括初始化和更新兩個(gè)階段，初始化階段的輸入為第1 幀圖像和初始跟蹤框。為減少人工交互，文獻(xiàn)[7]、文獻(xiàn)[8]分別利用背景差分法和幀間差分法檢測(cè)運(yùn)動(dòng)目標(biāo)，將其用作初始跟蹤框；文獻(xiàn)[10]、文獻(xiàn)[11]則利用視覺(jué)顯著性代替人工標(biāo)定初始幀。給定目標(biāo)先驗(yàn)信息，文獻(xiàn)[5]將目標(biāo)模板匹配的結(jié)果作為初始跟蹤框；文獻(xiàn)[6]使用Adaboost 人臉?lè)诸?lèi)器檢測(cè)人臉，實(shí)現(xiàn)人臉跟蹤首幀自動(dòng)初始化；文獻(xiàn)[9]使用Faster R-CNN (區(qū)域卷積神經(jīng)網(wǎng)絡(luò))檢測(cè)無(wú)人水面艇得到原始邊框，然后用超像素進(jìn)行細(xì)化，再進(jìn)行跟蹤。上述方法在各自的應(yīng)用場(chǎng)景中均發(fā)揮了較好的作用，但并未與人的主觀(guān)選擇相結(jié)合，也并非針對(duì)無(wú)人機(jī)應(yīng)用場(chǎng)景專(zhuān)門(mén)設(shè)計(jì)。

1.2 視覺(jué)顯著性

視覺(jué)顯著性算法通?？煞譃閮深?lèi)：預(yù)測(cè)人類(lèi)注視點(diǎn)，檢測(cè)圖像中的顯著物體或區(qū)域[16]。早期的視覺(jué)顯著性研究多為啟發(fā)性方法。文獻(xiàn)[17]提出一種基于生物啟發(fā)和多尺度圖像特征的視覺(jué)顯著性計(jì)算方法；文獻(xiàn)[18]使用布爾圖理論同時(shí)估計(jì)注視點(diǎn)和顯著區(qū)域。隨著視覺(jué)顯著性基準(zhǔn)數(shù)據(jù)集的發(fā)展，基于機(jī)器學(xué)習(xí)的方法得到廣泛關(guān)注。文獻(xiàn)[19]將顯著圖計(jì)算視為回歸問(wèn)題，訓(xùn)練基于多層級(jí)特征的隨機(jī)森林回歸器；文獻(xiàn)[20]訓(xùn)練基于卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)模型；文獻(xiàn)[21]則訓(xùn)練基于卷積長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的視覺(jué)顯著性模型。在目標(biāo)跟蹤問(wèn)題上，視覺(jué)顯著性算法已經(jīng)被用于跟蹤框糾偏[22]、跟蹤框精確定[23]等方面，并取得一定效果。然而，當(dāng)存在多個(gè)顯著目標(biāo)時(shí)，僅依賴(lài)圖像自身信息，算法難以關(guān)注到無(wú)人機(jī)對(duì)地場(chǎng)景中的局部顯著目標(biāo)（如圖6 所示）。

1.3 圖像分割和顯著區(qū)域分割

傳統(tǒng)圖像分割算法通常使用輪廓、紋理、顏色等線(xiàn)索。GraphCut[24]算法將某些像素標(biāo)記為“前景”或“背景”，獲得較為準(zhǔn)確的分割結(jié)果；Grab-Cut[25]算法用矩形框標(biāo)記前景區(qū)域，既減少了用戶(hù)交互，還提升了分割質(zhì)量。

基于顯著圖的圖像分割技術(shù)被稱(chēng)為顯著區(qū)域分割。文獻(xiàn)[26]對(duì)原圖分別進(jìn)行mean-shift（均值漂移）分割和顯著性計(jì)算，將均值漂移分割結(jié)果中顯著性值大于自適應(yīng)閾值的區(qū)域作為最終分割結(jié)果；Saliency Cut 算法[27]在顯著圖上迭代運(yùn)行GrabCut并更新前景、背景和區(qū)域位置信息，得到顯著區(qū)域分割結(jié)果。與傳統(tǒng)圖像分割相比，顯著區(qū)域分割綜合了圖像信息和顯著性線(xiàn)索，在復(fù)雜場(chǎng)景圖像上更具優(yōu)勢(shì)。

2 初始跟蹤框?qū)Ω櫨扔绊懙亩糠治?/h2>

文獻(xiàn)[28]認(rèn)為跟蹤算法對(duì)初始跟蹤框較為敏感，提出對(duì)跟蹤數(shù)據(jù)集的真值框進(jìn)行隨機(jī)平移和尺度變化，以模擬檢測(cè)算法帶來(lái)的誤差，在此基礎(chǔ)上定量評(píng)估跟蹤算法的性能。參考文獻(xiàn)[28]的做法，本節(jié)定性對(duì)比幾種不同的跟蹤初始化方法，并定量分析不同偏差的正方形初始跟蹤框帶來(lái)的精度損失。

2.1 典型跟蹤初始化方法的定性對(duì)比

圖2 展示了在無(wú)人機(jī)對(duì)地圖像序列上，用幾種不同方法對(duì)fDSST（fast discriminative scale space tracking）[29]算法進(jìn)行初始化的跟蹤結(jié)果。圖中紅色、綠色、藍(lán)色、黃色分別表示為基于跟蹤數(shù)據(jù)集的真值框、真值框的外接正方形框、YOLO V3 檢測(cè)框以及優(yōu)化后的初始跟蹤框?？梢钥闯觯?）當(dāng)目標(biāo)長(zhǎng)寬比接近于1 時(shí)（圖2 中序列一），無(wú)論采用何種跟蹤初始化方法，跟蹤算法都能穩(wěn)定地跟蹤目標(biāo)；2）當(dāng)目標(biāo)長(zhǎng)寬比過(guò)大時(shí)（圖2 中序列二、三），基于正方形框初始化會(huì)逐漸跟丟目標(biāo)，而經(jīng)過(guò)本文方法（3.2 節(jié)）優(yōu)化后的初始跟蹤框仍然可以取得與真值框、檢測(cè)框接近的跟蹤效果。

圖2 不同跟蹤初始化方法的跟蹤結(jié)果Fig.2 Tracking results of different initialization methods

2.2 正方形初始跟蹤框的精度損失評(píng)估

上一節(jié)定性地展示了正方形初始跟蹤框可能存在的問(wèn)題。本節(jié)對(duì)不同偏差的正方形初始跟蹤框進(jìn)行測(cè)試，定量評(píng)估其造成的跟蹤精度損失。

2.2.1 實(shí)驗(yàn)設(shè)計(jì)

文獻(xiàn)[28]在計(jì)算SRE（spatial robustness evaluation，空間魯棒性評(píng)估）得分時(shí)，將目標(biāo)真值框尺度從80%遞增到120%，測(cè)試不同尺度下跟蹤器的性能，然后計(jì)算均值。

本文使用跟蹤數(shù)據(jù)集標(biāo)注文件中目標(biāo)在第1 幀的位置作為目標(biāo)真值框。參考文獻(xiàn)[28]的做法，首先將真值框擴(kuò)展為最小外接正方形框，然后計(jì)算5 種不同尺度（分別為80%、100%、125%、150%、200%）下的跟蹤算法精度。與文獻(xiàn)[28]不同，本文不計(jì)算均值，采用OPE（one-pass evaluation，一次性通過(guò)評(píng)估）準(zhǔn)則。選用4 種具有代表性的跟蹤算法進(jìn)行評(píng)估，分別為MUSTer（multi-store tracker）[30]、GOTURN（generic object tracking using regression networks）[31]、fDSST 和 ECO（efficient convolution operators）[32]。測(cè)試數(shù)據(jù)集為VisDrone-2018-SOT-test-dev，共35 個(gè)序列，最短90幀，最長(zhǎng)2 783 幀。評(píng)價(jià)指標(biāo)為OPE 準(zhǔn)則下的成功率（success）和精度（precision），來(lái)自于文獻(xiàn)[28]。

精度和精度曲線(xiàn)（precision plot）的計(jì)算方法如下文。首先，根據(jù)算法輸出的跟蹤框中心位置(xtrack,ytrack)和 目標(biāo)真值框中心位置 (xgt,ygt)，計(jì)算中心位置誤差 ?：

其次，設(shè)置0～50 像素、間隔1 像素的位置誤差閾值，統(tǒng)計(jì)不同位置誤差閾值下 ?小于該閾值的圖像幀數(shù)量占圖像序列總幀數(shù)的比值，繪制為精度曲線(xiàn)。然后，將位置誤差閾值20 像素對(duì)應(yīng)的比值作為跟蹤精度。

成功率和成功率曲線(xiàn)（success plot）的計(jì)算方法如下文。首先，根據(jù)算法輸出的跟蹤框區(qū)域Rtrack和目標(biāo)真值框區(qū)域Rgt，計(jì)算平均重疊得分S：

其次，設(shè)置0～1、間隔0.05 的重疊閾值，統(tǒng)計(jì)不同重疊閾值下S大于該閾值的圖像幀數(shù)量占圖像序列總幀數(shù)的比值，繪制為成功率曲線(xiàn)。然后，將曲線(xiàn)下面積作為跟蹤成功率。

2.2.2 實(shí)驗(yàn)結(jié)果

圖3 和圖4 分別展示了不同偏差的正方形初始框?qū)Ω櫝晒β屎途鹊挠绊?。可以看出?）使用正方形框作為初始框，嚴(yán)重影響跟蹤性能；2）正方形框與真值框的尺度偏差越大，跟蹤性能越差。

圖3 不同偏差的正方形初始框?qū)Ω櫝晒β实挠绊慒ig.3 Effect of square initial boxes with different deviations on tracking success value

圖4 不同偏差的正方形初始框?qū)Ω櫨鹊挠绊慒ig.4 Effect of square initial boxes with different deviations on tracking precision value

3 跟蹤框快速初始化和自適應(yīng)優(yōu)化

如前所述，現(xiàn)有的跟蹤框自動(dòng)初始化方法存在一定局限，不能滿(mǎn)足無(wú)人機(jī)對(duì)地偵察任務(wù)的需要。手動(dòng)選取正方形框的初始化方式雖速度較快，但2.2 節(jié)的定量實(shí)驗(yàn)表明，該方式會(huì)導(dǎo)致性能?chē)?yán)重下降。由此，針對(duì)實(shí)際系統(tǒng)的需要，本節(jié)將提出一種跟蹤框的快速初始化和自適應(yīng)優(yōu)化策略，并給出驗(yàn)證樣例。

3.1 總體策略

如圖5 所示，本文提出的跟蹤框初始化和優(yōu)化策略共分為粗選取、自適應(yīng)優(yōu)化、細(xì)選取3 個(gè)階段：首先，由操作員手動(dòng)選取一個(gè)盡可能覆蓋目標(biāo)、且形心與目標(biāo)中心接近的正方形框，這一過(guò)程相對(duì)較快，即便是目標(biāo)相對(duì)無(wú)人機(jī)快速運(yùn)動(dòng)時(shí)也可完成；然后，由跟蹤框自適應(yīng)優(yōu)化算法自動(dòng)找出正方形框中最符合人的視覺(jué)認(rèn)知的顯著目標(biāo)，以其分割得到的外接矩形作為初始跟蹤框，然后起始跟蹤，這一過(guò)程由算法完成，故速度較快。最后，在跟蹤算法持續(xù)鎖定目標(biāo)的過(guò)程中，可以根據(jù)需要手動(dòng)選取更為精細(xì)的、貼合目標(biāo)的任意長(zhǎng)寬比矩形框。

圖5 跟蹤框快速初始化和自適應(yīng)優(yōu)化策略Fig.5 Strategy of tracking box initialization and optimization

3.2 跟蹤框自適應(yīng)優(yōu)化算法

給定輸入圖像和手動(dòng)選取的正方形框，跟蹤框優(yōu)化算法要找到正方形框中最符合人的視覺(jué)認(rèn)知的目標(biāo)，并具備一定的偏差容忍能力。本節(jié)對(duì)視覺(jué)顯著性和顯著區(qū)域分割在無(wú)人機(jī)圖像上的應(yīng)用方式進(jìn)行探索，提出一種跟蹤框自適應(yīng)優(yōu)化算法。

3.2.1 視覺(jué)顯著性的全局和局部對(duì)比

選取4 種具有代表性的視覺(jué)顯著性算法進(jìn)行測(cè)試，分別為：BMS（boolean map saliency）[18]、DRFI（discriminative regional feature integration）[19]、MDF（multiscale deep CNN features）[20]、ASNet（attentive saliency network）[21]。

圖6、圖7 分別展示了視覺(jué)顯著性算法在典型無(wú)人機(jī)對(duì)地圖像上的全局顯著圖和局部顯著圖。圖6 中黃色方框表示感興趣目標(biāo)?？梢钥闯?，局部突出的目標(biāo)，全局上不一定具備顯著性。

圖6 無(wú)人機(jī)對(duì)地圖像的全局顯著圖Fig.6 Global saliency map of UAV ground images

圖7 無(wú)人機(jī)對(duì)地圖像的局部顯著圖Fig.7 Local saliency map of UAV ground images

3.2.2 圖像分割和顯著區(qū)域分割對(duì)比

對(duì)比兩種交互式圖像分割方法和兩種顯著區(qū)域分割方法，分別為：GrabCut[25]、OneCut[33]和二倍閾值分割[26]、Saliency Cut[27]。其中，顯著區(qū)域分割方法使用的顯著圖來(lái)自BMS 算法。從圖8 可以看出，基于顯著圖的顯著區(qū)域分割方法比基于方框的交互式圖像分割方法要穩(wěn)定，且分割結(jié)果也較為準(zhǔn)確。

圖8 圖像分割和顯著區(qū)域分割對(duì)比圖Fig.8 Comparison of image segmentation and salient region segmentation

3.2.3 算法設(shè)計(jì)

如前所述，視覺(jué)顯著性算法雖然具備在復(fù)雜場(chǎng)景中快速、準(zhǔn)確定位目標(biāo)的能力，但需要適當(dāng)?shù)囊龑?dǎo)信息。3.2.1 節(jié)的結(jié)果也驗(yàn)證了這一觀(guān)點(diǎn)。若將手動(dòng)選取的正方形框視作引導(dǎo)信息，問(wèn)題則將轉(zhuǎn)化為：給定輸入圖像和正方形邊框，如何找出正方形框中的局部顯著目標(biāo)。

結(jié)合3.2.1 節(jié)和3.2.2 節(jié)的實(shí)驗(yàn)結(jié)果，并考慮到在嵌入式設(shè)備上的部署便捷性。本節(jié)提出基于視覺(jué)顯著性和顯著區(qū)域分割的跟蹤框自適應(yīng)優(yōu)化算法，如圖9 所示。圖9中，圖像切片從上至下依次為根據(jù)真值框的外接正方形縮放1.25、1.0、0.8 倍后從原圖截取，顯著圖來(lái)自BMS 算法，顯著區(qū)域分割從上至下依次為二倍閾值分割和Saliency Cut算法。

圖9 跟蹤框自適應(yīng)優(yōu)化算法流程圖Fig.9 Flow chart of tracking box optimization algorithm

算法偽代碼如表2 所示。算法在計(jì)算過(guò)程中用到兩 個(gè)經(jīng)驗(yàn)閾值：Tdist和Tratio。Tdist的作 用是 優(yōu)先考慮形心與B中心距離最近的矩形邊框，設(shè)為0.2（若超出這一距離，則不予考慮）；Tratio的作用是優(yōu)先考慮最長(zhǎng)邊與B邊長(zhǎng)最接近的矩形邊框，設(shè)為0.5（若小于這一比值，則不予考慮）。

表2 算法偽代碼Table 2 Algorithm pseudocode

圖9 中外接矩形對(duì)應(yīng)的數(shù)值如表3 所示。

4 實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)備為Intel i7 CPU@2.80 GHz 和8 GB 內(nèi)存的筆記本電腦，實(shí)驗(yàn)環(huán)境為Matlab R2016b。通過(guò)Matlab 與C++混合編程的方式，調(diào)用視覺(jué)顯著性算法BMS 和顯著區(qū)域分割算法Saliency Cut；在Matlab 環(huán)境下進(jìn)行圖像裁剪、計(jì)算歸一化距離和可視化等操作。

4.1 實(shí)驗(yàn)設(shè)置

本節(jié)在VisDrone2018-SOT-test-dev 和UAVDT數(shù)據(jù)集上，定量地評(píng)價(jià)本文提出的跟蹤框自適應(yīng)優(yōu)化算法對(duì)跟蹤精度的提升效果。與2.2.1 節(jié)相同，對(duì)比MUSTer、GOTURN、fDSST 和ECO 4 種跟蹤算法。實(shí)驗(yàn)中，仍然以跟蹤數(shù)據(jù)集標(biāo)注文件中目標(biāo)在第1 幀的位置作為目標(biāo)真值框。將真值框擴(kuò)展為最小外接正方形框，計(jì)算2 種不同尺度（125%和150%）下優(yōu)化前和優(yōu)化后的跟蹤算法精度。評(píng)價(jià)指標(biāo)為OPE 準(zhǔn)則下的成功率曲線(xiàn)（success plot）和精度曲線(xiàn)（precision plot），來(lái)自于文獻(xiàn)[28]。

4.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如圖2、圖10 和圖11 所示。

圖10 VisDrone2018-SOT-test-dev 數(shù)據(jù)集上的成功率曲線(xiàn)圖和精度曲線(xiàn)圖Fig.10 Overall success plot and precision plot on VisDrone2018-SOT-test-dev dataset

圖11 UAVDT 數(shù)據(jù)集上的成功率曲線(xiàn)圖和精度曲線(xiàn)圖Fig.11 Overall success plot and precision plot on UAVDT dataset

可以看出：1）經(jīng)過(guò)本文跟蹤框自適應(yīng)優(yōu)化算法優(yōu)化后的初始跟蹤框，能較好地貼合目標(biāo)，并有效提升跟蹤性能；2）在VisDrone2018-SOT-test-dev數(shù)據(jù)集上，與優(yōu)化前相比，成功率平均提升0.138，最高提升了0.262，精度平均提升0.135，最高提升了0.165；3）在UAVDT 數(shù)據(jù)集上，與優(yōu)化前相比，成功率平均提升0.093，最高提升了0.147，精度平均提升0.082，最高提升了0.177。

圖10、圖11 中：MUSTer、GOTURN、fDSST和ECO 前綴表示4 種跟蹤算法；125、150 后綴分別表示將真值框擴(kuò)展至1.25 倍和1.5 倍外接正方形框；opt 后綴表示正方形框經(jīng)過(guò)本文算法優(yōu)化。

5 討論和分析

5.1 方案優(yōu)勢(shì)和局限性

本文提出的跟蹤框快速初始化和自適應(yīng)優(yōu)化策略結(jié)合了人的主觀(guān)選擇和視覺(jué)認(rèn)知，與基于先驗(yàn)信息的方法相比，更具通用性；與基于任意長(zhǎng)寬比矩形框的方法相比，速度更快；與基于正方形框的方法相比，更貼合目標(biāo)。

由于未考慮先驗(yàn)信息，目前方案存在一定局限：在處理帶有陰影的目標(biāo)（圖12 中序列一）、結(jié)構(gòu)多樣的目標(biāo)（圖12 中序列二、三）時(shí)，跟蹤框自適應(yīng)優(yōu)化結(jié)果難以與人的認(rèn)知保持完全一致。但相較于正方形框而言，優(yōu)化后的框仍具備更好的跟蹤初始化效果。圖12 中藍(lán)色、綠色、黃色分別為基于跟蹤數(shù)據(jù)集的真值框、真值框的外接正方形框、優(yōu)化后的初始跟蹤框?qū)DSST 算法進(jìn)行初始化的跟蹤結(jié)果。

圖12 跟蹤框自適應(yīng)優(yōu)化算法的局限性Fig.12 Limitations of tracking box optimization algorithms

5.2 算法參數(shù)和耗時(shí)分析

5.2.1 距離歸一化閾值和邊長(zhǎng)歸一化閾值

由于反應(yīng)延遲和通信延遲帶來(lái)的偏差，操作員在地面端選取正方形框時(shí)，正方形框中心與目標(biāo)中心難以保持一致。為確保跟蹤框自適應(yīng)優(yōu)化算法可以準(zhǔn)確鎖定目標(biāo)，不被其他目標(biāo)干擾，根據(jù)經(jīng)驗(yàn)值將距離歸一化閾值Tdist設(shè)為0.2。圖13 展示了對(duì)正方形框進(jìn)行隨機(jī)擾動(dòng)時(shí)這一閾值的效果。圖13 中藍(lán)色、黃色分別為真值框的外接正方形框、優(yōu)化后的初始跟蹤框。

圖13 距離歸一化閾值的作用Fig.13 Role of distance normalization threshold

此外，考慮到操作員在選取正方形框時(shí)，難以準(zhǔn)確覆蓋目標(biāo)，除了采用三層圖像金字塔結(jié)構(gòu)（5.2.2 節(jié)）外，還需要對(duì)目標(biāo)的長(zhǎng)度與正方形框的邊長(zhǎng)比值進(jìn)行限制，遠(yuǎn)大于邊框或遠(yuǎn)小于邊框的目標(biāo)都不予考慮。因此，根據(jù)經(jīng)驗(yàn)值將邊長(zhǎng)歸一化閾值Tratio設(shè)為0.5。

5.2.2 圖像金字塔

在無(wú)人機(jī)飛行過(guò)程中，由于時(shí)間有限或心理壓力等原因，操作員選取的正方形框可能在目標(biāo)實(shí)際尺寸上下浮動(dòng)。針對(duì)這一問(wèn)題，采用三層圖像金字塔結(jié)構(gòu)（見(jiàn)圖9），對(duì)原始正方形框縮放1.25、1.0、0.8 倍后截取圖像切片，再進(jìn)行后續(xù)的顯著性和區(qū)域分割處理。圖14 定性地展示了這一結(jié)構(gòu)的有效性：當(dāng)背景雜亂、存在相似目標(biāo)時(shí)（圖14 第1 行），縮小視野可以忽略干擾；當(dāng)目標(biāo)簡(jiǎn)單、獨(dú)立時(shí)（圖14 第2 行），放大視野更容易把握全局。圖14中黃色表示優(yōu)化后的初始跟蹤框。

圖14 三層圖像金字塔結(jié)構(gòu)的作用Fig.14 Role of three-tier image pyramid structure

5.2.3 算法可移植性和耗時(shí)分析

本文使用的BMS 算法和Saliency Cut 算法分別來(lái)自文獻(xiàn)[18]、文獻(xiàn)[27]，其核心代碼均為C 語(yǔ)言開(kāi)發(fā)。因此，可以很便捷地移植到嵌入式設(shè)備上。在Intel i7 CPU@2.80 GHz 和8 GB 內(nèi)存的電腦上運(yùn)行，以200×200 像素的圖像為例，release 模式下耗時(shí)為0.3 s?？紤]到本文算法的三級(jí)金字塔是分別獨(dú)立的，可以并行處理優(yōu)化，則理論上可以達(dá)到0.1 s 的速度（10 幀/s），基本滿(mǎn)足實(shí)時(shí)性要求。

6 結(jié)論

本文對(duì)單目標(biāo)跟蹤的跟蹤初始化問(wèn)題進(jìn)行了討論和研究。針對(duì)無(wú)人機(jī)對(duì)地偵察任務(wù)的特點(diǎn)，提出了一種結(jié)合人的主觀(guān)選擇和視覺(jué)認(rèn)知的半自動(dòng)初始化和優(yōu)化策略，并給出了基于視覺(jué)顯著性和顯著圖像分割的自適應(yīng)優(yōu)化算法樣例，在兩個(gè)公開(kāi)數(shù)據(jù)集上驗(yàn)證了跟蹤框自適應(yīng)優(yōu)化算法的有效性。

本文的主要貢獻(xiàn)在于對(duì)跟蹤初始化問(wèn)題的探討，以及一種提升初始跟蹤框精度的策略，而非算法創(chuàng)新。在當(dāng)前的框架下，包括本文方法在內(nèi)的多數(shù)跟蹤初始化方法都只利用了當(dāng)前幀信息，因此仍不是最佳解決方案。如何利用歷史幀的時(shí)空上下文信息，實(shí)現(xiàn)更為準(zhǔn)確、快速的通用目標(biāo)跟蹤初始化，是下一步研究的重點(diǎn)。