楊 博，藺素珍*，祿曉飛，李大威，秦品樂，左健宏

（1.中北大學(xué)大數(shù)據(jù)學(xué)院，太原 030051；2.酒泉衛(wèi)星發(fā)射中心，甘肅酒泉 735000）

（*通信作者電子郵箱lsz@nuc.edu.cn）

0 引言

多目標(biāo)跟蹤是軍事和民用安防監(jiān)控領(lǐng)域的重要手段，也是計(jì)算機(jī)視覺領(lǐng)域的經(jīng)典難題之一。其中，最具代表性的有空中衛(wèi)星、火箭等飛行器的監(jiān)測(cè)與跟蹤。由于觀測(cè)距離較遠(yuǎn)，這些飛行器在探測(cè)圖像中通常都呈現(xiàn)為小目標(biāo)（目標(biāo)的像素個(gè)數(shù)僅為幾個(gè)或幾十個(gè)）。眾所周知，因缺少形狀和紋理信息，小目標(biāo)的檢測(cè)與跟蹤往往十分困難，如遇星空背景噪聲嚴(yán)重，則衛(wèi)星、導(dǎo)彈和火箭等目標(biāo)更是極易與恒星混淆，這時(shí)，誤檢目標(biāo)數(shù)目往往會(huì)較多，使得后續(xù)的多目標(biāo)跟蹤雪上加霜。如果再要求實(shí)時(shí)跟蹤，則更是難上加難。因此，探索多個(gè)紅外小目標(biāo)在線跟蹤的新思路和新方法具有必要性。

目前，紅外多目標(biāo)跟蹤方法主要分為兩種模式：第一種是不依托于檢測(cè)結(jié)果的跟蹤方法。跟蹤流程為先在初始幀中標(biāo)出候選框，接著提取候選框中目標(biāo)特征，根據(jù)所提特征利用卡爾曼濾波［1］、粒子濾波方法［2］在下一幀中找出目標(biāo)的位置。但是在紅外場(chǎng)景中，目標(biāo)間相似性高，背景中噪聲多，因此這類方法的準(zhǔn)確率低，容易偏離目標(biāo)。而隨著目標(biāo)檢測(cè)技術(shù)的快速發(fā)展，另一種基于檢測(cè)結(jié)果的多目標(biāo)跟蹤方法（tracking-bydetection）已經(jīng)成為當(dāng)前目標(biāo)跟蹤研究的主要范式［3］?；具^程是：目標(biāo)檢測(cè)器先通過線下訓(xùn)練得到目標(biāo)在每一幀圖片中的位置，再通過數(shù)據(jù)關(guān)聯(lián)技術(shù)將檢測(cè)結(jié)果分配給已存在的軌跡，從而產(chǎn)生連續(xù)的軌跡。按照數(shù)據(jù)關(guān)聯(lián)算法的不同，多目標(biāo)跟蹤技術(shù)可分為離線跟蹤與在線跟蹤兩大類。典型的離線跟蹤方法有條件隨機(jī)場(chǎng)方法（conditional random field）［4］、最小費(fèi)用最大流網(wǎng)絡(luò)（min-cost max-flow network flow）［5］、最大權(quán)獨(dú)立集（maximum-weight independent set）［6］等。一方面該類方法能有效綜合當(dāng)前幀、過去幀和未來幀信息，便于處理軌跡漂移、錯(cuò)誤匹配和目標(biāo)遮擋等問題；另一方面，未來幀的使用必然帶來時(shí)延和大的計(jì)算量，不能滿足紅外目標(biāo)跟蹤場(chǎng)景中的實(shí)時(shí)要求。所以，在紅外多目標(biāo)跟蹤中所用較少。在線跟蹤方法［7］有采用基于線性卡爾曼濾波的Sort（Simple online and realtime tracking）方法［8］，該方法首先使用目標(biāo)的運(yùn)動(dòng)特征對(duì)相鄰幀檢測(cè)響應(yīng)的時(shí)序進(jìn)行逐幀關(guān)聯(lián)，然后使用匈牙利算法［9］匹配軌跡與目標(biāo)。由于該方法采用目標(biāo)的運(yùn)動(dòng)特征，因此也可以應(yīng)用于紅外場(chǎng)景中。有研究通過使用多特征融合方法提升數(shù)據(jù)關(guān)聯(lián)算法的抗干擾能力［10］，因此在紅外多目標(biāo)跟蹤中，提出了利用目標(biāo)表觀特征、運(yùn)動(dòng)特征和手工設(shè)計(jì)特征等。表觀特征用以描述目標(biāo)的外觀變化，通常會(huì)面臨光照變化，目標(biāo)發(fā)生形變等問題。常用的特征方式有顏色直方圖［11］、梯度特征和深度特征［12-13］等。運(yùn)動(dòng)特征用于描述目標(biāo)的運(yùn)動(dòng)軌跡，通常采用線性運(yùn)動(dòng)［14］和非線性運(yùn)動(dòng)［15］兩種。手工設(shè)計(jì)特征有改進(jìn)表觀特征模型（improved appearance model）［16］等方法；也有研究為改善關(guān)聯(lián)算法的性能，將數(shù)據(jù)關(guān)聯(lián)細(xì)化為多層計(jì)算［17-19］。還有學(xué)者將單目標(biāo)跟蹤中的Simaese Network 特征、核相關(guān)濾波（Kernel Correlation Filter，KCF）引入到多目標(biāo)特征關(guān)聯(lián)中［20-21］，二者都證實(shí)多特征組合與改進(jìn)數(shù)據(jù)關(guān)聯(lián)有利于提高多目標(biāo)跟蹤的準(zhǔn)確性和穩(wěn)定性。不過，由于網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)的限制及算法復(fù)雜度要求［22］，限制了它在空中紅外多目標(biāo)跟蹤中的運(yùn)用。

為此，本文在當(dāng)前常用的基于局部對(duì)比度測(cè)量（Local Contrast Measure，LCM）檢測(cè)結(jié)果的基礎(chǔ)上，采用tracking-bydetection 框架，提出一種基于分層關(guān)聯(lián)的紅外多目標(biāo)在線跟蹤方法。首先，基于紅外場(chǎng)景中目標(biāo)特性，提取目標(biāo)的表觀特征，運(yùn)動(dòng)特征和尺度特征；接著提出分層數(shù)據(jù)關(guān)聯(lián)方法。分層關(guān)聯(lián)方法首先綜合目標(biāo)的多種特征信息設(shè)計(jì)初步關(guān)聯(lián)，以排除誤檢目標(biāo)的干擾得到真實(shí)目標(biāo)。在第二層關(guān)聯(lián)中，本文提出按照尺度大小將目標(biāo)分類：大尺度類目標(biāo)數(shù)據(jù)關(guān)聯(lián)采用表觀特征、運(yùn)動(dòng)特征和尺度特征三種特征相加的方法計(jì)算；小尺度類目標(biāo)數(shù)據(jù)關(guān)聯(lián)采用表觀特征與運(yùn)動(dòng)特征兩種特征相乘的方式計(jì)算。最后根據(jù)匈牙利算法對(duì)目標(biāo)進(jìn)行分配并完成軌跡更新。

1 多特征提取及相似性度量

針對(duì)空中紅外小目標(biāo)的特殊性，本文提出綜合利用表觀、運(yùn)動(dòng)和尺度三種特征計(jì)算數(shù)據(jù)關(guān)聯(lián)。假設(shè)由檢測(cè)器得到的目標(biāo)集合為，表示第t幀中有n個(gè)檢測(cè)目標(biāo)，表示第t幀中第j個(gè)檢測(cè)目標(biāo)，第t幀軌跡集合，表示第t幀有m條軌跡存在，表示第t幀第i條軌跡。

1.1 表觀特征提取及相似性計(jì)算

本文采用目標(biāo)的灰度直方圖作為表觀特征，目標(biāo)與軌跡之間的表觀相似性采用巴氏距離（Bhattacharyya Distance）計(jì)算：

1.2 運(yùn)動(dòng)特征提取及相似性計(jì)算

考慮到體型較大的目標(biāo)往往會(huì)帶有較長(zhǎng)的尾焰，形狀容易發(fā)生突變（參見后文圖1（b）的目標(biāo)1），因此，本文采用目標(biāo)的質(zhì)心描述目標(biāo)的位置來表征目標(biāo)的運(yùn)動(dòng)特征。對(duì)于一幅2D的連續(xù)圖像，p+q階矩mpq定義為：

其中：f(x，y)為圖像在(x，y)處的像素值；N為像素個(gè)數(shù)。圖像的質(zhì)心為第0階矩和第1階矩，因此質(zhì)心的坐標(biāo)(xc，yc)獲取方法如下：

得到目標(biāo)質(zhì)心坐標(biāo)后，由于鏡頭隨著主目標(biāo)移動(dòng)，所以，目標(biāo)在圖像中的運(yùn)動(dòng)速度較慢。為簡(jiǎn)化起見，這里將目標(biāo)運(yùn)動(dòng)假設(shè)為勻速運(yùn)動(dòng)，并采用公認(rèn)效果較好的卡爾曼濾波算法追蹤目標(biāo)的運(yùn)動(dòng)過程，通過所分配的目標(biāo)位置更新卡爾曼濾波方程，給出下一幀的預(yù)測(cè)位置，用于計(jì)算下一幀的數(shù)據(jù)關(guān)聯(lián)。通過比對(duì)軌跡預(yù)測(cè)的下一幀質(zhì)心位置，得到目標(biāo)與軌跡的運(yùn)動(dòng)相似性，計(jì)算公式為：

1.3 尺度特征提取及相似性計(jì)算

若目標(biāo)的尺度特征中檢測(cè)框的長(zhǎng)為h、寬為w，則軌跡與目標(biāo)的尺度相似性可通過式（5）獲得：

2 分層數(shù)據(jù)關(guān)聯(lián)方法

常規(guī)數(shù)據(jù)關(guān)聯(lián)方法在面對(duì)誤檢目標(biāo)多、目標(biāo)間相似度高等情況時(shí)，通常會(huì)導(dǎo)致跟蹤失敗。因此根據(jù)紅外場(chǎng)景特點(diǎn)，本文提出分層數(shù)據(jù)關(guān)聯(lián)方法。利用第1 章中提出的多特征相似性度量方法，在首次計(jì)算數(shù)據(jù)關(guān)聯(lián)時(shí)排除誤檢目標(biāo)的干擾，接著在第二次計(jì)算數(shù)據(jù)關(guān)聯(lián)時(shí)將目標(biāo)按尺度大小分類，根據(jù)類別采取不同的特征組合方式，從而提高跟蹤精度。

2.1 第一層數(shù)據(jù)關(guān)聯(lián)

紅外場(chǎng)景中目標(biāo)相似性高，誤檢數(shù)目多，因此本文設(shè)計(jì)第一層數(shù)據(jù)關(guān)聯(lián)旨在排除誤檢目標(biāo)對(duì)于跟蹤的影響。首先定義軌跡與目標(biāo)的關(guān)聯(lián)矩陣為：

其中：Sm×n為在當(dāng)前幀中m條軌跡與n個(gè)目標(biāo)之間的數(shù)據(jù)關(guān)聯(lián)矩陣。本文在第一層采用的數(shù)據(jù)關(guān)聯(lián)計(jì)算方法為：

其中：rt為t時(shí)刻所有軌跡；θ為丟棄目標(biāo)得閾值；b1、b2、b3為權(quán)重系數(shù)。

在排除誤檢目標(biāo)時(shí)，三種特征因素都具有相當(dāng)重要的作用，因此本文將三種特征的權(quán)重b1、b2、b3都設(shè)置為1/3。當(dāng)某一目標(biāo)與所有的軌跡相似性的最大值都小于給定閾值θ，=0，則說明該目標(biāo)可能為噪聲點(diǎn)，置0意味著丟棄該目標(biāo)。實(shí)驗(yàn)中最佳θ為0.3。圖1 為第一層關(guān)聯(lián)結(jié)果，圖1（a）、（b）中的數(shù)字標(biāo)號(hào)為目標(biāo)序號(hào)，圖1（c）中的標(biāo)號(hào)為軌跡編號(hào)，矩形框代表檢測(cè)結(jié)果?？梢钥闯龅谝粚雨P(guān)聯(lián)后噪聲明顯減少。

圖1 第一層關(guān)聯(lián)前后的對(duì)比Fig.1 Comparison of results before and after first-layer association

2.2 第二層數(shù)據(jù)關(guān)聯(lián)

考慮到所跟蹤的目標(biāo)大小不一致，如果采用單一的特征組合方式，在遇到尺度差異較大情況下會(huì)導(dǎo)致跟蹤精度下降。為提高跟蹤精度，本文在第二層關(guān)聯(lián)中提出將目標(biāo)按照尺度大小分類計(jì)算關(guān)聯(lián)。首先，將第一層關(guān)聯(lián)后結(jié)果分為大尺度目標(biāo)、小尺度目標(biāo)兩類，并按照類別設(shè)計(jì)特征組合方式?？紤]到需跟蹤的較大目標(biāo)容易發(fā)生分離，導(dǎo)致質(zhì)心位置與灰度直方圖有劇烈變化，本文采用三種特征權(quán)重相加的方式來避免某一突變特征對(duì)總相似性造成巨大影響。對(duì)于小尺度類目標(biāo)，因其尺度相似性較高（即尺度特征差異不明顯），如果仍對(duì)表觀特征與運(yùn)動(dòng)特征或三個(gè)特征相加的話，很容易造成誤關(guān)聯(lián)，況且小目標(biāo)的特征數(shù)量本來就少，每個(gè)都不可或缺，所以采用兩種特征相乘的方式——當(dāng)某一特征相似性較低時(shí)，總相似性也必然較低。這樣，通過更具針對(duì)性的特征組合方式達(dá)到提高跟蹤精度的目的。

其中：σs為目標(biāo)大小的閾值；α、β、γ為權(quán)重系數(shù)。σs的最優(yōu)值大約設(shè)為圖像的1/10，本文設(shè)為30 像素值大小。在實(shí)驗(yàn)中發(fā)現(xiàn)，表觀特征相對(duì)于其他兩種特征更為重要，運(yùn)動(dòng)特征及尺度特征對(duì)于跟蹤影響相差不大，因此在本文方法中α、β、γ的值分別設(shè)為0.5、0.25、0.25。綜上，本文提出整體跟蹤流程如圖2所示。

圖2 本文跟蹤方法的流程Fig.2 Flowchart of proposed tracking method

3 實(shí)驗(yàn)與結(jié)果分析

本文方法基于Windows 10 系統(tǒng)使用python 3.6.8 實(shí)現(xiàn)，實(shí)驗(yàn)均在Intel Core i5-4210U CPU 進(jìn)行。本章首先分析影響本文效果的主要因素，然后與有代表性的方法進(jìn)行比較。本文方法所采用的檢測(cè)結(jié)果主要包括（目標(biāo)檢測(cè)框左上角x坐標(biāo)、目標(biāo)檢測(cè)框左上角y坐標(biāo)，目標(biāo)檢測(cè)框?qū)抴、目標(biāo)檢測(cè)框長(zhǎng)h）四部分內(nèi)容。為了驗(yàn)證本文方法的有效性，這里采用公共標(biāo)準(zhǔn)和常用的評(píng)價(jià)指標(biāo)進(jìn)行評(píng)價(jià)，包括多目標(biāo)跟蹤精度（Multi-Object Tracking Accuracy，MOTA）和多目標(biāo)跟蹤準(zhǔn)確度（Multi-Object Tracking Precision，MOTP）。MOTA 的主要影響因素為目標(biāo)（IDentity，ID）的交換次數(shù)（ID Switches，IDS）、誤檢目標(biāo)的數(shù)目（False Positives，F(xiàn)P）和漏檢目標(biāo)的數(shù)目（False Negatives，F(xiàn)N），計(jì)算公式如下：

其中：GT為實(shí)際軌跡。MOTP用于衡量跟蹤結(jié)果與標(biāo)注結(jié)果的匹配程度。其余的還有預(yù)測(cè)軌跡占GT總軌跡的比例不低于80% 的MT（Mostly Tracked targets）和比例低于20% 的ML（Mostly Lost targets）。

3.1 主要影響因素分析

影響本文結(jié)果的主要包括第二層數(shù)據(jù)關(guān)聯(lián)中分類閾值和是否進(jìn)行分層關(guān)聯(lián)兩個(gè)因素。

3.1.1 分類閾值σs對(duì)實(shí)驗(yàn)結(jié)果的影響

MOTA 代表跟蹤方法的綜合性能，越高代表綜合性能越好，因此在實(shí)驗(yàn)中本文重點(diǎn)比較MOTA 值。這里考察從0～70變化過程中MOTA 的變化。由圖3 可見，MOTA 值隨著σs的增大呈現(xiàn)先增后減的趨勢(shì)，其中，當(dāng)σs=30 時(shí)達(dá)到峰值。與此同時(shí)，表1中：當(dāng)σs=0表示使用三種特征相加的方式計(jì)算數(shù)據(jù)關(guān)聯(lián)，σs=MAX 表示數(shù)據(jù)關(guān)聯(lián)執(zhí)行的是特征相乘的方式。由三組值對(duì)比可看出：與單一的“相加”或“相乘”相比，σs約為30 時(shí)，MOTA 值最大，較σs取0 時(shí)提升9.6%，較σs取MAX 時(shí)提升10.2%，F(xiàn)P 值跟其他兩種方法相比有明顯下降，說明當(dāng)σs取30時(shí)，數(shù)據(jù)關(guān)聯(lián)算法準(zhǔn)確率最高，因此本文將σs取30。

表1 不同分類閾值對(duì)比Tab.1 Comparison of different classification thresholds

3.1.2 分層關(guān)聯(lián)對(duì)實(shí)驗(yàn)結(jié)果的影響

表2 給出單層關(guān)聯(lián)與分層關(guān)聯(lián)的實(shí)驗(yàn)結(jié)果，可以看出分層關(guān)聯(lián)后MOTA、MOTP、IDS、FP指均有所提升、ML和FN值有所下降，總體來說分層關(guān)聯(lián)較單層關(guān)聯(lián)比，跟蹤精度有較大提升。

表2 分層關(guān)聯(lián)與單層關(guān)聯(lián)對(duì)比Tab.2 Comparison of hierarchical association and single-layer association

3.2 實(shí)驗(yàn)結(jié)果與分析

多目標(biāo)跟蹤代表性的方法有：文獻(xiàn)［7］使用交并比（Intersection Over Union，IOU）計(jì)算的IOU tracker 方法，文獻(xiàn)［8］采用卡爾曼濾波預(yù)測(cè)目標(biāo)運(yùn)動(dòng)的Sort方法，以及文獻(xiàn)［10］采用多特征數(shù)據(jù)分層關(guān)聯(lián)思想的CMOT（Multiple Object Tracking using Confidence score-based appearance model）方法。四種方法的指標(biāo)如表3所示。

從表3 中可以看出，在序列1 與序列4 中目標(biāo)發(fā)生分離情況導(dǎo)致目標(biāo)數(shù)量激增的情況：本文方法MOTA 值最高、MT 值高、ML 值低，說明本文方法效果更好；FP 值較高、FN 值較低，說明本文方法采用分層關(guān)聯(lián)，對(duì)目標(biāo)與軌跡之間匹配要求更嚴(yán)格。對(duì)比方法中Sort 的效果較好，但是遇到目標(biāo)數(shù)量激增時(shí)，會(huì)出現(xiàn)跟蹤精度劇烈下降的情況。在序列2 中，目標(biāo)運(yùn)動(dòng)情況較穩(wěn)定，本文方法的MOTA 等值均略高于其他方法。在序列3 中，目標(biāo)形變量大，導(dǎo)致其他三種方法時(shí)常會(huì)發(fā)生跟蹤中斷，將主目標(biāo)錯(cuò)認(rèn)為其他目標(biāo)，本文方法的MOTA 值較高，遠(yuǎn)高于其他三種方法。在序列5和序列7中，都存在背景中噪聲較多的情況，因此所有方法都出現(xiàn)了跟蹤精度下降的情況，但是本文方法在序列5 中依然取得了較好的跟蹤精度，在序列7 中僅次于Sort 方法。在序列6 中，鏡頭晃動(dòng)情況嚴(yán)重，因此本文方法相對(duì)于計(jì)算IOU tracker 以及Sort 方法，跟蹤精度有明顯的提升。對(duì)比七組視頻序列，本文方法相較于Sort 方法MOTA 值平均提升12.6，對(duì)比IOU 方法提升17.2，對(duì)比CMOT 方法提升19.6。在MT、ML 等方面，本文方法明顯優(yōu)于其他方法，由于每種方法針對(duì)關(guān)聯(lián)的重點(diǎn)不一，因此FP、IDS、FN呈現(xiàn)不同變化?？偟膩碚f，本文方法要優(yōu)于對(duì)比方法。

表3 不同方法實(shí)驗(yàn)結(jié)果對(duì)比Tab.3 Experimental result comparison of different methods

通過表4可以看出：IOU tracker僅計(jì)算目標(biāo)間的IOU重疊率，所以跟蹤速度最快；Sort 方法在跟蹤中僅使用目標(biāo)的運(yùn)動(dòng)信息，因此也可以達(dá)到較高的速度；CMOT 方法運(yùn)算速度較慢；而本文方法在保證跟蹤精度的同時(shí)，平均運(yùn)算速度達(dá)到了20 frame/s，基本可以保證實(shí)時(shí)要求。

表4 不同方法運(yùn)算速度對(duì)比Tab.4 Computing speed comparison of different methods

為直觀起見，圖4 給出本文方法在四組視頻序列中的跟蹤結(jié)果?？梢钥闯觯盒蛄? 中分離數(shù)量較小的情況時(shí)，本文方法可以做到穩(wěn)定追蹤；序列2 中，在第000021 幀，鏡頭發(fā)生抖動(dòng)，導(dǎo)致跟蹤失敗，此時(shí)本文方法只能繼續(xù)追蹤部分目標(biāo)；序列3 中，在主目標(biāo)發(fā)生分離、需追蹤目標(biāo)數(shù)目急劇增加時(shí)（容易發(fā)生IDS 導(dǎo)致跟蹤失?。?，本文方法可以穩(wěn)定跟蹤大部分目標(biāo)；序列4 中，目標(biāo)發(fā)生較大形變時(shí)，本文方法依然可以穩(wěn)定跟蹤。在序列5 和序列7 中可以看到，背景中的噪聲較多，目標(biāo)相似度較高，本文方法在對(duì)小目標(biāo)的跟蹤上發(fā)生偏移，但是仍能保持跟蹤主目標(biāo)。序列6 中，目標(biāo)較小，鏡頭抖動(dòng)情況嚴(yán)重，因此發(fā)生了偏移情況。

圖4 本文方法跟蹤結(jié)果Fig.4 Tracking results of proposed method

4 結(jié)語

本文提出了一種基于分層數(shù)據(jù)關(guān)聯(lián)的思想解決空中紅外多目標(biāo)跟蹤問題。首先，基于紅外場(chǎng)景的特性，提出構(gòu)建表觀、運(yùn)動(dòng)、尺度三種特征相似性。接著提出分層數(shù)據(jù)關(guān)聯(lián)方法，第一層數(shù)據(jù)關(guān)聯(lián)在一定程度上避免誤檢目標(biāo)對(duì)于跟蹤的影響，第二層數(shù)據(jù)關(guān)聯(lián)通過對(duì)目標(biāo)按照尺度大小分類，各自設(shè)計(jì)特征組合方法，提升了數(shù)據(jù)關(guān)聯(lián)算法的魯棒性和目標(biāo)跟蹤精度。7 組星空背景下圖像序列的測(cè)試表明，本文方法的跟蹤精度均優(yōu)于其他多目標(biāo)跟蹤方法，并且跟蹤速度可以滿足實(shí)時(shí)性要求，便于方法應(yīng)用到實(shí)際工程中。下一步的工作的重點(diǎn)是提高準(zhǔn)確率。