柴文光，陳香遠(yuǎn)

（廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，廣州510006）

0 引言

目標(biāo)跟蹤是利用計(jì)算機(jī)視覺(jué)技術(shù)采集到的視頻或圖像序列進(jìn)行相關(guān)處理與分析，通過(guò)對(duì)目標(biāo)上下文信息采集，對(duì)目標(biāo)的外觀位置信息和運(yùn)動(dòng)信息進(jìn)行預(yù)測(cè)其位置并跟蹤生成連續(xù)的運(yùn)動(dòng)軌跡的過(guò)程。目標(biāo)跟蹤面臨的挑戰(zhàn)有很多，如遮擋、形變、尺度變換等問(wèn)題[1]。多目標(biāo)跟蹤指的是對(duì)多個(gè)感興趣的目標(biāo)進(jìn)行目標(biāo)跟蹤，但多目標(biāo)跟蹤遇到的問(wèn)題遠(yuǎn)遠(yuǎn)比對(duì)一個(gè)目標(biāo)進(jìn)行跟蹤要復(fù)雜。如何對(duì)檢測(cè)結(jié)果與預(yù)測(cè)結(jié)果進(jìn)行精確的匹配，避免如漏檢、目標(biāo)重疊或者遮擋等情況，正是多目標(biāo)跟蹤所面臨的難關(guān)。

目前，大部分多目標(biāo)跟蹤方法的思路都是基于目標(biāo)檢測(cè)結(jié)果進(jìn)行跟蹤的，大致流程如圖1所示，通過(guò)目標(biāo)檢測(cè)、特征提取和預(yù)測(cè)、相似度計(jì)算、數(shù)據(jù)關(guān)聯(lián)4個(gè)階段進(jìn)行持續(xù)的多目標(biāo)跟蹤[2]。

圖1 多目標(biāo)跟蹤的階段

首先，檢測(cè)模塊對(duì)作為輸入的原始視頻或圖片序列數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)，生成目標(biāo)的對(duì)象框，然后進(jìn)行特征提取和運(yùn)動(dòng)預(yù)測(cè)，根據(jù)計(jì)算得到的視覺(jué)特征和運(yùn)動(dòng)信息進(jìn)行相似度計(jì)算（即判斷兩個(gè)對(duì)象屬于同一個(gè)目標(biāo)的可能性大?。?，最后在數(shù)據(jù)關(guān)聯(lián)的階段為每個(gè)對(duì)象分配各自的身份標(biāo)識(shí)。持續(xù)循環(huán)上述過(guò)程，從而實(shí)現(xiàn)對(duì)感興趣的多個(gè)目標(biāo)的跟蹤。

本文主要關(guān)注的是單目視覺(jué)多目標(biāo)跟蹤算法的最后階段——數(shù)據(jù)關(guān)聯(lián)。

1 數(shù)據(jù)關(guān)聯(lián)策略

數(shù)據(jù)關(guān)聯(lián)的本質(zhì)就是在目標(biāo)檢測(cè)的基礎(chǔ)上尋找最優(yōu)的關(guān)聯(lián)目標(biāo)對(duì)[3]。在多目標(biāo)跟蹤過(guò)程中，為了保持對(duì)目標(biāo)進(jìn)行持續(xù)有效的跟蹤，數(shù)據(jù)關(guān)聯(lián)策略顯得尤為重要。本節(jié)分別從傳統(tǒng)方法、線性匹配、離線、在線以及端對(duì)端等數(shù)據(jù)關(guān)聯(lián)策略依次展開(kāi)產(chǎn)生闡述。

1.1 傳統(tǒng)的數(shù)據(jù)關(guān)聯(lián)策略

1.1.1 最近鄰數(shù)據(jù)關(guān)聯(lián)

最近鄰數(shù)據(jù)關(guān)聯(lián)（NNDA）方法[4]指的是以前幀目標(biāo)檢測(cè)結(jié)果的預(yù)測(cè)值為中心形成的空間區(qū)域作為搜索子空間，在該子空間搜索離中心點(diǎn)最近的檢測(cè)點(diǎn)作為目標(biāo)真實(shí)位置。

如圖2所示，目標(biāo)i在k時(shí)刻的預(yù)測(cè)位置為搜索子空間的中心，而在k時(shí)刻檢測(cè)到跟蹤子空間內(nèi)存在目標(biāo)Z1、Z2和Z3，距離中心最近檢測(cè)目標(biāo)Z3將被選中作為目標(biāo)i的實(shí)際位置。

圖2 最近鄰數(shù)據(jù)關(guān)聯(lián)

最近鄰數(shù)據(jù)關(guān)聯(lián)策略的長(zhǎng)處是運(yùn)算量小，算法復(fù)雜度較低，只適用于稀疏目標(biāo)和少雜波環(huán)境的目標(biāo)跟蹤系統(tǒng)。當(dāng)在目標(biāo)被頻繁遮擋，雜波密度大的環(huán)境下，容易出現(xiàn)誤跟和漏跟現(xiàn)象。同時(shí)，搜索子空間的范圍大小直接影響關(guān)聯(lián)結(jié)果，對(duì)于落在搜索子空間范圍外的檢測(cè)目標(biāo)會(huì)出現(xiàn)漏檢或誤檢現(xiàn)象。

1.1.2 聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法

聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)（JPDA）算法[5]的思想是將搜索子空間內(nèi)的所有觀測(cè)點(diǎn)做不同的排列聯(lián)合假設(shè)，根據(jù)各個(gè)觀測(cè)點(diǎn)與各條軌跡的關(guān)聯(lián)概率，對(duì)跟蹤目標(biāo)當(dāng)前表觀信息進(jìn)行加權(quán)運(yùn)算，從而更新軌跡。如圖3所示，需要跟蹤4個(gè)目標(biāo)，而在跟蹤子空間內(nèi)共檢測(cè)出Zk1、Zk2、Zk3、Zk4、Zk5和Zk6等6個(gè)觀測(cè)點(diǎn)。由圖3可知，Zk2落在目標(biāo)1和目標(biāo)2的重疊區(qū)域，Zk3落在目標(biāo)2和目標(biāo)3的重疊區(qū)域。Zk5落在目標(biāo)1、目標(biāo)3和目標(biāo)4的共同重疊區(qū)域。

圖3 JPDA算法場(chǎng)景

JPDA算法存在一些不足，需要引起我們的重視的。①JPDA算法需要把跟蹤場(chǎng)景中目標(biāo)的數(shù)量作為前提條件，否則無(wú)法處理舊目標(biāo)的消失及新目標(biāo)的出現(xiàn)。②JPDA算法無(wú)法判斷軌跡的起止，需要增加額外計(jì)算成本。③協(xié)方差矩陣容易在關(guān)聯(lián)區(qū)域引入額外的候選觀測(cè)結(jié)果，即根據(jù)所有的觀測(cè)值來(lái)更新協(xié)方差矩陣的方法可能導(dǎo)致數(shù)據(jù)關(guān)聯(lián)出錯(cuò)。④在目標(biāo)數(shù)目大且有實(shí)時(shí)性要求的場(chǎng)景中使用JPDA進(jìn)行數(shù)據(jù)關(guān)聯(lián)容易出現(xiàn)“組合爆炸”現(xiàn)象。

隨著目標(biāo)檢測(cè)技術(shù)的快速發(fā)展，使用以上兩種傳統(tǒng)數(shù)據(jù)關(guān)聯(lián)策略的多目標(biāo)跟蹤算法也同樣得到多目標(biāo)跟蹤效果的提升。為了彌補(bǔ)傳統(tǒng)數(shù)據(jù)關(guān)聯(lián)的缺陷，有很多研究人員對(duì)傳統(tǒng)的數(shù)據(jù)關(guān)聯(lián)策略進(jìn)行相應(yīng)的改進(jìn)，如文獻(xiàn)[6]為了解決處于多個(gè)搜索子空間重疊的檢測(cè)目標(biāo)對(duì)跟蹤目標(biāo)的影響，簡(jiǎn)化了計(jì)算關(guān)聯(lián)概率，同時(shí)修正了對(duì)重疊部分的影響因子，使得更好地對(duì)重疊部分的檢測(cè)目標(biāo)的劃分與對(duì)多跟蹤目標(biāo)的狀態(tài)估計(jì)。文獻(xiàn)[7]將JPDA算法與小波的融合既利用小波濾波能夠去除機(jī)動(dòng)目標(biāo)的白噪聲又減少JPDA計(jì)算量。文獻(xiàn)[8]利用各個(gè)候選的目標(biāo)與預(yù)測(cè)點(diǎn)的距離比例對(duì)兩者互聯(lián)概率的加權(quán)歸一化處理后，再根據(jù)計(jì)算出的新的概率分布對(duì)候選的目標(biāo)進(jìn)行加權(quán)完成跟蹤目標(biāo)的數(shù)據(jù)關(guān)聯(lián)。

1.1.3 基于IOU的數(shù)據(jù)關(guān)聯(lián)

在多目標(biāo)跟蹤領(lǐng)域，面積交并比（IOU）是一項(xiàng)很重要的數(shù)據(jù)關(guān)聯(lián)指標(biāo)。其度量方式如下：

式子（1）表明對(duì)前后兩幀檢測(cè)結(jié)果a邊框與目標(biāo)b的邊框進(jìn)行IOU度量，當(dāng)兩者越趨向于1，a、b是同一目標(biāo)的可能性就越大。

文獻(xiàn)[9]中的方法基于一種假設(shè)，無(wú)論是高精度檢測(cè)，還是使用高幀率的視頻片段，檢測(cè)器對(duì)每一幀被跟蹤的對(duì)象產(chǎn)生一個(gè)檢測(cè)，即在檢測(cè)中沒(méi)有或只有很少的“間隙”并且在連續(xù)幀中檢測(cè)到的對(duì)象具有明顯的高重疊(相交-聯(lián)合)。

其算法流程如下所述：

（1）初始化活動(dòng)跟蹤Ta與最終跟蹤結(jié)果Tf,并通過(guò)閾值σl對(duì)輸入的檢測(cè)集D進(jìn)行篩選。

（2）對(duì)于每個(gè)屬于活動(dòng)跟蹤Ta的ti尋找跟它最后位置IOU最大的檢測(cè)dbest。

（3）如果滿足IOU(dbest,ti)≥σIOU，將跟蹤的最新位置更新到dbest，否則判斷highest_score(ti)≥σh和len(ti)≥tmin來(lái)衡量是否為一個(gè)最終的跟蹤。如果ti是最終跟蹤集即將其添加到Tf,如果不是則終止并從Ta移除ti。

（4）對(duì)于沒(méi)有被匹配的檢測(cè)，將其初始化為新跟蹤插入活動(dòng)的跟蹤列表Ta中。

（5）完成上述步驟所有幀的跟蹤，使得所有未分配給現(xiàn)有軌道的檢測(cè)將啟動(dòng)一個(gè)新的檢測(cè)。所有沒(méi)有指定檢測(cè)的軌道都將消失。再一次判斷每個(gè)跟蹤目標(biāo)對(duì)應(yīng)的檢測(cè)最高檢測(cè)得分是否滿足highest_score(ti)≥σh和跟蹤的長(zhǎng)度len(ti)≥tmin。即通過(guò)過(guò)濾長(zhǎng)度小于tmin的所有軌道和分?jǐn)?shù)高于σh的至少一次檢測(cè)，性能進(jìn)一步提高。

這里的基本思想可以看作是參照了Canny算法[10]中的雙閾值。高閾值對(duì)于某個(gè)確定的復(fù)選框是有價(jià)值的，而低閾值包含所有可能的復(fù)選框。利用前后幀的信息來(lái)識(shí)別錯(cuò)過(guò)的對(duì)象框，并將其添加到已確認(rèn)的檢測(cè)框中。然后根據(jù)跟蹤持續(xù)時(shí)間和檢測(cè)到的置信度對(duì)跟蹤進(jìn)行濾波。同時(shí)它的不足之處在于關(guān)于依賴檢測(cè)，對(duì)運(yùn)動(dòng)過(guò)快的目標(biāo)跟蹤容易失效。

文獻(xiàn)[9]的作者在接下來(lái)發(fā)表的一篇文獻(xiàn)采用軌跡預(yù)測(cè)進(jìn)行進(jìn)一步的改進(jìn)，V-IoU跟蹤器[11]在IoU跟蹤算法的跟蹤流程上，添加了一個(gè)視覺(jué)單目標(biāo)跟蹤器對(duì)沒(méi)匹配的跟蹤進(jìn)行預(yù)測(cè)關(guān)聯(lián)。

1.2 基于線性匹配的數(shù)據(jù)關(guān)聯(lián)策略

匈牙利算法可以被認(rèn)為是“盡可能多”的數(shù)據(jù)關(guān)聯(lián)思想，在多目標(biāo)跟蹤領(lǐng)域中，通過(guò)求解任務(wù)分配的組合優(yōu)化，處理畫(huà)面前后兩幀的目標(biāo)匹配問(wèn)題，從而有效地實(shí)現(xiàn)對(duì)多目標(biāo)的跟蹤。匈牙利算法[12]的核心就是尋找增廣路徑，它是一種用增廣路徑求二分圖最大匹配的算法。它是部分圖匹配最常見(jiàn)的算法，從而判定二分圖是否完全匹配。

匈牙利算法通常用于求解二分圖最大匹配的。首先初始化二分圖，即將當(dāng)前幀中可能與上一幀中目標(biāo)匹配的檢測(cè)框確認(rèn),接下來(lái)按照ID順序依次進(jìn)行匹配，首先將可能與上一幀目標(biāo)相匹配的當(dāng)前幀的目標(biāo)進(jìn)行匹配，當(dāng)發(fā)現(xiàn)當(dāng)前幀中目標(biāo)與上一幀進(jìn)行匹配的目標(biāo)已被匹配過(guò)了，為了使上一幀目標(biāo)可以匹配到目標(biāo)，則返回原先已匹配的目標(biāo)嘗試另一個(gè)可以與其匹配的目標(biāo)進(jìn)行匹配，并取消原來(lái)的匹配。當(dāng)沒(méi)找到能夠符合要求的匹配方法，即可判斷上一幀的目標(biāo)消失，當(dāng)前幀未匹配的目標(biāo)被視為新出現(xiàn)的目標(biāo)。

簡(jiǎn)單來(lái)說(shuō)就是一個(gè)遞歸過(guò)程，盡可能找到讓上一幀與當(dāng)前幀目標(biāo)一對(duì)一的匹配。該算法對(duì)運(yùn)動(dòng)模型和表觀模型要求較高，需要將置信度較高的邊送入匈牙利算法進(jìn)行匹配，才能得到比較好的結(jié)果。

匈牙利算法存在一個(gè)很大的問(wèn)題，就是該算法將每個(gè)目標(biāo)的匹配對(duì)象視為相同級(jí)別，然而在實(shí)際的跟蹤任務(wù)中，肯定有些匹配的框比較接近目標(biāo)，有些框與目標(biāo)相差較大，這時(shí)候如果將其視為同級(jí)會(huì)影響匹配準(zhǔn)確度，所以在匈牙利算法的基礎(chǔ)上又提出了KM算法，這也是實(shí)際任務(wù)中比較常用的算法，KM算法[13]解決的是帶權(quán)二分圖的最優(yōu)匹配問(wèn)題，即引入了權(quán)值的概念。所以SORT[14]和Deep SORT[15]等研究或方法均使用匈牙利算法解決數(shù)據(jù)關(guān)聯(lián)問(wèn)題。

1.3 基于離線的數(shù)據(jù)關(guān)聯(lián)策略

1.3.1 最小代價(jià)流

根據(jù)多目標(biāo)跟蹤任務(wù)的特點(diǎn)從短期來(lái)看數(shù)據(jù)關(guān)聯(lián)涉及到的是一個(gè)二分圖匹配問(wèn)題，從長(zhǎng)期來(lái)看就是一個(gè)圖網(wǎng)絡(luò)模型。圖4為常見(jiàn)的圖結(jié)構(gòu)。

圖4 常見(jiàn)的圖結(jié)構(gòu)

（1）數(shù)據(jù)關(guān)聯(lián)問(wèn)題可以用最短路模型來(lái)描述，進(jìn)一步來(lái)說(shuō)，是用K-最短不相交路線來(lái)描述，其中節(jié)點(diǎn)就是跟蹤對(duì)象id，邊代表跟蹤軌跡和檢測(cè)之間的代價(jià)。這是多源多匯最短路，但是最短路沒(méi)有限制中間節(jié)點(diǎn)的可重復(fù)性。

（2）數(shù)據(jù)關(guān)聯(lián)問(wèn)題可以用最大流模型來(lái)描述，邊容量代表跟蹤軌跡和檢測(cè)之間的連接可能性，邊容量的值只可能是0和1。而最后，最大流量因邊容量的限制而不可能重復(fù)，也就是最多可能軌跡，從這一角度看來(lái)，匈牙利算法是最大流模型的特例。

（3）數(shù)據(jù)關(guān)聯(lián)問(wèn)題可以用最小代價(jià)流模型來(lái)描述，需要合理設(shè)定初始流量（代表了最終有多少條軌跡），還要設(shè)定邊容量，從而避免所有流都流向同一條邊。

表1 流模型對(duì)比

1.3.2 基于最大化后驗(yàn)概率模型的網(wǎng)絡(luò)流建圖

對(duì)于最小代價(jià)流而言，最難的地方在于設(shè)定初始流量和邊容量，使得跟蹤軌跡不交叉，而且跟蹤軌跡盡可能多而合理。最重要的是，在網(wǎng)絡(luò)模型中哪個(gè)節(jié)點(diǎn)是軌跡的起點(diǎn)或者終點(diǎn)是未知的，而多目標(biāo)跟蹤的目的是使得代價(jià)最小，極可能最終出現(xiàn)每條軌跡只有一個(gè)節(jié)點(diǎn)的情形。

簡(jiǎn)單的最小代價(jià)流結(jié)構(gòu)存在以下問(wèn)題：

（1）一開(kāi)始就要選定哪些節(jié)點(diǎn)有可能成為起點(diǎn)，哪些節(jié)點(diǎn)有可能成為終點(diǎn)，這做法增加了參數(shù)量。

（2）類似于最大流模型，設(shè)定邊容量為1可以保證每條邊最多被選擇一次。但是無(wú)法確保最多只有一個(gè)節(jié)點(diǎn)可以連接到目標(biāo)節(jié)點(diǎn)，即無(wú)法保證跟蹤軌跡的不重疊。

針對(duì)以上問(wèn)題，較為經(jīng)典的實(shí)現(xiàn)策略是采用網(wǎng)絡(luò)流[16]構(gòu)建數(shù)據(jù)關(guān)聯(lián)框架。引入過(guò)渡節(jié)點(diǎn)和過(guò)渡邊的概念，每個(gè)節(jié)點(diǎn)連接一條過(guò)渡邊，這樣通過(guò)設(shè)定過(guò)渡邊容量，可以限制每個(gè)節(jié)點(diǎn)的流出流量，相應(yīng)地就可以限制最多只有一個(gè)節(jié)點(diǎn)可以連接到目標(biāo)節(jié)點(diǎn)。并讓每個(gè)節(jié)點(diǎn)都連接起點(diǎn)，每個(gè)節(jié)點(diǎn)的過(guò)渡節(jié)點(diǎn)連接終點(diǎn)。這里的參數(shù)有：初始流量的大?。ㄜ壽E數(shù)量）、節(jié)點(diǎn)屬于軌跡起點(diǎn)/終點(diǎn)的概率、節(jié)點(diǎn)到過(guò)渡節(jié)點(diǎn)的補(bǔ)償（選擇這個(gè)節(jié)點(diǎn)的補(bǔ)償）、過(guò)渡節(jié)點(diǎn)到節(jié)點(diǎn)的概率（匹配代價(jià)）。

Butth等人[17]把最小代價(jià)網(wǎng)絡(luò)流與拉格朗日松弛思想相結(jié)合，假設(shè)網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)都是連續(xù)幀之間的候選目標(biāo)匹配對(duì)，并引入高階軌跡平滑約束對(duì)網(wǎng)絡(luò)流進(jìn)行優(yōu)化，從而改善多目標(biāo)跟蹤效果。在處理目標(biāo)跟蹤過(guò)程可能出現(xiàn)的身份錯(cuò)誤切換問(wèn)題，Shitrit等人[18]通過(guò)構(gòu)建多商品網(wǎng)絡(luò)流的方式有效避免該問(wèn)題對(duì)跟蹤效果的影響。在處理視頻多目標(biāo)跟蹤常見(jiàn)的目標(biāo)遮擋和背景干擾問(wèn)題，Charis等人[19]嘗試通過(guò)獎(jiǎng)懲機(jī)制對(duì)不同的交互情況的跟蹤軌跡進(jìn)行修正，其做法是將一種成對(duì)代價(jià)函數(shù)融入最小代價(jià)流中。

除了通過(guò)網(wǎng)絡(luò)流的方式對(duì)多目標(biāo)跟蹤進(jìn)行數(shù)據(jù)關(guān)聯(lián)，還可以通過(guò)圖模型的方式實(shí)現(xiàn)。Henriques等人[20]就是基于圖模型對(duì)多個(gè)目標(biāo)進(jìn)行檢測(cè)響應(yīng)融合和分離來(lái)實(shí)現(xiàn)對(duì)多個(gè)目標(biāo)的跟蹤。Dehghan等人在文獻(xiàn)[21]和[22]中分別提出GMCP和GMMCP模型來(lái)完成數(shù)據(jù)關(guān)聯(lián)任務(wù)，其中GMCP將外觀和運(yùn)動(dòng)以全局的方式結(jié)合起來(lái),即將序列的整個(gè)時(shí)間跨度合并到數(shù)據(jù)關(guān)聯(lián)問(wèn)題中。為了避免處理一個(gè)極其復(fù)雜的優(yōu)化問(wèn)題，他們的做法是集中在一個(gè)對(duì)象上，而不是同時(shí)解決所有的對(duì)象。同時(shí)也包含了所有其他對(duì)象的隱含性。在對(duì)象域的近似比其他近似方法(如有限時(shí)間局部性)使用的限制要小得多。而GMMCP首先利用二值整數(shù)規(guī)劃制定目標(biāo)函數(shù)，然后加入虛擬節(jié)點(diǎn)以處理目標(biāo)缺失的問(wèn)題，再通過(guò)聚合虛擬節(jié)點(diǎn)加速計(jì)算。最后利用最大二值整數(shù)規(guī)劃求解無(wú)向圖，從而同時(shí)獲得多個(gè)團(tuán)，實(shí)現(xiàn)對(duì)多目標(biāo)有效的跟蹤。

在多目標(biāo)跟蹤方法中，基于離線數(shù)據(jù)關(guān)聯(lián)策略能在有限的時(shí)間對(duì)目標(biāo)遮擋、漏檢等復(fù)雜情況下的多目標(biāo)跟蹤性能具有一定的提升，并廣泛應(yīng)用于離線的視頻檢索和分析等方面。

1.4 基于在線的數(shù)據(jù)關(guān)聯(lián)策略

基于離線數(shù)據(jù)關(guān)聯(lián)的多目標(biāo)跟蹤方法的缺點(diǎn)也很明顯，首先它計(jì)算復(fù)雜性偏高，然后它需要掌握視頻畫(huà)面前后幀的信息，缺一不可，所以對(duì)大部分實(shí)時(shí)跟蹤場(chǎng)景的未來(lái)信息無(wú)法提前預(yù)知而使得它不能實(shí)現(xiàn)有效的跟蹤。由此可見(jiàn)，基于在線數(shù)據(jù)關(guān)聯(lián)的策略也非常重要，通過(guò)根據(jù)跟蹤目標(biāo)的歷史運(yùn)動(dòng)軌跡與當(dāng)前幀檢測(cè)的結(jié)果進(jìn)行親和力計(jì)算，通過(guò)矩陣完成對(duì)跟蹤目標(biāo)與當(dāng)前幀檢測(cè)目標(biāo)的最優(yōu)匹配。早期，基于相關(guān)濾波的多目標(biāo)跟蹤方法能夠在一定程度上預(yù)測(cè)跟蹤目標(biāo)的運(yùn)動(dòng)軌跡從而選擇實(shí)現(xiàn)對(duì)多目標(biāo)的數(shù)據(jù)關(guān)聯(lián)，例如結(jié)合卡爾曼濾波[23]。

同樣的，分層思想也可以應(yīng)用在多目標(biāo)跟蹤方法中的數(shù)據(jù)關(guān)聯(lián)策略[24]。Bae等人[25]引入了置信系數(shù)的方法，把目標(biāo)軌跡片段與檢測(cè)目標(biāo)進(jìn)行置信度計(jì)算，根據(jù)置信系數(shù)的不同取值而對(duì)跟蹤目標(biāo)進(jìn)行分層數(shù)據(jù)關(guān)聯(lián)。文獻(xiàn)[26]同樣通過(guò)不同的置信系數(shù)分為用于跟蹤現(xiàn)存目標(biāo)的弱檢測(cè)結(jié)果和用于目標(biāo)初始化和跟蹤目標(biāo)的強(qiáng)檢測(cè)結(jié)果，根據(jù)強(qiáng)弱檢測(cè)的結(jié)果進(jìn)行數(shù)據(jù)關(guān)聯(lián)達(dá)，從而避免跟蹤失誤并實(shí)現(xiàn)對(duì)多目標(biāo)的有效跟蹤。

1.5 基于端對(duì)端的數(shù)據(jù)關(guān)聯(lián)策略

隨著深度學(xué)習(xí)的大熱，端到端的訓(xùn)練和預(yù)測(cè)框架展現(xiàn)出一定的數(shù)據(jù)利用優(yōu)勢(shì)，而傳統(tǒng)的數(shù)據(jù)關(guān)聯(lián)策略基本都不滿足可導(dǎo)可微的特性，因此出現(xiàn)了很多近似的端到端數(shù)據(jù)關(guān)聯(lián)框架。

1.5.1 多特征輸入，輸出關(guān)聯(lián)矩陣

這類框架完成對(duì)多個(gè)目標(biāo)的匹配的數(shù)據(jù)關(guān)聯(lián)策略，如SUN等人在文獻(xiàn)[27]中的DAN網(wǎng)絡(luò)結(jié)構(gòu)，這是一種典型的輸入歷史幀多條跟蹤軌跡的特征和當(dāng)前幀多個(gè)特征序列，輸出多對(duì)多的關(guān)聯(lián)矩陣，這種方式是通過(guò)形式的擬合來(lái)近似數(shù)據(jù)關(guān)聯(lián)。FAMNet[28]將SOT和數(shù)據(jù)關(guān)聯(lián)相集成解決所有跟蹤軌跡和觀測(cè)的匹配交互問(wèn)題，并避免多目標(biāo)跟蹤過(guò)程中的虛警和誤檢的問(wèn)題。DeepMOT[29]將傳統(tǒng)不可微的數(shù)據(jù)關(guān)聯(lián)模塊改造成可微的模塊，使用Bi-RNN網(wǎng)絡(luò)實(shí)現(xiàn)全局的關(guān)聯(lián)記憶，最后將關(guān)聯(lián)矩陣通過(guò)連續(xù)的數(shù)據(jù)代替0-1匹配關(guān)系，從而實(shí)現(xiàn)可微。

1.5.2 基于RNN的數(shù)據(jù)關(guān)聯(lián)策略

在多目標(biāo)跟蹤領(lǐng)域中，循環(huán)神經(jīng)網(wǎng)絡(luò)RNN同樣被用于解決數(shù)據(jù)關(guān)聯(lián)問(wèn)題中。RNN根據(jù)給定的跟蹤目標(biāo)的歷史狀態(tài)和可能出現(xiàn)的新目標(biāo)的信息，在每個(gè)時(shí)間段進(jìn)行預(yù)測(cè)[30]。而RNN在多目標(biāo)跟蹤方法的廣泛使用，證明了其能夠在運(yùn)動(dòng)預(yù)測(cè)和狀態(tài)更新等方面有不錯(cuò)的效果，即能夠解決多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)問(wèn)題。

例如Kim等人[31]在BLSTM網(wǎng)絡(luò)引入RNN網(wǎng)絡(luò)篩選出特定的檢測(cè)目標(biāo)以及目標(biāo)的表征信息，并利用了假設(shè)跟蹤（MHT）解決數(shù)據(jù)關(guān)聯(lián)問(wèn)題，進(jìn)一步完成對(duì)多目標(biāo)的跟蹤。

AMIR等人[32]把跟蹤目標(biāo)的模型比作線索，提出了一種在時(shí)間窗口上對(duì)多個(gè)線索的依賴關(guān)系進(jìn)行編碼的方法，而多線索是被用來(lái)計(jì)算相似度分?jǐn)?shù)，即利用過(guò)去時(shí)間的跟蹤記憶，基于不同目標(biāo)的空間分布進(jìn)行位置關(guān)系預(yù)測(cè)，從而完成對(duì)跟蹤目標(biāo)的數(shù)據(jù)關(guān)聯(lián)。

1.5.3 基于圖卷積的數(shù)據(jù)關(guān)聯(lián)

近年來(lái)，圖卷積神經(jīng)網(wǎng)絡(luò)在多目標(biāo)跟蹤也得到了應(yīng)用，文獻(xiàn)[33]利用圖卷積網(wǎng)絡(luò)的消息傳遞機(jī)制，模擬離線數(shù)據(jù)關(guān)聯(lián)的網(wǎng)絡(luò)圖，這種方式具有可以在線學(xué)習(xí)的優(yōu)點(diǎn),在該圖中節(jié)點(diǎn)表示檢測(cè)，不同幀的所有節(jié)點(diǎn)都通過(guò)邊緣連接。使用CNN初始化圖中的節(jié)點(diǎn)嵌入，并使用MLP編碼幾何信息這些嵌入所包含的信息通過(guò)神經(jīng)消息傳遞在圖中傳播，以便進(jìn)行固定次數(shù)的迭代。一旦此過(guò)程終止，由神經(jīng)消息傳遞產(chǎn)生的嵌入將用于將邊緣分類為有效目標(biāo)和無(wú)效目標(biāo)。

2 多目標(biāo)跟蹤的評(píng)價(jià)標(biāo)準(zhǔn)

多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)策略能影響到多目標(biāo)跟蹤的效果。為了能夠公平地測(cè)試和比較多目標(biāo)跟蹤算法的效果，當(dāng)前最常使用的多目標(biāo)跟蹤評(píng)價(jià)指標(biāo)[34]如下，其中箭頭向上表示該指標(biāo)越高效果越好，相反的是箭頭向下的表示該指標(biāo)越低越好。

表2 多目標(biāo)跟蹤指標(biāo)

3 結(jié)語(yǔ)

如今，很多研究人員對(duì)多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)策略做出很多經(jīng)典的方案，但在多目標(biāo)跟蹤領(lǐng)域中數(shù)據(jù)關(guān)聯(lián)策略依然充滿挑戰(zhàn)。本文對(duì)多目標(biāo)跟蹤過(guò)程中的數(shù)據(jù)關(guān)聯(lián)策略進(jìn)行了分析和總結(jié)，希望能夠?qū)氖露嗄繕?biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)策略的研究人員有所幫助。同時(shí)，對(duì)多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)策略做以下展望：

（1）因?yàn)閷?duì)目標(biāo)的檢測(cè)結(jié)果直接影響到后續(xù)的目標(biāo)跟蹤的準(zhǔn)確率和精度，所以目標(biāo)檢測(cè)方法的進(jìn)一步發(fā)展也變得很重要。

（2）在基于深度學(xué)習(xí)的多目標(biāo)跟蹤的算法中，提高特征提取效果以及相似度計(jì)量的優(yōu)化同樣也是重要的研究方面。

（3）在多目標(biāo)領(lǐng)域中，需要我們針對(duì)不同的場(chǎng)景設(shè)計(jì)不同的關(guān)聯(lián)策略，在跟蹤的準(zhǔn)確率與實(shí)時(shí)性如何取舍滿足該場(chǎng)景的需要也是值得深入研究的過(guò)程。

（4）在多目標(biāo)領(lǐng)域中，如何把更多的深度學(xué)習(xí)方法用于數(shù)據(jù)關(guān)聯(lián)模塊仍有很多路要走。

（5）本文僅對(duì)單目視覺(jué)下的多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)策略進(jìn)行相關(guān)闡述，而跨鏡頭場(chǎng)景下的對(duì)于多個(gè)感興趣目標(biāo)進(jìn)行跟蹤，仍需要對(duì)其數(shù)據(jù)關(guān)聯(lián)策略的優(yōu)化展開(kāi)進(jìn)一步的研究。