張 靜，王文杰

(1.中北大學(xué) 軟件學(xué)院，太原 030051； 2.湖北江山重工有限責(zé)任公司，湖北 襄陽 441057)

0 引言

隨著社會的發(fā)展，多目標(biāo)跟蹤作為目標(biāo)跟蹤領(lǐng)域中重要的研究方向廣泛應(yīng)用于城市數(shù)字化管理、智能安防和自動駕駛等領(lǐng)域[1]。多目標(biāo)跟蹤(Multi-Object Tracking)研究的主要目的在于通過對視頻幀的檢測分析，找到多個感興趣的目標(biāo)并在整個視頻中生成并維護這些目標(biāo)的軌跡[2]。常用的多目標(biāo)跟蹤方法可以分為離線方法和在線方法，離線方法通過歷史幀和當(dāng)前幀的信息生成跟蹤軌跡，可以利用的信息更多，效果更好，但不適用于實時的計算機視覺任務(wù)。同時，隨著深度學(xué)習(xí)網(wǎng)絡(luò)性能的提高，目標(biāo)檢測方法也取得了很大的進(jìn)步。因此，在目前的研究大多是基于檢測的跟蹤(Tracking by detection)框架。

多目標(biāo)跟蹤中常用的基于檢測的跟蹤框架能夠在大多數(shù)應(yīng)用場景中取得很好的效果，但是，這種框架比較依賴于提取目標(biāo)特征的質(zhì)量，當(dāng)提取的目標(biāo)特征魯棒性較差或出現(xiàn)錯誤時，就會出現(xiàn)ID交換或軌跡丟失的情況，嚴(yán)重影響最終得到的跟蹤效果。在之前的研究中，目標(biāo)和軌跡的特征通常用傳統(tǒng)方法的顏色直方圖、HOG特征、SIFT特征等方法來描述。但是在處理遮擋、旋轉(zhuǎn)、姿態(tài)變化等問題時都有一定的缺陷。如文獻(xiàn)[3]中提到的SORT方法是一個應(yīng)用較為廣泛的多目標(biāo)跟蹤方法，通過匈牙利算法和卡爾曼濾波器處理得到目標(biāo)軌跡，但是由于僅使用了傳統(tǒng)特征作為目標(biāo)特征，所以跟蹤效果較差。而文獻(xiàn) [4]中提出的Deep SORT方法，在SORT方法的基礎(chǔ)上使用深度神經(jīng)網(wǎng)絡(luò)提取目標(biāo)特征，獲得了較好的目標(biāo)特征，提升了跟蹤效果。在文獻(xiàn)[5]中提出的跟蹤方法利用基本的深度學(xué)習(xí)網(wǎng)絡(luò)提取特征，同樣極大地提升了跟蹤效果。文獻(xiàn)[6]中通過修改特征提取網(wǎng)絡(luò)中的骨干網(wǎng)絡(luò)，提高了特征的魯棒性，在此基礎(chǔ)上得到了更好的目標(biāo)軌跡。文獻(xiàn)[7]則使用GoogleNet的修改版網(wǎng)絡(luò)，并在自定義的目標(biāo)重識別數(shù)據(jù)集上進(jìn)行訓(xùn)練，結(jié)合表觀特征和空間特征，也取得了很好的跟蹤效果。但是，在處理復(fù)雜場景下的多目標(biāo)跟蹤問題時，仍然會發(fā)生軌跡偏移、軌跡丟失和ID交換等現(xiàn)象。主要是因為多目標(biāo)跟蹤處理的場景視頻幀，并且目標(biāo)一般是在不斷運動的，而當(dāng)前的研究主要關(guān)注于當(dāng)前幀中目標(biāo)的特征信息，這樣的信息是單獨的、靜態(tài)的并不適用于處理復(fù)雜場景。同時在計算軌跡和目標(biāo)的相似性分?jǐn)?shù)時也沒有考慮到軌跡中不同幀的圖像和當(dāng)前幀檢測圖像的相似程度是會受時間影響的。因此本文將對特征提取網(wǎng)絡(luò)和相似性分?jǐn)?shù)計算方法進(jìn)行修改，并選用目前表現(xiàn)較好的DenseNet[8]網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)，提取更為魯棒的特征，更好的處理復(fù)雜場景中的跟蹤問題。

同時檢測方法作為跟蹤框架的基礎(chǔ)，影響著后續(xù)的跟蹤質(zhì)量。在文獻(xiàn)[9]中提出的跟蹤方法使用的是YOLO[10]檢測方法，雖然其檢測速度較快，但是犧牲了很大一部分的檢測精度，導(dǎo)致其在復(fù)雜場景中無法準(zhǔn)確的檢測到跟蹤的目標(biāo)。而在文獻(xiàn)[11] 中提出的多目標(biāo)跟蹤方法則使用了Mask R-CNN[12]作為目標(biāo)檢測方法，犧牲了一部分的速度性能，但準(zhǔn)確地檢測出了跟蹤的目標(biāo)，提升了跟蹤效果。說明在多目標(biāo)跟蹤場景中，并不需要速度很快的檢測方法，而是需要能夠準(zhǔn)確檢測目標(biāo)的檢測方法。因此本文使用Mask R-CNN檢測方法作為框架中的目標(biāo)檢測方法。

因此，針對上面分析的問題，本文從實際監(jiān)控場景出發(fā)，提出了一種融合了歷史信息和運動信息的基于檢測的多目標(biāo)跟蹤框架(HM-TBD)，主要貢獻(xiàn)點如下：1)設(shè)計了一種雙分支網(wǎng)絡(luò)用于聯(lián)合學(xué)習(xí)歷史信息和運動信息；2)為了得到更準(zhǔn)確的相似性分?jǐn)?shù)設(shè)計了一種新的相似性計算方式；3)通過在MOT16數(shù)據(jù)集上的實驗，本文提出的HM-TBD方法能夠達(dá)到很好的效果。

1 目標(biāo)跟蹤方法

本文提出的基于檢測的多目標(biāo)跟蹤框架主要包括四個部分：目標(biāo)檢測、目標(biāo)特征提取、相似性分?jǐn)?shù)計算和軌跡關(guān)聯(lián)，如圖1所示。

圖1 融合歷史信息和運動信息的特征提取網(wǎng)絡(luò)

在本文的研究過程中選擇通過文獻(xiàn)[12]中提出的Mask R-CNN檢測方法對視頻幀中的目標(biāo)進(jìn)行檢測，在得到目標(biāo)的檢測結(jié)果之后，通過本文設(shè)計的網(wǎng)絡(luò)提取更為魯棒的特征描述符，之后計算檢測和軌跡之間的相似性分?jǐn)?shù)，構(gòu)建相似度矩陣，最后利用匈牙利算法[13]進(jìn)行軌跡更新，得到目標(biāo)的軌跡信息。下面將對本文所使用的相關(guān)方法和提出的雙分支網(wǎng)絡(luò)進(jìn)行詳細(xì)說明。

1.1 目標(biāo)檢測方法

Mask R-CNN是何凱明等人在2017年提出的一種新的目標(biāo)檢測算法，不僅訓(xùn)練速度快，并且能夠獲得很好的檢測結(jié)果。Mask R-CNN整體上沿用了Faster R-CN15N[14]的檢測思想，采用相同的兩步檢測策略，并在其中添加了一個Mask預(yù)測分支。具體來說當(dāng)視頻幀輸入后進(jìn)行目標(biāo)檢測時，首先Mask R-CNN會通過其骨干網(wǎng)絡(luò)ResNet-FPN提取用于檢測的特征，之后通過 Mask R-CNN中的RPN子網(wǎng)絡(luò)初步得到目標(biāo)的坐標(biāo)信息和分類信息，再通過RoI pooling處理之后對目標(biāo)進(jìn)行包圍框回歸和分類，最后得到用于跟蹤的目標(biāo)的位置信息。Mask R-CNN的損失函數(shù)如式(1)所示：

L=LCLS+LBOX+LMASK

(1)

其中:LCLS使用于約束目標(biāo)分類的損失函數(shù)，LBOX使用于學(xué)習(xí)目標(biāo)包圍框回歸的損失函數(shù)，LMASK則是用于學(xué)習(xí)目標(biāo)Mask 的損失函數(shù)。

1.2 特征提取方法

在得到視頻幀中目標(biāo)的位置信息后，就可以得到需要跟蹤的目標(biāo)圖像，這時就需要對目標(biāo)的特征進(jìn)行提取了。在之前的大多數(shù)研究中都忽略了多目標(biāo)跟蹤處理的場景是一個不斷運動的視頻序列，因此只關(guān)注于單張圖像中所包含的信息是不夠的，這樣提取出來的特征在面對復(fù)雜場景時的魯棒性不高，將會導(dǎo)致跟蹤效果較差。針對這一問題，本文根據(jù)多目標(biāo)跟蹤中常見的場景設(shè)計了一種融合歷史信息和運動信息的雙分支網(wǎng)絡(luò)(HM-Net)，用于提取更為魯棒的特征計算相似性分?jǐn)?shù)。本文提取特征的整體框架圖如圖2所示。

圖2 融合歷史信息和運動信息的特征提取網(wǎng)絡(luò)

從圖2中可以看出提取特征的整體框架包括上下兩個分支，其中上分支用于提取跟蹤目標(biāo)的歷史信息，下分支用于提取跟蹤目標(biāo)的運動信息。上下兩個分支獨立生成用于向后傳播的特征向量δHA和δMA，并將兩個分支中得到的特征向量進(jìn)行融合得到融合了歷史信息和運動信息的目標(biāo)特征向量δOi，之后通過全連接層(FC層)處理，將特征向量送入到Softmax層得到目標(biāo)ID的預(yù)測概率。下面將詳細(xì)說明提取歷史信息和運動信息的兩個分支網(wǎng)絡(luò)的具體結(jié)構(gòu)。

在得到跟蹤目標(biāo)的圖像之后，為了提取跟蹤目標(biāo)中可以利用的歷史信息，本文設(shè)計了基于LSTM 的上分支網(wǎng)絡(luò)。上分支網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示。

圖3 歷史信息特征提取分支網(wǎng)絡(luò)

以歷史幀中的N張目標(biāo)圖像和當(dāng)前幀中檢測到的目標(biāo)圖像作為輸入，通過骨干網(wǎng)絡(luò)Dense-Net提取目標(biāo)的表觀特征，之后將提取到的N個歷史表觀特征和當(dāng)前表觀特征按照時間順序輸入到LSTM網(wǎng)絡(luò)中用以提取目標(biāo)具有區(qū)分性的運動特征，并將LSTM網(wǎng)絡(luò)中最后一個隱藏層的特征向量作為目標(biāo)的歷史特征，用于和其他分支提取出的特征進(jìn)行融合預(yù)測目標(biāo)的ID，進(jìn)行學(xué)習(xí)。

提取目標(biāo)的歷史信息后，為了提取目標(biāo)的運動信息，本文設(shè)計了基于目標(biāo)關(guān)節(jié)點的下分支網(wǎng)絡(luò)和運動提取器模塊，網(wǎng)絡(luò)的結(jié)構(gòu)如圖4中所示。

圖4 運動信息特征提取分支網(wǎng)絡(luò)

提取運動特征時如圖4中所示，首先將當(dāng)前幀檢測到的目標(biāo)圖像輸入到下分支網(wǎng)絡(luò)中，通過姿態(tài)探測器和運動提取器得到特征a將其作為目標(biāo)的運動特征。具體來說，本文選用Alpha Pose網(wǎng)絡(luò)作為姿態(tài)探測器提取目標(biāo)的關(guān)節(jié)點信息，并用式(2)作為運動提取器計算目標(biāo)的運動特征。

(2)

Loss=-∑Ktklogyk

(3)

其中:k為訓(xùn)練時輸入網(wǎng)絡(luò)的目標(biāo)圖像數(shù)量，t為目標(biāo)圖像的真實ID，y為目標(biāo)圖像的預(yù)測ID。

1.3 相似性計算方法

多目標(biāo)跟蹤框架中的第三步為計算軌跡和當(dāng)前幀檢測圖像之間的相似性分?jǐn)?shù)。在之前的研究中，計算相似性分?jǐn)?shù)的方式是在軌跡中選取n張圖像提取特征，再分別計算它們與檢測目標(biāo)特征之間的距離進(jìn)行相加，將最后的距離作為相似性分?jǐn)?shù)。這樣做的缺點是沒有考慮到軌跡是不斷運動的，時間間隔越短的軌跡圖像會和目標(biāo)圖像越相似。因此，本文提出增加權(quán)重的相似性計算方法。第一步計算軌跡中單個圖像和檢測目標(biāo)之間的相似性分?jǐn)?shù)，本文選用余弦距離作為單個軌跡和圖像的相似性分?jǐn)?shù)，計算方法如式(4)所示：

(4)

(5)

1.4 軌跡關(guān)聯(lián)方法

得到軌跡和檢測目標(biāo)的相似性分?jǐn)?shù)之后，需要通過軌跡關(guān)聯(lián)方法得到軌跡和檢測目標(biāo)之間的匹配關(guān)系，得到最終的目標(biāo)軌跡。但是由于在跟蹤過程中可能有新的目標(biāo)進(jìn)入場景或舊的軌跡離開消亡，因此只是簡單地得到匹配關(guān)系是不夠的，還需要對軌跡進(jìn)行管理。

通過上面的分析，本文的軌跡關(guān)聯(lián)方法如下：首先在得到了當(dāng)前m個軌跡和n個檢測目標(biāo)之間的相似性分?jǐn)?shù)之后，基于這些分?jǐn)?shù)構(gòu)造一個m*n的相似度矩陣，之后通過匈牙利算法進(jìn)行二分圖匹配得到軌跡和檢測目標(biāo)之間的匹配關(guān)系。在得到匹配關(guān)系之后，進(jìn)行軌跡管理，軌跡的狀態(tài)包括三種：生存、未知和消亡。首先設(shè)定FMAX(一般設(shè)為3)為幀數(shù)的閾值，用于確定軌跡的狀態(tài)；當(dāng)一個軌跡匹配和當(dāng)前幀中的檢測目標(biāo)成功匹配或新的軌跡出現(xiàn)時，將其這些軌跡的狀態(tài)視為生存并維護其信息，其中新軌跡是指沒有匹配上的檢測目標(biāo)在其后連續(xù)FMAX幀都成功匹配關(guān)聯(lián)后才能確定為新的軌跡；而在本幀中沒有匹配上的檢測目標(biāo)和沒有匹配上且連續(xù)未匹配上幀數(shù)小于FMAX的軌跡都為未知狀態(tài)，并需要維護其信息；最后到當(dāng)前幀連續(xù)未匹配幀數(shù)超過FMAX的軌跡將視為消亡狀態(tài)，停止維護其信息。這樣就完成了當(dāng)前幀的跟蹤過程。

2 實驗及分析

為了驗證本文提出的融合歷史信息和運動信息的多目標(biāo)跟蹤方法(HM-TBD)的有效性和可行性，本文選用常見的幾種多目標(biāo)跟蹤方法進(jìn)行對比。并通過在常用的多目標(biāo)跟蹤數(shù)據(jù)集上進(jìn)行實驗，根據(jù)跟蹤評價的主要指標(biāo)對比分析，驗證方法的有效性和可行性。下面將對實驗過程中所用到的數(shù)據(jù)集和評價指標(biāo)進(jìn)行介紹，并對實驗結(jié)果進(jìn)行分析。

2.1 實驗數(shù)據(jù)集

本文多目標(biāo)跟蹤的對比驗證實驗選用了MOT16數(shù)據(jù)集[15]進(jìn)行驗證，訓(xùn)練集和測試集各包含7個相機，共14個相機，其中6個相機為靜止拍攝相機，8個為運動拍攝相機，共10 000多張圖像。MOT16中所包含的部分場景如圖5所示。

圖5 MOT16部分場景示例

圖5展示了MOT16的部分場景，可以觀察到該數(shù)據(jù)集所包含的場景，相機的視角多變、場景復(fù)雜，且具有固定和移動拍攝兩種運動狀態(tài)，因此能夠?qū)Ρ疚奶岢龅亩嗄繕?biāo)跟蹤方法的泛化能力及魯棒性進(jìn)行充分的考驗。

2.2 評測指標(biāo)

本文選擇使用常見的多目標(biāo)跟蹤評價指標(biāo)來對各個方法進(jìn)行評測，主要指標(biāo)有：識別 F1 分?jǐn)?shù)(Identification F1Score, IDF1)、身份交換次數(shù)(ID switches, IDs)、多目標(biāo)跟蹤準(zhǔn)確度(Multiple Object Tracking Accuracy, MOTA)、多數(shù)跟蹤數(shù)(Mostly tracked, MT)、多數(shù)丟失數(shù)(Mostly lost, ML)以及軌跡跳變數(shù)(Fragmentation, Frag)[15]。計算方法如下面的公式所示。

IDF1需要由識別精確度(Identification Precision, IDP)和識別召回率(Identification Recall, IDR)求得，IDP的計算方法如式(6)所示：

(6)

式(6)所計算的IDP表示每個行人所記錄的框中的ID識別的精確度，其中IDTP和IDFP分別代表真陽性ID數(shù)量和假陽性ID數(shù)量。IDR的計算方法如果式(7)所示：

(7)

式(7)所計算的IDR表示每個行人所記錄的框中的ID識別的召回率，其中IDFN表示假陰性ID數(shù)量。IDF1的計算方法由IDP和IDR得到，計算方法如式(8)：

(8)

式(8)所計算的IDF1表示每個行人所記錄的框中的ID識別的F1分?jǐn)?shù)，一般作為評價跟蹤好壞的首要評價指標(biāo)。IDs表示一個行人的跟蹤軌跡中行人ID切換的次數(shù)，通常能反映跟蹤的穩(wěn)定性，越小越好。Frag代表跳變數(shù)，軌跡只要在跟蹤和不跟蹤兩種狀態(tài)中跳變一次，則跳變數(shù)加一次，越小越好。根據(jù)以上所得到的信息可以計算MOTA，如式(9)所示：

(9)

式(9)所計算的MOTA用于評價單相機下多目標(biāo)跟蹤的準(zhǔn)確性，其中FN表示所有幀中的假陰性檢測之和，F(xiàn)P表示表示所有幀中假陽性檢測之和，GT則表示真實的跟蹤目標(biāo)，同時MOTA也是常用衡量多目標(biāo)跟蹤性能指標(biāo)之一。

通過上述評價方法，可驗證多目標(biāo)跟蹤方法的綜合性能，評估方法的穩(wěn)定性與精度。

2.3 實驗結(jié)果與分析

為了驗證本文提出的融合歷史信息和運動信息的多目標(biāo)跟蹤方法的有效性，選取 MOT16 數(shù)據(jù)集進(jìn)行評測，并和常見的 4種多目標(biāo)跟蹤方法進(jìn)行對比，實驗中所用的計算機硬件配置為：Intel(R) Core?系列CPU，4核8線程，主頻為3.40 GHz；使用了兩條8.0 GB共16.0 GB的內(nèi)存；顯卡為NVDIA GeForce GTX 1060，位寬為192bit，顯存大小為6 GB。框架選用 Pytorch框架。實驗中所用的檢測結(jié)果都為數(shù)據(jù)集中提供的Mask R-CNN檢測結(jié)果，軌跡關(guān)聯(lián)方法都使用匈牙利算法進(jìn)行關(guān)聯(lián)。實驗結(jié)果如表1所示。

表1 多目標(biāo)跟蹤方法效果對比表

表1中， HM-TBD表示本文提出的融合歷史信息和運動信息的多目標(biāo)跟蹤方法，為了方便觀察，數(shù)值越大表示效果越好的指標(biāo)后方標(biāo)注了向上的箭頭，數(shù)值越小表示效果越好的指標(biāo)后方標(biāo)注了向下的箭頭。首先從表中可以看出本文提出的方法在MOTA指標(biāo)方面相較于其他方法要更好，結(jié)合MOTA的計算方法可以說明本文提出的跟蹤方法在使用相同的檢測方法的情況下，發(fā)生的Frag次數(shù)更少，表中的Frag數(shù)據(jù)也印證了這一點，從這兩個指標(biāo)中可以看出本文提出的跟蹤方法得到的目標(biāo)軌跡更為穩(wěn)定、準(zhǔn)確。同時從表中也可以看出HM-TBD方法的IDF1指標(biāo)相較于其他方法較好，從IDF1的計算方式中可以看出，IDF1表示目標(biāo)識別的準(zhǔn)確性，這就說明HM-TBD方法中所提出的融合歷史信息和運動信息的特征提取網(wǎng)絡(luò)效果更好，能夠提取出更有區(qū)分性、更為魯棒的目標(biāo)特征。最后在表中的其他三個指標(biāo)中本文提出的方法也獲得了較好的表現(xiàn)，能夠準(zhǔn)確跟蹤較多的目標(biāo)，并且發(fā)生軌跡丟失和ID交換的次數(shù)較少。圖6～8是跟蹤結(jié)果較好的三個跟蹤方法的跟蹤軌跡圖。

圖6 DMAN方法跟蹤效果

從圖6可以看出當(dāng)目標(biāo)發(fā)生遮擋時，DMAN方法無法準(zhǔn)確的再次跟蹤到目標(biāo)，如第170幀的兩位行人在經(jīng)過遮擋后，重新出現(xiàn)在畫面中時兩位行人的ID都發(fā)生了變化，發(fā)生了軌跡變跳。從圖7中可以看出發(fā)生同樣的情況后，MOTDT方法同樣無法再次跟蹤到目標(biāo)，發(fā)生了軌跡變跳和ID交換。而從圖8中可以看出，經(jīng)過遮擋后，本文提出的HM-TBD方法依然可以準(zhǔn)確的跟蹤到目標(biāo)，并且保證了軌跡的準(zhǔn)確，沒有發(fā)生軌跡變跳和ID交換。通過對實驗結(jié)果的分析，可以看出，本文提出的融合歷史信息和運動信息的多目標(biāo)跟蹤方法在復(fù)雜場景下依然能取得較好的跟蹤效果，證明了本文提出的方法的有效性和可行性。

圖7 MOTDT方法跟蹤效果

圖8 HM-TBD方法跟蹤效果

3 結(jié)束語

通過對多目標(biāo)跟蹤實際應(yīng)用場景的分析，本文提出了在提取目標(biāo)特征時融合歷史信息和運動信息，有效地提高了特征的區(qū)分性和魯棒性；并在相似性分?jǐn)?shù)計算階段加入了權(quán)重的影響，使得相似性分?jǐn)?shù)更能真實地反映軌跡和檢測目標(biāo)之間的相似程度；通過這兩處的改進(jìn)能夠提高多目標(biāo)跟蹤方法在復(fù)雜場景下跟蹤目標(biāo)的魯棒性和準(zhǔn)確性，提高跟蹤效果。但在本文中只針對特征提取和相似性分?jǐn)?shù)進(jìn)行了改進(jìn)，而目標(biāo)檢測方法和軌跡關(guān)聯(lián)方法沒有改進(jìn)，因此下一步的工作就是對多目標(biāo)跟蹤方法進(jìn)行整體改進(jìn)，提高跟蹤效果。