單兆晨，黃丹丹，耿振野，劉 智，2

1.長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022 2.空間光電技術(shù)國(guó)家地方聯(lián)合工程研究中心，長(zhǎng)春 130022

多目標(biāo)跟蹤（multiple object tracking，MOT）是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究課題之一。根據(jù)圖像幀處理模式的不同，多目標(biāo)跟蹤分為在線(xiàn)和離線(xiàn)跟蹤兩種方式，其中在線(xiàn)跟蹤方法具有更好的實(shí)時(shí)性和應(yīng)用價(jià)值，成為目前研究的主要方向[1-2]。然而，由于在線(xiàn)跟蹤無(wú)法參考后續(xù)圖像幀信息來(lái)獲得當(dāng)前幀跟蹤的最優(yōu)解，跟蹤目標(biāo)被遮擋后重新識(shí)別會(huì)出現(xiàn)嚴(yán)重的目標(biāo)丟失以及軌跡跟蹤異常問(wèn)題，導(dǎo)致跟蹤準(zhǔn)確性出現(xiàn)瓶頸。如何提升跟蹤算法的抗遮擋能力同時(shí)兼顧在線(xiàn)跟蹤的實(shí)時(shí)性，成為當(dāng)前多目標(biāo)跟蹤研究的難題。

近年來(lái)，諸多學(xué)者在多目標(biāo)跟蹤問(wèn)題上采用的是基于檢測(cè)（tracking-by-detection）的策略。Bewley等[3]提出了一種簡(jiǎn)單且實(shí)時(shí)的多目標(biāo)跟蹤（simple online and realtime tracking，SORT）算法，引入線(xiàn)性速度模型對(duì)目標(biāo)進(jìn)行軌跡預(yù)測(cè)，度量檢測(cè)框和跟蹤框的交并比（intersectionover-union，IOU）距離，最后通過(guò)匈牙利算法完成數(shù)據(jù)關(guān)聯(lián)，算法對(duì)多目標(biāo)的跟蹤速度較快，但是相似性度量方法單一，跟蹤結(jié)果中目標(biāo)ID的變換次數(shù)多，跟蹤準(zhǔn)確性差。Wojke等[4]針對(duì)SORT存在的缺陷提出了DeepSort算法，引入離線(xiàn)訓(xùn)練的行人重識(shí)別（person re-identification，ReID）模型[5]來(lái)提取深度表觀特征，跟蹤魯棒性顯著提升，但串聯(lián)兩個(gè)深度學(xué)習(xí)模型使得計(jì)算量急劇增加，算法的實(shí)時(shí)性較差。

當(dāng)前一階段和兩階段的檢測(cè)器均采用基于錨框的方法，從預(yù)設(shè)錨點(diǎn)框回歸目標(biāo)檢測(cè)框，在檢測(cè)時(shí)針對(duì)遮擋目標(biāo)會(huì)出現(xiàn)錨框鋪設(shè)重疊的問(wèn)題[6-7]。此外，當(dāng)對(duì)象移速較快時(shí)，將ReID特征直接嵌入基于錨框的檢測(cè)方法會(huì)產(chǎn)生錨框偏移，使得表觀特征提取產(chǎn)生較大偏差，從而導(dǎo)致跟蹤失敗。

為了提升跟蹤性能并解決錨框檢測(cè)不適合ReID特征提取的問(wèn)題，本文的主要工作有三方面：（1）設(shè)計(jì)免錨目標(biāo)檢測(cè)模型，并在模型中嵌入ReID表觀特征輸出，構(gòu)建了特征共享的一段式網(wǎng)絡(luò)，解決了使用深度表觀特征需要額外串聯(lián)網(wǎng)絡(luò)從而導(dǎo)致實(shí)時(shí)性差的問(wèn)題。（2）針對(duì)行人密集跟蹤場(chǎng)景中因遮擋導(dǎo)致身份頻繁切換的問(wèn)題，提出通過(guò)加權(quán)多特征融合的方法構(gòu)造相似性度量矩陣用于檢測(cè)與跟蹤的數(shù)據(jù)關(guān)聯(lián)，采用更全面的度量函數(shù)提升算法跟蹤魯棒性。（3）提出軌跡狀態(tài)更新算法，確保跟蹤穩(wěn)定的軌跡優(yōu)先更新的前提下，同時(shí)提升存活期內(nèi)消失軌跡的關(guān)聯(lián)準(zhǔn)確性。

1 跟蹤算法整體框架

本文的多目標(biāo)跟蹤算法采用在線(xiàn)跟蹤的圖像幀處理方式，按照功能劃分可將算法視為兩階段的結(jié)構(gòu)。其一是負(fù)責(zé)目標(biāo)檢測(cè)定位以及對(duì)象ReID表觀特征提取的檢測(cè)模塊，網(wǎng)絡(luò)并行輸出目標(biāo)定位信息和對(duì)應(yīng)的表觀特征。定位的同時(shí)將行人目標(biāo)進(jìn)行編號(hào)，用以區(qū)分跟蹤目標(biāo)和辨識(shí)新出現(xiàn)對(duì)象。其二是負(fù)責(zé)目標(biāo)軌跡預(yù)測(cè)與數(shù)據(jù)關(guān)聯(lián)的模塊，首先利用卡爾曼濾波建立線(xiàn)性運(yùn)動(dòng)模型預(yù)測(cè)目標(biāo)軌跡，然后加權(quán)融合HSV顏色直方圖、深度表觀特征和運(yùn)動(dòng)特征建立代價(jià)函數(shù)用于度量檢測(cè)與軌跡的相似性，最后在數(shù)據(jù)關(guān)聯(lián)階段對(duì)軌跡狀態(tài)做迭代更新。具體框架如圖1所示。

圖1 算法框架結(jié)構(gòu)Fig.1 Algorithm framework structure

2 免錨框模型

2.1 免錨網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

基于免錨的檢測(cè)模型專(zhuān)注于物體關(guān)鍵點(diǎn)的出現(xiàn)位置，本文采用的是預(yù)測(cè)目標(biāo)中心點(diǎn)的方法，通過(guò)回歸原圖像中心點(diǎn)在熱力圖上的高斯核映射來(lái)檢測(cè)和定位行人目標(biāo)?；跓崃D形式提取目標(biāo)中心點(diǎn)的方法需要網(wǎng)絡(luò)輸出的特征圖具有較大空間分辨率，目的是為了映射時(shí)中心點(diǎn)不會(huì)出現(xiàn)較大尺度偏移，同時(shí)保證在特征圖上進(jìn)行逐像素的預(yù)測(cè)。通過(guò)對(duì)比分析，本文改進(jìn)Stacked Hourglass Networks[8-10]中基于全卷積的架構(gòu)搭建主干網(wǎng)絡(luò)進(jìn)行特征提取。改進(jìn)的網(wǎng)絡(luò)中利用多層特征聚合的方式融合淺層和深層特征。相較于特征金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）增加了語(yǔ)義特征聚合能力。FPN中僅在分辨率和尺度方向進(jìn)行特征融合，只能夠聚合空間信息。本文網(wǎng)絡(luò)統(tǒng)一了語(yǔ)義和空間的信息融合，模型能更好地捕獲目標(biāo)內(nèi)容和位置。如圖2所示，橙色方框內(nèi)部采用密集樹(shù)連接的方式在通道方向?qū)崿F(xiàn)淺層和深層特征融合，以學(xué)習(xí)跨越更多特征層的豐富組合，此結(jié)構(gòu)能提高模型的語(yǔ)義特征聚合能力。紅色箭頭代表鄰近尺度特征層的連接，從淺到深逐步加強(qiáng)空間聚合上的表現(xiàn)。

圖2 免錨檢測(cè)模型整體結(jié)構(gòu)Fig.2 Whole structure of anchor-free detection model

網(wǎng)絡(luò)輸入采用512×512分辨率圖像。設(shè)I∈R512×512×3為輸入圖像，其中R代表網(wǎng)絡(luò)下采樣尺度，為了輸出高分辨率的特征圖設(shè)置R為4。圖像經(jīng)卷積和殘差網(wǎng)絡(luò)下采樣預(yù)處理后輸入主干網(wǎng)絡(luò)。主干網(wǎng)絡(luò)結(jié)構(gòu)的實(shí)現(xiàn)是一個(gè)遞歸調(diào)用的過(guò)程，當(dāng)R＞1時(shí)遞歸調(diào)用本身，遞歸結(jié)構(gòu)如圖3所示。

圖3 主干網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Backbone network structure

2.2 模型輸出及損失函數(shù)設(shè)計(jì)

模型輸出端有兩個(gè)分支，如圖4所示。檢測(cè)端輸出三個(gè)預(yù)測(cè)頭，分別為中心點(diǎn)熱力圖（heatmap）、中心點(diǎn)偏移（center offset）和檢測(cè)框?qū)捀撸╞ox size），ReID端輸出一個(gè)預(yù)測(cè)頭，即對(duì)象的深度表觀特征。

圖4 模型輸出端Fig.4 Model output terminal

2.2.1 Heatmap分支

預(yù)測(cè)中心點(diǎn)的熱力圖，即Y∈[0,1]128×128×C,C代表中心點(diǎn)類(lèi)型數(shù)目，根據(jù)不同數(shù)據(jù)集類(lèi)型適當(dāng)調(diào)整。將標(biāo)簽轉(zhuǎn)化為熱力圖形式以便計(jì)算損失，設(shè)中心點(diǎn)標(biāo)注為P=(x1,x2)，經(jīng)下采樣計(jì)算得低分辨率坐標(biāo)P d=(x1/4,x2/4)，通過(guò)高斯核函數(shù)（1）將標(biāo)注的中心點(diǎn)分散至熱力圖Y∈[0,1]128×128×C上：

式中，σ是目標(biāo)尺度自適應(yīng)標(biāo)準(zhǔn)差。如果產(chǎn)生相同類(lèi)別高斯分布重合的情況，則選取重疊分布最大值。

本文網(wǎng)絡(luò)結(jié)構(gòu)類(lèi)似于一階段的檢測(cè)方法，存在正負(fù)樣本和難易樣本比例失衡的問(wèn)題。因此在交叉熵?fù)p失函數(shù)基礎(chǔ)上進(jìn)行改進(jìn)，增加參數(shù)用于平衡失衡樣本，通過(guò)降低大量簡(jiǎn)單負(fù)樣本在訓(xùn)練中所占權(quán)重，增強(qiáng)困難樣本挖掘能力。損失函數(shù)定義為像素級(jí)邏輯回歸焦點(diǎn)損失形式：

式中，參數(shù)β用于減少負(fù)樣本權(quán)重占比，參數(shù)α用于控制易分類(lèi)樣本權(quán)重，N為圖像中心點(diǎn)個(gè)數(shù)，是熱圖估計(jì)。

2.2.2 Center offset和Box size分支

為提高中心點(diǎn)定位精度，訓(xùn)練引入center offset，即對(duì)于目標(biāo)檢測(cè)框?qū)捀叩幕貧w則引入box size，即損失函數(shù)采用L1損失：

式中，C、B分別為中心點(diǎn)坐標(biāo)與框?qū)捀叩恼鎸?shí)值為對(duì)應(yīng)的網(wǎng)絡(luò)預(yù)測(cè)值。

2.2.3 ReID分支

ReID端是為了提取出可以區(qū)分類(lèi)內(nèi)對(duì)象不同身份的表觀特征。通過(guò)在主干網(wǎng)絡(luò)尾部應(yīng)用卷積提取128維的表觀特征圖R?e∈R128×128×128，則對(duì)象在點(diǎn)(x,y)處對(duì)應(yīng)的特征向量為R?e∈R128。由于是基于預(yù)測(cè)中心點(diǎn)提取出的表觀特征，相比于基于錨框檢測(cè)提取表觀特征的JDE[11]方法，一是降低了目標(biāo)被多個(gè)錨框覆蓋所導(dǎo)致的網(wǎng)絡(luò)模糊性，二是減小了錨框與目標(biāo)中心沒(méi)有重合而導(dǎo)致的特征提取偏差。本文將其視為分類(lèi)任務(wù)，在訓(xùn)練集中具有相同身份的目標(biāo)看作同一類(lèi)別，定義其損失函數(shù)為：

式中，L(k)為第k個(gè)目標(biāo)身份的期望概率分布，p(k)為第k個(gè)目標(biāo)身份的實(shí)際概率分布。

3 軌跡跟蹤預(yù)測(cè)

對(duì)于當(dāng)前幀中由免錨檢測(cè)器輸出的所有目標(biāo)，需要估計(jì)下一幀的運(yùn)動(dòng)狀態(tài)。多數(shù)情況下，行人的運(yùn)動(dòng)軌跡在2D視頻圖像中呈現(xiàn)線(xiàn)性狀態(tài)，非線(xiàn)性程度較低，因此可以采用恒速模型對(duì)目標(biāo)運(yùn)動(dòng)建模，無(wú)需進(jìn)行非線(xiàn)性擴(kuò)展。

本文基于卡爾曼濾波算法融合數(shù)學(xué)模型預(yù)測(cè)框和檢測(cè)框找到最優(yōu)估計(jì)，完成對(duì)檢測(cè)目標(biāo)的預(yù)測(cè)與更新。目標(biāo)的狀態(tài)變量矩陣定義為x=(x,y,w,h,v x,v y,v w,v h)，其中x、y代表目標(biāo)中心點(diǎn)坐標(biāo)，v x、v y是與之相對(duì)應(yīng)的在圖像坐標(biāo)系上運(yùn)動(dòng)速度分量，w、h代表目標(biāo)檢測(cè)框的寬度和高度，用vw、v h表示在圖像中相應(yīng)的變化率。設(shè)t時(shí)刻為目標(biāo)的卡爾曼濾波初始狀態(tài)，需要將其各個(gè)速度分量均初始化為0，即t時(shí)刻由檢測(cè)模型定位出的目標(biāo)a的狀態(tài)變量為x(a)t=(xt,y t,wt,h t,0,0,0,0),t+1時(shí)刻的觀測(cè)值表示為z(a)t+1=(xt+1,yt+1,wt+1,ht+1)，則該目標(biāo)的先驗(yàn)狀態(tài)估計(jì)與觀測(cè)方程可用如下兩個(gè)公式表示：

式（5）為目標(biāo)運(yùn)動(dòng)狀態(tài)預(yù)測(cè)方程，式中F為狀態(tài)轉(zhuǎn)移矩陣，表示如何從t時(shí)刻狀態(tài)x t推測(cè)出t+1時(shí)刻狀態(tài)x t+1,v是系統(tǒng)過(guò)程噪聲；式（6）中H為觀測(cè)矩陣，z為觀測(cè)值，w為觀測(cè)噪聲，u、w是獨(dú)立噪聲序列，服從正態(tài)分布。

在后驗(yàn)估計(jì)中需對(duì)狀態(tài)進(jìn)行更新，式（7）為預(yù)測(cè)不確定性傳遞方程：

最后更新誤差協(xié)方差矩陣P用于下一次迭代。

4 關(guān)聯(lián)特征度量與設(shè)計(jì)

多目標(biāo)跟蹤要保證檢測(cè)對(duì)象與跟蹤對(duì)象完成最佳匹配，需針對(duì)目標(biāo)進(jìn)行完整的特征描述。多目標(biāo)跟蹤場(chǎng)景下因目標(biāo)受遮擋導(dǎo)致跟蹤間斷，進(jìn)而產(chǎn)生目標(biāo)身份切換率高的問(wèn)題，鑒于單一的運(yùn)動(dòng)特征度量無(wú)法應(yīng)對(duì)遮擋后重識(shí)別任務(wù)，有必要在此基礎(chǔ)上融合其他相關(guān)特征用于關(guān)聯(lián)度量。HSV顏色特征作為行人目標(biāo)最直觀的外觀描述，具有穩(wěn)定性好，對(duì)目標(biāo)尺度、方向不敏感等特點(diǎn)，因此本文對(duì)目標(biāo)提取256維的HSV顏色直方圖特征用于表示色彩信息。對(duì)于一些相似目標(biāo)很難用顏色度量差異性，考慮到經(jīng)訓(xùn)練的ReID模型可以對(duì)目標(biāo)的表觀抽取出具有區(qū)分度的深度信息，相似目標(biāo)能夠在深度語(yǔ)義特征層面表現(xiàn)出差異，且特征受環(huán)境光影響較小，具有較高的魯棒性，因此本文在檢測(cè)模型中并行加入ReID分支，輸出檢測(cè)目標(biāo)的128維特征向量用于表示深度表觀信息。

綜上分析，本文充分考慮目標(biāo)的運(yùn)動(dòng)信息、色彩信息和ReID深度表觀信息，融合多種特征用于檢測(cè)與跟蹤軌跡的相似度估計(jì)。

4.1 HSV顏色特征度量

HSV對(duì)應(yīng)色調(diào)（H）、飽和度（S）、亮度（V），是根據(jù)圖像顏色的直觀特征所構(gòu)建的一種顏色空間，相較于RGB顏色描述，更能反映目標(biāo)的真實(shí)顏色信息。本文利用HSV顏色特征直方圖來(lái)描述檢測(cè)與跟蹤軌跡的色彩信息。顏色特征用fcolor描述，代表的是256維的直方圖特征向量，采用卡方距離度量顏色相似性：

式中，fcolor(i)、fcolor(j)分別代表目標(biāo)i和軌跡j的顏色特征。

4.2 表觀特征度量

ReID應(yīng)用源自于跨攝像頭跟蹤領(lǐng)域，目的在于確認(rèn)不同位置的攝像頭在不同時(shí)刻拍攝到的目標(biāo)是否為同一人。具體可描述為存在給定身份的目標(biāo)圖像序列Q={Q1,Q2,…,Qn}，根據(jù)ReID模型提取的表觀特征，度量在不同攝像頭場(chǎng)景下檢索出的圖像幀G={G1,G2,…,G n}與Q的相似性，進(jìn)行目標(biāo)的重識(shí)別確認(rèn)。

針對(duì)跟蹤軌跡的每個(gè)特征，計(jì)算它們與當(dāng)前幀N個(gè)檢測(cè)對(duì)象表觀特征之間的余弦距離，再取最小值作為該軌跡與檢測(cè)結(jié)果之間的計(jì)算值，得出余弦代價(jià)矩陣：

4.3 加權(quán)多特征融合

對(duì)于M個(gè)跟蹤軌跡與N個(gè)檢測(cè)結(jié)果，多特征融合的相似性度量具體實(shí)現(xiàn)過(guò)程為：

首先基于表觀特征計(jì)算出余弦代價(jià)矩陣costcos(M×N)，進(jìn)行運(yùn)動(dòng)信息約束，即位置度量，采用馬氏距離評(píng)估卡爾曼濾波預(yù)測(cè)狀態(tài)和檢測(cè)狀態(tài)的匹配程度：

再將余弦代價(jià)矩陣中不滿(mǎn)足卡方距離、馬氏距離以及余弦距離閾值條件的設(shè)置為無(wú)窮大，用于增大差異性；最后得出融合HSV、表觀和運(yùn)動(dòng)特征的代價(jià)矩陣costmerge(M×N)，采用KM二分圖匹配算法進(jìn)行軌跡與檢測(cè)數(shù)據(jù)關(guān)聯(lián)。

由于行人多目標(biāo)跟蹤應(yīng)用場(chǎng)景復(fù)雜且目標(biāo)各異，為了增強(qiáng)算法的多場(chǎng)景適應(yīng)能力，多特征融合需根據(jù)具體場(chǎng)景分析特征重要性再做具體適配。因此本文采用加權(quán)距離代價(jià)函數(shù)評(píng)估特征相似性：

式中，λ為超參數(shù)，用于調(diào)整相應(yīng)度量距離的權(quán)重配比(λ1+λ2+λ3=1)，針對(duì)不同多目標(biāo)跟蹤場(chǎng)景做適當(dāng)調(diào)整。

具體的加權(quán)思路為：針對(duì)公共區(qū)域監(jiān)控場(chǎng)景，行人較多且人群中個(gè)體作為同類(lèi)對(duì)象軌跡會(huì)交錯(cuò)穿插，遮擋又重現(xiàn)，增加度量矩陣中表觀特征以及顏色特征的權(quán)重有利于分化目標(biāo)，顯著降低目標(biāo)身份丟失概率；而對(duì)于自動(dòng)駕駛以及無(wú)人機(jī)等相機(jī)存在多維度運(yùn)動(dòng)的場(chǎng)景，目標(biāo)的運(yùn)動(dòng)軌跡不確定性較高，會(huì)造成觀測(cè)目標(biāo)馬氏距離無(wú)法匹配的情況，此時(shí)需要降低運(yùn)動(dòng)特征度量權(quán)重，以免因相對(duì)運(yùn)動(dòng)造成相似度估計(jì)誤差。

經(jīng)多次實(shí)驗(yàn)對(duì)比分析，得出幾種常見(jiàn)跟蹤場(chǎng)景中最優(yōu)權(quán)重配比如表1所示。

表1 特征權(quán)重最優(yōu)配比Table 1 Optimal proportion of feature weights

5 跟蹤狀態(tài)更新

經(jīng)KM二分圖匹配算法計(jì)算后，軌跡會(huì)產(chǎn)生兩種狀態(tài)：未確認(rèn)狀態(tài)和確認(rèn)狀態(tài)。其中確認(rèn)狀態(tài)包括未匹配軌跡和匹配軌跡。對(duì)于檢測(cè)只有兩種狀態(tài)：已匹配的檢測(cè)和未匹配的檢測(cè)。其中未匹配的檢測(cè)目標(biāo)會(huì)被初始化為未確認(rèn)狀態(tài)軌跡。

為了降低匹配偶然性，防止與檢測(cè)器誤檢關(guān)聯(lián)，本文設(shè)定匹配門(mén)限值Hi ts=2幀（幀數(shù)過(guò)大會(huì)影響實(shí)時(shí)性），即經(jīng)過(guò)KM算法完成連續(xù)兩幀匹配才允許轉(zhuǎn)化為確認(rèn)軌跡。

由于目標(biāo)被遮擋或檢測(cè)器漏檢等原因，處于確認(rèn)狀態(tài)的軌跡會(huì)出現(xiàn)未匹配軌跡。針對(duì)這種情況，本文對(duì)確認(rèn)狀態(tài)軌跡設(shè)置存活期Age和連續(xù)丟失幀數(shù)計(jì)數(shù)Count。其中Age=100（值過(guò)大會(huì)緩存過(guò)多的垃圾軌跡）表示連續(xù)丟失幀數(shù)上限，當(dāng)0≤Count≤Age時(shí)，軌跡有效。在匹配過(guò)程中，進(jìn)行Count+1次迭代關(guān)聯(lián)，優(yōu)先對(duì)丟失幀數(shù)少的軌跡進(jìn)行匹配，同時(shí)保證在存活期內(nèi)丟失軌跡的有效性。經(jīng)此處理后，本文算法可以重新找回被遮擋的目標(biāo)，顯著降低被遮擋后重新識(shí)別發(fā)生身份變換的次數(shù)。

更新算法的具體實(shí)現(xiàn)過(guò)程如下：

（1）設(shè)定連續(xù)丟失幀數(shù)變量Count=0，存活期常量Age=100。

（2）t時(shí)刻由免錨檢測(cè)器輸出n個(gè)檢測(cè)目標(biāo)并編號(hào)為d∈{0,1,…,n},d中包含未匹配的檢測(cè)目標(biāo)和前一幀已匹配的檢測(cè)目標(biāo)。

（3）t時(shí)刻由卡爾曼濾波預(yù)測(cè)m條軌跡并編號(hào)為k∈{0,1,…,m}，每一條軌跡都有一個(gè)Count變量記錄軌跡連續(xù)丟失幀數(shù)，k中包含Count小于Age次未匹配的軌跡和已匹配的軌跡。

（4）將d與k利用加權(quán)多特征融合算法進(jìn)行相似性度量，輸出的代價(jià)矩陣cost(M×N)利用KM算法進(jìn)行Count+1次迭代匹配關(guān)聯(lián)。此過(guò)程從Count=0的軌跡開(kāi)始迭代至Count最大值，即優(yōu)先對(duì)穩(wěn)定跟蹤的軌跡進(jìn)行關(guān)聯(lián)。

（5）經(jīng)迭代關(guān)聯(lián)后未匹配的軌跡Count值加1，匹配的軌跡Count置為0，未匹配的檢測(cè)目標(biāo)初始化為未確認(rèn)軌跡，Count大于Age的軌跡刪除。

至此完成一幀中所有軌跡的狀態(tài)更新，算法迭代過(guò)程如圖5所示。

圖5 跟蹤狀態(tài)的迭代更新過(guò)程Fig.5 Iterative update process of tracking status

6 實(shí)驗(yàn)結(jié)果與分析

6.1 實(shí)驗(yàn)細(xì)節(jié)

實(shí)驗(yàn)所使用的硬件平臺(tái)為配置Intel i7-9700k處理器，16 GB內(nèi)存，搭載GTX 2080ti GPU的深度學(xué)習(xí)工作站，操作系統(tǒng)為Ubuntu 18.04.1，采用TensorFlow2.0實(shí)現(xiàn)深度學(xué)習(xí)模型訓(xùn)練與測(cè)試。

本文算法為聯(lián)合檢測(cè)與跟蹤的深度神經(jīng)網(wǎng)絡(luò)模型，不僅要輸出檢測(cè)目標(biāo)的定位信息，還要提取出相應(yīng)對(duì)象的ReID表觀特征，屬于多任務(wù)網(wǎng)絡(luò)模型架構(gòu)，因此實(shí)驗(yàn)中采用階段式訓(xùn)練方法，組合多個(gè)數(shù)據(jù)集針對(duì)兩種不同的任務(wù)需求訓(xùn)練模型。首先，在COCO2017數(shù)據(jù)集上進(jìn)行檢測(cè)任務(wù)的預(yù)訓(xùn)練，用于初始化主干網(wǎng)絡(luò)模型參數(shù)；然后，將預(yù)訓(xùn)練模型在INRIA[12]行人檢測(cè)數(shù)據(jù)集上進(jìn)行微調(diào)，數(shù)據(jù)集提供靜態(tài)行人標(biāo)注信息；最后，利用PKU-Reid[13]、PRW[14]和CUHK03[15]數(shù)據(jù)集的行人身份標(biāo)注訓(xùn)練模型的ReID特征提取分支，三個(gè)數(shù)據(jù)集提供了涵蓋各種復(fù)雜場(chǎng)景下的多攝像頭行人監(jiān)控?cái)?shù)據(jù)。模型采用Adam優(yōu)化器訓(xùn)練50個(gè)epoch，batch size設(shè)置為8，初始學(xué)習(xí)率設(shè)置為1E-4，在第40個(gè)epoch更改學(xué)習(xí)率為1E-6。

6.2 模型檢測(cè)性能評(píng)估

在目標(biāo)檢測(cè)領(lǐng)域，國(guó)際上通常采用平均精確率（average precision，AP）作為評(píng)價(jià)指標(biāo)評(píng)估模型的檢測(cè)性能。本文在COCO測(cè)試集上進(jìn)行檢測(cè)性能的評(píng)估，具體評(píng)價(jià)指標(biāo)含義由表2給出。選取當(dāng)前目標(biāo)檢測(cè)主流算法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表3所示，最優(yōu)結(jié)果由粗體標(biāo)出。

表2 檢測(cè)評(píng)價(jià)指標(biāo)及其含義Table 2 Test evaluation index and its meaning

表3 不同檢測(cè)算法在COCO測(cè)試集上的測(cè)試結(jié)果Table 3 Test results of different detection algorithms on COCO dataset

從表3結(jié)果可以看出，本文算法在檢測(cè)速度和精度方面明顯優(yōu)于其他算法。主要是因?yàn)椴捎妹忮^機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)在大尺度特征圖上進(jìn)行中心點(diǎn)預(yù)測(cè)，無(wú)需錨點(diǎn)框和非極大值抑制等復(fù)雜操作。而基于錨框的兩階段檢測(cè)算法Faster RCNN由于網(wǎng)絡(luò)中存在階段性的篩選結(jié)構(gòu)，區(qū)域候選網(wǎng)絡(luò)（region proposal network，RPN），導(dǎo)致推斷耗時(shí)較長(zhǎng)，檢測(cè)速度只有9 frame/s，不能滿(mǎn)足實(shí)時(shí)檢測(cè)需求。相較于兩階段的檢測(cè)方法，基于錨框單階段的YOLO3和RetinaNet設(shè)計(jì)更加注重實(shí)時(shí)性。特別是RetinaNet利用Focal Loss有效控制了正負(fù)樣本差距，使得檢測(cè)精度顯著提升。但單階段和兩階段的檢測(cè)算法由于錨框的限制，無(wú)法進(jìn)行像素級(jí)預(yù)測(cè)，基于錨框檢測(cè)器針對(duì)小目標(biāo)漏檢率較高，導(dǎo)致APS較低?？偟膩?lái)說(shuō)，本文算法采用全卷積方式輸出的特征圖分辨率高，可以兼顧大小目標(biāo)，對(duì)不同像素面積的目標(biāo)均有較高的檢測(cè)精度。

6.3 多目標(biāo)跟蹤測(cè)試

本文采用MOT Challenge[19]標(biāo)準(zhǔn)對(duì)多目標(biāo)跟蹤性能進(jìn)行評(píng)估，在MOT17多目標(biāo)跟蹤數(shù)據(jù)集上對(duì)算法性能進(jìn)行綜合測(cè)試。

MOT17測(cè)試集中共有7個(gè)標(biāo)注序列，如圖6所示，序列2、4、9為相機(jī)固定的街道行人場(chǎng)景，其中序列2環(huán)境光較陰暗，序列5、10、11、13為相機(jī)移動(dòng)場(chǎng)景，視場(chǎng)內(nèi)的對(duì)象與相機(jī)存在相對(duì)運(yùn)動(dòng)。

圖6 MOT17場(chǎng)景示例Fig.6 Sample scenario for MOT17

為了充分評(píng)估本文算法的有效性，分別對(duì)7個(gè)序列進(jìn)行跟蹤測(cè)試，跟蹤評(píng)價(jià)指標(biāo)及含義由表4給出，跟蹤結(jié)果如表5所示。

表4 多目標(biāo)跟蹤評(píng)價(jià)指標(biāo)及含義Table 4 Multi-object tracking evaluation index and its meaning

表5 本文算法在MOT17數(shù)據(jù)集上的跟蹤結(jié)果Table 5 Tracking results of algorithm in this paper on MOT17 dataset

從表5結(jié)果中可以看出，本文算法的綜合性能較高，具有較高的準(zhǔn)確率。視頻序列場(chǎng)景復(fù)雜度不同，跟蹤性能也會(huì)有所差異。由于序列2場(chǎng)景光線(xiàn)較弱，檢測(cè)器存在漏檢，MOTA指標(biāo)最低（MOTA=50.9%）且有最高的身份切換次數(shù)（IDS=124）。而序列4相機(jī)固定且場(chǎng)景內(nèi)目標(biāo)運(yùn)動(dòng)穩(wěn)定，MOTA值最高達(dá)到78.2%。特別是在序列13中存在遠(yuǎn)景目標(biāo)，目標(biāo)較小，使得表觀特征描述有限，當(dāng)遠(yuǎn)景目標(biāo)出現(xiàn)遮擋時(shí)跟蹤效果會(huì)降低，造成跟蹤準(zhǔn)確率降低。

為了進(jìn)一步衡量本文算法的有效性，將本文提出的算法與近年比較優(yōu)秀的多目標(biāo)跟蹤算法在MOT17上進(jìn)行性能對(duì)比測(cè)試，結(jié)果如表6所示。

表6 不同跟蹤算法在MOT17數(shù)據(jù)集上的跟蹤結(jié)果Table 6 Tracking results of different tracking algorithms on MOT17 dataset

從表6中可知，SORT算法跟蹤速度最快，但該算法僅采用IOU距離作為數(shù)據(jù)關(guān)聯(lián)階段的度量標(biāo)準(zhǔn)，沒(méi)有對(duì)遮擋問(wèn)題進(jìn)行針對(duì)性處理，使得跟蹤準(zhǔn)確性極差。Deep-Sort算法串聯(lián)了ReID表觀特征提取模型，使用了更可靠的度量標(biāo)準(zhǔn)，MOTA值得到明顯提升，但檢測(cè)和ReID兩個(gè)深度學(xué)習(xí)模型嚴(yán)重拖慢了跟蹤速率，F(xiàn)PS僅為8.1 frame/s。JDE算法合并了YOLOv3檢測(cè)模型和表觀模型，跟蹤速度相對(duì)于DeepSort提升了約10 frame/s，但受到錨框限制，對(duì)快速移動(dòng)目標(biāo)提取的表觀特征無(wú)法對(duì)齊造成錯(cuò)誤匹配，跟蹤準(zhǔn)確性不如DeepSort。綜合對(duì)比來(lái)看，本文基于免錨中心點(diǎn)檢測(cè)的多目標(biāo)跟蹤算法充分考慮了運(yùn)動(dòng)特征、顏色特征和表觀特征，對(duì)不同跟蹤場(chǎng)景采用合適的特征融合配比，在MOT17上的綜合性能評(píng)價(jià)指標(biāo)超過(guò)近年來(lái)經(jīng)典算法，并且兼顧了跟蹤的實(shí)時(shí)性與準(zhǔn)確性。

對(duì)本文算法在不同場(chǎng)景的魯棒性進(jìn)行驗(yàn)證，將跟蹤結(jié)果可視化分析。圖7、圖8所示分別為本文算法和SORT算法在MOT2015-AVG-TownCentre序列上的部分跟蹤結(jié)果，該視頻數(shù)據(jù)為行人監(jiān)控視角，行人交叉遮擋嚴(yán)重，本文在此場(chǎng)景采用式（14）的融合特征配比為3∶3∶4。

如圖7、圖8對(duì)比所示，在第57幀存在兩個(gè)相向而行的目標(biāo)（圖7（a）中編號(hào)14和12，圖8（a）中編號(hào)6和25），在第73幀發(fā)生重疊遮擋，在經(jīng)過(guò)17幀的遮擋后兩對(duì)象分離。在第90幀可以看出，SORT算法未能在跟蹤對(duì)象丟失后完成重識(shí)別，造成25號(hào)關(guān)聯(lián)錯(cuò)誤，并將原跟蹤對(duì)象6號(hào)錯(cuò)誤設(shè)為新軌跡58號(hào)。而本文算法針對(duì)此遮擋場(chǎng)景有較好的處理效果，對(duì)象被遮擋后重現(xiàn)能夠正確關(guān)聯(lián)并更新軌跡，具有可靠的跟蹤效果。

圖7 本文算法在AVG-TownCentre上的跟蹤結(jié)果Fig.7 Tracking results of algorithm in this paper on AVG-TownCentre

圖8 SORT算法在AVG-TownCentre上的跟蹤結(jié)果Fig.8 Tracking results of SORT algorithm on AVG-TownCentre

進(jìn)一步在MOT17-10序列存在相機(jī)移動(dòng)場(chǎng)景上測(cè)試跟蹤性能，本文算法和JDE算法測(cè)試結(jié)果分別由圖9和圖10給出，本文在此場(chǎng)景采用式（14）的融合特征配比為4∶4∶2。

圖9 本文算法在MOT17-10上的跟蹤結(jié)果Fig.9 Tracking results of algorithm in this paper on MOT17-10

通過(guò)圖9和圖10的對(duì)比可以看出，此場(chǎng)景下JDE算法無(wú)法對(duì)頻繁遮擋的目標(biāo)連續(xù)跟蹤。圖10（a）第1幀對(duì)象2，在跟蹤過(guò)程中經(jīng)歷了3次身份切換，跟蹤魯棒性較差。而本文的加權(quán)特征融合的處理方法能夠較好地應(yīng)對(duì)相機(jī)和對(duì)象存在相對(duì)移動(dòng)的情形，圖9（a）第1幀對(duì)象2在639幀的跟蹤過(guò)程中同樣經(jīng)歷3次遮擋，依然能夠穩(wěn)定維持其身份編號(hào)，實(shí)現(xiàn)長(zhǎng)時(shí)間穩(wěn)定跟蹤。

圖10 JDE算法在MOT17-10上的跟蹤結(jié)果Fig.10 Tracking results of JDE algorithm on MOT17-10

7 結(jié)束語(yǔ)

本文采用免錨框的方法設(shè)計(jì)了基于中心點(diǎn)熱圖的檢測(cè)模型，并行輸出行人目標(biāo)定位信息與ReID特征，構(gòu)建了聯(lián)合檢測(cè)與跟蹤的一段式網(wǎng)絡(luò)，較好地解決了錨框?qū)е碌腞eID特征偏移的問(wèn)題。針對(duì)遮擋問(wèn)題提出了多特征融合的關(guān)聯(lián)度量方法和軌跡更新算法，有效解決了行人目標(biāo)被長(zhǎng)時(shí)間遮擋出現(xiàn)軌跡丟失的情況。同時(shí)為了應(yīng)對(duì)不同跟蹤場(chǎng)景對(duì)特征進(jìn)行加權(quán)處理，提升了算法的魯棒性和多場(chǎng)景適應(yīng)能力。實(shí)驗(yàn)結(jié)果表明，本文的多目標(biāo)跟蹤算法在不同測(cè)試集上跟蹤精度較高，且具有實(shí)時(shí)推斷能力。