楊金龍，程小雪，繆佳妮，張光南

1.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇無(wú)錫 214122

2.長(zhǎng)安大學(xué)信息工程學(xué)院，西安 710064

1 引言

多目標(biāo)跟蹤[1]是目標(biāo)跟蹤方向的一個(gè)重要分支，作為經(jīng)典的計(jì)算機(jī)視覺(jué)問(wèn)題，多目標(biāo)跟蹤在智能視頻監(jiān)控、智能交通管制及無(wú)人駕駛等領(lǐng)域有著廣泛的應(yīng)用。復(fù)雜環(huán)境下視頻多目標(biāo)跟蹤應(yīng)用中，除了光照變化、目標(biāo)形變和目標(biāo)遮擋等問(wèn)題，目標(biāo)數(shù)目未知、新生目標(biāo)不確定、圖像模糊及雜波干擾等復(fù)雜問(wèn)題，也一直是多目標(biāo)跟蹤領(lǐng)域中研究的難點(diǎn)。

早期的多假設(shè)跟蹤（multiple hypothesis tracking，MHT）[2]和聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)濾波（joint probabilistic data association filter，JDAF）[3]等方法，通過(guò)將目標(biāo)與量測(cè)建立明確的關(guān)聯(lián)實(shí)現(xiàn)多目標(biāo)跟蹤。這些方法在視頻多目標(biāo)跟蹤中取得了一定的效果，但是復(fù)雜的數(shù)據(jù)關(guān)聯(lián)過(guò)程，使得算法效率大幅度下降。此外，對(duì)數(shù)目未知且變化的多目標(biāo)跟蹤，存在目標(biāo)數(shù)目及狀態(tài)估計(jì)不準(zhǔn)確的問(wèn)題。近年來(lái)，Mahler提出的隨機(jī)有限集（random finite set，RFS）[4]理論，分別對(duì)目標(biāo)狀態(tài)和觀測(cè)進(jìn)行隨機(jī)集建模，提供了一種自頂向下的多目標(biāo)跟蹤處理方法，可避免復(fù)雜的數(shù)據(jù)關(guān)聯(lián)運(yùn)算，尤其在對(duì)數(shù)目未知且變化的多目標(biāo)跟蹤中取得了一定的優(yōu)勢(shì)?；赗FS的算法，如概率假設(shè)密度（probability hypothesis density，PHD)[5]、勢(shì)概率假設(shè)密度（cardinalized PHD，CPHD）[6-7]、多伯努利濾波（multi-Bernoulli filter，MBF）[8-9]、勢(shì)均衡多伯努利濾波（cardinality balanced MBF，CBMBF）[10]等算法在視頻多目標(biāo)跟蹤中得到進(jìn)一步應(yīng)用。文獻(xiàn)[11]提出序貫蒙特卡羅（sequential Monte Carlo，SMC）的多伯努利濾波算法，如粒子多伯努利濾波（particle multi-Bernoulli filter，PMBF）[10]，借助多目標(biāo)貝葉斯估計(jì)理論遞推近似多目標(biāo)狀態(tài)集的后驗(yàn)概率密度分布，提高對(duì)數(shù)目變化多目標(biāo)的跟蹤精度。

得益于近幾年檢測(cè)算法[12]的突破性發(fā)展，基于檢測(cè)的跟蹤算法[13-14]逐步成為目前廣泛使用的視頻目標(biāo)跟蹤框架，基于RFS的濾波方法中，目標(biāo)的新生依賴于先驗(yàn)的新生強(qiáng)度函數(shù)，但在真實(shí)跟蹤場(chǎng)景中，通常難以準(zhǔn)確地給出目標(biāo)的新生強(qiáng)度函數(shù)。傳統(tǒng)的MBF、PHD算法[15-17]根據(jù)先驗(yàn)知識(shí)設(shè)置目標(biāo)的新生強(qiáng)度和新生區(qū)域，通常需要預(yù)先了解場(chǎng)景信息。文獻(xiàn)[18]給定目標(biāo)新生概率，使用量測(cè)值作為高斯分布的均值，提出量測(cè)驅(qū)動(dòng)的目標(biāo)新生模型。同時(shí)，利用外觀特征信息來(lái)學(xué)習(xí)目標(biāo)的外觀模型，并構(gòu)造增強(qiáng)似然函數(shù)，提高跟蹤性能。文獻(xiàn)[19]基于量測(cè)似然較高的新生粒子建立自適應(yīng)目標(biāo)新生模型，借助空間關(guān)系，采用現(xiàn)有的數(shù)據(jù)驅(qū)動(dòng)門(mén)限方法選擇目標(biāo)量測(cè)，降低跟蹤過(guò)程中更新步驟的時(shí)間復(fù)雜度。文獻(xiàn)[20]預(yù)先設(shè)定置信度閾值，自適應(yīng)地生成目標(biāo)新生強(qiáng)度。以上方法，對(duì)于目標(biāo)新生問(wèn)題作出了很大貢獻(xiàn)，但是難以有效去除檢測(cè)結(jié)果中的干擾雜波，由新生目標(biāo)的量測(cè)確定新生強(qiáng)度也會(huì)導(dǎo)致跟蹤結(jié)果誤差較大。此外，目標(biāo)檢測(cè)作為檢測(cè)跟蹤算法的底層步驟，檢測(cè)器性能直接影響跟蹤算法的精度，復(fù)雜環(huán)境下誤檢與漏檢問(wèn)題，是檢測(cè)跟蹤算法的一個(gè)典型挑戰(zhàn)。文獻(xiàn)[21]提出YOLOv3算法，該算法是對(duì)文獻(xiàn)[22-24]的一系列改進(jìn)，采用Darknet-53作為特征提取的網(wǎng)絡(luò)，在不同尺度上預(yù)測(cè)邊界框，具有較好的檢測(cè)效果與檢測(cè)速度，但對(duì)復(fù)雜環(huán)境的視頻多目標(biāo)檢測(cè)，同樣會(huì)出現(xiàn)誤檢和漏檢等問(wèn)題。

針對(duì)上述視頻多目標(biāo)跟蹤過(guò)程中，目標(biāo)數(shù)目變化、目標(biāo)遮擋和檢測(cè)器漏檢、誤檢等問(wèn)題，本文基于MBF跟蹤框架，采用YOLOv3檢測(cè)算法對(duì)視頻幀進(jìn)行預(yù)檢測(cè)，并采用卷積特征[25]描述目標(biāo)，計(jì)算相鄰幀目標(biāo)相似度矩陣，實(shí)現(xiàn)檢測(cè)框初步匹配，然后融合目標(biāo)模板、目標(biāo)軌跡和匹配框，進(jìn)一步提出目標(biāo)識(shí)別策略，結(jié)合目標(biāo)標(biāo)簽，有效進(jìn)行雜波剔除，實(shí)時(shí)對(duì)新生目標(biāo)判別和漏跟目標(biāo)重識(shí)別。重識(shí)別的目的是避免漏跟的目標(biāo)被重新跟上時(shí)，不至于被當(dāng)作新生目標(biāo)，可以和之前的軌跡關(guān)聯(lián)，減少軌跡碎片。最后，通過(guò)建立目標(biāo)遮擋處理機(jī)制，融合高置信度檢測(cè)框，優(yōu)化目標(biāo)運(yùn)動(dòng)模型，提出目標(biāo)模板自適應(yīng)更新方法，去除跟蹤過(guò)程中的累積誤差，以實(shí)現(xiàn)視頻多目標(biāo)連續(xù)軌跡的優(yōu)化跟蹤。

本文的主要貢獻(xiàn)概括如下：

（1）由于傳統(tǒng)的PMBF需要事先給定目標(biāo)的新生位置，但在真實(shí)場(chǎng)景中，目標(biāo)的新生位置不確定，為此，本文在PMBF框架下，融入YOLOv3算法對(duì)視頻目標(biāo)進(jìn)行預(yù)檢測(cè)，并設(shè)計(jì)新生目標(biāo)及存活目標(biāo)判斷策略，以及漏跟目標(biāo)重識(shí)別策略，實(shí)現(xiàn)對(duì)預(yù)檢測(cè)目標(biāo)類別判決。YOLOv3檢測(cè)框置信度表示檢測(cè)框包含目標(biāo)的概率和檢測(cè)框與目標(biāo)匹配程度的得分，本文將低置信度檢測(cè)框判斷為誤檢或檢測(cè)不準(zhǔn)確，通過(guò)后續(xù)的PMBF濾波，實(shí)現(xiàn)對(duì)誤檢或檢測(cè)不準(zhǔn)確的多目標(biāo)進(jìn)行正確跟蹤，提高對(duì)目標(biāo)的跟蹤精度。

（2）基于對(duì)預(yù)檢測(cè)目標(biāo)類別判定，提出融合高置信度檢測(cè)框構(gòu)造目標(biāo)運(yùn)動(dòng)模型，優(yōu)化目標(biāo)狀態(tài)預(yù)測(cè)，為后續(xù)狀態(tài)更新及提取奠定基礎(chǔ)。

（3）提出融合檢測(cè)結(jié)果的自適應(yīng)模板更新策略，并根據(jù)交并比和目標(biāo)運(yùn)動(dòng)速度及方向?qū)Ρ徽趽跄繕?biāo)進(jìn)行判決處理，可有效提高算法對(duì)被遮擋目標(biāo)的估計(jì)精度。

（4）通過(guò)目標(biāo)身份識(shí)別標(biāo)記及漏跟目標(biāo)的重識(shí)別，實(shí)現(xiàn)對(duì)多目標(biāo)運(yùn)動(dòng)航跡的關(guān)聯(lián)。

2 多伯努利濾波原理

在空間χ上，將多目標(biāo)狀態(tài)RFS表示為X={X(1),X(2),…,X(M)}，X(i)={(r(i),p(i))}為第i個(gè)目標(biāo)分量，通過(guò)伯努利參數(shù)(r(i),p(i))來(lái)參數(shù)化目標(biāo)后驗(yàn)概率分布，其中r(i)和p(i)分別表示第i個(gè)目標(biāo)的存在概率和概率分布。MBF采用貝葉斯理論對(duì)多目標(biāo)的后驗(yàn)概率分布進(jìn)行迭代更新，以達(dá)到對(duì)多目標(biāo)的狀態(tài)估計(jì)。

假設(shè)第k-1幀多目標(biāo)的后驗(yàn)概率分布為：

其中，Mk-1表示第k-1幀存活目標(biāo)的個(gè)數(shù)。則預(yù)測(cè)的多目標(biāo)概率分布可表示為：

pD,k(x)為目標(biāo)檢測(cè)概率，gk(z|x)表示量測(cè)似然函數(shù)，Zk、κk(z)分別表示量測(cè)集和雜波密度函數(shù)，第k幀目標(biāo)數(shù)目估計(jì)為Mk=Mk|k-1+|Zk|。

3 卷積特征提取

為了減少背景干擾，提取具有高區(qū)分性的目標(biāo)特征，本文采用文獻(xiàn)[25]中提出的卷積特征，提取每個(gè)目標(biāo)的表觀特征，特征提取主要分為三部分：構(gòu)造卷積核、提取卷積特征和相似度計(jì)算。

（1）構(gòu)造卷積核

在目標(biāo)框周?chē)?，以目?biāo)框大小的矩形框隨機(jī)采樣m個(gè)背景樣本框，背景樣本框與目標(biāo)框中心位置的距離，要求在水平方向距離大于1/4目標(biāo)框?qū)挾然蛘咴谪Q直方向距離大于1/4目標(biāo)框高度，然后將目標(biāo)框與背景樣本框尺寸規(guī)范化為n×n，并灰度化圖像，得到樣本集{I,B1,B2,…,Bm}，其中I表示目標(biāo)框圖像，Bi為第i個(gè)背景樣本圖像。使用大小為w×w的滑動(dòng)窗口，以步長(zhǎng)Δ分別對(duì)樣本集圖像進(jìn)行卷積操作，得到目標(biāo)圖像塊集合y={Y1,Y2,…,Yl}和背景圖像塊集合，為保留梯度信息，弱化亮度影響，將所有圖像塊減去自身均值并二范數(shù)歸一化處理，最終使用K-means算法[26]，從目標(biāo)圖像塊集合中選出d個(gè)圖像塊作為目標(biāo)卷積核：

從m個(gè)背景樣本對(duì)應(yīng)的背景圖像塊集合中，選出m×d個(gè)背景圖像塊，對(duì)這些圖像塊平均池化得到背景卷積核：

（2）提取卷積特征

利用式（12）中的目標(biāo)卷積核，在目標(biāo)圖像I上，以步長(zhǎng)Δ進(jìn)行卷積操作，提取目標(biāo)特征圖。同時(shí)采用式（13）中的背景卷積核，同樣以步長(zhǎng)Δ在圖像I上卷積=，得到相應(yīng)的背景特征圖

在目標(biāo)特征圖上進(jìn)行背景信息減除：

（3）相似度計(jì)算

為了更準(zhǔn)確地評(píng)價(jià)兩個(gè)框的相似程度，本文在目標(biāo)跟蹤過(guò)程中，通過(guò)式（15），計(jì)算出相似度，用于目標(biāo)模板、檢測(cè)框、跟蹤框等之間的相似性度量。

其中，fh、f分別為兩個(gè)框的卷積特征，表示f的二范數(shù)。

4 基于YOLOv3檢測(cè)的多伯努利視頻多目標(biāo)跟蹤

本文在MBF框架下，引入YOLOv3檢測(cè)算法對(duì)視頻幀進(jìn)行預(yù)檢測(cè)，通過(guò)計(jì)算相鄰幀檢測(cè)框的相似度矩陣，并進(jìn)行檢測(cè)框的初步匹配，加入目標(biāo)標(biāo)簽信息識(shí)別身份，融合高置信度檢測(cè)框、目標(biāo)軌跡和目標(biāo)模板，以剔除干擾雜波，提出目標(biāo)新生識(shí)別和漏跟目標(biāo)重識(shí)別策略以實(shí)現(xiàn)對(duì)目標(biāo)軌跡的連續(xù)估計(jì)。此外，設(shè)計(jì)目標(biāo)遮擋處理機(jī)制，提出目標(biāo)模板自適應(yīng)更新策略，進(jìn)一步實(shí)現(xiàn)多目標(biāo)的優(yōu)化跟蹤。本文算法基本框架如圖1所示，主要步驟如下。

4.1 相鄰幀目標(biāo)檢測(cè)

（1）相鄰幀目標(biāo)檢測(cè)

Fig.1 Flow graph of proposed algorithm圖1 提出算法的流程框圖

采用YOLOv3算法檢測(cè)第k和k+1幀視頻序列，記第k幀檢測(cè)框個(gè)數(shù)為n，檢測(cè)框狀態(tài)集為S?k=，第k+1幀檢測(cè)框個(gè)數(shù)為m，其檢測(cè)框狀態(tài)集為表示第i個(gè)檢測(cè)框狀態(tài)向量，參數(shù)分別表示第k幀第i個(gè)檢測(cè)框左上角的橫坐標(biāo)、縱坐標(biāo)，以及檢測(cè)框的寬、高和標(biāo)簽。

（2）相似度矩陣計(jì)算

采用第3章中的卷積特征表示第k幀和第k+1幀的檢測(cè)框，分別記為表示第k幀中第i個(gè)檢測(cè)框的卷積特征向量，計(jì)算檢測(cè)框特征對(duì)應(yīng)的相似度矩陣Λ：

從檢測(cè)框相似度矩陣Λ的每一行選擇值最大且大于相似度閾值Tl的兩個(gè)檢測(cè)框作為匹配結(jié)果，由于視頻幀中目標(biāo)連續(xù)變化，假定同一個(gè)目標(biāo)在相鄰兩幀不會(huì)出現(xiàn)特別大的位移變化，因此本文在相似度匹配的基礎(chǔ)上，加入目標(biāo)框的交并比（intersection over union，IOU）作為限制，對(duì)于多個(gè)相似度較高的目標(biāo)框，利用IOU作為限制條件，可有效剔除相似目標(biāo)框?qū)ζヅ浣Y(jié)果的影響，若兩個(gè)檢測(cè)框的IOU大于IOU閾值Tu，則可判定兩個(gè)檢測(cè)框匹配，假設(shè)第k幀中的第i個(gè)檢測(cè)框與第k+1幀中的第j個(gè)檢測(cè)框匹配，則為第k+1幀中匹配的檢測(cè)框賦值標(biāo)簽，即

4.2 目標(biāo)識(shí)別

根據(jù)相鄰幀的檢測(cè)框、目標(biāo)模板和存活目標(biāo)軌跡來(lái)進(jìn)行目標(biāo)識(shí)別。將第k幀檢測(cè)框與第k+1幀檢測(cè)框進(jìn)行匹配，對(duì)于第k幀中第i個(gè)檢測(cè)框，若為空，則表示該檢測(cè)框包含的目標(biāo)在第k-1幀中未被檢測(cè)到，采用與相鄰幀檢測(cè)框匹配相同的計(jì)算方法，將該檢測(cè)框與存活目標(biāo)軌跡、目標(biāo)模板進(jìn)行匹配，提出如下目標(biāo)識(shí)別過(guò)程：

（1）新生目標(biāo)識(shí)別

（2）漏跟目標(biāo)重識(shí)別

（3）存活目標(biāo)識(shí)別

（4）干擾雜波識(shí)別

目標(biāo)識(shí)別過(guò)程中，為每個(gè)檢測(cè)框目標(biāo)進(jìn)行標(biāo)簽賦值，實(shí)現(xiàn)對(duì)新生目標(biāo)賦值新標(biāo)簽，實(shí)現(xiàn)對(duì)存活目標(biāo)和重識(shí)別目標(biāo)與之前軌跡進(jìn)行匹配關(guān)聯(lián)，并在后續(xù)PMBF濾波時(shí)，通過(guò)標(biāo)簽將對(duì)應(yīng)的檢測(cè)框進(jìn)行優(yōu)化濾波，以提高對(duì)目標(biāo)跟蹤的準(zhǔn)確率。尤其是在目標(biāo)重識(shí)別環(huán)節(jié)，通過(guò)對(duì)目標(biāo)的重識(shí)別，可以避免把重識(shí)別的目標(biāo)當(dāng)作新生目標(biāo)，有效減少被重新起始的軌跡數(shù)量。

4.3 目標(biāo)預(yù)測(cè)

假設(shè)目標(biāo)運(yùn)動(dòng)模型為隨機(jī)游走模型，根據(jù)目標(biāo)識(shí)別后的檢測(cè)信息，若目標(biāo)被檢測(cè)到，且檢測(cè)框置信度大于置信度閾值TB時(shí)，采用檢測(cè)框調(diào)整目標(biāo)狀態(tài)，即：

4.4 目標(biāo)狀態(tài)更新及提取

（1）目標(biāo)狀態(tài)更新

假設(shè)第k-1幀多目標(biāo)預(yù)測(cè)概率分布為：

（2）目標(biāo)狀態(tài)提取

本文算法采用文獻(xiàn)[16]中提出的粒子重采樣和伯努利分量刪減方式，來(lái)避免粒子退化，剔除存在概率過(guò)小的伯努利分量。根據(jù)更新后的多目標(biāo)后驗(yàn)概率分布，采用與文獻(xiàn)[16-17]相同的閾值τ(τ=0.5)，提取存在概率大于閾值τ的伯努利分量對(duì)應(yīng)的目標(biāo)狀態(tài)，通過(guò)選擇權(quán)重大于0.2且與目標(biāo)框的IOU值最大的粒子作為目標(biāo)狀態(tài)估計(jì)，既考慮了目標(biāo)的IOU值，同時(shí)又保證采樣粒子的權(quán)值不至于過(guò)小。如果粒子的權(quán)值比較大，但I(xiàn)OU值很小，說(shuō)明粒子與目標(biāo)離得較遠(yuǎn)，可能不是目標(biāo)的最佳狀態(tài)；如果IOU比較大，但粒子權(quán)值比較小，說(shuō)明粒子與目標(biāo)相似性較低，也可能不是目標(biāo)的最佳估計(jì)，因此在限定的粒子權(quán)值范圍內(nèi)，如果粒子權(quán)值和IOU都比較大，則最有可能是目標(biāo)的最佳估計(jì)。本文采用經(jīng)驗(yàn)值0.2作為粒子權(quán)重的閾值提取目標(biāo)狀態(tài)，即：

4.5 目標(biāo)模板自適應(yīng)更新

目標(biāo)運(yùn)動(dòng)過(guò)程中，周?chē)h(huán)境及自身狀態(tài)會(huì)不斷發(fā)生變化，如背景變化、自身扭曲、旋轉(zhuǎn)及尺度變化等，因此需要對(duì)目標(biāo)模板進(jìn)行實(shí)時(shí)更新，本文算法綜合考慮采用存活目標(biāo)軌跡、目標(biāo)模板和目標(biāo)檢測(cè)結(jié)果進(jìn)行融合更新目標(biāo)模板，即：

4.6 目標(biāo)遮擋處理機(jī)制

當(dāng)相鄰兩個(gè)目標(biāo)框的IOU大于IOU閾值Tu時(shí)，可判定這兩個(gè)目標(biāo)出現(xiàn)遮擋情況，此時(shí)YOLOv3檢測(cè)器可能出現(xiàn)三種情況：（1）當(dāng)檢測(cè)器能檢測(cè)出這兩個(gè)目標(biāo)，表示目標(biāo)輕度遮擋，對(duì)目標(biāo)模板進(jìn)行自適應(yīng)更新；（2）當(dāng)只有一個(gè)目標(biāo)能被檢測(cè)器檢測(cè)出來(lái)時(shí)，可判定另一個(gè)目標(biāo)為被遮擋目標(biāo)，對(duì)被遮擋目標(biāo)，停止模板更新，采用該目標(biāo)前兩幀的位移差，估計(jì)目標(biāo)實(shí)時(shí)速度v與運(yùn)動(dòng)方向θ，對(duì)目標(biāo)進(jìn)行預(yù)測(cè)估計(jì)，目標(biāo)框的大小保持不變；（3）當(dāng)兩個(gè)目標(biāo)都無(wú)法通過(guò)檢測(cè)器檢測(cè)出來(lái)時(shí)，依據(jù)式（15）計(jì)算兩個(gè)目標(biāo)框與對(duì)應(yīng)目標(biāo)模板的相似度，相似度小的目標(biāo)框，判定為被遮擋目標(biāo)，與第（2）種情況中采用同樣的方式處理被遮擋的目標(biāo)。若目標(biāo)在跟蹤過(guò)程中消失或者跟丟，在目標(biāo)分離或者重新出現(xiàn)時(shí)，可通過(guò)目標(biāo)識(shí)別策略對(duì)目標(biāo)進(jìn)行重識(shí)別。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 實(shí)驗(yàn)環(huán)境及參數(shù)

為了驗(yàn)證本文算法的有效性，實(shí)驗(yàn)在處理器為Intel Core i7-8700、3.2 GHz，12核，內(nèi)存為16 GB，顯卡為NVIDIA Geforce GTX 1080 Ti的工作站上運(yùn)行，采用Matlab2016a對(duì)本文算法進(jìn)行測(cè)試。實(shí)驗(yàn)采用公共數(shù)據(jù)集中5組典型的視頻序列，包括Visual Tracker Benchmark[27]TB50中的序列Huamn4，TB100中的序列Jogging、Subway、Suv和CAVUAR[28]中的序列Crossing（EnterExitCrossingPaths1cor）。表1為對(duì)應(yīng)視頻序列存在的主要問(wèn)題，這5組典型視頻序列分別來(lái)源于不同場(chǎng)景，且包含相機(jī)移動(dòng)、目標(biāo)遮擋、目標(biāo)形變、圖片模糊、光照變化等干擾情況。將本文算法與PMBF算法[12]、HIST（histogram feature filter）算法[8]、CNT（convolution network feature tracker）算法[29]和IOU-T（IOU tracker）算法[30]進(jìn)行性能比較與分析。其中，CNT、PMBF算法使用與本文算法相同的抗干擾卷積特征，HIST算法使用直方圖特征。在實(shí)驗(yàn)中，PMBF算法也利用YOLOv3的檢測(cè)結(jié)果，將判定為新生目標(biāo)的檢測(cè)結(jié)果作為PMBF算法的新生目標(biāo)，為了公平地比較，IOU-T算法同樣使用YOLOv3檢測(cè)結(jié)果。

Table 1 Tested video sequence表1 測(cè)試視頻序列

算法中參數(shù)設(shè)置如下：目標(biāo)存活概率Ps=0.9，存活目標(biāo)的最大、最小采樣粒子數(shù)目為100，新生目標(biāo)的最大、最小采樣粒子數(shù)目為=350、=100 。卷積特征提取時(shí)，目標(biāo)框尺寸規(guī)范化為32×32 (n=32)，滑動(dòng)窗口大小為6×6 (w=6)，步長(zhǎng)Δ=1，子塊的個(gè)數(shù)為d=100 。遮擋判斷時(shí)，目標(biāo)之間IOU閾值設(shè)為T(mén)u=0.15。目標(biāo)匹配時(shí)，相似度閾值設(shè)為T(mén)l=0.2。檢測(cè)框置信度閾值設(shè)為T(mén)B=0.9。

實(shí)驗(yàn)中采用的性能評(píng)價(jià)指標(biāo)主要為OSPA（optimal sub-patten assignment）距離統(tǒng)計(jì)[31]、目標(biāo)數(shù)目估計(jì)和多目標(biāo)跟蹤正確度（multiple object tracking accuracy，MOTA）[32]、多目標(biāo)跟蹤精度（multiple object tracking precision，MOTP）、軌跡完整目標(biāo)數(shù)目（mostly tracked，MT）、標(biāo)簽跳變數(shù)（identity switch，IDs），其中MOTA、MOTP、MT、IDs分別定義如下：

（1）多目標(biāo)跟蹤正確度（MOTA）

其中，mk為第k幀中被跟丟的目標(biāo)數(shù)量，fpk為第k幀誤檢的目標(biāo)數(shù)，mmek為第k幀中跟蹤軌跡中目標(biāo)標(biāo)簽發(fā)生跳變的個(gè)數(shù)，gk表示第k幀中目標(biāo)的實(shí)際數(shù)目。

（2）多目標(biāo)跟蹤精度（MOTP）

（3）軌跡完整目標(biāo)數(shù)目（MT），表示目標(biāo)跟蹤軌跡占真實(shí)軌跡長(zhǎng)度80%以上的目標(biāo)軌跡數(shù)目，刻畫(huà)了軌跡的完整程度。

（4）標(biāo)簽跳變數(shù)（IDs），表示跟蹤過(guò)程中目標(biāo)標(biāo)簽發(fā)生變化的次數(shù)，即漏跟目標(biāo)重新被跟蹤后，如果不能與之前軌跡關(guān)聯(lián)，則標(biāo)簽發(fā)生跳變。

5.2 實(shí)驗(yàn)結(jié)果的定性分析

5.2.1 目標(biāo)重識(shí)別

視頻序列Crossing包含5個(gè)運(yùn)動(dòng)目標(biāo)，存在目標(biāo)緊鄰和較長(zhǎng)時(shí)間的目標(biāo)遮擋問(wèn)題，同時(shí)伴隨目標(biāo)逐漸出現(xiàn)導(dǎo)致形變較大的情況等。目標(biāo)被長(zhǎng)時(shí)間遮擋，當(dāng)目標(biāo)重新出現(xiàn)時(shí)，如圖2所示，檢測(cè)器檢測(cè)到重新出現(xiàn)的目標(biāo)，PMBF算法將重新出現(xiàn)的目標(biāo)判定為新生目標(biāo)，不能與之前該目標(biāo)的軌跡關(guān)聯(lián)，同時(shí)在跟蹤過(guò)程中，受目標(biāo)緊鄰和遮擋的干擾出現(xiàn)誤跟和跟蹤框偏移的現(xiàn)象；HIST算法則出現(xiàn)跟蹤框嚴(yán)重偏移；CNT算法中較為相似的目標(biāo)，在遮擋發(fā)生后，跟蹤框錯(cuò)位；IOU-T算法完全拋棄使用圖像信息，只利用目標(biāo)檢測(cè)結(jié)果進(jìn)行跟蹤處理，無(wú)法繼續(xù)跟蹤漏檢目標(biāo)，當(dāng)目標(biāo)再次被檢測(cè)到時(shí)，同時(shí)被定義為新目標(biāo)，難以與歷史目標(biāo)關(guān)聯(lián)；而本文算法，較長(zhǎng)時(shí)間被遮擋的目標(biāo)，由于存在概率逐漸降低導(dǎo)致目標(biāo)消失，如圖2（f）所示，當(dāng)目標(biāo)再次出現(xiàn)時(shí)，通過(guò)計(jì)算重新出現(xiàn)的目標(biāo)框與目標(biāo)模板的相似度，可有效地對(duì)目標(biāo)進(jìn)行重識(shí)別，將目標(biāo)重新加入到目標(biāo)跟蹤軌跡中，與之前軌跡關(guān)聯(lián)，減少軌跡碎片和標(biāo)簽跳變情況。

Fig.2 Tracking results of sequence Crossing圖2 Crossing序列跟蹤結(jié)果

5.2.2 目標(biāo)緊鄰與遮擋

視頻序列Jogging和Subway都存在目標(biāo)緊鄰與遮擋情況，其中視頻序列Jogging為相機(jī)移動(dòng)的路口場(chǎng)景，包含3個(gè)運(yùn)動(dòng)目標(biāo)，存在目標(biāo)被部分和完全遮擋的情況，視頻序列Subway包含8個(gè)運(yùn)動(dòng)目標(biāo)，存在多個(gè)目標(biāo)緊鄰和頻繁被遮擋等問(wèn)題。如圖3，目標(biāo)脫離遮擋狀態(tài)時(shí)，IOU-T算法將重新檢測(cè)到的目標(biāo)定義為新生目標(biāo)，PMBF、HIST算法即使沒(méi)有丟失目標(biāo)，但是跟蹤框的偏離程度卻增大，CNT算法則是出現(xiàn)跟蹤框跟丟的現(xiàn)象，而本文算法能很好地融合目標(biāo)的檢測(cè)結(jié)果和跟蹤結(jié)果，實(shí)現(xiàn)對(duì)跟蹤框進(jìn)行調(diào)整，可以獲得比較準(zhǔn)確的跟蹤結(jié)果。

對(duì)于多個(gè)目標(biāo)存在頻繁的緊鄰與遮擋，如圖4所示，YOLOv3難以檢測(cè)到被遮擋目標(biāo)或者檢測(cè)結(jié)果偏差較大，導(dǎo)致IOU-T算法頻繁丟失目標(biāo)，且跟蹤框不準(zhǔn)確，PMBF、HIST、CNT算法處理遮擋、緊鄰問(wèn)題時(shí)，也會(huì)出現(xiàn)較大的偏差，甚至跟丟，本文算法引入遮擋處理機(jī)制，融合濾波和檢測(cè)結(jié)果，提取目標(biāo)運(yùn)動(dòng)信息，能夠較好地對(duì)被遮擋目標(biāo)進(jìn)行跟蹤。

Fig.3 Tracking results of sequence Jogging圖3 Jogging序列跟蹤結(jié)果

5.2.3 圖像模糊與目標(biāo)形變

視頻序列Human4為相機(jī)移動(dòng)紅綠燈路口場(chǎng)景，包括3種類型17個(gè)目標(biāo)，視頻中存在由于相機(jī)運(yùn)動(dòng)或目標(biāo)快速運(yùn)動(dòng)等造成的目標(biāo)模糊情況，且存在許多目標(biāo)頻繁發(fā)生形變問(wèn)題。圖片模糊可能導(dǎo)致檢測(cè)器性能下降，部分目標(biāo)被漏檢，目標(biāo)形變對(duì)檢測(cè)器的性能影響較小，但可能出現(xiàn)檢測(cè)框不準(zhǔn)確的情況。如圖5所示，PMBF算法能跟上目標(biāo)，但部分目標(biāo)的跟蹤框會(huì)出現(xiàn)偏離，HIST算法出現(xiàn)跟蹤框嚴(yán)重偏離，CNT算法無(wú)法重新跟蹤漏跟的目標(biāo)，導(dǎo)致跟蹤精度下降，IOU-T算法則依賴于檢測(cè)器結(jié)果，無(wú)法處理漏檢和誤檢目標(biāo)，而本文算法有效地在濾波過(guò)程中融合檢測(cè)結(jié)果，能夠較好地處理這兩種情況，具有較高的跟蹤精度。

Fig.4 Tracking results of sequence Subway圖4 Subway序列跟蹤結(jié)果

Fig.5 Tracking results of sequence Human4圖5 Human4序列跟蹤結(jié)果

5.2.4 目標(biāo)大位移

視頻序列Suv為相機(jī)移動(dòng)動(dòng)態(tài)背景的公路場(chǎng)景，包含6個(gè)運(yùn)動(dòng)目標(biāo)，存在快速運(yùn)動(dòng)導(dǎo)致的大位移情況，同時(shí)也包含了目標(biāo)形變、目標(biāo)緊鄰與遮擋等問(wèn)題。如圖6所示，目標(biāo)的大位移對(duì)檢測(cè)器沒(méi)有影響，IOU-T算法表現(xiàn)良好，而PMBF、HIST、CNT算法會(huì)出現(xiàn)目標(biāo)跟丟的情況，本文算法由于利用檢測(cè)器的結(jié)果去調(diào)整跟蹤過(guò)程，對(duì)于較大位移的目標(biāo)也具有很好的跟蹤效果。

5.3 實(shí)驗(yàn)結(jié)果的定量分析

MOTA、MOTP、ML、IDs這4個(gè)指標(biāo)的定量實(shí)驗(yàn)結(jié)果如表2所示，本文算法利用相似度矩陣對(duì)檢測(cè)框進(jìn)行關(guān)聯(lián)，且包含目標(biāo)重識(shí)別過(guò)程，有效減少了目標(biāo)標(biāo)簽的跳變。與對(duì)比方法相比，本文算法在IDs和MT指標(biāo)上具有明顯優(yōu)勢(shì)，即本文算法通過(guò)目標(biāo)重識(shí)別有效關(guān)聯(lián)了目標(biāo)軌跡，減少了軌跡碎片，提高了目標(biāo)軌跡完整性。

Fig.6 Tracking results of sequence Suv圖6 Suv序列跟蹤結(jié)果

YOLOv3檢測(cè)器在視頻序列Crossing、Suv上，檢測(cè)效果良好，因此對(duì)于MOTP指標(biāo)，IOU-T算法與本文算法表現(xiàn)相似，但是遮擋、緊鄰和大位移等問(wèn)題的存在，使得HIST、CNT、PMBF算法在跟蹤過(guò)程中出現(xiàn)跟蹤框偏移、目標(biāo)漏跟等現(xiàn)象，跟蹤精度減少。視頻序列Jogging是比較簡(jiǎn)單的視頻場(chǎng)景，本文算法的MOTA指標(biāo)與PMBF算法相差不大，但是MOTP指標(biāo)優(yōu)于對(duì)比算法，由于在實(shí)驗(yàn)中PMBF算法與本文算法采用了同樣的卷積特征和目標(biāo)新生方式，說(shuō)明本文算法提出的自適應(yīng)更新策略能有效減少跟蹤過(guò)程中的累積誤差，更準(zhǔn)確地對(duì)目標(biāo)進(jìn)行跟蹤。對(duì)于存在目標(biāo)形變、目標(biāo)遮擋、圖像模糊等復(fù)雜的視頻序列，如視頻序列Subway和Human4，本文算法的MOTA指標(biāo)和MOTP指標(biāo)都具有明顯優(yōu)勢(shì)。

為了進(jìn)一步進(jìn)行對(duì)比分析，本文采用當(dāng)前圖片幀中跟蹤框的個(gè)數(shù)作為目標(biāo)數(shù)目估計(jì)值。圖7～圖11所示為目標(biāo)數(shù)目估計(jì)與OSPA距離估計(jì)對(duì)比圖，實(shí)驗(yàn)中PMBF、IOU-T算法和本文算法都是基于檢測(cè)結(jié)果判斷目標(biāo)新生，因此當(dāng)新生目標(biāo)部分出現(xiàn)，而檢測(cè)器無(wú)法檢測(cè)出時(shí)，目標(biāo)數(shù)目估計(jì)不準(zhǔn)確，OSPA值上升，而HIST、CNT算法固定目標(biāo)新生位置，若將部分出現(xiàn)的目標(biāo)作為跟蹤框會(huì)導(dǎo)致后續(xù)跟蹤精度下降，若對(duì)完整出現(xiàn)目標(biāo)進(jìn)行跟蹤，則對(duì)前面幀部分出現(xiàn)的目標(biāo)出現(xiàn)漏跟，目標(biāo)數(shù)目估計(jì)值減少，OSPA距離增大。目標(biāo)逐漸消失過(guò)程中，PMBF、CNT算法對(duì)目標(biāo)消失不敏感，可能導(dǎo)致目標(biāo)數(shù)目估計(jì)值增加，IOU-T算法由于檢測(cè)器的漏檢，會(huì)出現(xiàn)目標(biāo)數(shù)目估計(jì)值減少，導(dǎo)致OSPA突增。如圖8～圖11中左圖所示，當(dāng)新生目標(biāo)出現(xiàn)時(shí)，本文算法能很快將新生目標(biāo)檢測(cè)出并加入到目標(biāo)軌跡中，同時(shí)本文算法融合濾波器與檢測(cè)結(jié)果，提高了目標(biāo)消失過(guò)程中的跟蹤性能。PMBF、HIST、CNT算法在出現(xiàn)圖片模糊、目標(biāo)形變、目標(biāo)大位移、目標(biāo)緊鄰與遮擋等情況時(shí)，容易出現(xiàn)誤跟和漏跟，導(dǎo)致跟蹤框偏離較大，OSPA值上升。復(fù)雜環(huán)境下，檢測(cè)器性能下降，出現(xiàn)漏檢、誤檢，IOU-T算法受檢測(cè)器性能影響，導(dǎo)致目標(biāo)數(shù)目減少，跟蹤框不準(zhǔn)確，OSPA值急劇上升。本文算法包含目標(biāo)緊鄰與遮擋處理機(jī)制，同時(shí)利用檢測(cè)結(jié)果優(yōu)化濾波過(guò)程，整體跟蹤性能明顯優(yōu)于對(duì)比算法。

Table 2 Comparison of quantitative results表2 定量結(jié)果比較

6 結(jié)束語(yǔ)

本文提出了一種基于YOLOv3檢測(cè)的多伯努利視頻多目標(biāo)跟蹤算法，首先采用抗干擾的卷積特征描述目標(biāo)，弱化背景信息，通過(guò)計(jì)算相鄰幀檢測(cè)框的相似度矩陣，實(shí)現(xiàn)對(duì)檢測(cè)框的幀間匹配，利用檢測(cè)框與目標(biāo)模板、目標(biāo)軌跡的相似度匹配，剔除干擾雜波，實(shí)時(shí)進(jìn)行目標(biāo)新生判斷和漏檢目標(biāo)重識(shí)別，使得軌跡碎片減少，提高了軌跡完整性。同時(shí)，提取目標(biāo)運(yùn)動(dòng)信息，建立目標(biāo)遮擋處理機(jī)制，實(shí)現(xiàn)遮擋情況下，對(duì)目標(biāo)的準(zhǔn)確跟蹤。在跟蹤過(guò)程中，利用高置信度檢測(cè)框優(yōu)化目標(biāo)運(yùn)動(dòng)模型，提出目標(biāo)模板的自適應(yīng)更新策略，可有效去除跟蹤框累積誤差，提高對(duì)目標(biāo)和背景變化的自適應(yīng)性。實(shí)驗(yàn)結(jié)果表明，本文算法具有良好的跟蹤性能。

Fig.7 Comparison between object number estimation and OSPA distance estimation of sequence Crossing圖7 Crossing序列目標(biāo)數(shù)目估計(jì)與OSPA距離估計(jì)對(duì)比

Fig.8 Comparison between object number estimation and OSPA distance estimation of sequence Jogging圖8 Jogging序列目標(biāo)數(shù)目估計(jì)與OSPA距離估計(jì)對(duì)比

Fig.11 Comparison between object number estimation and OSPA distance estimation of sequence Suv圖11 Suv序列目標(biāo)數(shù)目估計(jì)與OSPA距離估計(jì)對(duì)比