李福進(jìn)，黃志偉，史濤，任紅格

（華北理工大學(xué) 電氣工程學(xué)院，河北 唐山063200）

0 引言

近年來(lái)，隨著人工智能技術(shù)的快速發(fā)展，目標(biāo)跟蹤已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域研究熱點(diǎn)之一，而自動(dòng)駕駛、視頻監(jiān)控、人機(jī)交互等的研究使得目標(biāo)跟蹤更受關(guān)注。由于在目標(biāo)跟蹤中存在著目標(biāo)形態(tài)、尺度變化以及環(huán)境、光照、遮擋等因素的影響，為研究增加了難度。從經(jīng)典Meanshift算法、Camshift算法等，到基于相關(guān)濾波（Correlation Filter）跟蹤方法再到基于檢測(cè)的跟蹤（Detection-based Tracking，DBT）方法，目標(biāo)跟蹤方法研究一直在進(jìn)步。在基于目標(biāo)檢測(cè)的跟蹤算法中，將任務(wù)分解為兩個(gè)步驟簡(jiǎn)化跟蹤任務(wù)：在視頻每一幀中獨(dú)立地檢測(cè)目標(biāo)位置；通過(guò)跨時(shí)間連接相應(yīng)的檢測(cè)形成軌跡，而在連接過(guò)程中，數(shù)據(jù)關(guān)聯(lián)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

為此，本文提出一種融合YOLOv4檢測(cè)算法的跟蹤方法。利用YOLOv4檢測(cè)結(jié)構(gòu)進(jìn)行分類和特征提取，形成檢測(cè)數(shù)據(jù)集，并將檢測(cè)和跟蹤結(jié)果作為候選框，通過(guò)分類選擇器選擇最優(yōu)的候選結(jié)果。本文還加入了基于外觀向量身份重識(shí)別（ReID）算法提取深度外觀特征，用于將跟蹤軌跡和選定候選對(duì)象關(guān)聯(lián)。

1 基本概念

當(dāng)前的目標(biāo)跟蹤算法主流是DBT，所以檢測(cè)質(zhì)量對(duì)跟蹤的性能影響很大。將深度學(xué)習(xí)檢測(cè)分為兩類：基于分類的R-CNN系列目標(biāo)檢測(cè)算法和將檢測(cè)轉(zhuǎn)換為回歸的檢測(cè)算法。前者首先通過(guò)Selective Search等算法產(chǎn)生候選 區(qū)域，代表算 法有R-CNN、Faster R-CNN、Mask RCNN等，此類算法檢測(cè)精度較高，但是實(shí)時(shí)性難以滿足需求；后者將檢測(cè)作為一個(gè)回歸問(wèn)題處理，直接預(yù)測(cè)目標(biāo)位置和分類，代表算法有YOLO（You Only Look Once）系列算法和SSD（Single Shot MultiBox Detector）算法等，此類算法速度快，但精度相對(duì)較低。為了實(shí)現(xiàn)實(shí)時(shí)跟蹤要求，本文選用YOLOv4算法作為檢測(cè)模塊。

1.1 YOLOv4介紹

YOLOv4算法是YOLO系列檢測(cè)算法的第4個(gè)版本，主要由CSPDarknet-53、SPP和PANet三部分組成，分別用于主干特征提取、尺度識(shí)別和分類。特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv4算法特征提取網(wǎng)絡(luò)結(jié)構(gòu)

首先將輸入圖像調(diào)整到416×416大小，使用類似特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）結(jié)構(gòu)，在CSPDarknet-53特征提取網(wǎng)絡(luò)中將輸入圖像劃分成×大小的單元格，得到三種不同尺度的特征圖，即13×13，26×26，52×52，分別用于檢測(cè)大、中、小三種目標(biāo)，同時(shí)在每個(gè)單元格上的回歸預(yù)測(cè)有3個(gè)anchor box預(yù)測(cè)三個(gè)邊界框。選取其中置信度最大的作為最終檢測(cè)結(jié)果。

1.2 身份重識(shí)別（ReID）結(jié)構(gòu)

身份重識(shí)別（Re-identification，ReID），其定義是利用計(jì)算機(jī)視覺(jué)技術(shù)在圖像庫(kù)和視頻序列中找到要搜索目標(biāo)的技術(shù)，有學(xué)者將重識(shí)別看作是分類和驗(yàn)證兩類問(wèn)題：分類是指將目標(biāo)的ID或特征作為訓(xùn)練標(biāo)簽來(lái)訓(xùn)練模型；驗(yàn)證是指輸入圖像對(duì)，讓網(wǎng)絡(luò)學(xué)習(xí)兩張圖像中目標(biāo)是否相同。

用Rank1和mAP指標(biāo)評(píng)價(jià)ReID算法，其主干結(jié)構(gòu)為Resnet50，將圖片輸入經(jīng)過(guò)卷積得到特征圖譜，然后經(jīng)池化層輸出特征向量，最后識(shí)別最終結(jié)果。

2 目標(biāo)跟蹤模型

近年來(lái)，單目標(biāo)跟蹤領(lǐng)域取得了重大進(jìn)展。像GOTURN、Siamese FC、ECO、Siamese RPN這樣的跟蹤器極大地提高了跟蹤精度。但是，在線更新的目標(biāo)跟蹤器速度慢，同時(shí)占用大量的內(nèi)存，而離線訓(xùn)練跟蹤器如Siamese-RPN，以每秒超過(guò)80幀（目標(biāo)）的速度達(dá)到最先進(jìn)的精度。更重要的是，大多數(shù)方法沒(méi)有將目標(biāo)跟蹤器生成的線索與其他線索結(jié)合起來(lái)，它們將跟蹤器和數(shù)據(jù)關(guān)聯(lián)過(guò)程分開(kāi)。與此不同，本文提出一種聯(lián)合YOLOv4檢測(cè)算法的目標(biāo)跟蹤算法，由候選框選擇和數(shù)據(jù)關(guān)聯(lián)兩部分組成。

本文設(shè)計(jì)了一個(gè)對(duì)象選擇器，利用深度特征和軌跡置信度設(shè)計(jì)統(tǒng)一的評(píng)分函數(shù)來(lái)選擇候選框。利用身份重識(shí)別ReID將候選信息和跟蹤軌跡關(guān)聯(lián)實(shí)現(xiàn)檢測(cè)跟蹤。

2.1 深度特征提取

檢測(cè)過(guò)程中有多個(gè)候選框被選出，為了跟蹤更精確，需要對(duì)候選框進(jìn)行篩選。本文選用HSV顏色特征直方圖和LBP局部特征直方圖篩選候選框。最后利用非極大抑制確定跟蹤目標(biāo)。LBP特征提取方法如下：

式中：(,)為中心像素；i,分別是灰度值和相鄰像素灰度值。

在進(jìn)行邊界框選擇時(shí)，首先分類過(guò)程會(huì)過(guò)濾掉非目標(biāo)候選框，剩余候選框根據(jù)目標(biāo)的HSV顏色特征和LBP局部特征進(jìn)行特征相似度計(jì)算。選取計(jì)算數(shù)值最大的作為篩選結(jié)果，計(jì)算過(guò)程設(shè)置權(quán)重比例為1∶2，相似度閾值為5和3。本文利用巴氏相關(guān)系數(shù)處理直方圖特征，巴氏系數(shù)公式如下：

式中：,分別為圖像在直方圖上的中心坐標(biāo)和概率密度。HSV顏色特征直方圖和LBP局部特征直方圖計(jì)算公式相似度分?jǐn)?shù)為：

式中()=-ln；為候選框分?jǐn)?shù)。

2.2 軌跡置信度

在視頻序列給定幀的情況下，利用Kalman濾波預(yù)測(cè)每條軌跡的新位置，這些預(yù)測(cè)結(jié)果將被作為解決物體屬性變化和在擁擠場(chǎng)景中遮擋而導(dǎo)致檢測(cè)失敗的方法。

利用Kalman濾波通過(guò)對(duì)連續(xù)的候選幀進(jìn)行時(shí)間關(guān)聯(lián)生成跟蹤軌跡，可以把一個(gè)長(zhǎng)期軌跡分割成一組短期軌跡，每一次從短期狀態(tài)檢索，卡爾曼濾波器將被重新初始化。置信度用來(lái)測(cè)量時(shí)域信息的濾波精度。僅利用最后一個(gè)軌跡的信息表示軌跡的置信度。

式中表示最后一個(gè)預(yù)測(cè)軌跡。將提取的深度特征和軌跡置信度融合，形成候選框的統(tǒng)一評(píng)分函數(shù)：

式中是Kronecker delta函數(shù)用于判斷深度特征提取中某個(gè)檢測(cè)候選框和軌跡候選框是否相等。在候選框選擇中基于這個(gè)統(tǒng)一的評(píng)分，根據(jù)定義的最大交集（IOU）閾值和最小分?jǐn)?shù)閾值使用非最大抑制確定最終候選框。

2.3 ReID數(shù)據(jù)關(guān)聯(lián)

為了防止跟蹤目標(biāo)發(fā)生漂移，本文提出一種基于Siamese網(wǎng)絡(luò)作為ReID主干的CNN方法，將得到的最優(yōu)候選框與現(xiàn)有軌跡進(jìn)行數(shù)據(jù)關(guān)聯(lián)，使跟蹤更加精確，關(guān)聯(lián)結(jié)構(gòu)如圖2所示。

圖2 ReID數(shù)據(jù)關(guān)聯(lián)方法

對(duì)于跟蹤目標(biāo)，首先將軌跡每一幀看作一個(gè)獨(dú)立節(jié)點(diǎn)，提取ReID特征，將距離小于給定閾值的兩個(gè)節(jié)點(diǎn)進(jìn)行連通，形成一個(gè)連通子圖；然后計(jì)算候選框與連通子圖的ReID特征相似度和mAP，將符合特征相似度高、mAP值大于閾值的圖合并；最后把合并圖在跟蹤軌跡上進(jìn)行插值修復(fù)更多的假陰跟蹤。

2.4 融合檢測(cè)的候選框選擇算法結(jié)構(gòu)

該方法提出的融合YOLOv4檢測(cè)和ReID的目標(biāo)跟蹤方法結(jié)構(gòu)如下：

輸入：視頻序列V

1.初始化，←，檢 測(cè)集合←在視頻序列每一幀中收集候選框

2.在每一幀中利用YOLOv4檢測(cè)得到，在中利用Kalman收集篩選候選框

3.←?，由式（8）得出

4.，←NMS(,,)

5.過(guò)濾＜數(shù)據(jù)關(guān)聯(lián)

6.提 取的ReID特 征，提 取的ReID特征

7.計(jì)算與的平均特征距離和mAP

8.合并：←?

9.插值：←?

輸出：跟蹤軌跡

3 實(shí)驗(yàn)結(jié)果與仿真

本文實(shí)驗(yàn)設(shè)備CPU為i5-4509，GPU為GT705，該實(shí)驗(yàn)在Windows 7系統(tǒng)下利用Matlab進(jìn)行開(kāi)發(fā)，編程語(yǔ)言選用C語(yǔ)言。為了更好地展現(xiàn)跟蹤性能，本實(shí)驗(yàn)利用tracker_benchmark_v1.0結(jié)合9種跟蹤算法作為對(duì)比算法，且數(shù)據(jù)結(jié)果均已在各文獻(xiàn)中公開(kāi)發(fā)表。測(cè)試數(shù)據(jù)集為Object Tracking Benchmark（OTB）。

3.1 實(shí)驗(yàn)定量分析

為了更好地衡量跟蹤算法性能，本實(shí)驗(yàn)采用中心點(diǎn)誤差和邊界框重疊率（IOU）評(píng)價(jià)跟蹤。中心點(diǎn)誤差是指實(shí)際跟蹤目標(biāo)的中心點(diǎn)與跟蹤框中心點(diǎn)之間的歐氏距離：

式中：（x,y）為跟蹤框中心點(diǎn)坐標(biāo)；（x,y）為實(shí)際目標(biāo)中心點(diǎn)坐標(biāo)。邊界框重疊率是指跟蹤結(jié)果與實(shí)際目標(biāo)之間的交并比：

式中：area()為算法跟蹤框面積；area()為實(shí)際面積。給定閾值，計(jì)算重疊率大于閾值的幀數(shù)量，本實(shí)驗(yàn)設(shè)定=0.6。10種對(duì)比算法在OTB100數(shù)據(jù)集中選取DragonBaby、Singer1、Jump、Walking2、CarScale、Matrix這6組序列圖進(jìn)行測(cè)試，其中包括了光照變化（IV）、尺度變化（SV）、物體遮擋（OCC）、形變（DEF）、運(yùn)動(dòng)模糊（MB）、旋轉(zhuǎn)（PR）測(cè)試結(jié)果，選取5種性能較好的算法進(jìn)行對(duì)比，如表1所示。

表1 中心點(diǎn)距離誤差、重疊率、幀率對(duì)比

由表1可以看出，在進(jìn)行中心點(diǎn)誤差和邊界框覆蓋率對(duì)比中，本文提出的算法跟蹤性能最優(yōu)，這為跟蹤的精確度提供了保證，并且能夠適應(yīng)多種復(fù)雜環(huán)境下的跟蹤。同時(shí)，本文在OTB100多種復(fù)雜環(huán)境視頻序列下與其他9種算法進(jìn)行整體性能對(duì)比，跟蹤精度和成功率如圖3所示。

圖3 十種算法跟蹤性能對(duì)比曲線

可以看出，在不同干擾下本文算法性能整體優(yōu)于其他9種算法，其中跟蹤精度（Precision plots of OPE）達(dá)到84.9%，跟蹤成功率（Success plots of OPE）為82.2%，并且在濾波器與ReID不同的情況下平均跟蹤速度仍能達(dá)到29.369 6 f/s，可以滿足算法對(duì)實(shí)時(shí)性的要求。

3.2 實(shí)驗(yàn)定性分析

綜合考慮實(shí)際跟蹤中受到環(huán)境變化因素影響，該實(shí)驗(yàn)選取TOB100數(shù)據(jù)集中6組序列圖進(jìn)行測(cè)試。測(cè)試結(jié)果如圖4所示，其中左上角“#”代表圖所在幀。本文實(shí)驗(yàn)選用不同顏色的跟蹤框區(qū)分多個(gè)算法的跟蹤性能。

1）姿態(tài)變化

在序列圖Dragon Baby中選取第3、26、53、75幀圖，跟蹤性能如圖4a）所示。當(dāng)跟蹤目標(biāo)如第3、26幀僅僅發(fā)生手臂變化，動(dòng)作姿態(tài)變化較小，10個(gè)跟蹤算法都能夠準(zhǔn)確跟蹤目標(biāo)；當(dāng)目標(biāo)姿態(tài)發(fā)生較大變化時(shí)，如第53幀腿部發(fā)生變化，只有TLD算法和本文提出的算法能夠準(zhǔn)確跟蹤目標(biāo)。

圖4 Dragon Baby、Jump、Singer1、Car Scale序列跟蹤結(jié)果

2）尺度變化

如圖4d）所示，選取序列圖中Car Scale作為跟蹤目標(biāo)，可以看出當(dāng)跟蹤目標(biāo)發(fā)生不同尺度變化時(shí)各跟蹤算法基本能夠跟蹤目標(biāo)，但是存在不同程度的偏移。

3）旋轉(zhuǎn)變化

圖4b）是序列Jump的旋轉(zhuǎn)跟蹤，從圖中可以看出，目標(biāo)在完成起跳、旋轉(zhuǎn)等一系列動(dòng)作的過(guò)程中伴隨著姿態(tài)的變化，所以跟蹤難度加大，算法發(fā)生了不同程度偏移，而KCF算法直接丟失目標(biāo)，只有本文算法精度較高。

4）光照變化

圖4c）是對(duì)光照變化的跟蹤，選取Singer1序列，可以看出，在第17幀時(shí)各算法可以滿足要求，在第250幀時(shí)各算法不同程度丟失目標(biāo)，只有本文算法可以滿足要求。

綜上所述，本文提出的目標(biāo)跟蹤算法在遇到姿態(tài)變化、遮擋、光照變化、運(yùn)動(dòng)狀態(tài)等因素影響時(shí)，對(duì)比9種算法有了很大提升。

4 結(jié)語(yǔ)

本文選用YOLOv4為檢測(cè)算法,同時(shí)在長(zhǎng)期目標(biāo)跟蹤過(guò)程中加入了基于Siamese網(wǎng)絡(luò)作為ReID主干的CNN子網(wǎng)，使得在長(zhǎng)期跟蹤過(guò)程中有效地解決了跟蹤漂移現(xiàn)象。由于實(shí)驗(yàn)設(shè)備影響，本文提出的算法未達(dá)到預(yù)期效果。但是，本文提出的檢測(cè)和軌跡連接的方法使得跟蹤更加精確，有效地避免了目標(biāo)跟蹤過(guò)程中的假陰現(xiàn)象，結(jié)合的ReID算法也是現(xiàn)在的研究熱點(diǎn)，這為以后研究目標(biāo)跟蹤提供了新思路。